Nothing Special   »   [go: up one dir, main page]

EP2603905A1 - Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal - Google Patents

Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal

Info

Publication number
EP2603905A1
EP2603905A1 EP11741562.0A EP11741562A EP2603905A1 EP 2603905 A1 EP2603905 A1 EP 2603905A1 EP 11741562 A EP11741562 A EP 11741562A EP 2603905 A1 EP2603905 A1 EP 2603905A1
Authority
EP
European Patent Office
Prior art keywords
classifier
image data
self
service terminal
manipulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11741562.0A
Other languages
English (en)
French (fr)
Other versions
EP2603905B1 (de
Inventor
Steffen Priesterjahn
DinhKhoi LE
Alexander Drichel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wincor Nixdorf International GmbH
Original Assignee
Wincor Nixdorf International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wincor Nixdorf International GmbH filed Critical Wincor Nixdorf International GmbH
Publication of EP2603905A1 publication Critical patent/EP2603905A1/de
Application granted granted Critical
Publication of EP2603905B1 publication Critical patent/EP2603905B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs

Definitions

  • the invention relates to a method for detecting and verifying manipulation attempts on a self-service terminal according to the preamble of claim 1. Furthermore, the invention relates to a device operating according to the method, in particular a yersund control unit, and a self-service terminal equipped therewith, in particular designed as an ATM self-service terminal.
  • self-service terminals hereinafter also referred to as self-service terminals, especially at ATMs
  • criminal acts are often carried out in the form of manipulation, which pursue the goal, sensitive data, in particular PINs (Personal Identification Numbers) and / or card numbers of users of the SB Spy on the terminals.
  • manipulation attempts are known in which so-called skimming devices, such as keyboard superstructures and the like, are installed illegally in the operating area or control panel.
  • Such keyboard superstructures often have their own power supply, as well as a processor, a memory and an operating program, so that an unsuspecting user is spied on entering his PIN or inserting his bank card.
  • the spied out data is then over transmit a transmitter integrated into the keyboard superstructure to a remote receiver or are stored in a data memory located in the keyboard superstructure.
  • Many of today's skimming devices are very difficult to distinguish with the human eye from original controls (keyboard, card reader, etc.).
  • monitoring systems which have one or more cameras which are mounted in the area of the location of the self-service terminal and detect the entire control panel and often also the area of residence of the user.
  • Such a solution is described for example in DE 201 02 477 ül.
  • a sensor is provided in order to distinguish whether a person is in the occupied area.
  • US 2009/0057395 A1 discloses a method and a device for detecting and verifying manipulation attempts at an ATM.
  • various sensors are used (see text section [0063]), such as cameras or proximity sensors (“proximity sensor”), the signals or data to a microprocessor-controlled unit (“microprocessor 32") deliver.
  • microprocessor 32 microprocessor-controlled unit
  • data processing is then performed on the basis of a statistical model having a classifier (see paragraphs [0081] - [0085]) to infer a normal operating condition or an abnormal operating condition of the ATM, the latter could show a manipulation attempt proposed to detect a manipulation attempt on the basis of a classifier, which is fed with data from different sensors.
  • the reliability of this principle requires the use of several different sensors and the effort to tune the classifier to the various sensors.
  • devices and methods for detecting tampering attempts on a self-service terminal are known, wherein a camera is based on at least one operating element, such as e.g. Keyboard, cash dispenser, etc., is aligned and wherein the image data generated by the camera are evaluated by means of a classifier to detect a tampering attempt.
  • the known solutions require a high amount of hardware and software to achieve the safest and error-free manipulation detection.
  • the image data generated by the camera be supplied to a first classifier, by means of which the image data is used to check whether a manipulation attempt is recognizable on the operating element, and that the image data are also fed to a second classifier in parallel with the first classifier, by means of which it is checked on the basis of the image data whether the detection of a manipulation attempt is plausible.
  • the invention is based on the recognition that the conventional devices not infrequently operate faulty and even then skimming show, if no attempt at
  • Manipulation of the self-service terminal is present. Applicant has observed that users on the control panel b2w. the control panel of self-service terminals, such as ATMs, personal belongings, especially purses, wallets, notes, etc., and this can then lead to a false skimming alarm.
  • the second classifier by using a further classifier working in parallel, which checks for plausibility of the image data, it is ensured that an alarm is generated only when, based on the situation detected by the camera, a genuine manipulation attempt has to be reasonably assumed.
  • the first classifier may recognize an abnormal situation and want to display a manipulation attempt in the case of a purse left on the keyboard
  • the second classifier would be the purse, in particular its contour and / or position rather than untypical of a keyboard superstructure (manipulation or skimming -Over) and thus prevent the triggering of a false alarm.
  • the image data in the classifiers are processed independently of each other.
  • the classifiers thus come independently of each other's results, with the first result (output value of the first classifier) being verified by the second result (output value of the second classifier) or not.
  • meaningful events that are not meaningful can be reliably separated.
  • a parallel-operating structure of two or more classifiers is proposed for this purpose.
  • the first classifier evaluates the image data on the basis of first features in order to obtain a first output value which determines the probability of the presence of a change in the visual appearance of the image Indicates control.
  • first features relate, for example, to the edge lengths of a keyboard whose photo is subjected to edge image detection.
  • the second classifier evaluates the image data based on second features to obtain a second output value indicative of the likelihood of a manipulation-typical change in the visual appearance of the control.
  • These second features relate for example to the relative position or position of the edges to each other.
  • a keyboard as well as in a skimming superstructure, most of the edges are aligned parallel or perpendicular to each other, with an object left lying, e.g. Purses, edges also occur that are neither parallel nor perpendicular to the other edges (the keyboard). Therefore, a plausibility test leads to the result that most likely no manipulation attempt is present. Also the feature "ambient lighting" leads to very reliable results.
  • the output values of the classifiers are preferably between 0 and 1.
  • the first output value is compared with a first threshold value or the second output value with a second threshold value, whereby a first or second binary value can be obtained, which in turn can be logically processed.
  • the binary values can be supplied to an AND link, for example, in order to obtain a reliable statement as to whether manipulation has been carried out at the SB terminal or not. If a tampering attempt is detected, in addition to or as an alternative to triggering an alert, self-service terminal and / or trigger an additional camera (portrait camera) to take photos of suspicious persons who may have done the manipulation. It may also be provided to deactivate the tamper detection or the camera (s) during the maintenance of the self-service terminal to avoid false alarms.
  • an alarm is triggered only if, by means of the first classifier, a manipulation attempt.
  • the control element is detected and if the recognition of the manipulation attempt is assessed as plausible by means of the second classifier.
  • a display, in particular notification, for an operator and / or users of the self-service terminal is generated, and then if by means of the first classifier a manipulation attempt is detected on the control element and if by means of the second classifier, the detection of the manipulation attempt as not is valued plausibly.
  • the notification is preferably sent to the operator and / or user of the self-service terminal via a communication service, in particular email or SMS.
  • a device for detecting and verifying manipulation attempts on a self-service terminal which has at least one operating element for users, to which at least one camera is aligned, the device being connected to the at least one camera and generated by the camera Receiving image data, and wherein the device comprises a data processing unit with a first classifier, which checks on the image data, if a manipulation attempt is to be recognized on the operating element, wherein the data processing unit of the device has a second classifier, which processes the image data parallel to the first classifier and checks whether the detection of a manipulation attempt is plausible.
  • a self-service terminal that has such a device.
  • the device may preferably be provided by means of a computer b2w present in the self-service terminal. PC be realized.
  • the self-service terminal is designed as an ATM.
  • the at least one operating element is a manipulation-suitable element, in particular a keyboard or a PIN pad, a cash dispenser and / or a card input funnel.
  • the at least one control element detected by the camera should have optically clearly recognizable features, in particular have edges delimiting homogeneous surfaces.
  • the image data generated by the camera (s) can be processed by means of edge detection, for example by creating at least one edge image and comparing its characteristic data with the pattern data of a reference edge image.
  • edge detection not only causes a significant data reduction, but also increases the speed and reliability of the image analysis.
  • the camera detects the elements that are particularly suitable for manipulation and / or the elements arranged in particularly manipulation-suitable areas of the control panel, such as cash dispenser, keyboard, card slot and / or screen.
  • the elements are therefore preferably control elements in the strict sense, but may also be other elements, such as shelf space in the control area or the like.
  • the lying of objects is reliably detected.
  • an automatic notification service can be realized, which in particular indicates to users or customers that personal items have been left at the self-service terminal.
  • Flg. 1 shows in the form of a block diagram the construction of a self-service terminal according to the invention, referred to as
  • Fig. 2 shows a schematic flow diagram for a
  • 3 is a decision matrix for illustrating the
  • the ATM terminal illustrated in FIG. 1 is embodied as an ATM ATM and has a control panel with a plurality of elements or operating elements, of which a keyboard KBD, a cash dispensing shaft SHT and a card input hopper CSL are shown by way of example in the form of individual functional blocks.
  • Each control element is monitored by a camera CAM, CAM 'or CAM ", which in turn is connected to a control device CTR, which processes and evaluates the image signals or data generated by the camera.
  • the control device CTR forms a device for detecting and verifying manipulation attempts on the said operating elements KBD, SHT or CSL and is realized by means of a computer-aided hardware, here for example by means of the hardware of a PC integrated in the ATM.
  • the image data coming from the cameras are processed in an image processing unit IPRC, for example by being subjected to edge detection.
  • IPRC image processing unit
  • the amount of data can be significantly reduced without significant information about the properties of the lose the photographed object or operating element.
  • the edge images or edge image data obtained from the edge detection thus represent essential properties on the basis of which a change or manipulation of the object (eg keyboard KDB) can be detected.
  • the device CTR has for each picture element a manipulation recognition module M100, M100 'or M100 ", which essentially contains a data processing instance which performs a parallel structured two-fold classification of the corresponding image data - Detection module M100, M100 'or ⁇ 100 "two parallel classifiers are used (see 110 and 120 in Fig. 2).
  • the first manipulation detection module M100 is used, the function of which will be described in more detail below with reference to FIGS. 2 and 3.
  • the device CTR also includes an alarm unit ALRT, which triggers an alarm when a tampering attempt is reliably detected.
  • FIG. 1 An example of a method for detecting and verifying manipulation attempts will now be described with reference to FIGS. 2 and 3.
  • FIG. 1 An example of a method for detecting and verifying manipulation attempts will now be described with reference to FIGS. 2 and 3.
  • FIG. 2 shows a schematic sequence diagram for the method 100, which relates to the mode of operation of the manipulation detection module M100 and essentially comprises the steps 101 to 130 described below.
  • a first step 101 the data generated by the camera CAM and preprocessed in the image processing unit IPRC (see Fig. 1) to edge image data are provided as input data IN for the subsequent classifications.
  • Features or properties A, B, C, D are extracted from the input data or processed image data, also referred to below as image data IN, which represent characteristic recognition features for the monitored object (here: control element KDB). These include, for example, the following features: edge length (top, bottom, left, right), distance of the edges of reference points or reference lines, angles of edges to each other, angles of edges compared to reference lines, histogram, lighting conditions, and the like.
  • a first subset of the features (eg features A and B) is supplied to a first classifier CF in a step 110 and one, preferably another, second subset (eg features C and D) is fed in a parallel step 120 to a second classifier SC.
  • the first classifier CF takes the function of a.
  • Main classifier or a tamper evidence collector which checks whether tampering is likely or not. This is done, for example, by checking the features A (edge lengths at different positions) and B (distances between different edges) by comparing them with corresponding reference values.
  • the output value OUT1 is the number or frequency with which characteristics (one or more of them) do not match the reference values.
  • the output value is between 0 and 1.
  • An output value of 0.7 and more indicates that (very) many deviations have been detected, so that (very) probably there is a manipulation of the object (in this case keyboard KBD or PIN pad). Whether the detected manipulation is a real manipulation, eg a keyboard superstructure, can not be predicted with certainty.
  • the second (parallel) classifier SC therefore assumes the function of a subclassifier or a verifier and checks whether the image data IN reproduces a typical situation for a manipulation at all. This check is done, for example, by checking the characteristics C (angle of edges among each other) and D ⁇ ambient light conditions).
  • the output value OUT2 is the number or frequency with which the detected characteristics (one or more of them) do not deviate from the typical reference values. An output value of 0.3 and less indicates that the plausibility of a manipulation is low.
  • the output values OUT1 and OÜT2 are weighted and / or compared with threshold values TH1 and TH2, respectively, so that logically connectable values OUT1 * and OUT2 *, respectively, result show either a YES or a NO. If the value OUT1 * corresponds to the logical value "1", this means that the classification CF has detected tampering, which is symbolized here by a "Y” (for English "Yes"), otherwise an "N” results. If the value OUT2 * also corresponds to a "Y”, this means that the manipulation is plausible.
  • the thresholds TH1 and TH2 are set in the middle value range, e.g. is set at about 0.5, so that output values greater than 0.5 mean a clear "Y * (statement” Yes "or” Yes ").
  • step 130 By a logical AND operation carried out in step 130, which is also illustrated by means of FIG. 3, the final result is obtained.
  • a manipulation attempt is only clearly recognized and verified if both classifiers each yield a positive result "Y", ie if the first classifier recognizes CF for manipulation and the second independently recognizes a plausible manipulation situation.
  • the second classifier SC ensures a reasonable decision and could therefore also be called a "sanity checker.”
  • the strict separation of the two classifiers or their tasks makes the manipulation detection proposed here very robust against wrong decisions ,
  • the camera signals are first subjected to image processing (edge detection) (see block IPRC in Fig. 1). From this, features are extracted (A to D in Fig. 2), e.g. the edge lengths, distances, angles, ambient lighting conditions, etc. concern. These features are then classified.
  • the first classifier CF e.g. classifies the features "edge length” and "angle” to detect tampering; in the second classifier CF, the other characteristics "angle" and / or “ambient light” are classified in order to check the plausibility (sanity check).
  • the invention can also be carried out in such a way that quantities are classified, for example with the first classifier, and qualities with the second classifier.
  • the plausibility check makes it possible to deduce the presence of a foreign object, which is not a skimming device, but merely a personal object of a user in the event of a detected change to the monitored object.
  • the system can initiate an automatic notification of the user or customer, for example via email or SMS.
  • Possibility offers a new customer service.
  • the operator of the self-service terminal will in this case also be notified immediately in order to keep the forgotten item for the customer for later collection. So if objects are left on the SS terminal, an automatic
  • the present invention has been described using the example of an ATM, but is not limited thereto, but can be applied to any type of self-service terminals.
  • ATM self-service terminal designed as an ATM, with the following controls:
  • CTR device here control device for ATM with:

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

Vorgeschlagen wird ein Verfahren (100) zum Erkennen und verifizieren von Manipulationsversuchen an einem Selbstbodienungsterminai, das für Nutzer mindestens ein Bedienolement (z.B. eine Tastatur) aufweist, auf das mindestens eine Kamera ausgerichtet ist. Die erzeugten Bilddaten (IN) werden einem ersten Klassifikator (CF) zugeführt, mittels dessen anhand der Bilddaten geprüft wird, ob ein Manipulationsversuch an dem Bedienelement, z.B. Tastatur, zu erkennen ist. Außerdem werden die Bilddaten (IN) parallel zum ersten Klassifikator (CF) auch einem zweiten Klassifikator (SC) zugeführt, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist. Nur wenn beide Klassifikatoren positiv anzeigen, d.h. einen Manipulationsversuch und dessen Plausibilitat bejahen, wird ein Alarm ausgelost. Somit können Fehlalarme verhindert werden, die bei herkömmlichen SB-Terminals auftreten, wenn die Nutzer bzw. Kunden private Gegenstände (z.B. Geldbörsen) auf der Bedienkonsole liegen lassen.

Description

Verfahren und Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal
Die Erfindung betrifft ein Verfahren zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal nach dem Oberbegriff des Anspruchs 1. Außerdem betrifft die Erfindung eine nach dem Verfahren arbeitende Vorrichtung, insbesondere eine Datenverarbeitungsund Steuereinheit, sowie ein damit ausgestattetes Selbstbedienungsterminal, insbesondere ein als Geldautomat ausgestaltetes Selbstbedienungsterminal .
An Selbstbedienungsterminals, im weiteren auch kurz SB-Terminals genannt, insbesondere an Geldautomaten, werden häufig kriminelle Handlungen in Form von Manipulationen vorgenommen, die das Ziel verfolgen, sensitive Daten, insbesondere PINs (Personal Identification Numbers) und/oder Kartennummern, von Nutzern des SB-Terminals auszuspähen. Insbesondere sind Manipulationsversuche bekannt, bei denen sogenannte Skimming-Vorrichtungen, wie beispielsweise Tastaturüberbauten und dergleichen, im Bedienbereich bzw. Bedienfeld widerrechtlich installiert werden. Solche Tastaturüberbauten verfügen häufig über eine eigene Stromversorgung, sowie einen Prozessor, einen Speicher und ein Betriebsprogramm, sodass ein ahnungsloser Nutzer bei Eingabe seiner PIN oder beim Einführen seiner Bankkarte ausgespäht wird. Die ausgespähten Daten werden dann über einen in dem Tastaturüberbau integrierten Sender an einen entfernten Empfänger übertragen oder werden in einem im Tastaturüberbau befindlichen Datenspeicher gespeichert. Viele der heutzutage anzutreffenden Skimming-Vorrichtungen können nur sehr schwer mit dem menschlichen Auge von originalen Bedienelementen (Tastatur, Kartenleser usw.) unterschieden werden.
Um derartige Manipulationsversuche zu vereiteln, werden häufig Überwachungssysteme eingesetzt, die eine oder mehrere Kameras aufweisen, welche im Bereich des Standortes des Selbstbedienungsterminals montiert sind und das gesamte Bedienfeld und häufig auch den Aufenthaltsbereich des Nutzers erfassen. Eine solche Lösung ist beispielsweise in der DE 201 02 477 ül beschrieben. Mittels der dortigen Kameraüberwachung kann sowohl das Bedienfeld selbst wie auch der davor liegende Aufenthaltsbereich des Nutzers erfasst werden. Um zu unterscheiden, ob eine Person sich im Aufenthaltsbereich befindet, ist noch ein Sensor vorgesehen.
Aus der US 2009/0057395 AI sind ein Verfahren und eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Geldautomaten bekannt. Dort werden verschiedene Sensoren eingesetzt (s. Textabschnitt [0063]), wie z.B. Kameras oder Näherungssensoren („proximity sensor"), die Signale bzw. Daten an eine Mikroprozessor-gesteuerte Einheit („microprocessor 32") abgeben. Dort wird dann eine Datenverarbeitung anhand eines statistische Models durchgeführt, das einen Klassifikator („classifier") aufweist (s. Textabschnitte [0081] - [0085]), um auf einen normalen Betriebszustand oder auf einen abnormalen Betriebszustand des Geldautomaten zu schließen, wobei Letzterer einen Manipulationsversuch anzeigen könnte. Demnach wird dort vorgeschlagen, einen Manipulationsversuch anhand eines Klassifizierers zu erkennen, der mit Daten von verschiedenen Sensoren gespeist wird. Die Zuverlässigkeit dieses Prinzips verlangt jedoch den Einsatz mehrerer verschiedener Sensoren sowie den Aufwand, den Klassifizierer auf die verschiedenen Sensoren abzustimmen.
Es sind also grundsätzlich Vorrichtungen und Verfahren zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal bekannt, wobei eine Kamera auf mindestens ein Bedienelement, wie z.B. Tastatur, Geldausgabefach usw., ausgerichtet ist und wobei die von der Kamera erzeugten Bilddaten mittels eines Klassifizierers ausgewertet werden, um einen Manipulationsversuch zu erkennen. Allerdings erfordern die bekannten Lösungen einen hohen Hardware- und Softwareaufwand, um eine möglichst sichere und fehlerfreie Manipulationserkennung zu erreichen.
Ein weiteres, verbessertes und kostengünstig zu realisierendes Verfahren zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal sowie eine danach arbeitende Vorrichtung werden in der früheren von der Anmelderin eingereichten Patentanmeldung mit der Anmeldungsnummer DE 2010055016 vorgeschlagen.
Aufgrund der obigen Ausführungen ist es Aufgabe der vorliegenden Erfindung, eine zuverlässige und dennoch kostengünstige Lösung vorzuschlagen, die die Nachteile der bekannten Verfahren und Vorrichtungen überwindet. Insbesondere soll eine Kamera-gestützte Erkennung von Manlpulationsversuchen mit hoher Zuverlässigkeit aber geringem Hardwareaufwand und begrenztem Softwareaufwand ermöglicht werden. Gelöst wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine danach arbeitende Vorrichtung sowie durch ein damit ausgestattetes Selbstbedienungsterminal.
Demnach wird vorgeschlagen, dass die von der Kamera erzeugten Bilddaten einem ersten Klassifikator zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob ein Manipulationsversuch an dem Bedienelement zu erkennen ist, und dass die Bilddaten parallel zum ersten Klassifikator auch einem zweiten Klassifikator zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist.
Somit wird eine Parallel-Struktur von zwei oder mehr Klassifikatoran vorgeschlagen, die auf dieselben Bilddaten oder auf daraus abgeleitete Daten angewendet werden, wobei der erste Klassifikator für das Erkennen eines Manipulations- Versuches eingerichtet ist, der zweite Klassifikator aber eingerichtet ist, anhand der Bilddaten die von der/den Kamera (s) erfasste Situation auf Plausibilität eines Manipulationsereignisses hin zu überprüfen. Erst wenn beide Klassifikatoren positiv anzeigen, d.h. einen Manipulations- versuch und dessen Plausibilität bejahen, wird ein Alarm ausgelöst.
Die Erfindung geht von der Erkenntnis aus, dass die herkömmlichen Vorrichtungen nicht selten fehlerhaft arbeiten und auch dann Skimming anzeigen, wenn kein Versuch einer
Manipulation des Selbstbedienungsterminals vorliegt. Die Anmelderin hat beobachtet, dass Nutzer an dem Bedienfeld b2w. der Bedienkonsole von Selbstbedienungsterminals, wie z.B. Geldautomaten, persönliche Gegenstände, insbesondere Geldbörsen, Brieftaschen, Zettel usw. liegen lassen und dieses dann zu einem falschen Skimming-Alarm führen kann.
Erfindungsgemäß wird nun durch Einsatz eines weiteren parallel arbeitenden Klassifikators, der auf Plausibilität der Bilddaten prüft, sicher gestellt, dass nur dann ein Alarm erzeugt wird, wenn aufgrund der von der Kamera erfassten Situation vernünftiger Weise von einem echten Manipulationsversuch ausgegangen werden muss. So würde z.B. im Falle einer auf der Tastatur liegen gelassenen ßriefbörse der erste Klassifikator zwar eine abnormale Situation erkennen und einen Manipulationsversuch anzeigen wollen, der zweite Klassifikator würde aber die Geldbörse, insbesondere deren Kontur und/oder Lage, eher als untypisch für einen Tastaturüberbau (Manipulations- oder Skimming-Überbau) erkennen und somit das Auslösen eines Fehlalarms unterbinden.
Vorzugsweise werden die Bilddaten in den Klassifikatoren unabhängig voneinander verarbeitet. Die Klassifikatoren kommen also unabhängig voneinander auf ihre Ergebnisse, wobei das erste Ergebnis- (Ausgabewert des ersten Klassifikators) durch das zweite Ergebnis (Ausgabewert des zweiten Klassifikators) verifiziert wird oder nicht. Hierdurch können sinnvolle von nicht sinnvollen Ereignissen (Manipulations- versuchen) zuverlässig getrennt werden. Erfindungsgemäß wird dazu eine parallel arbeitende Struktur von zwei oder mehreren Klassifikatoren vorgeschlagen.
Es kann vorgesehen sein, dass der erste Klassifikator die Bilddaten anhand erster Merkmale auswertet, um einen ersten Ausgabewert zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer Veränderung der optischen Erscheinung des Bedienelements anzeigt. Diese ersten Merkmale betreffen beispielsweise die Kantenlängen einer Tastatur, deren Foto einer Kantenbilddetektion unterzogen wird.
Der zweite Klassifikator hingegen werten die Bilddaten anhand zweiter Merkmale aus, um einen zweiten Ausgabewert zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer für Manipulationen typischen Veränderung der optischen Erscheinung des Bedienelements anzeigt. Diese zweiten Merkmale betreffen beispielsweise die relative Lage bzw. Position der Kanten zueinander. Bei einer Tastatur sowie bei einem Skimming-Überbau sind die meisten Kanten parallel oder rechtwinklig zueinander ausgerichtet, bei einem liegen gelassenen Gegenstand, wie z.B. einer Geldbörse, treten auch Kanten, die weder parallel noch senkrecht zu den übrigen Kanten (der Tastatur) verlaufen. Deshalb führt ein Plausibilitätstest zu dem Ergebnis, dass sehr wahrscheinlich kein Manipulationsversuch vorliegt. Auch das Merkmal „Umgebungsausleuchtung" führt zu sehr zuverlässigen Ergebnissen.
Die Ausgabewerte der Klassifikatoren liegen vorzugsweise zwischen 0 und 1. Um daraus eindeutige Ja/Nein-Aussagen zu gewinnen, wird vorzugsweise der erste Ausgabewert mit einem ersten Schwellwert bzw. der zweite Ausgabewert mit einem zweiten Schwellwert verglichen, wodurch dann ein erster bzw. zweiter Binärwert gewonnen werden kann, der wiederum logisch verarbeitet werden kann. Die Binärwerte können z.B. einer UND-Verknüpfung zugeführt werden, um eine gesicherte Aussage zu erhalten, ob eine Manipulation an dem SB-Terminal vorgenommen wurde oder nicht. Wenn ein Manipulationsversuch erkannt wird, kann zusätzlich oder alternativ zum Auslösen eines Alarms auch vorgesehen werden, das Selbstbedienungs- terminal zu sperren und/oder eine zusätzliche Kamera (Portrait-Kamera) auszulösen, um Fotos von verdächtigen Personen zu machen die evtl. die Manipulation durchgeführt haben könnten. Auch kann vorgesehen werden, die Manipulationserkennung bzw. die Kamera (s) während der Wartung des Selbstbedienungsterminals zu deaktivieren, um Fehlalarme zu vermeiden.
Diese und weitere besonders vorteilhafte Ausgestaltungen ergeben sich auch aus den Unteransprüchen.
Bevorzugt wird nur dann ein Alarm ausgelöst, wenn mittels des ersten Klassifikators ein Manipulationsversuch an. dem Bedienelement erkannt wird und wenn mittels des zweiten Klassifikators das Erkennen des Manipulationsversuchs als plausibel bewertet wird.
Andernfalls wird eine Anzeige., insbesondere Benachrichtigung, für einen Betreiber und/oder Nutzer des SB-Terminals erzeugt, und zwar dann, wenn mittels des ersten Klassifikators ein Manipulationsversuch an dem Bedienelement erkannt wird und wenn mittels des zweiten Klassifikators das Erkennen des Manipulationsversuchs als nicht plausibel bewertet wird. Vorzugsweise wird die Benachrichtigung für den Betreiber und/oder Nutzer des SB-Terminals über einen Kommunikationsdienst, insbesondere Email oder SMS, versendet.
Vorgeschlagen wird auch eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal, das für Nutzer mindestens ein Bedienelement aufweist, auf das mindestens eine Kamera ausgerichtet ist, wobei die Vorrichtung mit der mindestens einen Kamera verbunden ist und von der Kamera erzeugte Bilddaten empfängt, und wobei die Vorrichtung eine Datenverarbeitungseinheit mit einem ersten Klassifikator aufweist, der anhand der Bilddaten prüft, ob ein Manipulationsversuch an dem Bedienelement zu erkennen ist, wobei die die Datenverarbeitungseinheit der Vorrichtung einen zweiten Klassifikator aufweist, der parallel zum ersten Klassifikator die Bilddaten verarbeitet und prüft, ob das Erkennen eines Manipulationsversuchs plausibel ist.
Außerdem wird ein Selbstbedienungsterminal vorgeschlagen, dass eine solche Vorrichtung aufweist. Die Vorrichtung kann vorzugsweise mittels eines in dem Selbstbedienungsterminal vorhandenen Rechner b2w. PC realisiert werden.
In einer bevorzugten Anwendung ist das Selbstbedienungs- terminal als Geldautomat ausgestaltet. Dabei stellt das mindestens eine Bedienelement ein manipulationsgeeignetes Element, insbesondere eine Tastatur bzw. ein PIN-Pad, ein Geldausgabefach und/oder einen Karteneingabetrichter dar. Um die Manipulationserkennung zu erleichtern, sollte das mindestens eine von der Kamera erfasste Bedienelement optisch eindeutig erkennbare Merkmale, insbesondere sich von homogenen Flächen abgrenzende Kanten, aufweisen. Hierdurch können die von der/den Kamera (s) erzeugten Bilddaten mittels einer Kantendetektion aufbereitet werden, indem z.B. mindestens ein Kantenbild erstellt wird und dessen charakteristische Daten mit den Musterdaten eines Referenz- Kantenbildes verglichen werden. Der Einsatz einer Kantendetektion bewirkt nicht nur eine deutliche Datenreduktion, sondern erhöht auch die Schnelligkeit und Zuverlässigkeit der Bildauswertung. Der Einsatz mehrerer paralleler Klassifikatoren erhöht insbesondere die Zuverlässigkeit des Endergebnisses. Durch die Erfindung kann insbesondere das Erkennen von Überbauten an einzelnen oder mehreren Bedienelementen deutlich verbessert werden. Dies gilt besonders hinsichtlich der Zuverlässigkeit der Erzeugung von Skimming-Alarmen. Vorzugsweise werden von der Kamera die besonders manipulationsgeeigneten Elemente und/oder die in besonders manipulationsgeeigneten Bereichen des Bedienfeldes angeordneten Elemente erfasst, wie z.B. Geldausgabefach, Tastatur, Karteneingabetrichter und/oder Bildschirm. Die Elemente sind also vorzugsweise Bedienelemente im engeren Sinne, können aber auch andere Elemente, wie z.B. Ablagefläche im Bedienbereich oder dergleichen sein. Außerdem wird auch das Liegenlassen von Gegenständen sicher erkannt. Zudem wird hier vorgeschlagen, den Nutzer und/oder den Betreiber des SB-Terminals zu benachrichtigen, wenn anhand der Bildaufnahme an dem Bedienelement (z.B. Tastatur) ein Fremdobjekt erkannt wurde, das nicht die typischen Eigenschaften einer Manipulationsvorrichtung (Tastaturüberbau, Attrappe usw.) aufweist und somit sehr wahrscheinlich ein Gegenstand ist, den der letzte Nutzer des SB-Terminals dort liegen gelassen hat. Demnach ist auch ein automatischer Benachrichtigungsdienst realisierbar, der insbesondere Nutzer bzw. Kunden darauf hinweist, dass an dem SB-Terminal persönliche Gegenstände liegen gelassen wurden.
Die Erfindung und die sich daraus ergebenen Vorteile werden nachfolgend anhand von Ausführungsbeispielen und unter Bezugnahme auf die beiliegenden schematischen Zeichnungen beschrieben, die folgendes darstellen: Flg. 1 zeigt in Form eines Blockschaltbildes den Aufbau eines erfindungsgemäßen SB-Terminals, das als
Geldautomat ausgestaltet ist;
Fig. 2 zeigt ein schematisches Ablaufdiagramm für ein
erfindungsgemäßes Verfahren;
Fig. 3 eine Entscheidungs-Matrix zur Veranschaulichung der
Ergebnisbildung aus den Ausgabewerten der parallel arbeitenden Klassifikatoren.
Das in der Fig. 1 dargestellte SB-Terminal ist als Geldautomat ATM ausgeführt und weist ein Bedienfeld mit mehreren Elementen bzw. Bedienelementen auf, von denen hier beispielhaft eine Tastatur KBD, ein Geldausgabeschacht SHT und ein Karteneingabetrichter CSL in Form einzelner Funktionsblöcke dargestellt sind. Jedes Bedienelement wird von einer Kamera CAM, CAM' bzw. CAM" überwacht, die wiederum mit einer Steuereinrichtung CTR verbunden ist, welche die von den Kamera erzeugten Bildsignale bzw. -daten verarbeitet und auswertet.
Die Steuereinrichtung CTR bildet eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an den besagten Bedienelementen KBD, SHT oder CSL und ist mittels einer rechnergestützten Hardware realisiert, hier beispielsweise mittels der Hardware eines in dem Geldautomaten integrierten PC. Die von den Kameras kommenden Bilddaten (s. auch IN in Fig. 2) werden in einer Bildverarbeitungseinheit IPRC verarbeitet, indem sie beispielsweise einer Kantendetektion unterzogen werden. Dadurch kann die Datenmenge deutlich reduziert werden, ohne wesentliche Information über die Eigenschaften des fotografierten Objektes bzw. Bedienelementes zu verlieren. Die aus der Kantendetektion gewonnenen Kantenbilder bzw. Kantenbilddaten repräsentieren somit wesentliche Eigenschaften anhand derer eine Veränderung bzw. Manipulation des Objektes (z.B. Tastatur KDB) erkannt werden kann.
Zum sicheren Erkennen von Manipulationsversuchen weist die Vorrichtung CTR für jedes Bildelement ein Manipulations- erkennungs-Modul M100, M100' oder M100" auf, das im wesentlichen eine Datenverarbeitungs-Instanz enthält, die eine parallel strukturierte zweizügige Klassifizierung der entsprechenden Bilddaten durchführt. In jedem Manipulations- erkennungs-Modul M100, M100' oder Μ100" werden zwei parallel angeordnete Klassifikatoren verwendet (s. 110 und 120 In Fig. 2) . Für die Überwachung der Tastatur KBD wird beispielsweise das erste Manipulationserkennungs-Modul M100 verwendet, dessen Funktion nachfolgend noch näher anhand der Fig. 2 und 3 beschrieben wird. Die Vorrichtung CTR umfasst auch noch eine Alarmeinheit ALRT, die bei einem sicher erkannten Manipulationsversuch einen Alarm auslöst. Falls das Vorhandensein eines Fremdgegenstandes erkannt wird, ein Manipulationsversuch aber als nicht plausibel eingestuft wird, erfolgt über die Einheit ALRT eine Benachrichtigung an den Betreiber des Geldautomaten ATM und/oder an den letzten Nutzer, um ihm mitzuteilen, dass ein Gegenstand am Geldautomaten liegen gelassen wurde. Um den Nutzer zu benachrichtigen kann auf Nutzerdaten zurückgegriffen werden, die im Rahmen der ohnehin erforderlichen Nutzung- Authentifizierung am Geldautomaten (Nutzer-ID) von einer Zentrale (Nutzerverwaltung.) abgefragt werden können. Anhand der Fig. 2 und 3 wird nun ein Beispiel für ein Verfahren zum Erkennen und Verifizieren von Manipulationsversuchen beschrieben:
Die Fig. 2 zeigt ein schematisches Ablaufdiagramra für das Verfahren 100, das sich auf die Funktionsweise des Manipulationserkennungs-Moduls M100 bezieht und im Wesentlichen die nachfolgend beschriebenen Schritte 101 bis 130 umfasst.
In einem ersten Schritt 101 werden die von der Kamera CAM erzeugten und in der Bildverarbeitungseinheit IPRC (s. Fig. 1) zu Kantenbilddaten vorverarbeiteten Daten als Eingangsdaten IN für die nachfolgenden Klassifizierungen bereit gestellt. Aus den Eingangsdaten bzw. aufbereiteten Bilddaten, im weiteren auch kurz Bilddaten IN genannt, werden Merkmale bzw. Eigenschaften A, B, C, D extrahiert, die charakteristische Erkennungsmerkmale für das überwachte Objekt (hier: Bedienelement KDB) darstellen. Dabei handelt es sich beispielsweise um folgende Merkmale: Kantenlänge (oben, unten, links, rechts), Abstand der Kanten von Bezugspunkten bzw. Bezugslinien, Winkel von Kanten untereinander, Winkel von Kanten im Vergleich mit Bezugslinien, Histogramm, BeleuchtungsverhSltnisse und dergleichen.
Diese Merkmale, von denen hier exemplarisch vier Merkmale A, B, C und D angegeben sind, werden dann in einer parallelen Struktur auf zwei verschiedene Weisen klassifiziert. Dazu wird eine erste Untermenge der Merkmale (z.B. Merkmale A und B) in einem Schritt 110 einem ersten Klassifikator CF zugeführt und wird eine, vorzugsweise andere, zweite Untermenge (z.B. Merkmale C und D) in einem parallelen Schritt 120 einem zweiten Klassifikator SC zugeführt. Der erste Klassifikator CF nimmt die Funktion eines. Hauptklassifikators bzw. eines Manipulations-Indizien- Sammlers ein, der prüft, ob eine Manipulation wahrscheinlich ist oder nicht. Dies geschieht beispielsweise dadurch, dass die Merkmale A (Kantenlängen an verschiedenen Positionen) und B (Abstände zwischen verschiedenen Kanten) geprüft werden, indem sie mit entsprechenden Referenzwerten verglichen werden. Als Ausgabewert OUT1 wird die Anzahl bzw. Häufigkeit angegeben, mit der Merkmale (eines oder mehrere davon) nicht mit den Referenzwerten übereinstimmen. Der Ausgabewert liegt zwischen 0 und 1. Ein Ausgabewert von 0,7 und mehr zeigt an, dass (sehr) viele Abweichungen erkannt wurden, so dass (sehr) wahrscheinlich eine Manipulation des Objektes (hier Tastatur KBD bzw. PIN-Pad) vorliegt. Ob es sich bei der erkannten Manipulation um eine echte Manipulation handelt, z.B. um einen Tastaturüberbau, kann jedoch nicht sicher ausgesagt werden.
Der zweite (parallel arbeitende) Klassifikator SC nimmt daher die Funktion eines Nebenklassifikators bzw. eines Uberprüfers (Verifizierers) ein und prüft, ob die Bilddaten IN überhaupt eine typische Situation für eine Manipulation wiedergeben. Diese Überprüfung geschieht beispielsweise dadurch, dass die Merkmale C (Winkel von Kanten untereinander) und D {Umgebungslichtverhältnisse) geprüft werden. Als Ausgabewert OUT2 wird die Anzahl bzw. Häufigkeit angegeben, mit der die erfassten Merkmale (eines oder mehrere davon) nicht von den typischen Referenzwerten abweichen. Ein Ausgabewert von 0,3 und weniger zeigt an, dass die Plausibilität für eine Manipulation gering ist. Das bedeutet, dass (sehr) wenige typische Winkel und/oder Umgebungslichtverhältnisse erkannt wurden, so dass es (sehr) wahrscheinlich ist, dass sich im Bereich des überwachten Objektes (hier Tastatur KBD) ein Fremdgegenstand befindet, der aber keinem Manipulationsgegenstand (z.B. Tastaturüberbau) entsprechen kann. Deshalb würde sich z.B. ein Ausgabewert OUT2 von 0,3 ergeben , der anzeigt, dass (eher) keine Manipulation vorliegt.
Um zu einem aussagekräftigen eindeutigen Endergebnis zu kommen, werden in weiteren parallelen Schritten 111 und 112 die Ausgabewerte OUT1 bzw. OÜT2 gewichtet und/oder mit Schwellwerten TH1 bzw. TH2 verglichen, so dass sich logisch verknüpfbare Werte 0UT1* bzw. OUT2* ergeben, die entweder ein JA oder ein NEIN anzeigen. Entspricht der Wert OUT1* dem logischen Wert „1", so bedeutet dies, dass die Klassifizierung CF auf Manipulation erkannt hat. Dies wird hier durch ein „Y" (für Englisch ,,Yes") symbolisiert. Andernfalls ergibt sich ein „N" (für Englisch „No") . Entspricht der Wert OUT2* ebenfalls einem „Y", so bedeutet dies, dass die Manipulation plausibel ist. Die Schwellwerte THl und TH2 werden beispielsweise im mittleren Wertebereich, d.h. bei etwa 0,5 eingestellt, so dass Ausgabewerte größer 0,5 ein klares „Y* (Aussage „Ja" bzw. „Yes*) bedeuten.
Durch eine im Schritt 130 durchgeführte logische UND- Verknüpfung, die auch anhand der Fig. 3 veranschaulicht wird, erhält man das Endergebnis. Wie die in der Fig. 3 dargestellte Entscheidungs-Matrix zeigt, wird nur dann ein Manipulationsversuch klar erkannt und verifiziert, wenn beide Klassifikatoren jeweils ein positives Ergebnis „Y" liefern, d.h. wenn der erste Klassiflkator CF auf Manipulation erkennt und der zweite unabhängig davon auf eine plausible Manipulationssituation erkennt. Der zweite Klassifikator SC sorgt für eine vernünftige Entscheidung und könnte daher auch als „Sanity Checker" bezeichnet werden. Durch die strikte Trennung der beiden Klassifikatoren bzw. deren Aufgaben (Erkennen von Änderungen oder Überprüfen auf Plausibilität) wird die hier vorgeschlagene Manipulationserkennung sehr robust gegenüber Fehlentscheidungen.
Wie oben beschrieben wurde, werden beispielsweise die Kamerasignale (Rohbilddaten) zunächst einer Bildverarbeitung (Kantendetektlon) unterzogen (s. Block IPRC in Fig. 1) . Daraus werden dann Merkmale extrahiert (A bis D in Fig. 2), die z.B. die Kantenlängen, Abstände, Winkel, Umgebungslichtverhältnisse usw. betreffen. Diese Merkmale werden dann klassifiziert. Im ersten Klassifikator CF werden z.B. die Merkmale „Kantenlänge" und „Winkel" klassifiziert, um eine Manipulation zu erkennen; im zweiten Klassifikator CF werden die anderen Merkmale „Winkel" und/oder „Umgebungslicht" klassifiziert, um die Plausibilität zu prüfen (Vernunft-Prüfung; SanityCheck) . Die Erfindung kann auch so ausgeführt werden, dass beispielsweise mit dem ersten Klassifikator Quantitäten und mit dem zweiten Klassifikator Qualitäten klassifiziert werden.
Zudem ermöglicht die Überprüfung auf Plausibilität es, dass bei einer erkannten Änderung am überwachten Objekt auch auf das Vorhandensein eines Fremdobjektes geschlossen werden kann, das keine Skimming-Vorrichtung ist, sondern lediglich ein persönlicher Gegenstand eines Nutzers. In der Entscheidungs-Matrix nach Fig. 3 entspricht dies dem Fall, dass OUT1* » Y ist und 0UT2* = N ist. In diesem Fall kann das System eine automatische Benachrichtigung des Nutzers bzw. Kunden veranlassen, z.B. über Email oder SMS. Diese Möglichkeit bietet einen neuen Kundenservice. Der Betreiber des SB-Terminals wird in diesem Fall ebenfalls sofort benachrichtigt, um den vergessenen Gegenstand für den Kunden zur späteren Abholung aufzubewahren. Wenn also Gegenstände am SS-Terminal liegen gelassen werden, kann eine automatisches
Erzeugen und Aussenden von Email/SMS durch Zugriff auf Kunden-Datenbank erfolgen. Zusätzlich kann z.B. ein stiller Alarm an das Personal des SB-Terminals zwecks Sicherung des vergessenen Gegenstandes ausgelöst werden. Auch können Fotos/Filme erstellt werden sowie Warnhinweise auf dem
Bildschirm angezeigt werden, um einen Diebstahl zu vereiteln.
Die vorliegende Erfindung wurde am Beispiel eines Geldautomaten beschrieben, ist aber nicht hierauf beschränkt, sondern kann auf jede Art von Selbstbedienungsterminals angewendet werden.
Bezügezeichenliste
100 Verfahren mit folgenden Schrittfolgen:
101 Eingabe von Bilddaten IN
sowie Vorgabe von Merkmalen (A...D)
110 Datenverarbeitung mittels erstem Klassifikator CF 120 (parallel dazu) Datenverarbeitung mittels
zweitem Klassifikator CF
111 Schwellwert-Entscheidung für OUT1
112 Schwellwert-Entscheidung für OUT2
130 Alarmierung und/oder Benachrichtigung
ATM Selbstbedienungsterminal, als Geldautomat ausgebildet, mit folgenden Bedienelementen:
KBD Tastatur, SHT Geldausgabefach,
CSL Karteneingabetrichter
CAM, CAM', CAM" Kameras, jeweils auf ein Bedienelement ausgerichtet
CTR Vorrichtung, hier Steuereinrichtung für ATM mit:
IPRC Bildverarbeitungseinheit
M100, M100', M100" Manipulationserkennungsmodule mit verschiedenen Klassifizieren
ALRT Alarm-/Benachrichtigungseinheit

Claims

Patentansprüche 1. Verfahren (100) zum filrkennen und Verifizieren von
Manipulationsversuchen an einem
Selbstbedienungsterminal (ATM) , das mindestens ein für Nutzer des Selbstbedienungsterminals (ATM)
bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, wobei die von der Kamera (CAM) erzeugten Bilddaten (IN) einem ersten Klassifikator (CF) zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob ein
Manipulationsversuch an dem Bedienelement (KDB) zu erkennen ist,
dadurch gekennzeichnet, dass
die Bilddaten (IN) parallel zum ersten Klassifikator (CF) auch einem zweiten Klassifikator (SC) zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist. 2. Verfahren (100) nach Anspruch 1, dadurch
gekennzeichnet, dass die Bilddaten (IN) in den
Klassifikatoren (CF, SC) parallel und unabhängig voneinander verarbeitet werden. 3. Verfahren (100) nach Anspruch 1 oder 2, dadurch
gekennzeichnet, dass der erste Klassifikator (CF) die Bilddaten (IN) anhand erster Merkmale (A, B) auswertet, um einen ersten Ausgabewert (0UT1) zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer Veränderung der optischen Erscheinung des Bedienelements (KDB) anzeigt .
4. Verfahren (100) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass der zweit© Klassifikator (SC) die Bilddatan (IN) anhand zweiter Merkmale (C, D)
auswertet, um einen zweiten Ausgabewert (0UT2) zu erhalten, der die Wahrscheinlichkeit für das Vorlieqen einer für Manipulationen typischen Veränderung der optischen Erscheinung des Bedienelements (KDB) anzeigt. 5. Verfahren (100) nach einem der Ansprüche 3 oder 4,
dadurch gekennzeichnet, dass der erste Ausgabewert (OUT1) mit einem ersten Schwellwert (TH1) bzw. der zweite Ausgabewert (OUT2) mit einem zweiten Schwellwert (TH2) verglichen wird, um einen ersten bzw. zweiten Binärwert zu erhalten. 6. Verfahren (100) nach einem der vorhergehenden
Ansprüche, dadurch gekennzeichnet, dass auf die dem ersten und/oder zweiten Klassifikator (CF, SC)
zugeführten Bilddaten (IN) eine Kantendetektion
angewendet wird. 7. Verfahren (100) nach einem der vorhergehenden
Ansprüche, dadurch gekennzeichnet, dass ein Alarm ausgelöst wird, wenn mittels des ersten Klassifikators (CF) ein Manipulationsversuch an dem Bedienelement (KDB) erkannt wird und wenn mittels des zweiten
Klassifikators (SC) das Erkennen des
Manipulationsversuchs als plausibel bewertet wird. 8. Verfahren (100) nach einem der vorhergehenden
Ansprüche, dadurch gekennzeichnet, dass eine Anzeige, insbesondere Benachrichtigung, für einen Betreiber und/oder Nutzer des Selbstbedienungsterminal erzeugt wird, wenn mittels des ersten Klassifikators (CF) ein Manipulationsversuch an dem Bedienelement (KDB) erkannt wird und wenn mittels des zweiten Klassifikators (SC) das Erkennen des Manipulationsversuchs als nicht plausibel bewertet wird. Verfahren (100) nach Anspruch 8, dadurch
gekennzeichnet, dass die Benachrichtigung für den
Betreiber und/oder Nutzer des Selbstbedienungsterminal über einen Kommunikationsdienst, insbesondere Email oder SMS, versendet wird. Vorrichtung (CTR) zum Erkennen und Verifizieren von Manipulationsversuchen an einem
Selbstbedienungsterminal (ATM) , das mindestens ein für Nutzer des Selbstbedienungsterminals (ATM)
bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, wobei die Vorrichtung (CTR) mit der mindestens einen Kamera (CAM) verbunden ist und von der Kamera (CAM) erzeugte ailddaten (IN) empfängt, und wobei die Vorrichtung (CTR) eine Datenverarbeitungseinheit mit einem ersten Klassifikator (CF) aufweist, der anhand der Bilddaten (IN) prüft, ob ein Manipulationsversuch an dem
Bedienelement (KDB) zu erkennen ist,
dadurch gekennzeichnet, dass
die die Datenverarbeitungseinheit der Vorrichtung (CTR) einen zweiten Klassifikator (SC) aufweist, der parallel zum ersten Klassifikator (CF) die Bilddaten (IN) verarbeitet und prüft, ob das Erkennen eines
Manipulationsversuchs plausibel ist.
11. Selbstbedienungsterminal (ATM) , das mindestens ein für Nutzer dos Selbstbedienungsterminals (ATM)
bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, und das eine Vorrichtung (CTR) zum Erkennen und Verifizieren von Manipulationsversuchen an dem Selbstbedienungsterminal (ATM) aufweist, wobei die Vorrichtung (CTR) mit der mindestens einen Kamera (CAM) verbunden ist und von der Kamera (CAM) erzeugte Bilddaten (IN) empfängt, und wobei die Vorrichtung (CTR) eine
Datenverarbeitungseinheit mit einem ersten
Klassifikator (CF) aufweist, der anhand der Bilddaten (IN) prüft, ob ein Manipulationsversuch an dem
Bedienelement (KDB) zu erkennen ist,
dadurch gekennzeichnet, dass
die die Datenverarbeitungseinheit der Vorrichtung (CTR) einen zweiten Klassifikator (SC) aufweist, der parallel zum ersten Klassifikator (CF) die Bilddaten (IN) verarbeitet und prüft, ob das Erkennen eines
Manipulationsversuchs plausibel ist. 12. Selbstbedienungsterminal (ATM) nach Anspruch 11,
dadurch gekennzeichnet, dass das
Selbstbedienungsterminal einen Geldautomaten (ATM) darstellt. 13. Selbstbedienungsterminal (ATM) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das mindestens eine Bedienelement ein manipulationsgeeignetes Element, insbesondere eine Tastatur (KBD) , ein Geldausgabefach (SHT) und/oder einen Karteneingabetrichter (CSL) darstellt.
14. Selbstbedienungsterminal (ATM) nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass das mindestens eine von der Kamera (CAM) erfasste Bedienelement (KBD) optisch eindeutig erkennbare Merkmale aufweist, insbesondere sich von homogenen Flächen abgrenzende Kanten aufweist.
EP11741562.0A 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal Active EP2603905B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010036961A DE102010036961A1 (de) 2010-08-12 2010-08-12 Verfahren und Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal
PCT/EP2011/063510 WO2012019968A1 (de) 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal

Publications (2)

Publication Number Publication Date
EP2603905A1 true EP2603905A1 (de) 2013-06-19
EP2603905B1 EP2603905B1 (de) 2021-09-29

Family

ID=44509812

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11741562.0A Active EP2603905B1 (de) 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal

Country Status (3)

Country Link
EP (1) EP2603905B1 (de)
DE (1) DE102010036961A1 (de)
WO (1) WO2012019968A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2736026B1 (de) 2012-11-26 2020-03-25 Wincor Nixdorf International GmbH Vorrichtung zum Auslesen einer Magnetstreifen- und/oder Chipkarte mit einer Kamera zur Detektion von eingeschobenen Skimmingmodulen
EP2897112B1 (de) 2014-01-17 2019-03-06 Wincor Nixdorf International GmbH Verfahren und Vorrichtung zur Vermeidung von Fehlalarmen bei Überwachungssystemen
EP2897108B1 (de) 2014-01-17 2020-04-22 Wincor Nixdorf International GmbH Prüfeinheit zum Detektieren von Skimmingmodulen
US11657681B1 (en) 2022-02-25 2023-05-23 Kyndryl, Inc. System to prevent full ATM enclosure skimming attacks

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351585B (en) * 1999-06-29 2003-09-03 Ncr Int Inc Self service terminal
DE20102477U1 (de) 2000-02-22 2001-05-03 Wincor Nixdorf Gmbh & Co Kg Einrichtung zum Schutz von SB-Automaten gegen Manipulationen
WO2005109315A2 (en) * 2004-04-30 2005-11-17 Utc Fire & Safety Corp. Atm security system
US20060169764A1 (en) * 2005-01-28 2006-08-03 Ncr Corporation Self-service terminal
US20090201372A1 (en) * 2006-02-13 2009-08-13 Fraudhalt, Ltd. Method and apparatus for integrated atm surveillance
JP4961158B2 (ja) * 2006-04-12 2012-06-27 日立オムロンターミナルソリューションズ株式会社 自動取引装置および不審物検知システム
US7942315B2 (en) 2007-09-05 2011-05-17 Ncr Corporation Self-service terminal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2012019968A1 *

Also Published As

Publication number Publication date
EP2603905B1 (de) 2021-09-29
WO2012019968A1 (de) 2012-02-16
DE102010036961A1 (de) 2012-02-16

Similar Documents

Publication Publication Date Title
EP2422328B1 (de) Selbstbedienungsterminal mit mindestens einer kamera zum erkennen von manipulationsversuchen
DE102009018322A1 (de) Selbstbedienungsterminal mit Kamera zum Erkennen von Manipulationsversuchen
US7876351B2 (en) Methods and systems for alerting by weighing data based on the source, time received, and frequency received
EP2422325B1 (de) Selbstbedienungsterminal mit mindestens einer bilddaten erzeugenden kamera zum erkennen von manipulationsversuchen
DE69933056T2 (de) Überwachungssystem
EP2897112B1 (de) Verfahren und Vorrichtung zur Vermeidung von Fehlalarmen bei Überwachungssystemen
EP2422326A1 (de) Verfahren zum erkennen von manipulationsversuchen an einem selbstbedienungsterminal und datenverarbeitungseinheit dafür
DE102009028604A1 (de) Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
CH695003A5 (de) Verfahren und Vorrichtung zum Schutz von SB-Automaten gegen Manipulationen.
CN108009488A (zh) 基于行为分析的街道安全联防系统
WO2012019968A1 (de) Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal
CN110390748A (zh) 一种智能无人安检通道系统及应用方法
DE102020203640A1 (de) Tür oder Türanlage und Verfahren zum Betrieb einer solchen
WO2010037610A1 (de) Verfahren und vorrichtung zur erkennung von angriffen auf einen selbstbedienungsautomat
DE102020124235A1 (de) Verfahren zur erkennung von fehlverhalten digitaler schlüssel und sybil-angriffen durch benutzer-profiling
EP2503354A1 (de) Selbstbedienungs-Terminal und Verfahren zur Überwachung eines Benutzer-Aufenthaltsbereichs
EP1760678A2 (de) Sicherheitssystem
EP3142039A2 (de) Selbstbedienungsterminal mit kartenleseeinrichtung und überwachungsverfahren
DE102004042999A1 (de) Vorrichtung und Verfahren zum Prüfen einer Zugangsberechtigung zu einem geschützten Bereich
EP2422324B1 (de) Selbstbedienungsterminal mit kamera-anordnung zum erkennen von manipulationsversuchen
DE102018121110A1 (de) Verfahren und Vorrichtung zur Dokumentation eines Status eines autonomen Roboters
EP3680814B1 (de) Verfahren zur erkennung von bewegungsabläufen und passiererkennungssystem
EP2455925B1 (de) Verfahren und Vorrichtung zur Abwehr von Manipulationsversuchen an einem Kamera-System
CN114758457B (zh) 一种加钞间违规操作智能监测方法及装置
DE102010060473A1 (de) Geld- oder Bankautomat sowie Verfahren zur Steuerung der Bilderfassung in einem solchen Automaten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130312

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20171127

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200716

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

INTC Intention to grant announced (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20210310

RIN1 Information on inventor provided before grant (corrected)

Inventor name: PRIESTERJAHN, STEFFEN

Inventor name: LE, DINH KHOI

Inventor name: DRICHEL, ALEXANDER

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1434884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011017241

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211229

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211229

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220129

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220131

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011017241

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230323 AND 20230329

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220831

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230525 AND 20230601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502011017241

Country of ref document: DE

Owner name: DIEBOLD NIXDORF SYSTEMS GMBH, DE

Free format text: FORMER OWNER: WINCOR NIXDORF INTERNATIONAL GMBH, 33106 PADERBORN, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1434884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240723

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240723

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240723

Year of fee payment: 14