Nothing Special   »   [go: up one dir, main page]

EP3347858B1 - Device and method for processing an image representation representing at least one information - Google Patents

Device and method for processing an image representation representing at least one information Download PDF

Info

Publication number
EP3347858B1
EP3347858B1 EP16788646.4A EP16788646A EP3347858B1 EP 3347858 B1 EP3347858 B1 EP 3347858B1 EP 16788646 A EP16788646 A EP 16788646A EP 3347858 B1 EP3347858 B1 EP 3347858B1
Authority
EP
European Patent Office
Prior art keywords
image representation
information
comparison
determined
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP16788646.4A
Other languages
German (de)
French (fr)
Other versions
EP3347858A1 (en
Inventor
Stephan Becker
Wilhelm Beutel
Thomas BUNTROCK
Helmuth EULER
Peter Vorwerk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3347858A1 publication Critical patent/EP3347858A1/en
Application granted granted Critical
Publication of EP3347858B1 publication Critical patent/EP3347858B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • image representations In many areas of technology, for example in railway technology, graphically displayed visualizations, so-called image representations, must be checked for safety reasons.
  • This image representation is shown on a monitor, for example, and shows the process status or the process states of a technical system, in particular a railway system.
  • image representations At the operator station of a signal box of the railway system, image representations that are output by a graphics card and concern the safety-relevant parts must be checked for correctness for safety reasons. It must be ensured that what is actually displayed is what is supposed to be displayed and that falsifications of the display are revealed. The position of a switch, for example, must be shown as it really is. This check can be carried out, for example, by a redundant image display on two independent systems.
  • the image display is the two independent systems simultaneously process and visualize the image. Both systems read the image displayed from a graphics card memory. The checksums of both image displays are then calculated, for example, and can be compared with each other. If the checksums are different, the image display is classified as falsified and therefore unreliable. However, the effort required for redundant image display is relatively high. Furthermore, this check is very sensitive to any type of deviation, because even a deviation of a single image pixel at any position, which would actually be unproblematic, can lead to an error message.
  • This object is achieved by a method according to claim 1 for processing an image representation representing at least one piece of information, in which a match of at least one part of the image representation with at least one part of a known comparison pattern is determined and in which information assigned to the comparison pattern is determined as the at least one piece of information represented by the image representation.
  • a device for processing an image representation representing at least one piece of information, with at least one storage device which is designed to store at least one known comparison pattern and at least one piece of information assigned to the comparison pattern, and with at least one evaluation device which is designed to determine a match of at least part of the image representation with at least part of the at least one comparison pattern stored in the storage device and which is designed to determine the information assigned to the comparison pattern and stored in the storage device as the at least one piece of information represented by the image representation.
  • the solution according to the invention has the advantage that the information represented by the image can be easily determined by the determined correspondence with the known comparison pattern. This allows the information represented to be checked without having to check all pixels of the image. This makes it possible to check an image and smaller deviations can be tolerated as long as there is a clear and unambiguous identification of the respective comparison pattern and the assignment of the corresponding information, which is, for example, a certain process state of the railway system, is possible. This shifts the actual evaluation from the error-prone pixel-by-pixel evaluation of the image representation to the less susceptible determination of the information displayed. This change in the evaluation process increases the reliability against errors and simplifies automation.
  • the comparison device 3 checks whether the process state 6 shown and determined in the image representation corresponds to the true process state 6 of the railway system 5. For this purpose, the true process state 6 is transmitted from the signal box to the comparison device 3. The process state 6 is also converted in text form into a meta-language translated and the checksum is formed for data compression. This can be done, for example, in the comparison device 3. In any case, the comparison device 3 can compare the two checksums with each other and determine whether the process state 6' shown by the image display 8 corresponds to the true process state 6. The true process state 6 is transmitted to the comparison device 3, for example in the form of a telegram.
  • the comparison patterns 14 are defined and compared on the one hand via the shape and on the other hand via the foreground color and background color used.
  • the shape is first checked for each comparison pattern 14.
  • the shapes of the comparison patterns consist of, for example, three parts. First of all, pixels that are considered to be the foreground of the character shown in the image representation 8. These pixels must match the foreground of the image representation. In addition, pixels that are considered to be the background of the comparison pattern 14. These pixels must match the background of the image representation 8. Finally, there are pixels that are in an area that was excluded from the comparison and are not to be assessed as either foreground or background. These do not have to match the image representation 8 for the comparison pattern 14 under consideration. Here, for example, another element can extend into the area of the image representation under consideration, which is examined in a further test cycle. After the shape of the comparison pattern 14 has been recognized, the foreground colors and background colors are determined and saved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

Eine automatische Überprüfung von Bilddaten ist beispielsweise in der US 2009/290757 A1 (MIAN ZAHID F [US] ET AL) 26. November 2009 (2009-11-26), in der EP 1 395 059 A2 (FUJI HEAVY IND LTD [JP]) 3. März 2004 (2004-03-03), in der JP 2004 094640 A (FUJI HEAVY IND LTD) 25. März 2004 (2004-03-25), in der WO 2012/016374 A1 (EMPIRE TECHNOLOGY DEV LLC [US]; WANG ZHANJIE [CN]) 9. Februar 2012 (2012-02-09), in der US 2010/177963 A1 (YOKOMITSU SUMIO [JP] ET AL) 15. Juli 2010 (2010-07-15) sowie in M. A. MCHUTCHON ET AL: "Signal Processing for Remote Condition Monitoring of Railway Points", STRAIN., Bd. 41, Nr. 2, 1. Mai 2005, Seiten 71-85 beschrieben.An automatic verification of image data is possible, for example, in the US 2009/290757 A1 (MIAN ZAHID F [US] ET AL) November 26, 2009 (2009-11-26), in the EP 1 395 059 A2 (FUJI HEAVY IND LTD [JP]) 3 March 2004 (2004-03-03), in the JP 2004 094640 A (FUJI HEAVY IND LTD) 25 March 2004 (2004-03-25), in the WO 2012/016374 A1 (EMPIRE TECHNOLOGY DEV LLC [US]; WANG ZHANJIE [CN]) February 9, 2012 (2012-02-09), in the US 2010/177963 A1 (YOKOMITSU SUMIO [JP] ET AL) July 15, 2010 (2010-07-15) and in MA MCHUTCHON ET AL: "Signal Processing for Remote Condition Monitoring of Railway Points", STRAIN., Vol. 41, No. 2, May 1, 2005, pages 71-85 described.

In vielen Bereichen der Technik, beispielsweise in der Eisenbahntechnik, müssen grafisch dargestellte Visualisierungen, sogenannte Bilddarstellungen, aus Sicherheitsgründen überprüft werden. Diese Bilddarstellung wird beispielsweise auf einem Monitor dargestellt und gibt beispielsweise den Prozesszustand oder die Prozesszustände einer technischen Anlage, insbesondere einer eisenbahntechnischen Anlage, wieder. Auf dem Bedienplatz eines Stellwerks der eisenbahntechnischen Anlage müssen aus Sicherheitsgründen Bilddarstellungen, die von einer Grafikkarte ausgegeben werden und die sicherheitsrelevanten Teile betreffen, auf Korrektheit überprüft werden. Es muss sichergestellt werden, dass auch tatsächlich das angezeigt wird, was angezeigt werden soll und Verfälschungen der Darstellung offenbart werden. Die Stellung einer Weiche muss beispielsweise so dargestellt werden, wie sie wirklich ist. Diese Überprüfung kann beispielsweise durch eine redundante Bilddarstellung auf zwei unabhängigen Systemen erfolgen. Dafür wird die Bilddarstellung von den zwei unabhängigen Systemen zeitgleich aufbereitet und visualisiert. Dabei wird von beiden Systemen die dargestellte Bilddarstellung aus einem Grafikkartenspeicher ausgelesen. Von beiden Bilddarstellungen wird dann beispielsweise jeweils die Prüfsumme berechnet, die miteinander verglichen werden können. Bei ungleichen Prüfsummen wird die Bilddarstellung als verfälscht und damit als nicht verlässlich eingestuft. Der Aufwand für die redundante Bilddarstellung ist allerdings relativ hoch. Weiterhin reagiert diese Überprüfung sehr empfindlich auf jede Art von Abweichung, weil bereits eine Abweichung eines einzelnen Bildpixels an beliebiger Position, die eigentlich unproblematisch wäre, zu einer Fehlermeldung führen kann.In many areas of technology, for example in railway technology, graphically displayed visualizations, so-called image representations, must be checked for safety reasons. This image representation is shown on a monitor, for example, and shows the process status or the process states of a technical system, in particular a railway system. At the operator station of a signal box of the railway system, image representations that are output by a graphics card and concern the safety-relevant parts must be checked for correctness for safety reasons. It must be ensured that what is actually displayed is what is supposed to be displayed and that falsifications of the display are revealed. The position of a switch, for example, must be shown as it really is. This check can be carried out, for example, by a redundant image display on two independent systems. For this purpose, the image display is the two independent systems simultaneously process and visualize the image. Both systems read the image displayed from a graphics card memory. The checksums of both image displays are then calculated, for example, and can be compared with each other. If the checksums are different, the image display is classified as falsified and therefore unreliable. However, the effort required for redundant image display is relatively high. Furthermore, this check is very sensitive to any type of deviation, because even a deviation of a single image pixel at any position, which would actually be unproblematic, can lead to an error message.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, mit denen eine Bilddarstellung auf einfache Weise und möglichst unempfindlich gegenüber nicht signifikanten Abweichungen überprüft werden kann.It is therefore the object of the present invention to provide a method and a device with which an image representation can be checked in a simple manner and as insensitively as possible to non-significant deviations.

Diese Aufgabe wird gelöst von einem Verfahren nach Anspruch 1 zum Verarbeiten einer wenigstens eine Information darstellenden Bilddarstellung, bei dem eine Übereinstimmung von wenigstens einem Teil der Bilddarstellung mit wenigstens einem Teil eines bekannten Vergleichsmusters ermittelt wird und bei dem eine dem Vergleichsmuster zugewiesene Information als die wenigstens eine von der Bilddarstellung dargestellte Information ermittelt wird.This object is achieved by a method according to claim 1 for processing an image representation representing at least one piece of information, in which a match of at least one part of the image representation with at least one part of a known comparison pattern is determined and in which information assigned to the comparison pattern is determined as the at least one piece of information represented by the image representation.

Ferner wird diese Aufgabe gelöst durch eine Vorrichtung nach Anspruch 12 zum Verarbeiten einer wenigstens eine Information darstellenden Bilddarstellung, mit wenigstens einer Speichereinrichtung, die zum Speichern von wenigstens einem bekannten Vergleichsmuster und wenigstens einer dem Vergleichsmuster zugewiesenen Information ausgebildet ist, und mit wenigstens einer Auswerteeinrichtung, die zum Ermitteln einer Übereinstimmung von wenigstens einem Teil der Bilddarstellung mit wenigstens einem Teil des wenigstens einen in der Speichereinrichtung gespeicherten Vergleichsmusters ausgebildet ist und die zum Ermitteln der dem Vergleichsmuster zugeordnetem und in der Speichereinrichtung gespeicherten Information als die wenigstens eine von der Bilddarstellung dargestellte Information ausgebildet ist.Furthermore, this object is achieved by a device according to claim 12 for processing an image representation representing at least one piece of information, with at least one storage device which is designed to store at least one known comparison pattern and at least one piece of information assigned to the comparison pattern, and with at least one evaluation device which is designed to determine a match of at least part of the image representation with at least part of the at least one comparison pattern stored in the storage device and which is designed to determine the information assigned to the comparison pattern and stored in the storage device as the at least one piece of information represented by the image representation.

Die erfindungsgemäße Lösung hat den Vorteil, dass durch die festgestellte Übereinstimmung mit dem bekannten Vergleichsmuster die von der Bilddarstellung dargestellte Information einfach ermittelt werden kann. So kann die dargestellte Information überprüft werden, ohne dass eine Überprüfung aller Pixel der Bilddarstellung stattfinden muss. So ist die Überprüfung einer Bilddarstellung möglich und kleinere Abweichungen können toleriert werden, solange eine eindeutige und zweifelsfreie Identifikation des jeweiligen Vergleichsmusters und die Zuordnung der korrespondierenden Information, die beispielsweise ein bestimmter Prozesszustand der eisenbahntechnischen Anlage ist, möglich ist. Damit wird die eigentliche Auswertung von der störanfälligen pixelweisen Auswertung der Bilddarstellung zu der weniger anfälligen Bestimmung der dargestellten Information verschoben. Diese Änderung des Auswerteprozesses erhöht die Störungssicherheit und vereinfacht die Automatisierung.The solution according to the invention has the advantage that the information represented by the image can be easily determined by the determined correspondence with the known comparison pattern. This allows the information represented to be checked without having to check all pixels of the image. This makes it possible to check an image and smaller deviations can be tolerated as long as there is a clear and unambiguous identification of the respective comparison pattern and the assignment of the corresponding information, which is, for example, a certain process state of the railway system, is possible. This shifts the actual evaluation from the error-prone pixel-by-pixel evaluation of the image representation to the less susceptible determination of the information displayed. This change in the evaluation process increases the reliability against errors and simplifies automation.

Bei dem erfindungsgemäßen Verfahren wird die als von der Bilddarstellung dargestellt ermittelte Information mit einer als wahr bekannten von der Bilddarstellung darzustellenden Information verglichen. Diese wahre Information, beispielsweise die Stellung einer Weiche oder eines Signals einer eisenbahntechnischen Anlage, wird stellwerksseitig bereitgestellt. Dies hat den Vorteil, dass unabhängig von der pixelgenauen grafischen Darstellung der Bilddarstellung die dargestellte Information gegenüber der darzustellenden Information geprüft wird. So werden Störungen durch unbedeutende Pixelfehler ausgeschlossen.In the method according to the invention, the information determined to be represented by the image display is compared with information known to be true and to be represented by the image display. This true information, for example the position of a switch or a signal of a railway system, is provided by the signal box. This has the advantage that, regardless of the pixel-accurate graphical representation of the image display, the information displayed is checked against the information to be displayed. This eliminates interference caused by insignificant pixel errors.

Die erfindungsgemäße Lösung kann durch vorteilhafte Ausgestaltungen weiterentwickelt werden, die im Folgenden beschrieben sind.The solution according to the invention can be further developed by advantageous embodiments which are described below.

Um eine einfache Überprüfung durchzuführen, können beim Ermitteln der Übereinstimmung die Bilddarstellung und das Vergleichsmuster durch Korrelation im Wesentlichen pixelweise verglichen werden. Dies ist ein einfaches und bewährtes Verfahren, um eine Übereinstimmung abschätzen zu können. Damit eine Störanfälligkeit vermieden wird, kann beim Ermitteln der Übereinstimmung eine Abweichung zwischen Bilddarstellung und Vergleichsmuster in einem vorbestimmten Umfang zugelassen werden. So kann beispielsweise ausgeschlossen werden, dass durch kleine Pixelfehler in der Darstellung, die keine sicherheitstechnischen Auswirkungen haben, eine Fehlerreaktion ausgelöst wird, die zu unnötigen aufwendigen Maßnahmen führt.In order to carry out a simple check, the image representation and the comparison pattern can be compared essentially pixel by pixel by means of correlation when determining the match. This is a simple and proven method for estimating a match. In order to avoid susceptibility to interference, a deviation between the image representation and the comparison pattern can be permitted to a predetermined extent when determining the match. This can, for example, rule out the possibility of small pixel errors in the representation that have no safety-related impact triggering an error reaction that leads to unnecessary, complex measures.

In einer vorteilhaften Ausgestaltung kann das wenigstens eine Vergleichsmuster eingelernt werden. Dies hat den Vorteil, dass neu darzustellende Informationen, beispielsweise neue Signale, leicht in ein bestehendes System eingearbeitet werden können und dadurch das erfindungsgemäße Verfahren besonders flexibel ist. Auch das erste Einlernen von den Vergleichsmustern kann schnell erledigt werden.In an advantageous embodiment, the at least one comparison pattern can be taught. This has the advantage that new information to be displayed, for example new signals, can be easily incorporated into an existing system and the method according to the invention is therefore particularly flexible. The initial teaching of the comparison patterns can also be done quickly.

Um die erfindungsgemäße Lösung besonders gut nutzen zu können, umfasst die Information erfindungsgemäß jeweils wenigstens einen Prozesszustand einer eisenbahntechnischen Anlage.In order to be able to use the solution according to the invention particularly well, the information according to the invention comprises at least one process state of a railway system.

Ferner kann beim Ermitteln der Übereinstimmung eine Form und/oder eine Farbe der Bilddarstellung erfasst und mit einer bekannten Form und/oder Farbe des Vergleichsmusters verglichen werden. Dies hat den Vorteil, dass die Farbe und die Form unabhängig voneinander mit beispielsweise unterschiedlichen Prüfkriterien verglichen werden können. Weiterhin kann die Form und/oder Farbe jeweils in separaten Bereichen erkannt und verglichen werden, insbesondere in einem Vordergrund und/oder einem Hintergrund. Es können Bereiche des Vergleichsmusters vom Vergleich ausgeschlossen werden. Beispielsweise wird für jedes Vergleichsmuster zunächst in einem ersten Prüfschritt die Form überprüft. Dabei werden die Formen der Vergleichsmuster in beispielsweise drei Anteilen betrachtet: Zunächst Pixel, die als Vordergrund des Vergleichsmusters betrachtet werden und die mit dem Vordergrund der Bilddarstellung übereinstimmen müssen. Anschließend werden Pixel, die als Hintergrund des Vergleichsmusters betrachtet werden, geprüft. Diese müssen mit dem Hintergrund der Bilddarstellung übereinstimmen. Schließlich können Pixel geprüft werden, die in dem Bereich liegen, der vom Vergleich ausgeschlossen wurde und weder als Vordergrund noch als Hintergrund zu betrachten ist. Diese müssen für das betrachtete Vergleichsmuster nicht mit der Bilddarstellung übereinstimmen. Beispielsweise kann ein anderes Element in diesen Bereich hineinragen, das in einem separaten Prüfzyklus mit einem anderen Vergleichsmuster verglichen wird. Nachdem beispielsweise die Form eines Vergleichsmusters erkannt wurde, werden Vordergrundfarben und Hintergrundfarben ermittelt und geprüft.Furthermore, when determining the match, a shape and/or a color of the image representation can be detected and compared with a known shape and/or color of the comparison pattern. This has the advantage that the color and the shape can be compared independently of one another using, for example, different test criteria. Furthermore, the shape and/or color can be recognized and compared in separate areas, in particular in a foreground and/or a background. Areas of the comparison pattern can be excluded from the comparison. For example, the shape is checked for each comparison pattern in a first test step. The shapes of the comparison patterns are considered in, for example, three parts: First, pixels that are considered the foreground of the comparison pattern and that must match the foreground of the image representation. Then, pixels that are considered the background of the comparison pattern are checked. These must match the background of the image representation. Finally, pixels that are in the area that was excluded from the comparison and is to be considered neither foreground nor background can be checked. These do not have to match the image representation for the comparison pattern under consideration. For example, another element may extend into this area, which in a separate test cycle with another comparison pattern. For example, after the shape of a comparison pattern has been recognized, foreground colors and background colors are determined and checked.

In einer anderen vorteilhaften Ausgestaltung der Erfindung kann beim Ermitteln der Übereinstimmung die Bilddarstellung oder ein Teil der Bilddarstellung mit mehreren bekannten Vergleichsmustern verglichen werden. So wird die Bilddarstellung mit einer Vielzahl von Vergleichsmustern verglichen, die jeweils einer bestimmten Information zugeordnet sind. Hierdurch wird die von der Bilddarstellung dargestellte Information ermittelt, die dann anschließend auf ihre Richtigkeit überprüft werden kann. Alternativ hierzu wäre eine Vorgehensweise möglich, bei der zunächst anhand der wahren Information, beispielsweise des wahren Prozesszustands, das dieser wahren Information entsprechende Vergleichsmuster herausgesucht wird. Anschließend wird überprüft, ob dieses "Soll-Vergleichsmuster" mit der Bilddarstellung übereinstimmt.In another advantageous embodiment of the invention, the image representation or part of the image representation can be compared with several known comparison patterns when determining the match. The image representation is thus compared with a large number of comparison patterns, each of which is associated with a specific piece of information. This determines the information represented by the image representation, which can then be checked for accuracy. Alternatively, a procedure could be used to first use the true information, for example the true process state, to find the comparison pattern corresponding to this true information. It is then checked whether this "target comparison pattern" matches the image representation.

Wenn mit mehreren Vergleichsmustern verglichen wird, können mehrere Gruppen von Vergleichsmustern mit wenigstens einem gemeinsamen Merkmal gebildet werden und beim Ermitteln der Übereinstimmung zunächst eine Zugehörigkeit zu einer Gruppe der Vergleichsmuster ermittelt werden. Dies hat den Vorteil, dass durch die Gruppenbildung ein übereinstimmendes Vergleichsmuster in weniger Prüfschritten schneller gefunden werden kann und dadurch die nötige Bearbeitungszeit verringert wird.When comparing with several reference samples, several groups of reference samples with at least one common feature can be formed and when determining the match, membership of a group of reference samples can first be determined. This has the advantage that by forming groups, a matching reference sample can be found more quickly in fewer test steps, thus reducing the processing time required.

Um die Vergleichsmuster besonders einfach verarbeiten zu können, kann dem wenigstens einen Vergleichsmuster die Information in Textform zugeordnet sein, insbesondere in einer vordefinierten Meta-Sprache. Eine in Textform vorliegende Information kann auf einfache Weise weiterbearbeitet werden und ist dadurch vorteilhaft. Unter Meta-Sprache ist hier eine Sprache zu verstehen, die beispielsweise über zugehörige Objekte spricht. Beispielsweise wäre dies in einer eisenbahntechnischen Anlage der Text "Weiche Nr. 15 in Position 1". Ferner kann die als von der Bilddarstellung dargestellt ermittelte Information normiert werden, insbesondere durch eine Prüfsummenberechnung. Eine Normierung ist hilfreich, um beispielsweise die Textform weiter zu vereinfachen und dadurch möglichst wenig Daten übermitteln und verarbeiten zu müssen.In order to be able to process the comparison patterns particularly easily, the information can be assigned to the at least one comparison pattern in text form, in particular in a predefined meta-language. Information in text form can be further processed in a simple manner and is therefore advantageous. Meta-language is understood here to be a language that speaks, for example, about associated objects. For example, this would be in a railway system the text "Switch no. 15 in position 1". Furthermore, the information determined as represented by the image can be standardized, in particular by calculating a checksum. Standardization is helpful, for example, to further simplify the text form and thus to have to transmit and process as little data as possible.

Um die Bilddarstellung möglichst einfach erfassen zu können, kann diese digital, insbesondere aus einem Speicher einer Grafikkarte, ausgelesen werden.In order to capture the image representation as easily as possible, it can be read out digitally, especially from the memory of a graphics card.

Schließlich betrifft die Erfindung auch eine Prüfvorrichtung für eine Bilddarstellung einer eisenbahntechnischen Anlage, mit der erfindungsgemäßen Vorrichtung zum Verarbeiten einer wenigstens eine Information darstellenden Bilddarstellung, und mit einer Vergleichseinrichtung, die zum Vergleichen der von der Auswerteeinrichtung ermittelten Information mit einer als wahr bekannten von der Bilddarstellung darzustellenden Information ausgebildet ist. Die erfindungsgemäße Prüfvorrichtung wird in Verbindung mit einem Stellwerk einer eisenbahntechnischen Anlage eingesetzt, um sicherheitsrelevante Bilddarstellungen zu überprüfen. Im Folgenden wird die Erfindung mit Bezug auf die beispielshafte Ausführungsform in der beigefügten Zeichnung erläutert. Die einzige Figur zeigt eine schematische Darstellung einer beispielhaften Ausführungsform einer erfindungsgemäßen Prüfvorrichtung.Finally, the invention also relates to a testing device for an image representation of a railway system, with the device according to the invention for processing an image representation representing at least one piece of information, and with a comparison device which is designed to compare the information determined by the evaluation device with information known to be true and to be represented by the image representation. The testing device according to the invention is used in conjunction with a signal box of a railway system in order to check safety-relevant image representations. The invention is explained below with reference to the exemplary embodiment in the attached drawing. The single figure shows a schematic representation of an exemplary embodiment of a testing device according to the invention.

Die beispielhafte Ausführungsform der erfindungsgemäßen Prüfvorrichtung 1 umfasst eine Verarbeitungsvorrichtung 2 und eine Vergleichseinrichtung 3. In der dargestellten Ausführungsform ist die Prüfvorrichtung 1 in Verbindung mit einem Stellwerk 4 einer eisenbahntechnischen Anlage 5 angeordnet.The exemplary embodiment of the testing device 1 according to the invention comprises a processing device 2 and a comparison device 3. In the embodiment shown, the testing device 1 is arranged in connection with a signal box 4 of a railway system 5.

Die eisenbahntechnische Anlage 5 wird durch das Stellwerk 4 kontrolliert und gesteuert. Dafür werden verschiedenste Prozesszustände, wie beispielsweise der Prozesszustand 6 eines Signals 7, in dem Stellwerk 4 dargestellt. Dieser Prozesszustand 6 wird in einer Bilddarstellung 8 beispielsweise auf einem Monitor dargestellt. Die Bilddarstellung 8 ist dabei eine grafisch dargestellte dynamische Visualisierung des Prozesszustands 6 der eisenbahntechnischen Anlage 5. Der Prozesszustand 6 stellt somit eine von der Bilddarstellung 8 dargestellte Information dar. Selbstverständlich kann die Bilddarstellung 8 eine Vielzahl von Prozesszuständen 6 darstellen, auch wenn in der Figur der Einfachheit halber nur ein Prozesszustand 6 dargestellt ist.The railway system 5 is monitored and controlled by the signal box 4. For this purpose, a wide variety of process states, such as the process state 6 of a signal 7, are shown in the signal box 4. This process state 6 is shown in an image display 8, for example on a monitor. The image display 8 is a graphically represented dynamic visualization of the process state 6 of the railway system 5. The process state 6 thus represents information shown by the image display 8. Of course, the image display 8 can show a variety of process states 6, even if only one process state 6 is shown in the figure for the sake of simplicity.

Die Bilddarstellung 8 wird auf Basis der Informationen vom Stellwerk 4 in einer Bearbeitungseinrichtung 9 erzeugt und beispielsweise in einem Grafikkartenspeicher 10 abgelegt. Aus dem Grafikkartenspeicher 10 greift das Anzeigemittel 11, beispielsweise ein Monitor, die Bilddarstellung 8 ab und stellt diese grafisch dar. Die Bediener steuern die eisenbahntechnische Anlage 5 aufgrund der Informationen, die mittels der Bilddarstellung 8 auf dem Anzeigemittel 11 dargestellt werden. Die dargestellte Information ist im beispielhaft dargestellten Fall der eisenbahntechnischen Anlage 5 der Prozesszustand 6. In anderen Anlagen könnten andere Informationen für einen Bediener dargestellt werden. Die Richtigkeit der dargestellten Informationen, also in diesem Fall des Prozesszustands 6, ist für den Betrieb der eisenbahntechnischen Anlage 5 und der mit ihr beförderten Fahrgäste von höchster Wichtigkeit. Daher wird die Korrektheit der vom Anzeigemittel 11 ausgegebenen Information durch die erfindungsgemäße Prüfvorrichtung 1 überprüft, so dass Verfälschungen der Bilddarstellung offenbart werden.The image representation 8 is generated on the basis of the information from the signal box 4 in a processing device 9 and stored, for example, in a graphics card memory 10. The display means 11, for example a monitor, retrieves the image representation 8 from the graphics card memory 10 and displays it graphically. The operators control the railway system 5 based on the information that is displayed on the display means 11 by means of the image representation 8. In the example of the railway system 5, the information displayed is the process state 6. In other systems, other information could be displayed for an operator. The correctness of the information displayed, i.e. in this case the process state 6, is of the utmost importance for the operation of the railway system 5 and the passengers transported with it. The correctness of the information output by the display means 11 is therefore checked by the testing device 1 according to the invention, so that falsifications of the image representation are revealed.

Die Verarbeitungsvorrichtung 2 der Prüfvorrichtung 1 umfasst eine Speichereinrichtung 12 und eine Auswerteeinrichtung 13. Die in der Bearbeitungseinrichtung 9 erzeugte Bilddarstellung 8 wird von der Prüfvorrichtung 1 in digitaler Form aus dem Grafikkartenspeicher 10 abgegriffen. Die Auswerteeinrichtung 13 vergleicht die Bilddarstellung 8 oder wenigstens einen Teil der Bilddarstellung 8 mit Vergleichsmustern 14, die in der Speichereinrichtung 12 abgelegt sind. Die Vergleichsmuster 14 sind im Vorfeld festgelegt und eingelernt oder projektiert worden. Die Vergleichsmuster 14 repräsentieren alle gültigen Darstellungen der verschiedenen Prozesszustände 6 der eisenbahntechnischen Anlage 5. Beispielsweise kann das in der Figur beispielhaft dargestellte Signal 7 den dargestellten Prozesszustand Signalstellung-"freie Fahrt" oder den Prozesszustand Signalstellung-"stop" einnehmen. Daher weist die Speichereinrichtung 12 sowohl ein Vergleichsmuster 14 für den Prozesszustand Signalstellung-"freie Fahrt" auf als auch ein Vergleichsmuster für den Prozesszustand Signalstellung-"stop". Jedem Vergleichsmuster 14 ist in der Speichereinrichtung 12 ein Text 15 in einer Meta-Sprache zugeordnet, der den korrespondierenden Prozesszustand wiedergibt. In der beispielhaften Ausführungsform in der Figur ist dies beispielsweise der Text "stop" und "freie Fahrt".The processing device 2 of the test device 1 comprises a storage device 12 and an evaluation device 13. The image representation 8 generated in the processing device 9 is retrieved by the test device 1 in digital form from the graphics card memory 10. The evaluation device 13 compares the image representation 8 or at least part of the image representation 8 with comparison patterns 14 that are stored in the storage device 12. The comparison patterns 14 have been defined and taught or projected in advance. The comparison patterns 14 represent all valid representations of the various process states 6 of the railway system 5. For example, the signal 7 shown as an example in the figure can assume the process state signal position-"clear to proceed" or the process state signal position-"stop". Therefore, the storage device 12 has both a comparison pattern 14 for the process state signal position-"clear to proceed" and a comparison pattern for the process state signal position-"stop". Each comparison pattern 14 in the storage device 12 is assigned a text 15 in a meta-language that represents the corresponding process state. In the exemplary embodiment in the figure, this is, for example, the text "stop" and "clear to proceed".

Die Auswerteeinrichtung 13 vergleicht einen Teil der Bilddarstellung 8 mit den Vergleichsmustern 14 und ermittelt eine Übereinstimmung der Bilddarstellung 8 mit einem der Vergleichsmuster 14. Somit hat die Auswerteeinrichtung 13 und die Verarbeitungsvorrichtung 2 ermittelt, dass die Bilddarstellung 8 einen Prozesszustand darstellt, der einem der in der Speichereinrichtung 12 abgelegten Vergleichsmustern 14 zugeordnet ist. Anschließend wird der Text 15, der dem ermittelten Vergleichsmuster 14 zugeordnet ist, als Zwischenergebnis abgespeichert. Um eine Verdichtung der Daten durchzuführen, wird von dem Text 15 eine Prüfsumme gebildet und diese an die Vergleichseinrichtung 3 übermittelt.The evaluation device 13 compares a part of the image representation 8 with the comparison patterns 14 and determines a match between the image representation 8 and one of the comparison patterns 14. The evaluation device 13 and the processing device 2 have thus determined that the image representation 8 represents a process state that is associated with one of the comparison patterns 14 stored in the storage device 12. The text 15 that is associated with the determined comparison pattern 14 is then stored as an intermediate result. In order to compress the data, a checksum is formed from the text 15 and this is transmitted to the comparison device 3.

Die Vergleichseinrichtung 3 überprüft, ob der in der Bilddarstellung angezeigte und ermittelte Prozesszustand 6 dem wahren Prozesszustand 6 der eisenbahntechnischen Anlage 5 entspricht. Dazu wird der wahre Prozesszustand 6 stellwerksseitig an die Vergleichseinrichtung 3 übermittelt. Dabei wird der Prozesszustand 6 ebenfalls in Textform in eine Meta-Sprache übersetzt und zur Datenverdichtung die Prüfsumme gebildet. Dies kann beispielsweise in der Vergleichseinrichtung 3 geschehen. In jedem Fall kann die Vergleichseinrichtung 3 so die beiden Prüfsummen miteinander vergleichen und feststellen, ob der von der Bilddarstellung 8 dargestellte Prozesszustand 6' dem wahren Prozesszustand 6 entspricht. Der wahre Prozesszustand 6 wird an die Vergleichseinrichtung 3 beispielsweise in Form eines Telegramms übermittelt.The comparison device 3 checks whether the process state 6 shown and determined in the image representation corresponds to the true process state 6 of the railway system 5. For this purpose, the true process state 6 is transmitted from the signal box to the comparison device 3. The process state 6 is also converted in text form into a meta-language translated and the checksum is formed for data compression. This can be done, for example, in the comparison device 3. In any case, the comparison device 3 can compare the two checksums with each other and determine whether the process state 6' shown by the image display 8 corresponds to the true process state 6. The true process state 6 is transmitted to the comparison device 3, for example in the form of a telegram.

Beim Vergleich der Bilddarstellung 8 mit den Vergleichsmustern 14 werden alle Vergleichsmuster 14 pixelweise mit der Bilddarstellung 8 verglichen. Um die Anzahl der Vergleiche zu minimieren, können die Vergleichsmuster 14 gruppiert werden. Die in der Figur beispielhaft dargestellten Vergleichsmuster 14 sind beispielsweise Teil einer Gruppe von Vergleichsmustern 14, die alle Signale betreffen. Weitere Gruppen von Vergleichsmustern können beispielsweise Weichen oder Gleise betreffen. Durch die Gruppierung der Vergleichsmuster 14 kann der Vergleichsprozess der Bilddarstellung 8 mit den Vergleichsmustern 14 beschleunigt werden, weil nicht sämtliche Vergleichsmuster 14 geprüft werden müssen. Sobald der Typ der entsprechenden Vergleichsmustergruppe erkannt worden ist, muss nur noch innerhalb dieser Gruppe von Vergleichsmustern 14 geprüft werden.When comparing the image representation 8 with the comparison patterns 14, all comparison patterns 14 are compared pixel by pixel with the image representation 8. In order to minimize the number of comparisons, the comparison patterns 14 can be grouped. The comparison patterns 14 shown as examples in the figure are, for example, part of a group of comparison patterns 14 that relate to all signals. Other groups of comparison patterns can relate to switches or tracks, for example. By grouping the comparison patterns 14, the comparison process of the image representation 8 with the comparison patterns 14 can be accelerated because not all comparison patterns 14 have to be checked. As soon as the type of the corresponding comparison pattern group has been recognized, only the group of comparison patterns 14 within this group has to be checked.

Die Vergleichsmuster 14 werden bei der beispielhaften Ausführungsform der Figur einerseits über die Form und andererseits über die verwendete Vordergrundfarbe und Hintergrundfarbe definiert und verglichen. Hierbei wird für jedes Vergleichsmuster 14 zunächst die Form überprüft. Dabei bestehen die Formen der Vergleichsmuster aus beispielsweise drei Anteilen. Zunächst aus Pixeln, die als Vordergrund des dargestellten Zeichens in der Bilddarstellung 8 betrachtet werden. Diese Pixel müssen mit dem Vordergrund der Bilddarstellung übereinstimmen. Außerdem solche Pixel, die als Hintergrund des Vergleichsmusters 14 betrachtet werden. Diese Pixel müssen mit dem Hintergrund der Bilddarstellung 8 übereinstimmen. Schließlich gibt es Pixel, die in einem Bereich liegen, der vom Vergleich ausgeschlossen wurde und weder als Vordergrund noch als Hintergrund zu bewerten sind. Diese müssen für das betrachtete Vergleichsmuster 14 nicht mit der Bilddarstellung 8 übereinstimmen. Hier kann beispielsweise ein anderes Element in den betrachteten Bereich der Bilddarstellung hineinragen, das in einem weiteren Prüfzyklus betrachtet wird. Nachdem die Form des Vergleichsmusters 14 erkannt worden ist, werden die Vordergrundfarben und Hintergrundfarben ermittelt und abgespeichert.In the exemplary embodiment of the figure, the comparison patterns 14 are defined and compared on the one hand via the shape and on the other hand via the foreground color and background color used. The shape is first checked for each comparison pattern 14. The shapes of the comparison patterns consist of, for example, three parts. First of all, pixels that are considered to be the foreground of the character shown in the image representation 8. These pixels must match the foreground of the image representation. In addition, pixels that are considered to be the background of the comparison pattern 14. These pixels must match the background of the image representation 8. Finally, there are pixels that are in an area that was excluded from the comparison and are not to be assessed as either foreground or background. These do not have to match the image representation 8 for the comparison pattern 14 under consideration. Here, for example, another element can extend into the area of the image representation under consideration, which is examined in a further test cycle. After the shape of the comparison pattern 14 has been recognized, the foreground colors and background colors are determined and saved.

Bei der in der Figur beispielhaft dargestellten Ausführungsform werden begrenzte und relativ kleine Bereiche oder Teile der Bilddarstellung 8 schrittweise geprüft und mit den Vergleichsmustern 14 verglichen. Beispielsweise wird ein Bereich von ca. 20 x 20 Pixeln in einem Schritt geprüft. Diese Größe repräsentiert beispielsweise die typischen Ausleuchtinformationen eines einzelnen Elements oder von Teilen eines Elements, die einem dargestellten Prozesszustand entsprechen. Einzelne Pixelabweichungen zwischen der Bilddarstellung 8 und den Vergleichsmustern 14 können toleriert werden, solange eine eindeutige und zweifelsfreie Identifikation des jeweiligen Vergleichsmusters 14 in der Bilddarstellung 8 möglich ist. Da durch das erfindungsgemäße Verfahren üblicherweise kleine Bereiche der Bilddarstellung 8 Schritt für Schritt geprüft werden, wird eine unzulässige Aufsummierung von Abweichungen auf der gesamten Bilddarstellung 8 ausgeschlossen, da für jeden Teilbereich der Bilddarstellung 8 ein Vergleichsmuster 14 identifiziert wird. Nach und nach wird durch die Prüfung der Teilbereiche die gesamte Bilddarstellung 8 geprüft.In the embodiment shown as an example in the figure, limited and relatively small areas or parts of the image representation 8 are checked step by step and compared with the comparison patterns 14. For example, an area of approximately 20 x 20 pixels is checked in one step. This size represents, for example, the typical illumination information of an individual element or parts of an element that correspond to a process state shown. Individual pixel deviations between the image representation 8 and the comparison patterns 14 can be tolerated as long as a clear and unambiguous identification of the respective comparison pattern 14 in the image representation 8 is possible. Since the method according to the invention usually checks small areas of the image representation 8 step by step, an inadmissible accumulation of deviations on the entire image representation 8 is excluded, since a comparison pattern 14 is identified for each sub-area of the image representation 8. The entire image representation 8 is gradually checked by checking the sub-areas.

Kleine Abweichungen in den Teilbereichen sind tolerierbar, weil sie zu keinem erheblichen Gesamtfehler führen. Beispielsweise wäre in einem Teilbereich von 20 x 20 Pixeln eine Abweichung von 1 % maximal 4 Pixel. Diese Abweichung von 4 Pixeln ist tolerierbar, da sie durch einen Betrachter nicht wahrnehmbar ist und somit keine Fehlinformation über den Prozesszustand der eisenbahntechnischen Anlage 5 hervorruft. Im Gegensatz hierzu würde bei einem Vergleich eines kompletten Bildschirms von beispielsweise 1280 x 1024 Pixeln wie im Stand der Technik selbst eine prozentuale Abweichung von nur 0,1 % mehr als 1000 Pixel aufweisen. Wenn diese 1000 Pixel auf einem kleinen Bereich konzentriert sind, würde eine nicht tolerierbare Störung im Bild vorliegen, die ein erhebliches Sicherheitsrisiko darstellen würde. Dementsprechend müssen im Stand der Technik auch kleinste Abweichungen offenbart werden. Bei dem erfindungsgemäßen Verfahren können hingegen Abweichungen bis zu einem bestimmten Prozentsatz toleriert werden. Small deviations in the sub-areas are tolerable because they do not lead to a significant overall error. For example, in a sub-area of 20 x 20 pixels, a deviation of 1% would be a maximum of 4 pixels. This deviation of 4 pixels is tolerable because it is not perceptible to an observer and therefore does not cause any incorrect information about the process status of the railway system 5. In the In contrast, when comparing a complete screen of, for example, 1280 x 1024 pixels as in the prior art, even a percentage deviation of just 0.1% would show more than 1000 pixels. If these 1000 pixels are concentrated in a small area, there would be an intolerable disturbance in the image that would pose a significant safety risk. Accordingly, in the prior art, even the smallest deviations must be disclosed. In the method according to the invention, however, deviations up to a certain percentage can be tolerated.

Claims (12)

  1. Method for processing an image representation (8) representing at least one item of information on at least one display means (11) and checking a correctness of this item of information output by the display means (11),
    so that falsifications of the image representation (8) are disclosed,
    in which a correspondence between at least one part of the image representation (8) and at least one part of a known comparison pattern (14) is determined,
    wherein the image representation (8) is based on information from an interlocking (4) of a railway installation (5)
    and
    in which an item of information allocated to the comparison pattern (14) is determined by the established correspondence as the at least one item of information represented by the image representation,
    in which
    the information determined as represented by the image representation (8) is compared with an item of information, which is provided on the interlocking side, to be represented by the image representation (8) and known as true, and
    the information comprises in each case at least one process state (6) of the railway installation.
  2. Method according to one of the afore-cited claims, characterised in that
    when the correspondence is determined, the image representation (8) and the comparison pattern (14) are compared pixel by pixel.
  3. Method according to one of the afore-cited claims, characterised in that
    when the correspondence is determined, a variation between the image representation (8) and the comparison pattern (14) is permitted in a predetermined scope.
  4. Method according to one of the afore-cited claims, characterised in that
    the at least one comparison pattern (14) is taught.
  5. Method according to one of the afore-cited claims, characterised in that
    when the correspondence is determined, a shape and/or a colour of the image representation (8) is detected and compared with a known shape and/or colour of the comparison pattern (14).
  6. Method according to claim 5,
    characterised in that
    both the shape and also the colour are identified and compared in separate regions in each case, in particular in a foreground and/or a background.
  7. Method according to one of the afore-cited claims, characterised in that
    the image representation (8) or a part of the image representation is compared with several known comparison patterns (14) when the correspondence is determined.
  8. Method according to claim 7,
    characterised in that
    several groups of comparison patterns (14) are formed with at least one shared feature and an association with a group of comparison patterns (14) is first determined when the correspondence is determined.
  9. Method according to one of the afore-cited claims, characterised in that
    the information is assigned to the at least one comparison pattern (14) in text form.
  10. Method according to one of the afore-cited claims, characterised in that
    the information determined as shown by the image representation (8) is standardized, in particular by a checksum.
  11. Method according to one of the afore-cited claims, characterised in that
    the image representation (8) is read out digitally, in particular from a storage device of a graphics card.
  12. Testing device (1) for an image representation (8) representing at least one item of information on at least one display means (11) and for checking a correctness of this information output by the display means (11),
    so that falsifications of the image representation (8) are disclosed,
    having a processing device (2) for processing an image representation (8) representing at least one item of information, wherein the processing device (2) comprises the following:
    at least one storage device (12), which is embodied to store at least one known comparison pattern (14) and at least one item of information allocated to the comparison pattern (14), wherein the image representation (8) is based on information from an interlocking (4) of the railway installation (5) and at least one evaluation facilty (13), which is embodied to determine a correspondence between at least one part of the image representation (8) and at least one part of the at least one comparison pattern (14) stored in the storage device (12) and which is embodied by the ascertained correspondence to determine the item of information assigned to the comparison pattern (14) and stored in the storage device (12) as the at least one item of information represented by the image representation (8), and
    with a comparison facility (3) which is embodied to compare the information determined by the evaluation facility (13) with an item of information, which is provided on the interlocking side, to be represented by the image representation (8) and known as true,
    wherein the information comprises at least one process state (6) of a railway installation.
EP16788646.4A 2015-11-06 2016-10-17 Device and method for processing an image representation representing at least one information Active EP3347858B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015221823.6A DE102015221823A1 (en) 2015-11-06 2015-11-06 Apparatus and method for processing an image representation representing at least one information
PCT/EP2016/074826 WO2017076613A1 (en) 2015-11-06 2016-10-17 Device and method for processing an image representation representing at least one information

Publications (2)

Publication Number Publication Date
EP3347858A1 EP3347858A1 (en) 2018-07-18
EP3347858B1 true EP3347858B1 (en) 2024-09-04

Family

ID=57218859

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16788646.4A Active EP3347858B1 (en) 2015-11-06 2016-10-17 Device and method for processing an image representation representing at least one information

Country Status (3)

Country Link
EP (1) EP3347858B1 (en)
DE (1) DE102015221823A1 (en)
WO (1) WO2017076613A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4216021B2 (en) * 2002-08-30 2009-01-28 富士重工業株式会社 Intruder detection device
DE102005045601A1 (en) * 2005-09-23 2007-04-05 Siemens Ag Method and device for checking the image output of a display device
CN102582664A (en) * 2007-10-26 2012-07-18 松下电器产业株式会社 Congestion estimating apparatus
US8150105B2 (en) * 2008-05-22 2012-04-03 International Electronic Machines Corporation Inspection using three-dimensional profile information
WO2012016374A1 (en) * 2010-08-03 2012-02-09 Empire Technology Development Llc Method for identifying objects in video
US9049433B1 (en) * 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUINANE LUKE ET AL: "An easy way (tool?) to compare images pixel for pixel in different formats?", 20 October 2015 (2015-10-20), pages 1 - 2, XP055961434, Retrieved from the Internet <URL:https://web.archive.org/web/20151020023525/https://stackoverflow.com/questions/691799/an-easy-way-tool-to-compare-images-pixel-for-pixel-in-different-formats> [retrieved on 20220915] *

Also Published As

Publication number Publication date
DE102015221823A1 (en) 2017-05-11
EP3347858A1 (en) 2018-07-18
WO2017076613A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
EP2359204B1 (en) Adaptive central maintenance system and method for planning maintenance operations for systems
DE102017214611B4 (en) Method for checking a reaction signal of a vehicle component and checking device and motor vehicle
DE102013202253A1 (en) Circuit for controlling an acceleration, braking and steering system of a vehicle
DE102015220884B4 (en) image processing device
EP2731849B1 (en) Signal box computer
EP0645711A1 (en) Method for operating a data display unit and devices for carrying out this method
EP2402827A1 (en) Method and device for testing the functionality of an object recognition device of a motor vehicle
EP3282399A1 (en) Method for the improved detection of process anomalies of a technical installation and corresponding diagnostic system
EP3546314A1 (en) Method and device for fault identification for a technical system
DE112008003195T5 (en) Electrical circuit with a physical transmission layer diagnostic system
DE102010013885A1 (en) Mobile maintenance unit
EP4007891B1 (en) Method and device for locating a vehicle in a surrounding area
EP3278318A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
EP3347858B1 (en) Device and method for processing an image representation representing at least one information
DE102009012887B4 (en) Method for checking incorrect installation of vehicle sensors
EP2941738A1 (en) Method for revealing errors in a signal box computer system, and signal box computer system
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
EP3655934B1 (en) Concept for monitoring a parking space
DE102019005978A1 (en) Gas measuring system and method for operating a gas measuring system.
DE102020203058A1 (en) Automated reliability test of an infrastructure-side monitoring sensor system
EP3317856B1 (en) Method for checking the accuracy of a representation of image data on a display means and display device
DE102009053751B4 (en) Method for diagnosing a fault on a motor vehicle
DE102017201419A1 (en) Concept for testing differently determined occupancy states of a parking space for motor vehicles for faults
DE102022121577A1 (en) Method for detecting and avoiding incorrect work steps during manual assembly
DE102009050850B4 (en) Method and device for monitoring protection and standard areas

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180409

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210401

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502016016707

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06T0007000000

Ref country code: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06V 20/58 20220101ALI20240318BHEP

Ipc: G06T 7/00 20170101AFI20240318BHEP

INTG Intention to grant announced

Effective date: 20240404

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016016707

Country of ref document: DE

U01 Request for unitary effect filed

Effective date: 20240920