EP4097695A1

EP4097695A1 - Method and device for identifying acoustic anomalies

Info

Publication number: EP4097695A1
Application number: EP21702020.5A
Authority: EP
Inventors: Jakob Abesser
Original assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date: 2020-01-27
Filing date: 2021-01-27
Publication date: 2022-12-07
Anticipated expiration: 2041-01-27
Also published as: US20220358952A1; US12183361B2; EP4097695B1; DE102020200946A1; WO2021151915A1

Abstract

The invention relates to a method (100) for detecting anomalies, comprising the following steps: obtaining a long-term recording (113) containing a plurality of first audio segments (ABCD) each allocated to respective first time windows; analysing the plurality of first audio segments (ABCD) to obtain for each of the plurality of first audio segments (ABCD) a first feature vector describing the respective first audio segment (ABCD); obtaining a further recording (123) containing one or more second audio segments (ABCD) each allocated to respective second time windows; analysing the one or more second audio segments (ABCD) to obtain one or more feature vectors describing the one or more second audio segments (ABCD); comparing the one or more second feature vectors with the plurality of first feature vectors to identify at least one anomaly, such as a time, tonal or spatial anomaly.

Description

Verfahren und Vorrichtung zur Erkennung von akustischen Anomalien Method and device for the detection of acoustic anomalies

Beschreibung description

Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren, eine Vorrichtung zur Erkennung von akustischen Anomalien. Weitere Ausführungsbeispiele be- ziehen sich auf ein entsprechendes Computerprogramm. Entsprechend Ausführungsbei- spielen erfolgt die Erkennung einer Normalsituation sowie die Erkennung von Anomalien im Vergleich zu dieser Normalsituation. Embodiments of the present invention relate to a method and a device for detecting acoustic anomalies. Further exemplary embodiments relate to a corresponding computer program. According to exemplary embodiments, a normal situation is recognized and anomalies are recognized in comparison to this normal situation.

In realen akustischen Szenen existiert i.d.R. eine komplexe Überlagerung mehrerer Klang- quellen. Diese können vorder- und hintergründig sowie beliebig räumlich positioniert sein. Ebenso ist eine Vielzahl möglicher Klänge denkbar, welche von sehr kurzen transienten Signalen (z. B. Klatschen, Schuss) bis zu längeren, stationären Klängen (Sirene, vorbeifah- rende Bahn) reichen können. Eine Aufnahme umfasst typischerweise einen bestimmten Zeitraum, der bei nachfolgender Betrachtung in ein oder mehrere Zeitfenster untergliedert ist. Ein Geräusch kann sich ausgehend von dieser Unterteilung und je nach Geräuschlänge (vgl. transientes oder längerer, stationärer Klang) über ein oder mehrere Audiosegment/ Zeitfenster hinweg erstrecken. In real acoustic scenes there is usually a complex superposition of several sound sources. These can be positioned in the foreground and in the background as well as in any spatial position. A large number of possible sounds are also conceivable, which can range from very short transient signals (e.g. clapping, shot) to longer, stationary sounds (siren, passing train). A recording typically encompasses a certain period of time which, when viewed below, is subdivided into one or more time windows. Based on this subdivision and depending on the length of the noise (cf. transient or longer, stationary sound), a noise can extend over one or more audio segments / time windows.

In vielen Anwendungsszenarien muss eine Anomalie, also eine klangliche Abweichung vom „akustischen Normalzustand", also der Menge als „normal" angesehener Geräusche, erkannt werden. Beispiele solcher Anomalien sind Glasbruch (Einbruchsdetektion), ein Pistolenschuss (Überwachung öffentlicher Ereignisse) oder eine Kettensäge (Überwa- chung von Naturschutzgebieten). In many application scenarios, an anomaly, that is to say a sound deviation from the “normal acoustic state”, that is to say the amount of noises regarded as “normal”, must be recognized. Examples of such anomalies are broken glass (burglary detection), a pistol shot (monitoring of public events) or a chainsaw (monitoring of nature reserves).

Problematisch ist, dass der Klang der Anomalie (Nicht-in-Ordnung-Klasse) oft nicht bekannt ist oder nicht genau definiert oder beschrieben werden kann (z. B. wie kann eine kaputte Maschine klingen?). The problem is that the sound of the anomaly (not-OK-class) is often not known or cannot be precisely defined or described (e.g. how can a broken machine sound?).

Das zweite Problem liegt darin, dass neuartige Algorithmen zur Klangklassifikation mittels tiefer neuronaler Netze sehr empfindlich gegenüber veränderten (und oftmals unbekann- ten) akustischen Bedingungen im Einsatzszenario sind. So erreichen Klassifikationsmo- delle, die mit Audiodaten trainiert werden, welche bspw. mit einem hochwertigen Mikrofon aufgenommen wurden, bei der Klassifikation von Audiodaten, welche mittels eines schlech- teren Mikrofons aufgenommen wurden, nur schlechte Erkennungsraten. Mögliche Lösungs- ansätze liegen im Bereich „Domain Adaptation", also der Anpassung der Modelle oder der zu klassifizierenden Audiodaten, um eine höhere Robustheit in der Erkennung zu erreichen, ln der Praxis ist es aber logistisch oft schwierig und zu teuer, repräsentative Audioaufnah- men am späteren Einsatzort eines Audioanalysesystems aufzunehmen und anschließend bezüglich enthaltener Klangereignisse zu annotieren. The second problem is that novel algorithms for sound classification using deep neural networks are very sensitive to changed (and often unknown) acoustic conditions in the operational scenario. In this way, classification models that are trained with audio data can be achieved with a high-quality microphone, for example were recorded, with the classification of audio data which were recorded by means of a poorer microphone, only poor recognition rates. Possible solution approaches are in the area of "Domain Adaptation", ie the adaptation of the models or the audio data to be classified in order to achieve greater robustness in recognition, but in practice it is often logistically difficult and too expensive to make representative audio recordings Record at the later place of use of an audio analysis system and then annotate them with regard to the contained sound events.

Das dritte Problem der Audioanalyse von Umweltgeräuschen liegt in datenschutzrecht- lichen Bedenken, da Klassifikationsverfahren theoretisch auch zur Erkennung und Tran- skription von Sprachsignalen (z. B. bei der Aufnahme einer Unterhaltung in der Nähe des Audiosensors) genutzt werden können. The third problem of audio analysis of environmental noises lies in concerns about data protection, since classification methods can theoretically also be used to recognize and transcribe speech signals (e.g. when recording a conversation near the audio sensor).

Die Klassifikationsmodelle von bestehenden Stand der Technik-Lösungen gestalten wie folgt: The classification models of existing state-of-the-art solutions are as follows:

Wenn die zu detektierende klangliche Anomalie genau spezifiziert werden kann, so kann ein Klassifikationsmodell basierend auf maschinellen Lernalgorithmen mittels überwachten Lernens (supervised learning) auf die Erkennung bestimmter Geräusch- klassen trainiert werden. Aktuelle Studien zeigen, dass insbesondere neuronale Netze sehr empfindlich gegenüber veränderten akustischen Bedingungen sind und eine zu- sätzliche Adaptierung von Klassifikationsmodellen an die jeweilige akustische Situa- tion der Anwendung durchgeführt werden muss. If the sound anomaly to be detected can be specified precisely, a classification model based on machine learning algorithms can be trained to recognize certain noise classes by means of supervised learning. Current studies show that neural networks in particular are very sensitive to changed acoustic conditions and that additional adaptation of classification models to the respective acoustic situation of the application has to be carried out.

Ausgehend von oben erläuterten Nachteilen besteht der Bedarf nach einem verbesserten Ansatz. Aufgabe der vorliegenden Erfindung ist es, ein Konzept zur Detektion von Anomalien zu schaffen, das in Bezug auf das Anlernverhalten optimiert und das eine zuverlässige und genaue Erkennung von Anomalien ermöglicht. Given the disadvantages discussed above, there is a need for an improved approach. The object of the present invention is to create a concept for the detection of anomalies which optimizes the learning behavior and which enables a reliable and precise detection of anomalies.

Die Aufgabe wird durch unabhängige Patentansprüche gelöst. The problem is solved by independent patent claims.

Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren zur Erkennung von akustischen Anomalien. Das Verfahren umfasst die Schritte des Erhaltene einer Langzeit- aufnahme mit einer Vielzahl von ersten Audiosegmenten zugeordnet zu jeweiligen ersten Zeitfenstern und des Analysierens der Vielzahl der ersten Audiosegmente, um zu jedem der Vielzahl der ersten Audiosegmente einen das jeweilige erste Audiosegment beschreibenden ersten Merkmalsvektor, wie z. B. ein Spektrum für das Audiosegment (Zeit-Frequenz-Spekt- rum) oder einen Audiofingerabdruck mit bestimmten Charakteristika für das Audiosegment zu erhalten. Beispielsweise ist das Resultat der Analyse einer in eine Vielzahl von Zeitfens- tern unterteilte Langzeitaufnahme eine Vielzahl von ersten (ein- oder mehrdimensionalen) Merkmalsvektoren für die Vielzahl der ersten Audiosegmente (zugeordnet zu den entspre- chenden Zeitpunkten/-fenstern der Langzeitaufnahme), die den „Normalzustand“ repräsen- tieren. Das Verfahren umfasst weitere Schritte des Erhärtens einer weiteren Aufnahme mit einem oder mehreren zweiten Audiosegmenten zugeordnet zu jeweiligen zweiten Audio- fenstern und des Analysierens der ein oder mehreren zweiten Audiosegmente, um ein oder mehrere die ein oder mehreren zweiten Audiosegmente beschreibenden Merkmalsvektoren zu erhalten. Insofern ist das Ergebnis des zweiten Teils des Verfahrens beispielsweise eine Vielzahl von zweiten Merkmalsvektoren (z. B. mit entsprechenden Zeitpunkten der weiteren Aufnahme). In einem nachfolgenden Schrit erfolgt dann das Abgleichen der ein oder meh- reren zweiten Merkmalsvektoren mit der Vielzahl der ersten Merkmalsvektoren (z. B. durch Vergleich der Identitäten oder Ähnlichkeiten oder durch Erkennen einer Reihenfolge), um zumindest eine Anomalie zu erkennen. Denkbar wären entsprechend Ausführungsbeispie- len das Erkennen von unterschiedlichen Formen von Anomalien, nämlich eine klangliche Anomalie (das heißt ein Erkennen eines erstmaligen Auftretens eines bisher ungehörten Klanges), einer zeitlichen Anomalie (z. B. verändertes Wiederholmuster eines bereits gehör- ten Klanges) oder eine räumliche Anomalie (Auftretens eines bereits gehörten Klanges an einer bisher unbekannten räumlichen Position). Embodiments of the present invention provide a method for detecting acoustic anomalies. The method comprises the steps of obtaining a long-term recording with a plurality of first audio segments assigned to respective first time windows and analyzing the plurality of first audio segments in order to each of the A plurality of the first audio segments have a first feature vector describing the respective first audio segment, such as e.g. B. to obtain a spectrum for the audio segment (time-frequency spectrum) or an audio fingerprint with certain characteristics for the audio segment. For example, the result of the analysis of a long-term recording subdivided into a plurality of time windows is a plurality of first (one- or multi-dimensional) feature vectors for the plurality of first audio segments (assigned to the corresponding times / windows of the long-term recording) that correspond to the Represent "normal state". The method comprises further steps of hardening a further recording with one or more second audio segments assigned to respective second audio windows and analyzing the one or more second audio segments in order to obtain one or more feature vectors describing the one or more second audio segments. In this respect, the result of the second part of the method is, for example, a large number of second feature vectors (e.g. with corresponding points in time of the further recording). In a subsequent step, the one or more second feature vectors are compared with the plurality of first feature vectors (for example by comparing the identities or similarities or by recognizing a sequence) in order to recognize at least one anomaly. According to exemplary embodiments, the recognition of different forms of anomalies would be conceivable, namely a sound anomaly (i.e. recognition of the first appearance of a previously unheard sound), a temporal anomaly (e.g. changed repetition pattern of a sound that has already been heard) or a spatial anomaly (occurrence of a sound that has already been heard in a previously unknown spatial position).

Ausführungsbeispielen der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass al- leine durch eine Langzeitklanganalyse (Phase 1 des Verfahrens umfassend die Schritte Er- halten einer Langzeitaufnahme und Analysieren derselben) selbstständig ein „akustischer Normalzustand“ und „normale Geräusche“ angelernt werden können. D.h., dass durch diese Langzeitklanganalyse ein selbstständiges bzw. autonomes Anpassen eines Analysesystems an eine bestimmte akustische Szene erfolgt. Es sind keine annotierten Trainingsdaten (Auf- nahme + semantische Klassenannotation) erforderlich, was eine große Ersparnis an Zeit, Aufwand und Kosten darstellt. Wenn dieser akustische „Normalzustand“ bzw. die „normalen“ Geräusche erfasst sind, kann die aktuelle Geräuschumgebung in einer nachfolgenden Ana- lysephase (Phase 2 mit den Schritten Erhalten einer weiteren Aufnahme und Analysieren derselben) erfolgen. Hierbei erfolgt ein Abgleich der aktuellen Audiosegment / aktuellen Ge- räuschkulisse mit den im Vorfeld / in Phase 1 erkannten bzw. angelernten „normalen“ Ge- räuschen. Im Allgemeinen heißt das, dass Phase 1 ein Erlernen eines Modells anhand der normalen Geräuschkulisse auf Basis eines statistischen Verfahrens bzw. maschinellen Ler- nens ermöglicht, wobei dieses Modell es anschließend (in Phase 2) erlaubt, aktuell aufge- nommene Geräuschkulisse damit bezüglich ihres Neuigkeitsgrades (Wahrscheinlichkeit ei- ner Anomalie) abzugleichen. Embodiments of the present invention are based on the knowledge that a “normal acoustic state” and “normal noises” can be learned independently solely through a long-term sound analysis (phase 1 of the method comprising the steps of obtaining a long-term recording and analyzing the same). This means that this long-term sound analysis results in an independent or autonomous adaptation of an analysis system to a specific acoustic scene. No annotated training data (recording + semantic class annotation) are required, which saves a great deal of time, effort and costs. When this acoustic "normal state" or the "normal" noises have been recorded, the current noise environment can be carried out in a subsequent analysis phase (phase 2 with the steps of obtaining a further recording and analyzing it). The current audio segment / current background noise is compared with the “normal” noises recognized or learned in advance / in phase 1. In general, this means that phase 1 involves learning a model using the normal background noise on the basis of a statistical procedure or machine learning, whereby this model then allows (in phase 2) to compare currently recorded background noise with it with regard to their degree of novelty (probability of an anomaly).

Ein weiterer Vorteil dieses Ansatzes liegt darin, dass die Privatsphäre der sich möglicher- weise im direkten Umfeld der akustischen Sensoren befindlichen Menschen geschützt ist. Man spricht hier von Privacy-by-design. Systembedingt ist keine Spracherkennung möglich, da Schnittstelle (Audio rein, Anomaliewahrscheinlichkeitsfunktion raus) klar definiert ist. Da- mit lassen sich mögliche Datenschutzbedenken beim Einsatz der akustischen Sensoren zer- streuen. Another advantage of this approach is that the privacy of people who may be in the direct vicinity of the acoustic sensors is protected. One speaks here of privacy-by-design. Due to the system, no speech recognition is possible because the interface (audio in, anomaly probability function out) is clearly defined. In this way, possible data protection concerns can be dispelled when using the acoustic sensors.

Nachdem also die Langzeitaufnahme die akustische Normalsituation darstelit, beschreibt die Vielzahl von ersten Audiosegmenten in sich und/oder in ihrer Reihenfolge diese Normalsitu- ation. Insofern stellt die Vielzahl der ersten Audiosegmente für sich und/oder in ihrer Kombi- nation eine Art Referenz dar. Ziel des Verfahrens ist es, Anomalien im Vergleich zu dieser Normalsituation zu erkennen. Das heißt also, dass entsprechend Ausführungsbeispielen das Ergebnis des oben beschriebenen Clusterings eine Beschreibung der Referenz anhand von ersten Audiosegmenten ist. Im Schritt, in welchem die Anomalie festgestellt wird, werden dann die zweiten Audiosegmente für sich oder in ihrer Kombination (das heißt Reihenfolge) mit der Referenz verglichen, um die Anomalie darzustellen. Die Anomalie ist eine Abwei- chung der aktuellen akustischen Situation beschrieben durch die zweiten Merkmalsvektoren von der Referenz beschrieben durch die ersten Merkmalsvektoren. Mit anderen Worten aus- gedrückt heißt das, dass entsprechend Ausführungsbeispielen die ersten Merkmalsvektoren für sich oder in ihrer Kombination eine Referenzabbildung des Normalzustands darstellen, während die zweiten Merkmalsvektoren für sich oder in ihrer Kombination die aktuelle akus- tische Situation beschreiben, so dass in dem Schritt 126 die Anomalie in Form einer Abwei- chung der Beschreibung der aktuellen akustischen Situation (vgl. zweite Merkmalsvektoren) von der Referenz (vgl. erste Merkmalsvektoren) erkannt werden kann. Somit ist die Anomalie dadurch definiert, dass zumindest einer der zweiten akustischen Merkmalsvektoren von der Folge der ersten akustischen Merkmalsvektoren abweicht. Mögliche Abweichungen können sein: klangliche Anomalien, zeitliche Anomalien und räumliche Anomalien. After the long-term recording depicts the normal acoustic situation, the multitude of first audio segments in themselves and / or in their order describes this normal situation. In this respect, the multiplicity of the first audio segments represents a kind of reference in itself and / or in their combination. The aim of the method is to identify anomalies in comparison to this normal situation. This means that, according to exemplary embodiments, the result of the clustering described above is a description of the reference on the basis of first audio segments. In the step in which the anomaly is ascertained, the second audio segments are then compared individually or in their combination (that is, sequence) with the reference in order to represent the anomaly. The anomaly is a deviation of the current acoustic situation described by the second feature vectors from the reference described by the first feature vectors. In other words, this means that, according to exemplary embodiments, the first feature vectors alone or in their combination represent a reference mapping of the normal state, while the second feature vectors individually or in their combination describe the current acoustic situation, so that in the step 126 the anomaly can be recognized in the form of a deviation of the description of the current acoustic situation (cf. second feature vectors) from the reference (cf. first feature vectors). The anomaly is thus defined in that at least one of the second acoustic feature vectors deviates from the sequence of the first acoustic feature vectors. Possible deviations can be: aural anomalies, temporal anomalies and spatial anomalies.

Entsprechend einem Ausführungsbeispiel sind also durch die Phase 1 eine Vielzahl von ers- ten Audiosegmenten erfasst, die nachfolgend auch als „normale“ bzw. „normal“ angesehene Geräusche/Audiosegmente bezeichnet werden. Entsprechend Ausführungsbeispielen ist unter Kenntnis dieser „normalen“ Audiosegmente es ermöglicht, eine sogenannte klangliche Anomalie zu erkennen. Hierbei wird dann der Unterschritt des Identifizierens eines zweiten Merkmalsvektors, der sich von den analysierten ersten Merkmalsvektoren unterscheidet, durchgeführt. According to an exemplary embodiment, a large number of first audio segments are recorded by phase 1, which are also referred to below as “normal” or “normal” noises / audio segments. According to exemplary embodiments knowing these “normal” audio segments makes it possible to recognize a so-called aural anomaly. In this case, the substep of identifying a second feature vector, which differs from the analyzed first feature vectors, is then carried out.

Entsprechend weiteren Ausführungsbeispielen umfasst das Verfahren beim Analysieren den Unterschritt des Identifizierens eines Wiederholmusters in der Vielzahl der ersten Zeitfenster. Hierbei werden also sich wiederholende Audiosegmente identifiziert und das daraus resul- tierende Muster bestimmt. Entsprechend Ausführungsbeispielen erfolgt das Identifizieren anhand von sich wiederholenden, identischen oder ähnlichen ersten Merkmalsvektoren zu- gehörig zu unterschiedlichen ersten Audiosegmenten. Entsprechend Ausführungsbeispielen kann beim Identifizieren auch ein Gruppieren von identischen und ähnlichen ersten Merk- malsvektoren bzw. ersten Audiosegmenten zu einer oder mehreren Gruppen erfolgen. According to further exemplary embodiments, during the analysis the method comprises the substep of identifying a repetition pattern in the plurality of first time windows. Repeating audio segments are identified and the resulting pattern is determined. According to exemplary embodiments, the identification takes place on the basis of repeated, identical or similar first feature vectors belonging to different first audio segments. In accordance with exemplary embodiments, identical and similar first feature vectors or first audio segments can also be grouped into one or more groups during identification.

Entsprechend Ausführungsbeispielen umfasst das Verfahren das Erkennen einer Reihen- folge von ersten Merkmalsvektoren zugehörig zu den ersten Audiosegmenten oder das Er- kennen einer Reihenfolge von Gruppen von identischen oder ähnlichen ersten Merkmals- vektoren bzw. ersten Audiosegmenten. Durch die Basisschritte ist es also vorteilhafterweise möglich, normale Geräusche zu erkennen bzw. normale Audioobjekte zu erkennen. Die Kombination dieser normalen Audioobjekte in zeitlicher Hinsicht zu einer bestimmten Rei- henfolge oder einem bestimmten Wiederholmuster stellt dann also in Summe einen akusti- schen Normalzustand dar. According to exemplary embodiments, the method includes the recognition of a sequence of first feature vectors belonging to the first audio segments or the recognition of a sequence of groups of identical or similar first feature vectors or first audio segments. The basic steps therefore advantageously make it possible to recognize normal noises or to recognize normal audio objects. The combination of these normal audio objects in terms of time in a specific sequence or a specific repetition pattern then represents, in total, a normal acoustic state.

Entsprechend weiteren Ausführungsbeispielen wäre es auch denkbar, dass ein Wiederhol- muster in dem einen oder mehreren zweiten Zeitfenstern und/oder eine Reihenfolge von zweiten Merkmatsvektoren zugehörig zu unterschiedlichen zweiten Audioobjekten bzw. von Gruppen von identischen oder ähnlichen zweiten Merkmalsvektoren erkannt wird. Dieses Verfahren ermöglicht dann entsprechend weiteren Ausführungsbeispielen , dass beim Ab- gleichen der Unterschritt des Abgleichens des Wiederholmusters der ersten Audiosegmente und/oder Reihenfolge bei den ersten Audiosegmenten mit dem Wiederholmuster der zweiten Audiosegmente und/oder Reihenfolge bei den zweiten Audiosegmenten erfolgt. Dieser Ab- gleich ermöglicht das Erkennen von einer zeitlichen Anomalie. According to further exemplary embodiments, it would also be conceivable that a repetition pattern is recognized in the one or more second time windows and / or a sequence of second feature vectors belonging to different second audio objects or groups of identical or similar second feature vectors. According to further exemplary embodiments, this method then enables the sub-step of comparing the repeat pattern of the first audio segments and / or sequence in the first audio segments with the repeat pattern of the second audio segments and / or sequence in the second audio segments to take place. This comparison enables the detection of a temporal anomaly.

Entsprechend einem weiteren Ausführungsbeispiel kann das Verfahren den Schritt des Best- immens einer jeweiligen Position für die jeweiligen ersten Audiosegmente umfassen. Ent- sprechend einem Ausführungsbeispiel kann auch das Bestimmen der jeweiligen Position für die jeweiligen zweiten Audiosegmente vorgenommen werden. Dies ermöglicht dann ent- sprechend einem Ausführungsbeispiel, dass durch den Unterschritt des Abgleichs der Posi- tion zugeordnet zu den jeweiligen ersten Audiosegmenten mit der Position zugeordnet zu dem entsprechenden jeweiligen zweiten Audiosegment das Erkennen einer räumlichen Ano- malie vorgenommen wird. According to a further exemplary embodiment, the method can include the step of determining a respective position for the respective first audio segments. According to an exemplary embodiment, it is also possible to determine the respective position for the respective second audio segments are made. According to an exemplary embodiment, this then enables the detection of a spatial anomaly to be undertaken through the substep of comparing the position assigned to the respective first audio segments with the position assigned to the corresponding respective second audio segment.

Es sei angemerkt, dass für eine räumliche Lokalisation beispielsweise mind. 2 Mikrofone verwendet werden, während für die anderen beiden Anomalietypen ein Mikrofon ausreicht. It should be noted that at least two microphones are used for spatial localization, for example, while one microphone is sufficient for the other two types of anomaly.

Wie oben bereits angedeutet, kann jeder Merkmalsvektor (erster und zweiter Merkmalsvek- tor) für die unterschiedlichen Audiosegmente jeweils eine Dimension oder mehrere Dimen- sionen aufweisen. Eine mögliche Realisierung eines Merkmalsvektors wäre beispielsweise ein Zeit-Frequenz-Spektrum. Entsprechend einem Ausführungsbeispiel kann auch der Di- mensionsraum reduziert sein. Insofern umfasst entsprechend Ausführungsbeispielen das Verfahren den Schritt des Reduzierens der Dimensionen des Merkmalsvektors. As already indicated above, each feature vector (first and second feature vector) can each have one dimension or several dimensions for the different audio segments. A possible implementation of a feature vector would be a time-frequency spectrum, for example. According to an exemplary embodiment, the dimensional space can also be reduced. In this respect, according to exemplary embodiments, the method includes the step of reducing the dimensions of the feature vector.

Entsprechend einem weiteren Ausführungsbeispiel kann das Verfahren den Schritt des Best- immens einer Auftretenswahrscheinlichkeit des jeweiligen ersten Audiosegments und des Aufgebens der Auftretenswahrscheinlichkeit zusammen mit dem jeweiligen ersten Merk- malsvektor aufweisen. Alternativ kann das Verfahren den Schritt des Bestimmens einer Auf- tretenswahrscheinlichkeit des jeweiligen ersten Audiosegments und des Ausgebens der Auf- tretenswahrscheinlichkeit mit dem jeweiligen ersten Merkmalsvektor und einem zugehörigen ersten Zeitfenster aufweisen. Insofern erfolgt eine Ausgabe der Auftretenswahrscheinlichkeit für das jeweilige Audiosegment bzw. eine nähere Wahrscheinlichkeit des Auftretens des Au- diosegments zu diesem Zeitpunkt. Das Ausgeben erfolgt mit dem entsprechenden Daten- satz bzw. Merkmalsvektor. According to a further exemplary embodiment, the method can have the step of determining a probability of occurrence of the respective first audio segment and of giving up the probability of occurrence together with the respective first feature vector. Alternatively, the method can have the step of determining a probability of occurrence of the respective first audio segment and outputting the probability of occurrence with the respective first feature vector and an associated first time window. In this respect, there is an output of the probability of occurrence for the respective audio segment or a closer probability of the occurrence of the audio segment at this point in time. The output takes place with the corresponding data record or feature vector.

Entsprechend einem Ausführungsbeispiel kann das Verfahren auch Computer-implemen- tiert ablaufen. Insofern weist das Verfahren ein Computerprogramm mit einem Programm- code zur Durchführung des Verfahrens auf. According to one exemplary embodiment, the method can also run in a computer-implemented manner. In this respect, the method has a computer program with a program code for carrying out the method.

Weitere Ausführungsbeispiele beziehen sich auf eine Vorrichtung mit einer Schnittstelle und einem Prozessor. Die Schnittstelle dient zum Erhalten einer Langzeitaufnahme mit einer Vielzahl von ersten Audiosegmenten zugeordnet zu jeweiligen ersten Zeitfenstern sowie zum Erhalten einer weiteren Aufnahme mit einem oder mehreren zweiten Audiosegmenten zugeordnet zu jeweiligen zweiten Zeitfenstern. Der Prozessor ist ausgebildet, um die Vielzahl der ersten Audiosegmente zu analysieren, um zu jedem der Vielzahl der ersten Audioseg- mente einen das jeweilige erste Audiosegment beschreibenden ersten Merkmalsvektor zu erhalten. Ferner ist der Prozessor ausgebildet, um das eine oder mehrere zweiten Audio- segmente zu analysieren, um einen oder mehrere die einen oder mehreren zweiten Audio- segmente beschreibenden Merkmalsvektoren zu erhalten. Ferner ist der Prozessor ausge- bildet, um den einen oder mehreren zweiten Merkmalsvektoren mit der Vielzahl der ersten Merkmalsvektoren abzugleichen, um zumindest eine Anomalie zu erkennen. Further exemplary embodiments relate to a device with an interface and a processor. The interface is used to obtain a long-term recording with a multiplicity of first audio segments assigned to respective first time windows and to obtain a further recording with one or more second audio segments assigned to respective second time windows. The processor is designed to handle the plurality of the first audio segments in order to obtain a first feature vector describing the respective first audio segment for each of the plurality of first audio segments. Furthermore, the processor is designed to analyze the one or more second audio segments in order to obtain one or more feature vectors describing the one or more second audio segments. Furthermore, the processor is designed to match the one or more second feature vectors with the plurality of first feature vectors in order to identify at least one anomaly.

Entsprechend Ausführungsbeispielen umfasst die Vorrichtung eine mit der Schnittstelle ver- bundene Aufnahmeeinheit, wie z. B. ein Mikrofon oder ein Mikrofon-Array. Das Mikrofon- Array ermöglicht vorteilhafterweise eine Positionsbestimmung, wie sie oben bereits erläutert wurde. Entsprechend weiteren Ausführungsbeispielen umfasst die Vorrichtung eine Ausga- beschnittstelle zur Ausgabe der oben erläuterten Auftretenswahrscheinlichkeit. According to exemplary embodiments, the device comprises a receiving unit connected to the interface, such as, for. B. a microphone or a microphone array. The microphone array advantageously enables a position to be determined, as has already been explained above. According to further exemplary embodiments, the device comprises an output interface for outputting the above-explained probability of occurrence.

Ausführungsbeispiele der vorliegenden Erfindung werden anhand der beiliegenden Zeich- nungen erläutert. Es zeigen: Embodiments of the present invention are explained with reference to the accompanying drawings. Show it:

Fig. 1 ein schematisches Flussdiagramm zur Illustration des Verfahrens gemäß einem Basisausführungsbeispiel; 1 shows a schematic flow diagram to illustrate the method according to a basic exemplary embodiment;

Fig. 2 eine schematische Tabelle zur Illustration von unterschiedlichen Anomalietypen; und 2 shows a schematic table to illustrate different types of anomalies; and

Fig. 3 ein schematisches Blockschaltbild zur Illustration einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel. 3 shows a schematic block diagram to illustrate a device according to a further exemplary embodiment.

Bevor der nachfolgenden Ausführungsbeispiele der vorliegenden Erfindung anhand der bei- liegenden Zeichnungen erläutert werden, sei darauf hingewiesen, dass gleichwirkende Ele- mente und Strukturen mit gleichem Bezugszeichen versehen sind, so dass die Beschreibung derer aufeinander anwendbar bzw. austauschbar ist. Before the following exemplary embodiments of the present invention are explained with reference to the accompanying drawings, it should be pointed out that elements and structures with the same effect are provided with the same reference symbols, so that the description of these can be used or interchanged with one another.

Fig. 1 zeigt ein Verfahren 100, das in zwei Phasen 110 und 120 untergliedert ist. 1 shows a method 100 which is divided into two phases 110 and 120.

In der ersten Phase 110, die als Justierphase bezeichnet wird, gibt es zwei Basisschritte. Dies ist mit dem Bezugszeichen 112 und 114 markiert. Der Schritt 112 umfasst eine Lang- Zeitaufnahme des akustischen Normalzustands im Anwendungsszenario. Hierbei wird bei- spielsweise die Analysevorrichtung 10 (vgl. Fig. 3) in der Zielumgebung aufgestellt, so dass eine Langzeitaufnahme 113 des Normalzustands erfasst wird. Diese Langzeitaufnahme kann beispielsweise eine Dauer von 10 Minuten, 1 Stunde oder 1 Tag umfassen (allgemein größer 1 Minute, größer 30 Minuten, größer 5 Stunden oder größer 24 Stunden und/oder bis zu 10 Stunden, bis zu 1 Tage, bis zu 3 Tage oder bis zu 10 Tage (inklusiver der durch die oberen und unteren definierten Zeitfenster). In the first phase 110, which is referred to as the adjustment phase, there are two basic steps. This is marked with the reference symbols 112 and 114. Step 112 includes a long Time recording of the normal acoustic state in the application scenario. Here, for example, the analysis device 10 (cf. FIG. 3) is set up in the target environment, so that a long-term recording 113 of the normal state is recorded. This long-term recording can, for example, last for 10 minutes, 1 hour or 1 day (generally more than 1 minute, more than 30 minutes, more than 5 hours or more than 24 hours and / or up to 10 hours, up to 1 day, up to 3 days or up to 10 days (including the time window defined by the upper and lower).

Diese Langzeitaufnahme 113 wird dann beispielsweise untergliedert. Die Untergliederung kann in gleich lange Zeitbereiche, wie z. B. 1 Sekunde oder 0,1 Sekunden oder auch dyna- mischer Zeitbereiche erfolgen. Jeder Zeitbereich umfasst ein Audiosegment. Im Schritt 114, der allgemein als Analysieren bezeichnet wird, werden diese Audiosegment separat oder in Kombination untersucht. Hierzu wird beim Analysieren für jedes Audiosegment ein soge- nannter Merkmalsvektor 115 (erste Merkmalsvektoren) ermittelt. Allgemein gesagt heißt es, dass in der Umwandlung von einer digitalen Aufnahme 113 in ein oder mehrere Merkmals- vektoren 115 - z. B. mittels tiefer neuronaler Netze - erfolgt, wobei jeder Merkmalsvektor 115 den Klang zu einem bestimmten Zeitpunkt „codiert“. Merkmalsvektoren 115 können bei- spielsweise durch ein Energiespektrum für einen bestimmten Frequenzbereich oder allge- mein ein Zeit-Frequenz-Spektrum bestimmt werden. This long-term recording 113 is then subdivided, for example. The subdivision can be in equally long time ranges, such as B. 1 second or 0.1 seconds or dynamic time ranges. Each time range comprises an audio segment. In step 114, which is generally referred to as analyzing, these audio segments are examined separately or in combination. For this purpose, a so-called feature vector 115 (first feature vectors) is determined for each audio segment during the analysis. Generally speaking, it is said that in the conversion of a digital recording 113 into one or more feature vectors 115 - e.g. B. by means of deep neural networks - takes place, each feature vector 115 “codes” the sound at a specific point in time. Feature vectors 115 can be determined, for example, by an energy spectrum for a specific frequency range or generally a time-frequency spectrum.

An dieser Stelle sei gleich angemerkt, dass es optionaler Weise möglich ist, dass eine Re- duktion der Dimensionaiität des Merkmalsraums der Merkmalsvektoren 115 mittels statisti- scher Verfahren (z. B. Hauptkomponentenanalyse) erfolgt. Bei dem Schritt 114 können dann auch optionaler Weise typische bzw. dominante Geräusche mitels unüberwachter Lernver- fahren (z. B. Clustering) identifiziert werden. Hierbei werden Zeitabschnitte bzw. Audioseg- mente gruppiert, die hier ähnliche Merkmalsvektoren 115 ausprägen und die entsprechend einen ähnlichen Klang besitzen. Hierbei ist keine semantische Klassifikation eines Geräu- sches (z. B. „Auto“ oder „Flugzeug“) nötig. Insofern erfolgt ein sogenanntes unüberwachtes Lernen anhand von Häufigkeiten sich wiederholender oder sich ähnlicher Audiosegmente. Entsprechend einem weiteren Ausführungsbeispiel wäre es auch denkbar, dass bei dem Schritt 114 ein unüberwachtes Lernen der zeitlichen Reihenfolge und/oder typischer Wie- derholmuster bestimmte Geräusche erfolgt. At this point it should be noted that it is optionally possible for the dimensionality of the feature space of feature vectors 115 to be reduced by means of statistical methods (for example principal component analysis). In step 114, typical or dominant noises can then optionally also be identified by means of unsupervised learning processes (for example clustering). In this case, time segments or audio segments are grouped which here express similar feature vectors 115 and which accordingly have a similar sound. No semantic classification of a sound (eg “car” or “airplane”) is necessary here. In this respect, what is known as unsupervised learning takes place on the basis of frequencies of repetitive or similar audio segments. According to a further exemplary embodiment, it would also be conceivable for an unsupervised learning of the temporal sequence and / or typical repetition patterns of certain noises to take place in step 114.

Das Ergebnis des Clusterings ist eine Zusammenstellung von Audiosegmenten bzw. Geräu- schen, die für diesen Bereich normal bzw. typisch sind. Beispielsweise kann auch jedem Audiosegment eine Auftretenswahrscheinlichkeit zugeordnet werden. Ferner kann auch ein Wiederholmuster bzw. eine Reihenfolge, das heißt also eine Kombination mehrerer Audio- segmente identifiziert werden, die für die aktuelle Umgebung typisch bzw. normal ist. Hierzu kann jeder Gruppierung, jedem Wiederholmuster oder jeder Abfolge unterschiedliche Audi- osegmente ebenso eine Wahrscheinlich zugeordnet werden. The result of the clustering is a compilation of audio segments or noises that are normal or typical for this area. For example, a probability of occurrence can also be assigned to each audio segment. Furthermore, a Repetition patterns or a sequence, that is to say a combination of several audio segments, can be identified that is typical or normal for the current environment. For this purpose, different audio segments can also be assigned a probability to each grouping, each repetition pattern or each sequence.

Am Ende der Justierphase sind also Audiosegmente bzw. gruppierte Audiosegmente be- kannt und als Merkmalsvektoren 115 beschrieben, die typisch für diese Umgebung sind, ln einem nächsten Schritt bzw. in einer nächsten Phase 120 wird dann dieses gelernte Wissen entsprechend angewendet. Die Phase 120 hat die drei Basisschritte 122 und 124 und 126. At the end of the adjustment phase, audio segments or grouped audio segments are known and described as feature vectors 115 which are typical for this environment. In a next step or in a next phase 120, this learned knowledge is then applied accordingly. The phase 120 has the three basic steps 122 and 124 and 126.

Im Schritt 122 wird wiederum eine Audioaufnahme 123 aufgenommen. Diese ist im Vergleich zur Audioaufnahme 113 typischerweise wesentlich kürzer. Diese Audioaufnahme ist bei- spielsweise im Vergleich zur Audioaufnahme 113 kürzer. Es kann sich allerdings auch um eine kontinuierliche Audioaufnahme handeln. Diese Audioaufnahme 123 wird dann in einem nachgelagerten Schritt 124 analysiert. Dieser Schritt ist mit dem Schritt 114 inhaltlich ver- gleichbar. Hierbei erfolgt wiederum eine Umwandlung der digitalen Audioaufnahme 123 in Merkmalsvektoren. Wenn nun diese zweite Merkmalsvektoren 125 vorliegen, können sel- bige mit den Merkmalsvektoren 115 verglichen werden. In step 122, an audio recording 123 is again recorded. This is typically significantly shorter in comparison to the audio recording 113. This audio recording is shorter in comparison to audio recording 113, for example. However, it can also be a continuous audio recording. This audio recording 123 is then analyzed in a subsequent step 124. The content of this step is comparable to step 114. In this case, the digital audio recording 123 is again converted into feature vectors. If these second feature vectors 125 are now available, they can be compared with the feature vectors 115.

Der Vergleich erfolgt im Schritt 126 mit der Zielsetzung, Anomalien festzustellen. Sehr ähn- liche Merkmalsvektoren und sehr ähnliche Reihenfolgen von Merkmalsvektoren deuten da- rauf hin, dass keine Anomalie vorliegt. Abweichungen von vorher bestimmten Mustern (Wie- derholmustern, typischen Reihenfolgen etc.) oder Abweichungen von den vormals bestimm- ten Audiosegmenten gekennzeichnet durch andere/neue Merkmalsvektoren deuten auf eine Anomalie hin. Diese werden in dem Schritt 126 erkannt. Bei dem Schritt 126 können unter- schiedliche Typen von Anomalien erkannt werden. Diese sind beispielsweise: The comparison is made in step 126 with the aim of determining anomalies. Very similar feature vectors and very similar sequences of feature vectors indicate that there is no anomaly. Deviations from previously determined patterns (repeated patterns, typical sequences, etc.) or deviations from the previously determined audio segments identified by other / new feature vectors indicate an anomaly. These are recognized in step 126. In step 126, different types of anomalies can be identified. These are for example:

- klangliche Anomalie (neuer, bisher ungehörter Klang)- sound anomaly (new, previously unheard sound)

- zeitliche Anomalie (bereits gehörter Klang tritt zeitlich „unpassend" auf, wiederholt sich zu schnell oder tritt in falscher Reihenfolge mit anderen Klängen auf) - Temporal anomaly (sound that has already been heard occurs "inappropriately" in terms of time, repeats itself too quickly or occurs in the wrong order with other sounds)

- räumliche Anomalie (bereits gehörter Klang tritt an „ungewohnter" räumlicher Position auf oder die entsprechende Quelle folgt einem un- gewohnten räumlichen Bewegungsmuster) - Spatial anomaly (already heard sound occurs in an "unfamiliar" spatial position or the corresponding source follows an unfamiliar spatial movement pattern)

Diese Anomalien werden bezugnehmend auf Fig. 2 näher erläutert. Optionaler Weise kann die Ausgabe einer Wahrscheinlichkeit für jede der drei Anomalie- arten zum Zeitpunkt X erfolgen, Das ist mit den Pfeilen 126z, 126k und 126r (je ein Pfeil pro Anatomieart) in Fig. 3 illustriert. These anomalies are explained in more detail with reference to FIG. Optionally, a probability can be output for each of the three types of anomaly at time X. This is illustrated by arrows 126z, 126k and 126r (one arrow per anatomy type) in FIG.

An dieser Stelle sei angemerkt, dass beim Vergleich der Merkmaisvektoren häufig keine Identität, sondern nur Ähnlichkeit vorliegt. Insofern können entsprechend Ausführungs- beispielen Schwellwerte definiert sein, wann sich Merkmalsvektoren ähneln bzw. wann sich Gruppen von Merkmalsvektoren ähneln, so dass dann das Resultat auch einenAt this point it should be noted that when comparing the feature vectors, there is often no identity, but only similarity. In this respect, threshold values can be defined in accordance with exemplary embodiments when feature vectors are similar or when groups of feature vectors are similar, so that the result then also has one

Schwellwert für eine Anomalie voriegt. Diese Schwellenwerteanwendung kann sich auch an die Ausgabe der Wahrscheinlichkeitsverteilung anknüpfen bzw. in dieser in Kombina- tion auftauchen, z. B. um genauere zeitliche Erkennungen von Anomalien zu ermögli- chen. There is a threshold for an anomaly. This application of threshold values can also be linked to the output of the probability distribution or appear in combination with it, e. B. to enable more accurate temporal detection of anomalies.

Entsprechend weiteren Ausführungsbeispielen ist es auch möglich, räumliche Anomalien zu erkennen. Hierzu kann der Schritt 114 in der Justierphase 110 auch ein unüberwach- tes Lernen typischer räumlicher Positionen und/oder Bewegungen bestimmte Geräusche aufweisen. Typischerweise sind dann in solchem Fall stat dem in Fig. 3 dargestellten Mikrofon 18 zwei Mikrofone oder ein Mikrofon-Array mit zumindest zwei Mikrofonen vor- handen. In einer solchen Situation ist dann in der zweiten Phase 120 durch eine mehrka- nalige Aufnahme auch eine räumliche Lokalisierung der aktuellen dominanten Schall- quellen/Audiosegmente möglich. Hier zugrundeliegende Technologie kann beispiels- weise Beamforming sein. According to further exemplary embodiments, it is also possible to recognize spatial anomalies. For this purpose, step 114 in the adjustment phase 110 can also have an unsupervised learning of typical spatial positions and / or movements of specific noises. Typically, in such a case, instead of the microphone 18 shown in FIG. 3, two microphones or a microphone array with at least two microphones are present. In such a situation, a spatial localization of the current dominant sound sources / audio segments is then also possible in the second phase 120 by means of a multi-channel recording. The technology on which this is based can, for example, be beamforming.

Bezugnehmend auf Fig. 2a-2c werden nun drei unterschiedliche Anomalien erläutert. Fig. 2a illustriert die zeitliche Anomalie. Hier sind jeweils Audiosegmente ABC sowohl für die Phase 1 als auch die Phase 2 entlang der Zeitachse t aufgetragen, in der Phase 1 wurde erkannt, dass eine normale Situation bzw. normale Reihenfolge derart besteht, dass die Audiosegmente ABC in der Reihenfolge ABC auftauchen. Für einen wurde ein Wieder- holmuster erkannt, das nach der ersten Gruppe ABC eine weitere Gruppe ABC folgen kann. Referring to Figures 2a-2c, three different anomalies will now be discussed. 2a illustrates the temporal anomaly. Here audio segments ABC for both phase 1 and phase 2 are plotted along the time axis t; in phase 1 it was recognized that a normal situation or normal sequence exists such that the audio segments ABC appear in the sequence ABC. A repetition pattern was recognized for one of them, which can be followed by another group ABC after the first group ABC.

Wenn genau dieses Muster ABCABC in Phase 2 erkannt wird, kann davon ausgegangen werden, dass keine Anomalie bzw. zumindest keine zeitliche Anomalie vorliegt. Falls aber das hier dargestellte Muster ABCAABC erkannt wird, so liegt eine zeitliche Anoma- lie vor, da ein weiteres Audiosegment A zwischen den zwei Gruppen ABC angeordnet ist. Dieses Audiosegment A bzw. anomale Audiosegment A ist mit einem Doppelrahmen ver- sehen. If precisely this pattern ABCABC is recognized in phase 2, it can be assumed that no anomaly or at least no temporal anomaly is present. If, however, the pattern ABCAABC shown here is recognized, then there is a temporal anomaly, since a further audio segment A is arranged between the two groups ABC. This audio segment A or abnormal audio segment A is provided with a double frame.

Weiter in Fig. 2b ist eine klangliche Anomalie illustriert. In Phase 1 wurden wiederum die Audiosegmente ABCABC entlang der Zeitachse t aufgenommen (vgl. Fig. 2a). Die klang- liche Anomalie beim Erkennen zeigt sich dadurch, dass ein weiteres Audiosegment, hier das Audiosegment D, in Phase 2 auftaucht. Dieses Audiosegment D hat eine vergrößerte Länge, z. B. über zwei Zeitbereiche und ist deshalb als DD illustriert. Die klangliche Ano- malie ist in der Artenordnung der Audiosegment mit einem Doppelrahmen versehen. Bei dieser klanglichen Anomalie kann es sich beispielsweise um einen Klang handeln, der während der Lernphase nie gehört wurde. Beispielsweise kann hier ein Donner vorliegen, der sich in Bezug auf die Lautheit/Intensität und in Bezug auf die Länge von den vorheri- gen Elementen ABC unterscheidet. A sound anomaly is further illustrated in FIG. 2b. In phase 1, the audio segments ABCABC were again recorded along the time axis t (cf. FIG. 2a). The acoustic anomaly during detection is shown by the fact that a further audio segment, here audio segment D, appears in phase 2. This audio segment D has an increased length, e.g. B. over two time ranges and is therefore illustrated as DD. The acoustic anomaly is provided with a double frame in the order of species of the audio segment. This sonic anomaly can be, for example, a sound that was never heard during the learning phase. For example, a thunder can be present here, which differs in terms of loudness / intensity and in terms of length from the previous elements ABC.

In Bezug auf Fig. 2c ist eine örtliche Anomalie illustriert. In der initialen Lernphase wur- den zwei Audiosegment A und B an zwei verschiedenen Positionen, Position 1 und Posi- tionen 2, erkannt. Während der Phase 2 wurden beide Elemente A und B wiedererkannt, wobei durch Lokalisierung festgestellt wurde, dass sowohl das Audiosegment A als auch das Audiosegment B sich an Positionen 1 befinden. Das Voriiegen vom Audiosegment B an Position 1 stellt eine räumliche Anomalie dar. Referring to Figure 2c, a local anomaly is illustrated. In the initial learning phase, two audio segments A and B were recognized at two different positions, position 1 and position 2. During phase 2, both elements A and B were recognized, and it was established through localization that both audio segment A and audio segment B are at position 1. The presence of audio segment B at position 1 represents a spatial anomaly.

Bezugnehmend auf Fig. 3 wird nun eine Vorrichtung 10 zur Klanganalyse erläutert. Die Vorrichtung 10 umfasst im Wesentlichen die Eingabeschnittstelle 12, wie z. B. eine Mik- rofonschnittstelle sowie einen Prozessor 14. Der Prozessor 14 empfängt die einen oder mehreren (zeitgleich vorliegenden) Audiosignale von dem Mikrofon 18 bzw. dem Mikro- phon-Array 18‘ und analysiert diese. Hierzu führt er im Wesentlichen die im Zusammen- hang mit Fig. 1 erläuterten Schritte 114, 124 und 126 durch. Jeder Phase ist das auszu- gebende Ergebnis (vgl. Ausgabeschnittstelle 16) eine Menge von Merkmalsvektoren, die den Normalzustand repräsentieren oder in Phase 2 eine Ausgabe der erkannten Anoma- lien, z. B. zugeordnet zu einem bestimmten Typ und/oder zugeordnet zu einem bestimm- ten Zeitpunkt. A device 10 for sound analysis will now be explained with reference to FIG. 3. The device 10 essentially comprises the input interface 12, such as, for. B. a microphone interface and a processor 14. The processor 14 receives the one or more (simultaneously present) audio signals from the microphone 18 or the microphone array 18 'and analyzes them. To this end, it essentially carries out steps 114, 124 and 126 explained in connection with FIG. 1. In each phase, the result to be output (cf. output interface 16) is a set of feature vectors that represent the normal state or, in phase 2, an output of the anomalies recognized, e.g. B. assigned to a specific type and / or assigned to a specific point in time.

Darüber hinaus kann bei der Schnittstelle 16 auf eine Wahrscheinlichkeit von Anomalien oder eine Wahrscheinlichkeit von Anomalien zu bestimmten Zeitpunkten oder allgemein eine Wahrscheinlichkeit von Merkmalsvektoren zu bestimmten Zeitpunkten erfolgen. Entsprechend Ausführungsbeispielen ist die Vorrichtung 10 bzw. das Audiosystem aus- gebildet, (gleichzeitig) verschiedene Typen von Anomalien, z. B. zumindest zwei Anoma- lien, zu erkennen. Folgen Anwendungsgebiete wären denkbar: In addition, at the interface 16, a probability of anomalies or a probability of anomalies at specific times or, in general, a probability of feature vectors at specific times can take place. The device 10 or the audio system is designed in accordance with exemplary embodiments (simultaneously) different types of anomalies, e.g. B. to recognize at least two anomalies. The following areas of application are conceivable:

• Sicherheitsüberwachung von Gebäuden und Anlagen o Detektion von Einbrüchen (z. B. Glasbruch)/Beschädigungen (Vandalis- mus) • Security monitoring of buildings and systems o Detection of break-ins (e.g. broken glass) / damage (vandalism)

• Predictive Maintenance o Erkennung von beginnendem Fehlverhalten von Maschinen aufgrund un- gewöhnlicher Klänge • Predictive maintenance o Detection of incipient malfunction of machines due to unusual sounds

• Überwachung öffentlicher Plätze/Ereignisse (Sportereignisse, Mu- sikereignisse, Demonstrationen, Kundgebungen usw.) o Erkennung von Gefahrengeräuschen (Explosion, Schuss, Hilfeschreie)• Monitoring of public places / events (sporting events, music events, demonstrations, rallies, etc.) o Detection of dangerous noises (explosion, gunshot, shouts for help)

• Verkehrsmonitoring o Erkennen bestimmter Fahzeuggeräusche (z. B. durchdrehende Reifen — Raser) • Traffic monitoring o Recognition of certain vehicle noises (e.g. spinning tires - speeders)

• Logistikmonitoring o Überwachung von Bausteilen — Erkennung von Unfällen (Einsturz, Hilfe- schreie) • Logistics monitoring o Monitoring of components - detection of accidents (collapse, cries for help)

• Health o akustische Überwachung des normalen Alltags älterer/kranker Men- schen o Erkennung von Stürzen/Hilfeschreien • Health o acoustic monitoring of the normal everyday life of elderly / sick people o detection of falls / cries for help

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfah- rens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein ent- sprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrens- schritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfah- rensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hard- ware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Compu- ter oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispie- len können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Although some aspects have been described in connection with a device, it goes without saying that these aspects also represent a description of the corresponding method, so that a block or a component of a device can also be used as a corresponding method step or as a feature of a method step understand is. Analogously, aspects that have been described in connection with or as a method step also represent a description of a corresponding block or details or features of a corresponding device. Some or all of the method steps can be carried out by a hardware apparatus (or under Using a hardware device) such as a microprocessor, a programmable computer ter or an electronic circuit. In some exemplary embodiments, some or more of the most important process steps can be carried out by such an apparatus.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Er- findung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM odereines FLASH-Speichers, einer Festplatte odereines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwir- ken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Des- halb kann das digitale Speichermedium computerlesbar sein. Depending on the specific implementation requirements, exemplary embodiments of the invention can be implemented in hardware or in software. The implementation can be implemented using a digital storage medium such as a floppy disk, DVD, Blu-ray disk, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical Memory are carried out on the electronically readable control signals are stored, which can interact with a programmable computer system or cooperate in such a way that the respective method is carried out. The digital storage medium can therefore be computer-readable.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmier- baren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Some exemplary embodiments according to the invention thus include a data carrier which has electronically readable control signals which are able to interact with a programmable computer system in such a way that one of the methods described herein is carried out.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode da- hingehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogramm- produkt auf einem Computer abiäuft. In general, exemplary embodiments of the present invention can be implemented as a computer program product with a program code, the program code being effective to carry out one of the methods when the computer program product runs on a computer.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger ge- speichert sein. The program code can, for example, also be stored on a machine-readable carrier.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen- lesbaren Träger gespeichert ist. Other exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier.

Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin be- schriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer ab- läuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträ- ger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufge- zeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Me- dium sind typischerweise gegenständlich und/oder nicht-vergänglich bzw. nicht-vorüberge- hend. In other words, an exemplary embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer. A further exemplary embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for performing one of the methods described herein is recorded. The data carrier, the digital storage medium or the computer-readable medium are typically tangible and / or non-transitory or non-transitory.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Daten- strom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durch- führen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahingehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, trans- feriert zu werden. A further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represents the computer program for carrying out one of the methods described herein. The data stream or the sequence of signals can, for example, be configured to be transferred via a data communication connection, for example via the Internet.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahingehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another exemplary embodiment comprises a processing device, for example a computer or a programmable logic component, which is configured or adapted to carry out one of the methods described herein.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerpro- gramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another exemplary embodiment comprises a computer on which the computer program for performing one of the methods described herein is installed.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumin- dest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrich- tung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. A further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a receiver. The transmission can take place electronically or optically, for example. The receiver can be, for example, a computer, a mobile device, a storage device or a similar device. The device or the system can comprise, for example, a file server for transmitting the computer program to the recipient.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (bei- spielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzu- führen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hard- ware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some exemplary embodiments, a programmable logic component (for example a field-programmable gate array, an FPGA) can be used to carry out some or all of the functionalities of the methods described herein. In some exemplary embodiments, a field-programmable gate array can interact with a microprocessor in order to carry out one of the methods described herein. In general, the methods in some exemplary embodiments are implemented by a any hardware device performed. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware specific to the method, such as an ASIC, for example.

Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung ei- ner Kombination eines Hardware-Apparats und eines Computers implementiert werden. The devices described herein can be implemented, for example, using a hardware apparatus, or using a computer, or using a combination of a hardware apparatus and a computer.

Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschrie- benen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Com- puterprogramm) implementiert sein. The devices described herein, or any components of the devices described herein, can be implemented at least partially in hardware and / or in software (computer program).

Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hard- ware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The methods described herein can be implemented, for example, using a hardware apparatus, or using a computer, or using a combination of a hardware apparatus and a computer.

Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden. The methods described herein, or any components of the methods described herein, can be carried out at least in part by hardware and / or by software.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Vari- ationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten ein- leuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutz- umfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsen- tiert wurden, beschränkt sei. The embodiments described above are merely illustrative of the principles of the present invention. It is to be understood that modifications and variations of the arrangements and details described herein will be apparent to other skilled persons. It is therefore intended that the invention be limited only by the scope of protection of the following patent claims and not by the specific details presented herein on the basis of the description and the explanation of the exemplary embodiments.

Wissenschaftliche Literatur Scientific literature

[Borges_2008] N. Borges, G. G. L. Meyer: Unsupervised Distributional Anomaly Detection for a Self-Diagnostic Speech Activity Detector, GISS, 2008, pp. 950-955. [Ntalampiras_2009] S. Ntalampiras, I. Potamitis, N. Fakotakis: On Acoustic Surveillance of Hazardous Situations, ICASSP, 2009, pp. 165-168. [Borges_2008] N. Borges, G. G. L. Meyer: Unsupervised Distributional Anomaly Detection for a Self-Diagnostic Speech Activity Detector, GISS, 2008, pp. 950-955. [Ntalampiras_2009] S. Ntalampiras, I. Potamitis, N. Fakotakis: On Acoustic Surveillance of Hazardous Situations, ICASSP, 2009, pp. 165-168.

[Borges_2009] N. Borges, G. G. L. Meyer: Trimmed KL Divergence between Gaussian Mixtures for Robust Unsupervised Acoustic Anomaly Detection, INTERSPEECH, 2009. [Marchi_2015] E. Marchi, F. Vesperini, F. Eyben, S. Squartini, B. Schüller: A Novel Ap- proach for Automatic Acoustic Novelty Detection using a Denoising Autoencoder with Bi- directional LSTM Neural Networks, ICASSP 2015, pp. 1996-2000. [Borges_2009] N. Borges, GGL Meyer: Trimmed KL Divergence between Gaussian Mixtures for Robust Unsupervised Acoustic Anomaly Detection, INTERSPEECH, 2009. [Marchi_2015] E. Marchi, F. Vesperini, F. Eyben, S. Squartini, B. Schüller: A Novel Approach for Automatic Acoustic Novelty Detection using a Denoising Autoencoder with Bi-directional LSTM Neural Networks, ICASSP 2015, pp. 1996-2000.

[Valenzise_2017] G. Valenzise, L. Gerosa, M. Tagliasacchi, F. Antopnacci, A. Sarti: [Valenzise_2017] G. Valenzise, L. Gerosa, M. Tagliasacchi, F. Antopnacci, A. Sarti:

Scream and Gunshot Detection and Localization for Audio-Surveillance Systems, IEEE ICAVSBS, 2017, pp. 21-26. Scream and Gunshot Detection and Localization for Audio-Surveillance Systems, IEEE ICAVSBS, 2017, pp. 21-26.

[Komatsu_2017] T. Komatsu, R. Kondo: Detection of Anomaly Acoustic Scenes based an a Temporal Dissimilarity Model, ICASSP 2017, pp. 376-380. [Komatsu_2017] T. Komatsu, R. Kondo: Detection of Anomaly Acoustic Scenes based on a Temporal Dissimilarity Model, ICASSP 2017, pp. 376-380.

[Tuor_2017] A. Tuor, S. Kaplan, B. Hutchinson, N. Nichols, S. Robinson: Deep Learning for [Tuor_2017] A. Tuor, S. Kaplan, B. Hutchinson, N. Nichols, S. Robinson: Deep Learning for

Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams, AAAI 2017, pp. 224231. Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams, AAAI 2017, pp. 224231.

Claims

1. Method (100) for the detection of acoustic anomalies, with the following steps:

Obtaining (113) a long-term recording with a plurality of first audio segments (ABCD) assigned to respective first time windows;

Analyzing (114) the plurality of first audio segments (ABCD) in order to obtain, for each of the plurality of first audio segments (ABCD), a first feature vector describing the respective first audio segment (ABCD);

Receiving (123) a further recording with one or more second audio segments (ABCD) assigned to respective second time windows;

Analyzing (124) the one or more second audio segments (ABCD) to obtain one or more feature vectors describing the one or more second audio segments (ABCD);

Matching (126) the one or more second feature vectors with the multiplicity of first feature vectors in order to identify at least one anomaly compared to a normal acoustic situation for this environment.

2. The method (100) according to claim 1, wherein the anomaly comprises an aural, temporal and / or spatial anomaly; and / or wherein the anomaly comprises a sound anomaly in combination with a temporal anomaly or a sound anomaly in combination with a spatial anomaly or a temporal anomaly in combination with a spatial anomaly.

3. The method (100) according to claim 1 or 2, wherein the method (100) during the analysis comprises the substep of identifying a repetition pattern in the multiplicity of the first time windows.

4. The method (100) according to claim 3, wherein the identification takes place on the basis of repeating, identical or similar first feature vectors belonging to different first audio segments (ABCD).

5. The method (100) according to claim 3 or 4, wherein the identification involves grouping identical or similar first feature vectors to form one or more groups.

6. The method (100) according to any preceding claim, wherein the method (100) comprises recognizing a sequence of first feature vectors belonging to different first audio segments (ABCD) or recognizing a sequence of groups of identical or similar first feature vectors.

7. The method (100) according to any one of claims 3 to 6, wherein the method (100) comprises identifying a repetition pattern in the one or more second time windows; and / or wherein the method (100) comprises the recognition of a sequence of second feature vectors belonging to different second audio segments (ABCD) or the recognition of a sequence of groups of identical or similar second feature vectors.

8. The method (100) according to claim 7, wherein the method (100) comprises the substep of comparing the repeat pattern of the first audio segments (ABCD) and / or sequence in the first audio segments (ABCD) with the repeat pattern of the second audio segments (ABCD) and / or sequence in the second audio segments (ABCD) in order to detect a temporal anomaly.

9. The method (100) according to any preceding claim, wherein the matching comprises the substep of identifying a second feature vector that differs from the analyzed first feature vectors in order to detect an aural anomaly.

10. The method (100) according to any one of the preceding claims, wherein the feature vector has one dimension, multiple dimensions or a reduced dimension space; and or wherein the method (100) comprises the step of reducing the dimensions of the feature vector.

11. The method (100) according to any one of the preceding claims, wherein the method (100) comprises the step of determining a respective position for the respective first audio segments (ABCD).

12. The method (100) according to claim 11, wherein the method (100) comprises the step of determining a respective position for the respective second audio segments (ABCD), and wherein the method (100) is assigned the substep of adjusting the position the respective first audio segment (ABCD) with the position assigned to the corresponding respective second audio segment (ABCD) in order to detect a spatial anomaly.

13. The method (100) according to any one of the preceding claims, wherein the method (100) has the step of determining a probability of occurrence of the respective first audio segment (ABCD) and outputting the probability of occurrence with the respective first feature vector, or wherein the method (100 ) comprises the step of determining a probability of occurrence of the respective first audio segment A (BCD) and of outputting the probability of occurrence with the respective first feature vector and a first time window.

14. The method according to any one of the preceding claims, wherein the plurality of first audio segments and / or the plurality of first audio segments in their order describe a normal acoustic state in the application scenario and / or represent a reference; and / or wherein the one anomaly is recognized when one or more second feature vectors deviates from the plurality of first feature vectors.

15. The method according to any one of the preceding claims, wherein the long-term recording comprises at least a duration of 10 minutes or of at least 1 hour or of at least 24 hours; and / or wherein the further recording comprises a time window or in particular a time window of less than 5 minutes, less than 1 minute or less than 10 seconds.

16. A computer program with a program code which, when it runs on a computer, executes one or more steps of the method (100) according to the preceding claims.

17. Device (10) for recognizing acoustic anomalies, with the following features: an interface (12) for receiving a long-term recording (113) with a large number of first audio segments (ABCD) assigned to respective first time windows and to Receiving a further recording (123) with one or more second audio segments (ABCD) assigned to respective second time windows; a processor (14) which is designed to analyze the plurality of the first audio segments (ABCD) in order to obtain a first feature vector describing the respective first audio segment (ABCD) for each of the plurality of the first audio segments (ABCD), and to analyze the one or more second audio segments (ABCD) is designed to receive one or more feature vectors describing the one or more second audio segments (ABCD) and that is designed to match the one or more second feature vectors with the plurality of first feature vectors, in order to detect at least one anomaly compared to a normal acoustic situation for this environment.

18. The device (10) according to claim 17, wherein the device (10) comprises a microphone (18) or a microphone array which is connected to the interface (12).

19. Device (10) according to claim 17 and 18, wherein the device (10) has an output interface for outputting a probability of occurrence of the respective first audio segment (ABCD) with the respective first feature vector or for outputting a probability of occurrence of the respective first audio segment (ABCD) with the respective first feature vector and a first time window.