Nothing Special   »   [go: up one dir, main page]

EP4356622B1 - Active noise control klassifikationssystem - Google Patents

Active noise control klassifikationssystem Download PDF

Info

Publication number
EP4356622B1
EP4356622B1 EP23776664.7A EP23776664A EP4356622B1 EP 4356622 B1 EP4356622 B1 EP 4356622B1 EP 23776664 A EP23776664 A EP 23776664A EP 4356622 B1 EP4356622 B1 EP 4356622B1
Authority
EP
European Patent Office
Prior art keywords
filters
feedforward
filter
feedback
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP23776664.7A
Other languages
English (en)
French (fr)
Other versions
EP4356622C0 (de
EP4356622A1 (de
Inventor
Ludwig KOLLENZ
Michael Perkmann
Daniel Wöhrer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Austrian Audio GmbH
Original Assignee
Austrian Audio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Austrian Audio GmbH filed Critical Austrian Audio GmbH
Publication of EP4356622A1 publication Critical patent/EP4356622A1/de
Application granted granted Critical
Publication of EP4356622C0 publication Critical patent/EP4356622C0/de
Publication of EP4356622B1 publication Critical patent/EP4356622B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17815Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the reference signals and the error signals, i.e. primary path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3038Neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3041Offline
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3048Pretraining, e.g. to identify transfer functions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3056Variable gain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15Determination of the acoustic seal of ear moulds or ear tips of hearing devices

Definitions

  • the invention relates to a method for classifying and applying filters for active noise control in hearing systems according to claim 1.
  • Hearing systems of all kinds be they hearing aids or headphones (hereinafter used as a synonym for all types of hearing systems) of the types over-ear, on-ear, in-ear, or ear buds, with ANC (used in this application as an abbreviation for Active Noise Cancelling or Active Noise Control and synonymously with ANR, i.e. Active Noise Reduction) are affected by the problem of ANC performance depending on the wearing situation. Ears are very different from person to person and the wearing situation changes every time the headphones are put on or inserted, which has a major impact on the ANC performance, especially in the case of static, i.e. non-adaptive systems.
  • ANC used in this application as an abbreviation for Active Noise Cancelling or Active Noise Control and synonymously with ANR, i.e. Active Noise Reduction
  • headphones do not usually have the same passive attenuation everywhere and in every wearing situation, which is why the passive attenuation of the headphones varies depending on the direction of incidence, and thus also the ANC performance.
  • a system must evaluate the current wearing situation/incident direction of noise and adjust the filters of the ANC circuit.
  • a typical approach is adaptive filters, with Least Mean Squares (LMS) being the most common.
  • LMS Least Mean Squares
  • Adaptive control usually requires an identical sampling rate for the filter and the LMS algorithm. However, this is not usually the case in integrated circuits (ICs), as audio processing takes place at high sampling rates (e.g. 384 kHz) and control at low sampling rates (e.g.
  • the US9,773,490 B2 discloses a method in which an acoustic leakage between a speaker of a headphone and an error microphone is measured or estimated and the feedback system is adjusted accordingly in order to avoid instabilities in the ANC system.
  • the basis for this method is the presence of a useful signal (source signal) which is measured at the reference microphone.
  • source signal a useful signal which is measured at the reference microphone.
  • the US 2022/0076656 A1 discloses another method for estimating the leakage of an ANC headphone using feedforward and feedback microphone signals and corresponding selection of ANC profiles.
  • the US9,142,205 B2 further discloses a method that measures or estimates the acoustic leakage between the loudspeaker and the error microphone and adjusts the feedback ANC system so that part of the playback signal that arrives at the reference microphone is not canceled out.
  • the disadvantage of this method is that it only optimizes playback performance for the ideal useful signal.
  • the US9,516,407 B2 shows a method for estimating the transfer function of an ANC system.
  • One of the disadvantages is the complex two-stage process of filter selection.
  • a method for classifying and applying ANC systems in headphones which has the method steps specified in claim 1.
  • a method is used that identifies the wearing situation and direction of interference noise of ANC headphones as well as the physical properties (e.g. ear shape, jaw/skull shape,...) of the person wearing the headphones and, by means of a classifying algorithm, selects the filter best suited to the respective wearing situation and noise environment from a large number of filters, so that it can be used for the ANC system.
  • a key advantage of the method is that the ANC system can use sampling rates independently of the system selecting the filter. The independent implementation between the filter selecting system part and the ANC system part enables a more energy efficient and error resistant implementation.
  • measurements must be carried out for headphones that use the method according to the invention and the transmission distances for different ears (which are shaped differently for each wearer), wearing situations and directions of noise in different environments must be determined.
  • These measurements are carried out in a controlled environment (e.g. acoustic laboratory) on one or more headphones of the same model.
  • a set of filters is determined that covers the different situations (or averages of these). This set of filters represents the widest possible range of situations in which noise can occur, from street noise to turbine noise, the background noise of a coffee house to children playing. The technicians have hardly any limits here due to the controlled environment of the acoustic laboratory.
  • the application of the pre-filters from point a1) is optional.
  • the FF or FB paths must also be determined analogously for each of the desired combinations. This step is logical for the person skilled in the art with knowledge of the invention and can be carried out without further explanation. However, in the above description of the method, the singular number of components was chosen to make the example easier to read.
  • the gain of the filter can optionally be adjusted either before, in parallel, or after filter selection. It should be noted that the estimated and applied transfer functions can be different.
  • the filter coefficients assigned to the class are applied in the ANC path.
  • the filter based on the selected coefficients can be the right choice in different wearing situations as long as the gain is adjusted correctly. This can lead to the case that, mathematically speaking, another filter would be more suitable, but the selected filter is sufficiently strong due to its gain not to trigger an adjustment of the filter. In this case, there is therefore an interplay between the gain estimator and the classifier.
  • a gain estimator can be a PID controller, LMS (with one coefficient), or cross-correlation.
  • the coefficient set can be used in addition to the FF and FB filters already mentioned (in Fig.1 represented as FF(z) and FB(z)) also contain different coefficients for audio playback.
  • the audio playback path is not only dependent on the audio source (audio stream source in Fig.1 ), but also by the wearing situation and the physical characteristics (e.g. ear shape, jaw/skull shape,...) of the person wearing the headphones and should ideally be adjusted.
  • This adjustable filter for audio playback is in Fig.1 displayed as audio(z).
  • All of these described audio chains are brought together via a mixer before playback. This can be equipped with a variable gain just like the individual paths.
  • the final playback of the audio chain can be done via various systems such as dynamic speakers, balanced armature drivers, MEMS speakers, bone-conduction systems, etc. and is in Fig.1 represented as a loudspeaker.
  • the selection of the filter function and the calculation of the gain can be carried out simultaneously or alternately (ping-pong mode). Simultaneously is understood here to mean that the processor carrying out the calculation simultaneously makes the calculation results available to the system at the end of the calculation cycle.
  • the duration of a calculation cycle with alternating selection of the filter function and calculation of the gain can be selected variably.
  • the system can allow the estimate of the transfer function to converge for 100 ms, then adjust the gain for 100 ms, then estimate the transfer function again, etc. Variations of this scheme are easily understandable and feasible for the person skilled in the art with knowledge of the invention.
  • a gain estimator from step II can be a PID controller known from control engineering, an LMS algorithm (with a coefficient) or a cross-correlation function (see above).
  • step IV stopping or starting the adaptation
  • a noise floor for each of the different parts of the system, i.e. a lower threshold which can be given as an absolute limit by the sensor sensitivity, or which can be firmly defined for the algorithm. If this threshold is exceeded, the adaptation is stopped.
  • An example of this is a quiet environment: Since there is hardly any energy in the acoustic signal, only poor estimates can be made, and good ANC performance is not relevant because the environment is quiet anyway.
  • the adaptation of the filters is only paused if the performance (indicated by the performance indicator) is sufficiently good or if disturbances are detected.
  • the threshold values for starting and stopping the adaptation based on the indicator can be static or adaptive as already described and in the latter case change with a long-term averaging of the ANC overall performance.
  • the algorithm tries to achieve a noise minimum.
  • Stopping the adaptation is necessary to prevent borderline cases in which the classifier would constantly switch between two states (for example two filters).
  • Pausing in the event of interference is then advantageous to prevent incorrect adaptation.
  • a reference threshold is set to which the smoothed signal is fed.
  • the decision as to whether adaptation takes place is made by a threshold switch, which usually has a hysteresis.
  • the performance indicator thus also prevents jumping between filters too often.
  • the classifier can be set to pay attention to the current value of the gain estimate: If the value of the gain estimate is at its maximum or minimum over a defined period of time, the classifier can switch to the next higher or lower filter class. The reason for this is that, for example, with a constantly high gain, a neighboring filter probably delivers better results with a medium gain, which was not reflected in the transfer function estimation.
  • the classifier only pays attention to the gain estimate, since in the extreme case the transfer function can only be made dependent on the gain estimate, and switches classes according to this information.
  • Fig.3 shows the flow chart of the example Fig.1 and Fig. 2 used classifier with an optional timer, which is used for the ping-pong variants.
  • the timer has a duty cycle, similar to a periodic square function, and fulfills the task of switching between gain estimation and classifier.
  • a timer designed in an analogous manner can also be used to control the sequence of adaptation runs for FB and FF filters (point l) in the description of Fig.1 ).
  • Fig.4 shows a flow chart showing the filter selection by the classifying algorithm (classifier), whereby the scheme only applies from subsection g) of the procedure on the first run.
  • an adaptive algorithm (see point b) or h)) is used to estimate the transfer functions of the FF path and/or the FB path used and a performance indicator is used, which is determined by referencing the feedback microphone signal to the feedforward microphone signal (see point i)).
  • the transfer functions estimated by the adaptive algorithm and the performance indicator serve as the input of the classifying algorithm.
  • the estimated transfer function provides the classifying algorithm with the characteristics of the current wearing situation based on the energy content of the ambient sound, i.e. it "recognizes" the situation and tries to select the right filter based on the transfer function.
  • the performance indicator shows the classifying algorithm whether the selected filter is sufficiently suitable for the analyzed and classified situation, or whether a better filter must be selected.
  • the classifier processes both parameters together. This is done by the classifying algorithm, such as a neural network, mapping the mismatch between the measuring point (FB microphone) and the target point (eardrum) based on its prior training. This information is used to identify which suitable filter is assigned to which mismatch based on the transfer function estimated by the adaptive algorithm.
  • the determined filter is taken from the lookup table (LUT) stored on the IC.
  • the filter taken from the LUT is then applied in the FF or FB path.
  • the advantage of using such a classifier over adaptive filters is the ability to carry out measurements in advance (e.g. in special laboratories by a specialist) that allow for different conditions, such as a low-reflection room or a diffuse sound field.
  • the filters can be calculated for sampling rates other than the sampling rate of the classifier. It is common for classifiers to work with sampling rates ⁇ 50 kHz, while filters with >300 kHz are used.
  • Another major advantage of the invention over an adaptive system that calculates the filters in real time is the ability to determine the filters, for example, with in-situ measurements, i.e. with probe microphones close to the eardrum (in this case the target point).
  • the LUT is separated from the transfer function estimation and any classification can be carried out.
  • the state of the art US9,516,407 B2
  • the transfer function estimation is limited to its reference points: for example, the microphones (feedforward and feedback).
  • the filters in the LUT can be created for any target point, which does not necessarily have to correspond to the microphone points.
  • the classifier is trained to map the difference between the microphone point and the target point.
  • the filters in the LUT are designed for the target point (as close as possible to the drum field point).
  • the transfer function estimation is optimized for the feedback microphone point.
  • the classifier is trained in a laboratory environment using in-situ measurements for the target point in reference to the microphone points (feedforward and feedback).
  • the filters are arranged hierarchically according to class in a filter matrix depending on shape and gain. This allows sequential jumps and allows the algorithm to vary in borderline cases between two filters with slightly different shapes or between slightly different gains.
  • a major advantage of this method over adaptive filters is that only useful filters are stored in memory.
  • the ANC algorithm therefore does not run the risk of getting stuck at local optima.
  • the system is therefore stable in any case and does not generate any artifacts (e.g. hiss noise).
  • a particularly preferred embodiment of this method uses a combination of a classical LMS algorithm and a PEAK filter in the sense of the application instead of just a classical LMS algorithm EP2022/068392 , published as WO2023280752A1 on January 12, 2023. In this way, the advantages of the cited application are transferred to the application presented here.
  • an audio playback filter can be assigned to each class (in addition to feedforward and/or feedback filters). This is intended for playing an audio source (e.g. Bluetooth audio or 3.5mm jack) and has the task of keeping the sound image constant when the wearing situation changes.
  • an audio source e.g. Bluetooth audio or 3.5mm jack
  • the feedback path is defined as a transmission path described as a transfer function between an internal feedback microphone located near the loudspeaker and the loudspeaker.
  • the feedforward path is defined as the calculated transmission distance (transfer function) based on the transfer function of the FF microphone, the internal transfer function of the loudspeakers (headphone speaker frequency response) and the transfer function of the passive damping (mechanical system).
  • the invention relates to a method for classifying and applying acoustic filters for active noise control in hearing systems, whereby the filters are determined in advance and stored in a memory in the headphones. While wearing the headphones, it is thus possible to quickly and efficiently select and apply a specific filter in order to improve ANC performance and stability.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen gemäß Anspruch 1.
  • Hörsysteme aller Art, seien es etwa Hörgeräte oder Kopfhörer (im weiteren Synonym für alle Arten von Hörsystemen verwendet) der Arten Over-ear, On-ear, In-ear, oder Ear-Buds, mit ANC (wird in dieser Anmeldung als Abkürzung für Active Noise Cancelling bzw. Active Noise Control und synonym mit ANR, also Active Noice Reduction, verwendet) sind vom Problem der tragesituationsabhängigen ANC-Performance betroffen. Ohren sind individuell sehr unterschiedlich und bei jedem aufsetzen bzw. einsetzen der Kopfhörer ändert sich die Tragesituation, was sich, insbesondere bei statischen, d.h. nicht adaptiven Systemen, in hohem Maße auf die ANC-Performance auswirkt. Zusätzlich besitzen Kopfhörer üblicherweise nicht überall und in jeder Tragesituation die gleiche passive Dämpfung, weshalb die passive Dämpfung des Kopfhörers je nach Einfallsrichtung variiert, und somit auch die ANC-Performance. Um diese Einflüsse zu Kompensieren und immer eine optimale ANC-Performance zu gewährleisten, muss ein System die aktuelle Tragesituation/Störschall-Einfallsrichtung evaluieren und die Filter des ANC-Kreises anpassen. Ein typischer Ansatz sind adaptive Filter, wobei Least Mean Squares (LMS) am weitesten verbreitet ist. In der Praxis ergeben sich mit diesem Ansatz jedoch Probleme: Für die adaptive Regelung wird üblicherweise eine identische Abtastrate für das Filter und den LMS Algorithmus vorausgesetzt. Das ist in Integrated Circuits (ICs) üblicherweise jedoch nicht der Fall, da Audioverarbeitung bei hohen Abtastraten (z.B. 384kHz) und Regelung bei niedrigen Abtastraten (z.B. 16kHz) erfolgt. Für adaptive Filter gibt es nur aufwändige Lösungen für das Problem, etwa die Interpolation für höhere Abtastraten oder Frequency-Warping (sofern die Hardware dies überhaupt zulässt). Ein weiteres Problem ist die Messung. Da ein adaptives Filter versucht ein Fehlersignal zu minimieren, bezieht sich das in diesem Fall auf das Signal am Feedback-Mikrophon eines Hybrid-ANC Systems (d.h. eines Systems mit einem Feedback- und einem Feedforward-Pfad). Dieses befindet sich jedoch nicht am Trommelfell des Trägers, die Wahrnehmung der ANC-Wirkung durch den Träger oder die Trägerin wird daher, etwa aufgrund der Unterschiede im Gehörgang, vom Optimum des Filters abweichen. Es wurden daher im Stand der Technik einige Versuche Unternommen die ANC-Qualität zu verbessern.
  • Die US 9,773,490 B2 offenbart ein Verfahren bei dem eine akustische Leckage zwischen einem Lautsprecher eines Kopfhörers und einem Fehlermikrophon gemessen oder geschätzt und das Rückkopplungssystem entsprechend angepasst wird, um Instabilitäten des ANC-Systems zu vermeiden. Basis für dieses Verfahren ist das Vorhandensein eines Nutzsignals (Source Signal) welches am Referenzmikrofon gemessen wird. Problematisch daran ist, dass in einem typischen Anwendungsfall von ANC Systemen kein Source Signal zur Verfügung steht.
  • Die US 2022/0076656 A1 offenbart ein weiteres Verfahren zur Schätzung der Leckage eines ANC-Kopfhörers unter Nutzung von Feedforward- und Feedback- Mikrofonsignalen und entsprechender Auswahl von ANC-Profilen.
  • Die US 9,142,205 B2 offenbart weiters ein Verfahren, das die akustische Leckage zwischen Lautsprecher und Fehlermikrophon misst oder schätzt und das rückgekoppelte ANC-System so anpasst, dass ein Teil des Wiedergabesignals, der am Referenzmikrophon ankommt, nicht ausgelöscht wird. Nachteilig an diesem Verfahren ist, dass lediglich auf ideale Nutzsignal Wiedergabe-Performance optimiert wird.
  • Die US 9,516,407 B2 zeigt ein Verfahren zur Schätzung der Transferfunktion eines ANC-Systems. Nachteilig darin ist, unter Anderem das komplexe zweistufige Verfahren der Filterauswahl.
  • Es ist Ziel und Aufgabe der Erfindung ein Verfahren zur Verfügung zu stellen, das die Erkennung und entsprechende Anpassung des ANC-Systems auf den Nutzer und dessen individuelle physische Eigenschaften sowie dessen Tragesituation ermöglichen und dafür auf die Tragesituation angepasste, im Vorfeld bestimmte und auf einem Speicher hinterlegte Filter auswählt, um die ANC-Eigenschaften eines Kopfhörers, in dem das Verfahren angewendet wird, zu optimieren.
  • Erfindungsgemäß werden diese Ziele durch ein Verfahren zur Klassifikation und Anwendung von ANC-Systemen in Kopfhörern erreicht, dass die im Anspruch 1 angegebenen Verfahrensschritte aufweist. Mit anderen Worten wird ein Verfahren verwendet, das die Tragesituation und Störschall-Einfallsrichtung von ANC-Kopfhörern sowie die physischen Eigenschaften (z.B. Ohrform, Kiefer-/Schädelform,...) der die Kopfhörer tragenden Person identifiziert und mittels eines klassifizierenden Algorithmus, aus einer Vielzahl von Filtern den auf die jeweilige Tragesituation und Geräuschumgebung bestgeeigneten Filter auswählt, so dass dieser für das ANC-System angewendet werden kann. Ein wesentlicher Vorteil des Verfahrens ist es das ANC-System Abtastraten-unabhängig vom den Filter wählenden System arbeiten zu lassen. Die unabhängige Umsetzung zwischen dem den Filter wählenden System Teil und ANC-System-Teil ermöglicht eine energieeffizientere und fehlerresistentere Implementierung.
  • Bevor das Verfahren zur Anwendung kommen kann, müssen für einen Kopfhörer, der das erfindungsgemäße Verfahren verwendet, Messungen durchgeführt und die Übertragungsstrecken für unterschiedliche Ohren (die bei jedem Träger anders geformt sind), Tragesituationen und Störschalleinfallsrichtungen in unterschiedlichen Umgebungen ermittelt werden. Diese Messungen werden in einer kontrollierten Umgebung (z.B. akustisches Labor) an einem oder mehreren Kopfhörern des gleichen Modells durchgeführt. Auf Basis dieser Messungen wird ein Satz Filter ermittelt, welcher die unterschiedlichen Situationen (bzw. Mittelungen aus diesen) abdeckt. Dieser Filtersatz repräsentiert ein möglichst breites Feld von Situationen, in denen Störschall auftreten kann, von Straßenlärm, über Turbinenlärm, der Geräuschkulisse eines Kaffeehauses bis hin zu spielenden Kindern. Den Technikern sind hier aufgrund des kontrollierten Umfelds des akustischen Labors kaum Grenzen gesetzt.
  • Für eine gewählte Abtastrate werden diese Filter auf einem im Kopfhörer befindlichen Speicher hinterlegt (gespeichert). Je nach Topologie des im Kopfhörer verwendeten ICs können diese (abgelegten) Filter FIR (finite impulse response) oder IIR (infinite impulse response) Koeffizienten sein. Im Betrieb der Kopfhörer trifft dann ein neuartiger klassifizierender Algorithmus die Entscheidung welcher Satz Filter-Koeffizienten derzeit die beste ANC Performance liefert und wendet diese Filter in der Audiokette an. Der Vorgang der Adaption umfasst für eine typische Anwendung erfindungsgemäß folgende Schritte:
    1. 1) Klassifizierung welcher Satz Koeffizienten die beste Performance liefert.
    2. 2) Anwenden des selektierten Koeffizienten-Satzes in der Audio-Verarbeitung.
    3. 3) Anpassen der Verstärkung des aktuellen Filters.
    4. 4) Stoppen der Adaption, solange die Performance gut bleibt, Starten der Adaption, sobald die Performance einen Schwellwert überschreitet sowie Stoppen der Adaption bei Störereignissen, die der Regelung hinderlich sind (z.B. Kau-Bewegungen u.Ä.).
  • Die Erfindung wird nachfolgend anhand der Figuren näher erläutert. Dabei zeigt
    • Fig. 1 eine schematische Darstellung des Verfahrens,
    • Fig. 2 ein Anwendungsbeispiel des Verfahrens nach Fig. 1 und
    • Fig. 3 ein Flussdiagramm des Klassifizierers eines Verfahrens nach Fig. 1 oder Fig. 2.
  • Fig. 1 zeigt eine schematische Darstellung des erfindungsgemäßen Verfahrens, bei dem ein klassifizierender Algorithmus die Entscheidung trifft, welches Filter, definiert durch einen Satz von Koeffizienten, derzeit die Beste ANC Performance liefert und diese Filter in der Audiokette anwendet. Das Verfahren umfasst dabei ein Hörsystem mit zumindest einem Feedforward-Mikrofon und zumindest einem Feedback-Mikrofon, zumindest einem Lautsprecher, zumindest einem aus einem Speicher und zumindest einer Prozessoreinheit bestehenden Integrated Circuit, zumindest einem Feedback-Pfad und zumindest einem Feedforward-Pfad und durchläuft dabei mehrere Schritte:
    • a) Empfang eines als Feedback-Mikrofonsignal bezeichneten Audiosignals durch das zumindest eine Feedback-Mikrofon (FB-Mikrofon) und eines als Feedforward Mikrofonsignal bezeichneten Audiosignals durch das zumindest eine Feedforward-Mikrofon (FF-Mikrofon).
    • a1) Optional: Pre-Filtering des Audiosignals, wobei dafür klassische Hochpass-, Tiefpass-, Bandpass-, o.ä. Filter in Frage kommen (siehe auch Fig. 2). Aufgabe des Pre-Filters ist es z.B. den frequenzbezogenen Bandbreitebereich für die ANC Optimierung einzuschränken und/oder zu gewichten.
    • b) Schätzung der Transferfunktion des Feedback-Pfades (FB-Pfad) auf Basis des Vergleichs von innerem (Feedback) Mikrofonsignal und Signal des Lautsprechers (Speakersignal), wobei ein adaptiver Algorithmus (zu adaptiven Algorithmen gehören beispielsweise alle LMS-Varianten inklusive dem neuen PEAK-LMS, RLS, affine Projektion oder auch Algorithmen basierend auf Kreuzkorrelation) zur Schätzung der Transferfunktion verwendet wird, wobei sowohl Varianten im Zeitbereich, wie im Frequenzbereich (Subband/ Frequency-Domain LMS) möglich sind.
    • c) Berechnung verschiedener, nicht notwendigerweise aller aber mindestens einer, relevanter Eigenschaften aus der Transferfunktion des Feedback-Pfades. Dabei kann es sich um eine, mehrere, oder alle der folgenden Eigenschaften handeln: Totale Verstärkung, temporal Centroid, mittlere Energie, Enveloppe, Anstiegszeit der Enveloppe, Scheitelfaktor, Autokorrelation, Histogramm, Spectral Flatness Measure oder auch Kurtosis. Die Berechnung erfolgt mit der Fachperson aus dem Stand der Wissenschaft bekannten Algorithmen.
    • d) Bestimmung des Performance-Indikators anhand des Pegels am Feedback-Mikrofon in Relation zum Feedforward-Mikrofon.
    • e) Wahl eines Koeffizientensatzes durch einen klassifizierenden Algorithmus, auf Basis der in c) bestimmten Relevanten Eigenschaften der Transferfunktion und des in d) bestimmten Pegels, wobei es zwei Möglichkeiten gibt: Entweder der klassifizierende Algorithmus (folgend "Klassifizierer" genannt) gibt diskret eine Klasse aus, der ein auf einem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter zugeordnet ist, oder der Klassifizierer gibt eine eindimensionale Funktion aus. Als klassifizierende Algorithmen geeignet sind beispielsweise: Decision Tree, Support Vector Machine, Multivariate Gauss oder Neural-Network. Bevorzugte Umsetzungen sind Decision Tree und nichtlineare mehrschichtige neuronale Netze. Das Training des klassifizierenden Algorithmus erfolgt üblicherweise offline, d.h. in Laborumgebung. Im Fall einer diskreten Ausgabe erfolgt die Entscheidung für einen Filter, indem der klassifizierende Algorithmus, der auf die Auswahl eines Filters trainiert wurde, einen konkreten Filter aus der Liste der hinterlegten Filter auswählt. Im Fall einer eindimensionalen Funktion gibt es einen Quantifizierer, der jedem Wertebereich eine Filterfunktion zuordnet. In beiden Fällen ist jeder Klasse ein Satz Filterkoeffizienten zugeordnet, die dem Lookup Table (LUT) entnommen werden können. Die eindimensionale Funktion ist besonders vorteilhaft bei Verwendung eines neuronalen Netzes. Ein neuronales Netz als Klassifizierer hat für jede Klasse ein Neuron in der Ausgabeschicht. Dies bedeutet einen gewissen Rechenaufwand, welcher reduziert werden kann wenn das Netz auf ein einzelnes Ausgabe-Neuron reduziert wird. In diesem Fall durchläuft das Ausgabe Neuron die Klassen (hier der LUT). In diesem Sinne wird die Ausgabe des Netzes als eindimensionale Funktion verstanden, welche quantisiert dem LUT zugwiesen wird.
    • f) Anwendung des in e) gewählten Koeffizientensatzes des Filters im aktuellen Feedback-Audiopfad, d.h. die Koeffizienten werden in den aktuellen Feedback-Audiopfad FB(z) (symbolisiert durch die schrägen Pfeile für einen veränderlichen Funktionsblock) kopiert oder es wird ein Verweis zur Startadresse der Koeffizienten gemacht
    • g) Mit aktiviertem FB-ANC erfolgt eine Schätzung des Feedforward-Pfades (FF-Pfad) auf Basis des Vergleichs von unter a) bestimmtem äußeren (Feedforward) und innerem (Feedback) Mikrofonsignal, wobei ein adaptiver Algorithmus (LMS oder Vergleichbares, siehe auch Pkt. b) zur Schätzung der Transferfunktion des FF-Pfads verwendet wird, wobei sowohl Varianten im Zeitbereich wie im Frequenzbereich (Subband/Frequency-Domain LMS) möglich sind.
    • h) Berechnung verschiedener, nicht notwendigerweise aller aber mindestens einer, relevanter Eigenschaften aus der Transferfunktion des Feedforward-Pfades, analog zu Punk c). Dabei kann es sich um eine, mehrere, oder alle der folgenden Eigenschaften handeln: Totale Verstärkung, temporal Centroid, mittlere Energie, Enveloppe, Anstiegszeit der Enveloppe, Scheitelfaktor, Autokorrelation, Histogramm, Spectral Flatness Measure oder auch Kurtosis. Die Berechnung erfolgt mit der Fachperson aus dem Stand der Wissenschaft bekannten Algorithmen.
    • i) Bestimmung eines Performance-Indikators durch referenzieren des Feedback-Mikrophon-Signals (FB-Mic-Signal) auf das Feedforward-Mikrophon-Signal (FF-Mic-Signal), analog zu Punk d). Dieser zeigt die derzeitige ANC Performance des Systems. Die Referenzierung ist beispielweise eine Division und erfolgt bevorzugt im Frequenzbereich, kann jedoch, falls erforderlich, auch im Zeitbereich stattfinden. Im Fall der Division im Zeitbereich erfolgt eine Mittelung der Signale und Gleichrichtung vor der Division und nachfolgend eine zusätzliche Glättung mit einer optionalen Filterung für Fokus auf Frequenzbereiche. Für den Fall der Division im Frequenzbereich ist auch eine Glättung sinnvoll bzw. möglich. Im Fall einer Glättung deren Ausgabe als Performance-Indikator herangezogen. Die Glättung stellt in diesem Sinne eine Form der Mittelung der Ergebnisse der Division über einen definierten Zeitraum dar. Der entsprechende Zeitraum lässt sich in, für die Anwendung sinnvollen Grenzen, frei definieren.
    • j) Die in h) geschätzten Transferfunktionen und der in i) bestimmte Performance-Indikator werden als Eingaben eines klassifizierenden Algorithmus, in Fig. 1 als Block "Entscheidung" dargestellt, verwendet, der damit einen Koeffizientensatz, entweder durch Ausgabe einer diskreten Klasse auswählt, die einem auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter zugeordnet ist, oder durch Ausgabe einer eindimensionalen Funktion, die einen auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter auswählt, wobei die meisten klassifizierenden Algorithmen geeignet sind. Beispiele dafür sind wieder: Decision Tree, Support Vector Machine, Multivariate Gauss, Neural-Network. Bevorzugte Umsetzungen sind Decision Tree und nichtlineare mehrschichtige neuronale Netze. Das Training des klassifizierenden Algorithmus erfolgt analog zu Pkt. e) üblicherweise offline, d.h. in Laborumgebung. Alle in Punkt e) betreffend diskrete Filterklassen und eindimensionale Funktionen getätigte Aussagen sind auch auf diesen Fall anwendbar.
    • k) Anwendung der in j) gewählten Filterfunktion, d.h. die Koeffizienten werden in den aktuellen Feedforward-Audiopfad FF(z) (symbolisiert durch die schrägen Pfeile für einen veränderlichen Funktionsblock) kopiert oder ein Verweis zur Startadresse der Koeffizienten gemacht.
    • l) Neujustierung der Filter durch erneuten Durchlauf des erfindungsgemäßen Verfahrens, wobei entweder das gesamte Verfahren ab Pkt. a) erneut durchlaufen wird, oder aber nur eine Anpassung des FF-Filters (Durchlauf des Verfahrens ab Pkt. g) erfolgt. Erfolgt nur eine Anpassung der FF-Filter, so erfolgt zwischen f) und g) erneut der Empfang und die Verarbeitung das FF-Mikrofonsignals. Sofern eine Anpassung des FB-Filters erfolgt, erfolgt daher immer auch eine Anpassung des FF-Filters, umgekehrt ist eine Anpassung des FF-Filters aber ohne Anpassung des FB-Filters möglich. Die Anpassung des FB-Filters erfolgt daher höchsten gleich oft wie die Anpassung des FF-Filters. Die Entscheidung ob nur der FF-Filter angepasst wird, oder FF- und FB-Filter angepasst werden müssen kann entweder durch ein definiertes Schema fest vorgegeben sein, durch Usereingabe festgelegt werden, oder durch einen Algorithmus (z.B. auf Basis der Performance-Indikators, des Schalldrucks, oder eines ähnlich geeigneten Maßstabs für die Systemqualität) entschieden werden.
  • Die Anwendung der Pre-Filter aus Pkt. a1) erfolgt optional. Für ein System mit mehreren FF- bzw. FB-Mikrofonen bzw. Lautsprechern müssen analog dazu auch für jede der gewünschten Kombinationen die FF- bzw. FB-Pfade bestimmt werden. Dieser Schritt ist für die Fachperson in Kenntnis der Erfindung logisch und ohne weitere Erklärungen ausführbar. Es wurde in obiger Verfahrensbeschreibung dennoch zu besseren Lesbarkeit des Beispiels die Einzahl der Komponenten gewählt.
  • Falls eine Gain-Regelung (Verstärkung) Teil des Systems ist, kann das Gain des Filters optional entweder vor, parallel, oder nach der Filterselektion angepasst werden. Hierzu ist zu bemerken, dass die geschätzte und die angewandte Transferfunktion unterschiedlich sein können. Hat sich der Klassifizierer für eine Klasse (bestimmt durch z.B. durch die Tragesituation) entschieden werden die der Klasse zugewiesenen Filterkoeffizienten im ANC-Pfad angewandt. Das Filter, basierend auf den gewählten Koeffizienten, kann in unterschiedlichen Tragesituationen die Richtige Wahl sein solange das Gain korrekt angepasst wird. Dadurch kann der Fall auftreten, dass rein mathematisch gesehen ein anderes Filter besser geeignet wäre, das gewählte Filter aber aufgrund des Gains ausreichend stark wirkt, um noch keine Anpassung des Filters auszulösen. Es gibt daher in diesem Fall ein Zwischenspiel des Gain-Schätzers und des Klassifizierers. Ein Gainschätzer kann ein PID-Controller, LMS (mit einem Koeffizienten) oder Kreuzkorrelation sein.
  • Der Koeffizientensatz kann neben den bereits erwähnten FF- und FB-Filtern (in Abb.1 als FF(z) und FB(z) dargestellt) auch unterschiedliche Koeffizienten für die Audiowiedergabe beinhalten. Wie auch bei den ANC-Pfaden ist der Audiowiedergabepfad nicht nur von der Audioquelle (Audiostream Quelle in Fig. 1), sondern auch von der Tragesituation und den physischen Eigenschaften (z.B. Ohrform, Kiefer-/Schädelform,...) der die Kopfhörer tragenden Person veränderbar und sollte im optimalen Fall mit angepasst werden. Dieses veränderbare Filter für die Audiowiedergabe (bzw. Nutzsignalwiedergabe wie beispielsweise Musik) ist in Abb.1 als Audio(z) dargestellt.
  • Es ist mit dem außenliegenden Mikrofon auch möglich die außenliegenden Schallereignisse bzw. die umgebende Geräuschkulisse der Audiokette zuzuführen, bei Bedarf auch durch ein Filter verändert. Eine derartige Wiedergabe des Außenschalls wird als Ambient Mode, Transparency Mode, Talk Through, Hear Through, etc. bezeichnet und ist in Abb.1 als "Ambient" dargestellt.
  • All diese beschriebenen Audioketten (ANC-Pfade, Audiowiedergabepfad und Ambient-Pfad) werden vor der Wiedergabe über einen Mixer zusammengeführt. Dieser kann ebenso wie auch die Einzelpfade mit einem variablen Gain ausgestattet sein.
  • Die finale Wiedergabe der Audiokette kann über diverse Systeme wie beispielsweise dynamische Lautsprecher, balanced armature Treiber, MEMS-speaker, bone-conduction systeme, etc. erfolgen und ist in Abb.1 als Lautsprecher dargestellt.
  • Die Wahl der Filterfunktion und die Berechnung des Gains können gleichzeitig oder abwechselnd (Ping-Pong-Modus) erfolgen. Unter gleichzeitig wird hier verstanden, dass der durchführende Prozessor die Berechnungsergebnisse am Ende des berechnenden Taktes gleichzeitig dem System zur Verfügung stellt. Die Dauer eines Berechnungszyklus bei abwechselnder Wahl der Filterfunktion und Berechnung des Gains (Ping-Pong-Modus) ist variabel wählbar. Beispielsweise kann das System für 100ms die Schätzung der Transferfunktion konvergieren lassen, dann für 100ms das Gain anpassen, dann wieder die Transferfunktion schätzen, usw. Variationen von diesem Schema sind für die Fachperson in Kenntnis der Erfindung leicht verständlich und durchführbar.
  • Fig. 2 zeigt ein Anwendungsbeispiel des Verfahrens nach Fig. 1, bei dem die Wahl der Filterfunktion und die Berechnung des Gains gleichzeitig erfolgen. Wie in der Beschreibung zu Fig. 1 erläutert kann das Gain des Filters optional entweder vor, parallel, oder nach der Filterselektion (siehe Pkt. e) bzw. j) in der Beschreibung zu Fig. 1) angepasst werden. Diese Variante der zeitgleichen Gain/Filter Adaptierung verwendet als maßgebliches Steuerelement den Gain-Regler welcher den Wechsel zwischen den Filterfunktionen initiiert bzw. forciert. Der Verfahrensablauf des in Fig. 2 dargestellten Beispiels ist daher analog zu jenem in Fig. 1, mit Folgenden Unterschieden:
    1. I. Nach einer erstmaligen Anpassung des FB- und FF-Filters kann die Verstärkung des Filters angepasst werden (dargestellt als Variable Gain).
    2. II. Der Pegel am Feedbackmikrofon (Pkt. a) in der Beschreibung zu Fig.1) und am Feedforwardmikrofon (Pkt. g) in der Beschreibung zu Fig.1) und/oder der Perfomance-Indikator (Pkt. i) in der Beschreibung zu Fig.1) werden benutzt, um die für die Tragesituation ideale Filterverstärkung (Funktionsblock "Schätzung Gain") zu bestimmen.
    3. III. Diese Information wird im Block zur Schätzung der Transferfunktion des FF-Filters (FF(z); Pkt. j) in der Beschreibung zu Fig.1) berücksichtigt und zur Klassifizierung und Anwendung des zum idealen Verstärkungswert passenden Koeffizienten-Satzes in der Audio-Verarbeitung verwendet (Pkt. k) und folgend in der Beschreibung zu Fig.1).
    4. IV. Die Adaption der Verstärkung (des "variable Gain" in Fig. 2) stoppt bei Störereignissen die der Regelung hinderlich sind (Kau-Bewegungen u.ä.).
  • Ein Gainschätzer aus Schritt II. kann ein aus der Regelungstechnik bekannter PID-Regler, ein LMS-Algorithmus (mit einem Koeffizienten) oder eine Kreuzkorrelationfunktion sein. (siehe oben)
    Bezüglich Schritt IV. (stoppen oder starten der Adaption) gibt es mehrere Subsysteme: Zum einen gibt es für die unterschiedlichen Teile des Systems je einen Noisefloor, d.h. einen unteren Schwellwert der durch die Sensorempfindlichkeit als absolute Grenze gegeben sein kann, oder für den Algorithmus fest definiert werden kann. Ist dieser unterschritten wird die Adaption gestoppt. Ein Beispiel hierfür ist eine ruhige Umgebung: Da kaum Energie im akustischen Signal vorhanden ist können nur schlechte Schätzungen durchgeführt werden und für gute eine ANC-Performance nicht relevant, da die Umgebung ohnedies leise ist. Daher ist ein Stopp des Systems zu bevorzugen, da es sonst im ungünstigsten Fall zu Störgeräuschen durch das ANC-System selbst kommen kann. Um in diesen Situationen einen definierten Zustand zu gewährleisten ist es vorteilhaft auf ein typisches Filter statisch auszuweichen. Es wird daher für den Algorithmus ein Default-Filter festgelegt, der in solchen Situationen herangezogen werden kann, um diesen, für den Algorithmus bekannten, definierten Zustand zu erreichen.
  • Bei Umgebungen mit ausreichendem Energiegehalt, d.h. bei einer Geräuschkulisse, die ausreichend stark für den Algorithmus ist, also oberhalb eines Schwellenwerts liegt, wird die Adaption der Filter nur pausiert wenn die Performance (angezeigt durch den Performance-Indikator) ausreichend gut ist oder Störereignisse detektiert werden. Die Schwellenwerte zum Starten und Stoppen der Adaption auf Basis des Indikators können wie bereits beschrieben statisch oder adaptiv sein und ändern sich in letzterem Fall mit einer Langzeit-Mittelung der ANC-Gesamtperformance. Im adaptiven Fall versucht der Algorithmus ein Geräuschminimum zu erreichen. Je nach akustischer Umgebung und Sitz des Hörers kann jedoch nicht immer eine optimale Performance erreicht werden. Ein Stoppen der Adaption ist nötig, um Grenzfälle zu verhindern in denen der Klassifizierer konstant zwischen 2 Zuständen (beispielsweise zwei Filtern) schalten würde. Ein Pausieren bei Störereignissen ist dann vorteilhaft, um Fehladaption zu verhindern. Dafür wird ein Referenzschwellenwert festgelegt, dem das geglättete Signal zugeführt wird. Die Entscheidung, ob eine Adaptierung erfolgt, wird durch einen Schwellenwertschalter getroffen, der üblicherweise eine Hysterese besitzt. Der Performance-Indikator verhindert damit auch ein zu häufiges Springen zwischen Filtern.
  • Selbst wenn die Adaption der Transferfunktionsschätzung gestoppt wird, kann vorgesehen werden, dass der Klassifizierer auf den aktuellen Wert der Gain-Schätzung achtet: Ist der Wert der Gain-Schätzung über einen definierten Zeitraum auf seinem Maximum oder Minimum kann der Klassifizierer in die nächsthöhere oder -tiefere Filterklasse schalten. Die Begründung hierfür ist, dass bei z.B. konstant hohem Gain ein benachbartes Filter vermutlich bessere Ergebnisse bei mittlerem Gain liefert, was durch die Transferfunktions-Schätzung aber nicht abgebildet wurde.
  • Im einfachsten Fall achtet der Klassifizierer lediglich auf die Gain-Schätzung, da die Transferfunktion im Extremfall nur von der Gain-Schätzung abhängig gemacht werden kann, und schaltet Klassen entsprechend dieser Information.
  • Fig. 3 zeigt das Flussdiagramm des in den Beispielen zu Fig. 1 und Fig. 2 verwendeten Klassifizierers mit einem optionalen Timer, der für die Ping-Pong-Varianten Verwendung findet. Der Timer besitzt einen Duty-cycle, ähnlich einer periodischen Rechteckfunktion, und erfüllt die Aufgabe zwischen Gain-Schätzung und Klassifizierer umzuschalten. Ein analog dazu ausgestalteter Timer kann auch verwendet werden, um die Abfolge der Adaptierungsdurchläufe für FB- und FF-Filter zu steuern (Pkt. l) in der Beschreibung zu Fig. 1).
  • Fig. 4 zeigt ein Flussdiagramm, das die Filterauswahl durch den klassifizierenden Algorithmus (Klassifizierer) zeigt, wobei das Schema beim ersten Durchlauf erst ab Unterpunkt g) des Verfahrensablaufs gilt. Darin wird ein adaptiver Algorithmus (siehe Pkt. b) oder h)) zur Schätzung der Transferfunktionen des FF-Pfads und/oder des FB-Pfads verwendet und eine Performance-Indikators verwendet, welcher durch Referenzierung des Feedback-Mikrophon-Signals auf das Feedforward-Mikrophon-Signal bestimmt wird (siehe Pkt. i)). Die vom adaptiven Algorithmus geschätzten Transferfunktionen und der Performance-Indikator dienen als Eingang des klassifizierenden Algorithmus. Die geschätzte Transferfunktion liefert dem klassifizierenden Algorithmus dabei die Charakteristik der aktuellen Tragesituation basierend auf dem Energiegehalt des Umgebungsschalls, er "erkennt" also die Situation und versucht auf Basis der Transferfunktion das richtige Filter auszuwählen. Der Performance-Indikator andererseits zeigt dem klassifizierenden Algorithmus auf ob das gewählte Filter für die analysierte und klassifizierte Situation ausreichend geeignet ist, oder ob ein besseres Filter gewählt werden muss. Beide Parameter zusammen verarbeitet der Klassifizierer. Dies geschieht indem der klassifizierende Algorithmus, etwa ein neuronales Netzwerk, basierend auf seinem Vorab-Training den Missmatch zwischen Messpunkt (FB-Mikrofon) und Soll-Punkt (Trommelfell) abbildet. Diese Information dient dazu auf Basis der vom adaptiven Algorithmus geschätzten Transferfunktion zu erkennen, welchem Missmatch welches geeignete Filter zugeordnet ist. Das ermittelte Filter wird aus dem auf dem IC hinterlegten Lookup-Table (LUT) entnommen. Das aus dem LUT entnommene Filter wird in weiterer Folge im FF- bzw. FB-Pfad angewendet.
  • Der Vorteil bei der Verwendung eines solchen Klassifizierers gegenüber adaptiven Filtern ist die Möglichkeit Messungen im Vorfeld (z.B. in speziellen Labors durch eine Fachperson) durchzuführen, welche unterschiedliche Bedingungen erlauben, wie einen reflexionsarmen Raum oder ein diffuses Schallfeld. Außerdem können die Filter für andere Abtastraten berechnet werden als die Abtastrate des Klassifizierers. So ist es üblich, dass Klassifizierer mit Abtastraten <50 kHz arbeiten, während Filter mit >300 kHz angewendet werden. Ein weiterer großer Vorteil der Erfindung gegenüber einem adaptiven System, das die Filter in Echtzeit berechnet, ist die Möglichkeit die Filter beispielsweise mit in-situ Messungen zu ermitteln, also mit Sondenmikrofonen nahe dem Trommelfell (i.d.F. Zielpunkt).
  • Eine weitere besonders vorteilhafte Eigenschaft des Klassifizierers ist, dass der LUT von der Transferfunktionschätzung getrennt ist und eine beliebige Klassifizierung erfolgen kann. Im Unterschied dazu sei aus dem Stand der Technik ( US 9,516,407 B2 ) zu erwähnen, dass die Transferfunktion zum Zielpunkt im Zuge der laborbasierten Charakterisierungsmessungen im LUT bereits inhärent vorliegt und nicht wie in der Anmeldung US 9,516,407 B2 geschätzt und appliziert wird. Die Transferfunktionschätzung ist limitiert auf ihre Referenzpunkte: beispielsweise die Mikrofone (Feedforward und Feedback). Die Filter im LUT können für einen beliebigen Zielpunkt erstellt werden, welcher nicht notwendigerweise den Mikrofonpunkten entsprechen muss. Der Klassifizierer wird so trainiert, dass er den Unterschied zwischen Mikrofonpunkt und Zielpunkt abbildet.
  • Beispiel: Die Filter im LUT werden für den Zielpunkt (möglichst nahe dem Trommelfeldpunkt) entworfen. Die Transferfunktionschätzung optimiert für den Feedback-Mikrofonpunkt. Der Klassifizierer wird in einer Laborumgebung mittels In-Situ-Messung für den Zielpunkt trainiert in Referenz zu den Mikrofonpunkten (Feedforward und Feedback).
  • Die Filter werden in Abhängigkeit von Shape und Gain hierarchisch nach Klassen sortiert in einer Filter-Matrix angeordnet, dadurch sind sequentielle Sprünge möglich und es wird dem Algorithmus erlaubt bei Grenzfällen zwischen zwei Filtern mit leicht unterschiedlichem Shape, oder zwischen leicht unterschiedlichem Gain zu variieren.
  • Ein großer Vorteil dieses Verfahrens gegenüber adaptiven Filtern liegt darin, dass nur sinnvolle Filter auf dem Speicher hinterlegt sind. Der ANC-Algorithmus läuft daher nicht Gefahr an lokalen Optima hängen zu bleiben. Das System ist damit in jedem Fall stabil und erzeugt auch keine Artefakte (z.B. Hiss-Noise).
  • Eine besonders bevorzugte Ausgestaltung dieses Verfahrens nutzt statt nur eines klassischen LMS-Algorithmus einen eine Kombination eines klassischen LMS-Algorithmus und eines PEAK-Filters im Sinne der Anmeldung PCT/EP2022/068392 , veröffentlicht als WO2023280752A1 am 12. Jänner 2023. Auf diese Weise übertragen sich die Vorteile der zitierten Anmeldung auf die hier dargestellte Applikation.
  • Zusätzlich kann jeder Klasse (neben Feedforward- und/oder Feedback-Filter) auch ein Audio-Playback-Filter zugewiesen werden. Dieses ist für Abspielen einer Audioquelle gedacht (z.B. Bluetooth-Audio oder 3.5mm Klinke) und hat die Aufgabe bei veränderter Tragesituation das Klangbild konstant zu halten.
  • Der Feedback-Pfad ist definiert als eine als Transferfunktion beschriebene Übertragungsstrecke zwischen einem internen, in der Nähe des Lautsprechers befindlichen, Feedback-Mikrofon und dem Lautsprecher.
  • Der Feedforward-Pfad ist definiert als die errechnete Übertragungsstrecke (Transferfunktion) basierend auf der Transferfunktion des FF-Mikrofons, der internen Transferfunktion der Lautsprecher (Kopfhörerlautsprecherfrequenzgang) und der Transferfunktion der passiven Dämpfung (mechanisches System).
  • Zusammenfassend lässt sich sagen, dass die Erfindung ein Verfahren zur Klassifikation und Anwendung von akustischen Filtern für Active Noise Control in Hörsystemen betrifft, wobei die Filter im Vorfeld bestimmt und auf einem Speicher im Kopfhörer hinterlegt werden. Während des Tragens des Kopfhörers ist es so möglich schnell und effizient ein bestimmtes Filter auszuwählen und anzuwenden, um so die ANC-Performance und -Stabilität zu verbessern.

Claims (7)

  1. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen mit zumindest einem Feedforward-Mikrofon und zumindest einem Feedback-Mikrofon, zumindest einem Lautsprecher, zumindest einem aus einem Speicher und zumindest einer Prozessoreinheit bestehenden Integrated Circuit, zumindest einem Feedback-Pfad, beschrieben durch eine Transferfunktion und zumindest einem Feedforward-Pfad, beschrieben durch eine Transferfunktion, umfassend die Schritte
    a) des Empfangs eines als Feedback-Mikrofonsignal bezeichneten Audiosignals durch das zumindest eine Feedback-Mikrofon und eines als Feedforward-Mikrofonsignal bezeichneten Audiosignals durch das zumindest eine Feedforward-Mikrofon,
    b) der Schätzung der Transferfunktion des Feedback-Pfades durch einen adaptiven Algorithmus auf Basis des Vergleichs von Feedback-Mikrofonsignal und eines Lautsprechersignals,
    c) der Berechnung verschiedener, nicht notwendigerweise aller aber mindestens einer, relevanter Eigenschaften aus der in b) geschätzten Transferfunktion des Feedback-Pfades,
    d) der Bestimmung des Pegels am Feedback-Mikrofon in Relation zum Feedforward-Mikrofon,
    e) wobei die Wahl eines Koeffizientensatzes durch einen klassifizierenden Algorithmus, auf Basis der in c) bestimmten Relevanten Eigenschaften der Transferfunktion und der in d) bestimmten Relation des Pegels am Feedback-Mikrofon zum Feedforward-Mikrofon, entweder durch Ausgabe einer diskreten Klasse erfolgt, die einem auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter zugeordnet ist, oder durch Ausgabe einer eindimensionalen Funktion, die einen auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter auswählt,
    f) der Anwendung des in e) gewählten Koeffizientensatzes des Filters im aktuellen Feedback-Audiopfad,
    g) der Schätzung der Transferfunktion des Feedforward-Pfades durch Vergleich von in a) bestimmtem Feedforward- und Feedback-Mikrofonsignals, wobei ein adaptiver Algorithmus zur Schätzung der Transferfunktion des Feedforward-Pfades verwendet wird,
    h) der Berechnung verschiedener, nicht notwendigerweise aller aber mindestens einer, relevanter Eigenschaften aus der in g) geschätzten Transferfunktion des Feedforward-Pfades,
    i) der Bestimmung eines Performance-Indikators durch Referenzieren des in a) bestimmten Feedback-Mikrofonsignals auf das Feedforward-Mikrofonsignal,
    j) der Verwendung der in h) geschätzten Transferfunktion und des in i) bestimmten Performance-Indikators als Eingaben eines klassifizierenden Algorithmus, der damit einen Koeffizientensatz, entweder durch Ausgabe einer diskreten Klasse auswählt, die einem auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter zugeordnet ist, oder durch Ausgabe einer eindimensionalen Funktion, die einen auf dem im Kopfhörer befindlichen Speicher hinterlegten Satz Filter auswählt,
    k) der Anwendung des in j) gewählten Koeffizientensatzes des Filters im aktuellen Feedforward-Audiopfad,
    l) und der Neujustierung der Filter durch erneuten Durchlauf des Verfahrens, wobei entweder das gesamte Verfahren ab Pkt. a) erneut durchlaufen wird, oder aber nur eine Anpassung des Feedforward-Filters, also ein Durchlauf des Verfahrens ab Pkt. g), erfolgt.
  2. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach Anspruch 1, dadurch gekennzeichnet, dass nach Empfang des Audiosignals durch das Feedback-Mikrofon eine Pre-Filterung des Audiosignals, durch einen Hochpass-, Tiefpass-, Bandpass-, o.ä. Filter durchgeführt wird.
  3. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass nach Empfang des Audiosignals durch das Feedforward-Mikrofon eine Pre-Filterung des Audiosignals, durch einen Hochpass-, Tiefpass-, Bandpass-, o.ä. Filter durchgeführt wird.
  4. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass nach einer erstmaligen Anpassung des Feedback- und Feedforward-Filters die Verstärkung des Filters angepasst werden kann.
  5. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Pegel am Feedbackmikrofon und/oder der Perfomance-Indikator genutzt wird, um die für die Tragesituation ideale Filterverstärkung zu bestimmen.
  6. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass für das System ein Default-Filter festgelegt ist, der herangezogen wird wenn ein vordefinierter Sensoroutput des ANC-Systems unterschritten wird.
  7. Verfahren zur Klassifikation und Anwendung von Filtern für Active Noise Control in Hörsystemen nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Filter in Abhängigkeit von Shape und Gain hierarchisch nach Klassen sortiert in einer Filter-Matrix angeordnet werden.
EP23776664.7A 2022-09-30 2023-09-29 Active noise control klassifikationssystem Active EP4356622B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22198999 2022-09-30
PCT/EP2023/077053 WO2024038216A1 (de) 2022-09-30 2023-09-29 Active noise control klassifikationssystem

Publications (3)

Publication Number Publication Date
EP4356622A1 EP4356622A1 (de) 2024-04-24
EP4356622C0 EP4356622C0 (de) 2024-09-18
EP4356622B1 true EP4356622B1 (de) 2024-09-18

Family

ID=83508884

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23776664.7A Active EP4356622B1 (de) 2022-09-30 2023-09-29 Active noise control klassifikationssystem

Country Status (2)

Country Link
EP (1) EP4356622B1 (de)
WO (1) WO2024038216A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9142205B2 (en) 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9516407B2 (en) 2012-08-13 2016-12-06 Apple Inc. Active noise control with compensation for error sensing at the eardrum
US11842717B2 (en) * 2020-09-10 2023-12-12 Maxim Integrated Products, Inc. Robust open-ear ambient sound control with leakage detection
US11303258B1 (en) * 2020-09-16 2022-04-12 Apple Inc. Method and system for adaptive audio filters for different headset cushions
US11468875B2 (en) * 2020-12-15 2022-10-11 Google Llc Ambient detector for dual mode ANC
EP4117306A1 (de) 2021-07-05 2023-01-11 Austrian Audio GmbH Elektro-akustisches verfahren unter verwendung eines lms-algorithmus

Also Published As

Publication number Publication date
EP4356622C0 (de) 2024-09-18
EP4356622A1 (de) 2024-04-24
WO2024038216A1 (de) 2024-02-22

Similar Documents

Publication Publication Date Title
DE69632896T2 (de) Entzerrung von Sprachsignalen in einem Mobiltelefon
DE69933141T2 (de) Tonprozessor zur adaptiven dynamikbereichsverbesserung
DE69914476T2 (de) Rückkoppelungsunterdrückungsverbesserungen
DE60222813T2 (de) Hörgerät und methode für das erhöhen von redeverständlichkeit
DE3689035T2 (de) Rauschminderungssystem.
DE60030736T2 (de) Rückkopplungsunterdrückung unter verwendung von bandbreite-detektion
DE102006047965A1 (de) Hörhilfsgerät mit einer Okklusionsreduktionseinrichtung und Verfahren zur Okklusionsreduktion
KR20190085924A (ko) 빔 조향
EP2988529B1 (de) Adaptive teilungsfrequenz in hörhilfegeräten
DE102018117557B4 (de) Adaptives nachfiltern
DE102011006129B4 (de) Hörvorrichtung mit Rückkopplungsunterdrückungseinrichtung und Verfahren zum Betreiben der Hörvorrichtung
AT504164B1 (de) Vorrichtung zur gerauschunterdruckung bei einem audiosignal
DE102011086728B4 (de) Hörvorrichtung mit einer Einrichtung zum Verringern eines Mikrofonrauschens und Verfahren zum Verringern eines Mikrofonrauschens
EP2981099B1 (de) Verfahren und vorrichtung zur rückkopplungsunterdrückung
EP3393143A1 (de) Verfahren zum betrieb eines hörgerätes
EP4356622B1 (de) Active noise control klassifikationssystem
DE102018117558A1 (de) Adaptives nachfiltern
DE102014218672B3 (de) Verfahren und Vorrichtung zur Rückkopplungsunterdrückung
EP4367900A1 (de) Computergestütztes verfahren zur stabilen verarbeitung eines audiosignals unter verwendung eines adaptierten lms-algorithmus
DE102019105458B4 (de) System und Verfahren zur Zeitverzögerungsschätzung
WO2021239864A1 (de) Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen
DE102018117556B4 (de) Einzelkanal-rauschreduzierung
EP2590437B1 (de) Periodisches Adaptieren einer Rückkopplungsunterdrückungseinrichtung
WO2023104865A1 (de) Vorrichtung zur aktiven störgeräusch- und/oder okklusionsunterdrückung, entsprechendes verfahren und computerprogramm
DE102013205790A1 (de) Verfahren zum Schätzen eines Nutzsignals und Hörvorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231222

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: WOEHRER, DANIEL

Inventor name: PERKMANN, MICHAEL

Inventor name: KOLLENZ, LUDWIG

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240510

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502023000180

Country of ref document: DE

U01 Request for unitary effect filed

Effective date: 20241017

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT RO SE SI

Effective date: 20241031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241218

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241218

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241218

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241218

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250118

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

U21 Renewal fee for the european patent with unitary effect paid with additional fee

Year of fee payment: 2

Effective date: 20250312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240918