RU2690001C1

RU2690001C1 - Method of processing vector signals for pattern recognition based on wavelet analysis

Info

Publication number: RU2690001C1
Application number: RU2017147021A
Authority: RU
Inventors: Александр Олегович Ефиторов; Сергей Анатольевич Доленко
Priority date: 2017-12-29
Filing date: 2017-12-29
Publication date: 2019-05-30
Also published as: WO2019132740A1

Abstract

FIELD: calculating; counting.

SUBSTANCE: invention relates to data processing methods. Method includes: A) primary processing of signal x(t), normalization of preprocessed signal to obtain array of signal samples to form training sample, divided into training, validation and test set; B) for each sample of sampling array, windows of current level of detail (WCLD) are determined, which correspond to specified value of width parameters s and position of their centers - t, with provision of overlapping of adjacent windows; C) each sample of sampling array is processed by wavelet transformation; D) selecting a reference function, a maximum number of its variables with subsequent construction of a family of models for displaying a wavelet coefficient function (a₁…a_n) by one target value; E) after which each family model according to claim D) is trained on a training set with selection of weight parameters of models w₁…w_n and subsequent selection of the best models based on the criterion calculated on the validation set; F) checking selected models at step D) on a test sample by calculating an algorithm convergence evaluation criterion; G) selection of significant sections (SS) corresponding to windows of said level of detail, H) transition to the next level of detail inside selected by item G) SS - WCLD corresponding to better models containing wavelet coefficients a_i, previously calculated inside these windows; I) for each windows of sections, determined at the first level of detail, applying a corresponding wavelet transformation with a smaller scale parameter to obtain a detailed representation of the set of SS, after which steps C)–I) are repeated until a convergence criterion is obtained, determined from the value of the target function on the test set, resulting in a set of paired combinations of s and t corresponding to the SS of the measured signal, from which the desired target parameter is determined.

EFFECT: technical result consists in improvement of target parameter determining accuracy.

17 cl, 3 dwg

Description

Область техникиTechnical field

Настоящее изобретение относится к методам обработки данных, используемых для построения систем, позволяющих решать задачи распознавание образов, классификации и количественного содержания целевого параметра (регрессии), на основе измерений, представляющих из себя непрерывные одномерные сигналы, с использованием вейвлетного анализа для обучения адаптивной модели.The present invention relates to data processing methods used to build systems that allow to solve problems of pattern recognition, classification and quantitative content of a target parameter (regression), based on measurements, which are continuous one-dimensional signals, using wavelet analysis to train an adaptive model.

В частности, изобретение может быть использовано для определения газов и их концентрации на основе сигналов, например, с полупроводниковых сенсоров; определения типов неорганических соединений и их концентраций в растворах на основе методов спектроскопии; и др.In particular, the invention can be used to determine gases and their concentration based on signals, for example, from semiconductor sensors; determination of types of inorganic compounds and their concentrations in solutions based on spectroscopy methods; and etc.

Уровень техникиThe level of technology

Из уровня техники известны способы, обеспечивающие решение задач распознавания образов, классификации и определения количественного содержания целевого параметра, после проведения, так называемой, процедуры обучения с учителем на массиве соответствующих решаемой задаче входных и выходных данных, итеративно подаваемых в систему.Methods are known from the prior art that provide a solution to pattern recognition problems, classifying and determining the quantitative content of a target parameter, after conducting a so-called training procedure with a teacher on an array of input and output data that are iteratively supplied to the system corresponding to the problem being solved.

В частности, известен способ определения типов газов, измеренных на массиве сенсоров с адаптивными регрессионными алгоритмами и компьютерно-реализуемая система (US 2006/0155486 А1). Согласно способу измеряют сопротивление металл-оксидных сенсоров, определяют интервалы показаний на протяжении отдельных циклов работы сенсоров в процессе их нагрева от температуры окружающей среды до температуры 1000°C, в качестве регрессоров используют алгоритмы многомерной линейной регрессии и ПЛС (проекций на латентные структуры или частичных наименьших квадратов), проводят процедуру предобработки исходных данных на основе простых математических операций логарифмирования, потенцирования, а также ограничивают масштаб изменений последовательно измеряемых значений. Также, проблему нестационарных дрейфовых эффектов, проявляющихся в измеренном сигнале, решают посредством локальных линейных регрессоров, задачей которых является корректировка локально возникающих трендов. Многомерные регрессионные модели использовались в сходных задачах, описанных в патентах US 007142105 B2, US 2016/0132617 A1, US 2016/0231229 А1, определения концентраций и типов газов на основе спектроскопических измерений. Помимо линейных моделей для определения типов и концентраций газовых смесей известно использование нелинейного метода К-ближайших соседей (US 2013/0197384 A1), с помощью которого была продемонстрирована возможность диагностики респираторных заболеваний путем определения компонент газовой смеси по показаниям surface acoustic wave sensors. Решение на основе выбранного алгоритма (способа) сравнивалось с результатом модели обученной искусственной нейронной сети - еще одного популярного метода, обладающего свойствами универсальной аппроксимации функций и имеющего широкое применение: например в задаче определения загрязнений воздуха (US 2016/0125307 A1) и поиска областей утечки газов из баллонов (US 2014/0165729 A1). Недостатком известных технических решений является избыточность числа параметров модели, что затрудняет процесс их подбора и снижает обобщающие способности моделей. Данная проблема возникает в связи с зависимостью числа параметров нейронной сети от числа входных переменных, поскольку в отличие от простых линейных моделей в нейронной сети связь между входными и выходными переменными осуществляется через, так называемые, скрытые слои нейронов, в которых осуществляется применение некоторой заданной передаточной функции к взвешенной сумме значений предыдущего слоя, в данном случае - входных признаков. Таким образом, количество параметров нейронной сети равно сумме произведений числа нейронов каждого слоя с ближайшим предыдущим, т.е., если на вход нейронной сети подаются примеры сигналов, состоящих из 100 точек и при этом нейронная сеть содержит 10 нейронов в единственном скрытом слое и предсказывает 2 выходных значения, решая тем самым задачу бинарной классификации, то количество параметров модели увеличивается до значения 100*10+10*2=1020.In particular, there is a known method for determining the types of gases measured on an array of sensors with adaptive regression algorithms and a computer-implemented system (US 2006/0155486 A1). According to the method, the resistance of metal-oxide sensors is measured, the intervals of readings are determined during individual cycles of sensor operation during their heating from ambient temperature to 1000 ° C, and multidimensional linear regression and FLS algorithms are used as regressors (projections on latent structures or partial least squares), carry out the procedure of pre-processing of the initial data based on simple mathematical operations of logarithmization, potentiation, and also limit the scale of changes in n hence the measured values. Also, the problem of non-stationary drift effects, manifested in the measured signal, is solved by means of local linear regressors, whose task is to correct locally emerging trends. Multidimensional regression models were used in similar tasks described in patents US 007142105 B2, US 2016/0132617 A1, US 2016/0231229 A1, determining concentrations and types of gases based on spectroscopic measurements. In addition to linear models for determining the types and concentrations of gas mixtures, it is known to use the non-linear method of K-nearest neighbors (US 2013/0197384 A1), by which it was demonstrated that it is possible to diagnose respiratory diseases by determining the components of a gas mixture from surface acoustic wave sensors. The solution based on the selected algorithm (method) was compared with the result of a model of a trained artificial neural network - another popular method that has the properties of universal function approximation and has wide application: for example, in the task of determining air pollution (US 2016/0125307 A1) and searching for gas leakage areas from cylinders (US 2014/0165729 A1). A disadvantage of the known technical solutions is the redundancy of the number of model parameters, which complicates the process of their selection and reduces the generalizing abilities of the models. This problem arises in connection with the dependence of the number of parameters of a neural network on the number of input variables, because, unlike simple linear models in a neural network, the connection between input and output variables occurs through the so-called hidden layers of neurons, in which some given transfer function is used to the weighted sum of the values of the previous layer, in this case, the input features. Thus, the number of parameters of the neural network is equal to the sum of the products of the number of neurons of each layer with the closest previous one, i.e., if samples of signals consisting of 100 points are fed to the input of the neural network and the neural network contains 10 neurons in a single hidden layer and predicts 2 output values, thereby solving the problem of binary classification, the number of model parameters increases to a value of 100 * 10 + 10 * 2 = 1020.

Кроме того, существенным недостатком сложных нелинейных методов, к которым относятся и нейронные сети, является их плохая устойчивость к наличию шумов в сигнале, подаваемом на входной слой нейронной сети. Присутствие шумов характерно для сигналов реальных измерений. Для борьбы с шумами и дрейфовыми эффектами применяют большое количество различных методик: разреженное представление исходных сигналов с помощью случайного гауссова распределения (US 2016/0123943 A1) для последующей фильтрации значений обучении нейронной сети на выбранных признаках; аппроксимацию полиномами Лагранжа исходного сигнала массива сенсоров и анализ параметров аппроксимирующей модели (US 2013/0064423 А1); нейронные сети автоассоциативной памяти для устранения шумов и эффективного сжатия подаваемых примеров сигналов биоэлектрической активности, записанной с помощью ЭЭГ (электроэнцефалограмма) и МЭГ (магнитоэнцефалограмма) (US 8725669 B1); добавление шума в обучающую выборку, параметры распределения которого подбирают с генетическим алгоритмом (US 20030191728 A1). Указанные подходы также имеют ряд существенных недостатков, затрудняющих их использование: полиномы Лагранжа хорошо описывают гладкие функции, однако будут испытывать серьезные трудности в случае наличия резких локальных изменений уровня сигнала, что является довольно характерным явлением для тех же газовых сенсоров при переключении нагревательного элемента сенсора на охлаждение. Нейронная сеть автоассоциативной памяти требует огромной обучающей выборки ввиду большого количества параметров, при этом в любом случае может проявляться отсутствие формальных ограничений на ее ответы и потенциальная опасность переучивания системы на одном типе дисторсии сигнала, после чего система будет пытаться устранить именно ее независимо от ее наличия или присутствия других типов шумов и смещений базовой линии. Реализация с генетическим алгоритмом предполагает обучение нейронных сетей после каждой итерации добавления шума, говоря терминами генетических алгоритмов: после генерации поколения индивидуумов, т.е. набора выборок с несколько отличающимися параметрами распределения, на каждой из которых потребуется обучения нейронной сети. Основным недостатком данного подхода является необходимость обучения огромного числа нейросетевых моделей, что требует наличия значительных вычислительных ресурсов и времени вычислений.In addition, a significant disadvantage of complex non-linear methods, which include neural networks, is their poor resistance to the presence of noise in the signal applied to the input layer of the neural network. The presence of noise is characteristic of actual measurement signals. To combat noise and drift effects, a large number of different techniques are used: a sparse representation of the original signals using a random Gaussian distribution (US 2016/0123943 A1) to further filter the neural network training values on selected features; approximation by the Lagrange polynomials of the original signal of the sensor array and analysis of the parameters of the fitting model (US 2013/0064423 A1); neural networks of auto-associative memory to eliminate noise and effectively compress the supplied examples of bioelectric activity signals recorded using EEG (electroencephalogram) and MEG (magnetoencephalogram) (US 8725669 B1); adding noise to the training set, the distribution parameters of which are selected with a genetic algorithm (US 20030191728 A1). These approaches also have a number of significant drawbacks that impede their use: the Lagrange polynomials describe smooth functions well, but will experience serious difficulties in the event of abrupt local changes in the signal level, which is quite a characteristic phenomenon for the same gas sensors when switching the heating element of the sensor to cooling . The neural network of auto-associative memory requires a huge training set due to the large number of parameters, while in any case there can be a lack of formal restrictions on its answers and the potential danger of retraining the system on one type of signal distortion, after which the system will try to eliminate it regardless of its presence or the presence of other types of noise and baseline offsets. An implementation with a genetic algorithm involves learning neural networks after each iteration of adding noise, in terms of genetic algorithms: after generating a generation of individuals, i.e. a set of samples with slightly different distribution parameters, each of which will require training in a neural network. The main disadvantage of this approach is the need to train a huge number of neural network models, which requires significant computational resources and computation time.

Более классическими методами устранения шумов в измеряемом сигнале являются спектральные методы, базирующиеся на фурье-преобразовании. Существенным недостатком такого представления сигнала является утеря его локальной структуры. Данный недостаток был устранен в рамках развивающейся с конца 80х годов теории вейвлетов, а именно введением требований ограниченности, локализованности и ортогональности на функции-вейвлеты, с которыми осуществляется свертка. Последнее позволяет реконструировать сигнал после удаления некоторых компонент в вейвлет-пространстве, что является классической техникой для устранения шумов в сигнале. Подобный механизм был применен в патентах US 2015/0149119 А1, US 6211515 B1, US 6647252, где осуществляется отсечка коэффициентов жестким порогом на определенных уровнях детализации. Однако такой подход может оказаться неэффективным, поскольку подобная процедура отсекает лишь заданный набор частот и амплитуд, тогда как дисторсия может иметь более сложный характер, для чего следует применять более сложные механизмы по отбору вейвлет-коэффициентов. Таким образом, после отсечения шумовых компонент сигнала в пространстве вейвлет коэффициентов можно не реконструировать сигнал, а использовать отобранные вейвлет-коэффициенты для решения конечной задачи. В качестве методов отбора в патентах US 2016/0305865 и US 8064722 использовался метод главных компонент, переводящий данные в новые координаты, соответствующие направлениям максимальной дисперсии. В патенте US 8064722 в качестве альтернативы был использован дисперсионный анализ (ANOVA) для выбора тех вейвлет-коэффициентов, которые изменяются в зависимости от состава газовой смеси (целевого параметра). Полученные таким образом переменные использовались в качестве входных признаков для решения конечной задачи определения типа газов алгоритмами классификации: K-ближайших соседей (US 2016/0305865); нейронные сети и метод линейного дискриминантного анализа (US 8064722). Следует отметить, что вейвлет-преобразование на каждом уровне детализации фактически производит понижение размерности данных (например, результатом классического алгоритма дискретного вейвлет-преобразования сигнала N переменных являются N/2^jвейвлет-коэффициентов на каждом уровне детализации j) и эффективное решение конечной задачи может быть получено путем прямого использования вейвлет-коэффициентов в качестве входных признаков классификатора (нейронной сети), минуя дополнительные процедуры отбора признаков (US 2011/0071376 A1 и US 8595164). Предполагается, что существенные признаки будут выбраны самой нейронной сетью на этапе обучения, тогда как малозначительным переменным будут присвоены минимальные весовые коэффициенты и их присутствие не будет сказываться работе системы.More classical methods of eliminating noise in the measured signal are spectral methods based on Fourier transform. A significant drawback of such a representation of the signal is the loss of its local structure. This disadvantage was eliminated within the framework of the wavelet theory that has been developing since the late 80s, namely, the introduction of the requirements of boundedness, localization, and orthogonality on the wavelet functions with which convolution is performed. The latter allows you to reconstruct the signal after removing some components in the wavelet space, which is a classic technique for eliminating noise in the signal. A similar mechanism was applied in US patents 2015/0149119 A1, US 6211515 B1, US 6647252, where the cut-off of coefficients is carried out by a hard threshold at certain levels of detail. However, this approach may be ineffective, since such a procedure cuts only a given set of frequencies and amplitudes, whereas the distortion may be more complex, for which more complex mechanisms should be applied for the selection of wavelet coefficients. Thus, after clipping the noise components of the signal in the space of the wavelet coefficients, you can not reconstruct the signal, but use the selected wavelet coefficients to solve the final problem. As the selection methods in patents US 2016/0305865 and US 8064722, the principal component method was used, which translates the data into new coordinates corresponding to the directions of maximum dispersion. In the patent US 8064722, as an alternative, analysis of variance (ANOVA) was used to select those wavelet coefficients that vary depending on the composition of the gas mixture (target parameter). The variables thus obtained were used as input attributes for solving the final problem of determining the type of gases by classification algorithms: K-nearest neighbors (US 2016/0305865); neural networks and the method of linear discriminant analysis (US 8064722). It should be noted that the wavelet transform at each level of detail actually reduces the dimension of the data (for example, the result of the classical algorithm of the discrete wavelet transform of the signal N variables are N / 2 ^j wavelet coefficients at each level of detail j) and an effective solution to the final problem can be obtained by directly using the wavelet coefficients as input attributes of the classifier (neural network), bypassing the additional feature selection procedures (US 2011/0071376 A1 and US 8595164). It is assumed that the essential features will be selected by the neural network itself at the training stage, while minimal weights will be assigned to minor variables and their presence will not affect the operation of the system.

Альтернативным подходом к выбору существенных признаков является подход алгоритма метода группового учета аргумента (МГУА), использующий стратегию итеративного усложнения математической модели полиномиальной регрессии, реализуемой в рамках так называемого многорядного алгоритма. Данный алгоритм был применен для выбора существенных локальных областей из изображений в патенте US 7076098 B2.An alternative approach to the choice of essential features is the approach of the algorithm of the method of group accounting of the argument (MGUA), which uses the strategy of iterative complication of the mathematical model of polynomial regression, implemented in the framework of the so-called multi-row algorithm. This algorithm was applied to select significant local areas from the images in US Pat. No. 7,076,098 B2.

Свойства вейвлет-функций позволяют использовать их не только для моделирования сигналов, но и поверхности функции отображения входных переменных на выходные, формируя так называемые вейвлоны - узлы сети обратного распространения, в отличие от классической нейронной сети представляющие из себя не преобразование взвешенной суммы входных признаков, а их множественное произведение, члены которого есть вейвлет-преобразование данных признаков. Параметры масштаба и положения подстраиваются на основе алгоритма градиентного спуска, поэтому на вейвлет-функции накладывается ограничение дифференцируемости. К недостаткам вейвлет нейронных сетей можно отнести невозможность работы с входными данными большой размерности, поскольку эта же размерность будет соответствовать количеству слагаемых в вейвлоне, в связи с чем, будет затруднен процесс корректировки параметров вейвлонов в процесс обучения. В связи с указанной проблемой данный алгоритм применяется в задачах, оперирующих лишь несколькими переменными, как например, в патенте US 2016/0161448 A1, оперирующий с датчиками потока магнитного поля по трем пространственным координатам.The properties of the wavelet functions allow using them not only for modeling signals, but also the surfaces of the function of mapping input variables to the output, forming the so-called wavelets - nodes of the back-propagation network, unlike the classical neural network, which are not a weighted sum of the input characteristics, but their multiple product, whose members are the wavelet transform of these features. The scale and position parameters are adjusted on the basis of the gradient descent algorithm; therefore, a differentiability constraint is imposed on the wavelet function. The disadvantages of wavelet neural networks include the inability to work with large-scale input data, since this dimension will correspond to the number of components in wavelet, and therefore, the process of adjusting wavelet parameters in the learning process will be difficult. In connection with this problem, this algorithm is used in tasks that operate with only a few variables, such as in US patent 2016/0161448 A1, which operates with three spatial coordinates of magnetic field flux sensors.

Наиболее близким к заявляемому решению является способ и система для анализа сигнала сенсоров, представленного в векторной форме, для распознавания образов (US 8064722 B1). Способ включает создание тренировочного массива данных, нормализацию и трансформацию этого массива в вейвлет-коэффициенты; отбор существенных признаков с помощью анализа вариации, распознавание образов в рамках решения задачи классификации - определения газового состава осуществляют по отобранным вейвлет-коэффициентам.Closest to the claimed solution is a method and system for analyzing the signal of the sensors, presented in vector form, for pattern recognition (US 8064722 B1). The method includes creating a training data set, normalizing and transforming this array into wavelet coefficients; the selection of essential features using analysis of variation, pattern recognition in the framework of solving the problem of classification - determining the gas composition is carried out on the basis of selected wavelet coefficients.

Однако отбор существенных вейвлет-коэффициентов в известном способе проводится с помощью метода дисперсионного анализа, что предполагает простые линейные связи между входными и выходными значениями; однако их связь может иметь более сложный характер, из-за чего в линейном приближении некоторые существенные признаки могут быть отброшены, что негативно сказывается на точности получаемого результата.However, the selection of essential wavelet coefficients in a known method is carried out using the method of analysis of variance, which implies simple linear relationships between the input and output values; however, their connection may be more complex, which in a linear approximation may cause some significant features to be discarded, which negatively affects the accuracy of the result.

Раскрытие изобретенияDISCLOSURE OF INVENTION

Задачей настоящего изобретения является создание способа обработки данных векторных сигналов для распознавания образов на основе вейвлет-анализа, обеспечивающего выделение наиболее важных участков исходного сигнала для решения задачи определения целевого параметра.The present invention is to create a method of processing data of vector signals for pattern recognition based on wavelet analysis, ensuring the selection of the most important sections of the original signal for solving the problem of determining the target parameter.

Техническим результатом изобретения является возможность определения целевого параметра (качественного или количественного), устойчивого к присутствию шумовой составляющей, за счет выделения из измеряемых сигналов разномасштабных участков, наиболее релевантных решаемой задаче с высокой устойчивостью к искажению сигнала.The technical result of the invention is the ability to determine the target parameter (qualitative or quantitative), resistant to the presence of the noise component, due to the selection of the measured signals of different-scale areas, the most relevant problem to be solved with high resistance to signal distortion.

Поставленная задача решается обработкой векторных сигналов для распознавания образов на основе вейвлет-анализа, посредством выполнения шагов (этапов), включающих:The problem is solved by processing vector signals for pattern recognition based on wavelet analysis, by performing steps (steps), including:

A) первичную обработку измеренного одномерного сигнала x(t) посредством удаления высокочастотного шума, с последующим нормированием предобработанного сигнала с получением массива образцов измеренного сигнала для формирования обучающей выборки, разделенной на тренировочный, валидационный и тестовый набор, где каждому образцу измеренного сигнала сопоставляют известное значение, по меньшей мере, одного целевого параметра;A) primary processing of the measured one-dimensional signal x (t) by removing high-frequency noise, followed by normalizing the pre-processed signal to produce an array of samples of the measured signal to form a training sample, divided into a training, validation and test set, where each sample of the measured signal is assigned a known value, at least one target parameter;

Б) для каждого образца из полученного массива обучающей выборки определяют окна текущего уровня детализации, соответствующих заданным значением параметров ширины s и положения их центров - t, с обеспечением перекрытия соседних окон;B) for each sample from the resulting training sample array, determine the windows of the current level of detail corresponding to the specified value of the parameters width s and the position of their centers - t, ensuring the overlap of adjacent windows;

B) каждый образец из полученного массива обучающей выборки обрабатывают с помощью вейвлет-преобразования, с осуществлением свертки вейвлет-функций по перекрывающимся окнам данного уровня детализации с получением вейвлет-коэффициентов (a₁…a_n);B) each sample from the resulting training sample array is processed using the wavelet transform, with the convolution of the wavelet functions on the overlapping windows of this level of detail to obtain the wavelet coefficients (a ₁ ... a _n );

Г) выбирают опорную функцию, максимальное количество ее переменных, с последующим построением семейства моделей для отображения с помощью выбранной функции вейвлет-коэффициентов (a₁…a_n) на, по меньшей мере, одно целевое значение;D) choose the reference function, the maximum number of its variables, followed by building a family of models for displaying the selected wavelet coefficients function (a ₁ ... a _n ) for at least one target value;

Д) после чего каждую модель из семейства по п. Г) обучают на тренировочном наборе с подбором весовых параметров моделей w₁…w_n и последующим выбором лучших моделей по критерию, рассчитанному на валидационном наборе;D) after which each model from the family according to paragraph D) is trained on a training set with the selection of the weight parameters of the models w ₁ ... w _n and the subsequent selection of the best models according to the criterion calculated on the validation set;

Е) проверку выбранных моделей на шаге Г) на тестовой выборке путем расчета критерия оценки сходимости алгоритма;E) checking the selected models in step D) on a test sample by calculating the criterion for evaluating the convergence of the algorithm;

Ж) выбор значимых участков, соответствующих окнам данного уровня детализации,G) the choice of significant areas corresponding to the windows of this level of detail,

З) переход к следующему уровню детализации внутри выбранных по п. Ж) значимых участков - окон текущего уровня детализации, соответствующих лучшим моделям, содержащим вейвлет-коэффициенты а_i, ранее рассчитанным внутри этих окон;H) the transition to the next level of detail within the selected by section G) significant areas - windows of the current level of detail corresponding to the best models containing wavelet coefficients a _i , previously calculated inside these windows;

И) для каждого окна из значимых участков, определенных на первом уровне детализации, применяют соответствующее вейвлет-преобразование с меньшим параметром масштаба с получением детализированного представления набора значимых участков,I) for each window of significant areas defined at the first level of detail, apply the corresponding wavelet transform with a smaller scale parameter to obtain a detailed view of a set of significant areas,

после чего этапы В)-И) повторяют до достижения критерия сходимости, определяемого по значению целевой функции на тестовом наборе, в результате чего получают набор парных комбинаций s и t, соответствующих значимым участкам измеренного сигнала, по которым определяют искомый целевой параметр.then steps C) –I) are repeated until the convergence criterion determined by the value of the objective function on the test set is reached, resulting in a set of paired combinations s and t corresponding to the significant portions of the measured signal, which determine the desired target parameter.

В качестве одномерного сигнала x(t) используют значения, непрерывно получаемые с измерительного оборудования. Высокочастотный шум удаляют с использованием медианного фильтра. Нормирование предобработанного сигнала осуществляют посредством деления значений сигнала в каждой точке на интегральное значение измеренного сигнала. Образцы массива измеренного сигнала выбирают одинаковой длины. Каждый из наборов массива образцов измеренного сигнала - тренировочного, тестового и валидационного, формируют из подмножества образцов измерений, полученных в ходе экспериментов, проведенных в разное время. В качестве целевого параметра используют количественный или качественный параметр.As a one-dimensional signal x (t) use the values continuously obtained from the measuring equipment. High-frequency noise is removed using a median filter. Normalization of the preprocessed signal is performed by dividing the signal values at each point by the integral value of the measured signal. Samples of the array of the measured signal are chosen of the same length. Each of the sets of an array of samples of the measured signal — training, test, and validation — is formed from a subset of measurement samples obtained during experiments conducted at different times. As a target parameter using a quantitative or qualitative parameter.

Вейвлет-преобразовние представляет собойThe wavelet transform is

где x(t) - исходный сигнал, ψ* - комплексно-сопряженная материнская вейвлет-функция.where x (t) is the original signal, ψ * is the complex-conjugate mother wavelet function.

В качестве вейвлет-функции используют функции, удовлетворяющими следующим свойствам: локализации; нулевого среднего; ограниченности; дифференцируемости; самоподобия.As the wavelet functions use functions that satisfy the following properties: localization; zero average; limitations; differentiability; self-similarity.

Перекрытие соседних окон составляет не менее 30% от ширины окна.The overlap of adjacent windows is at least 30% of the width of the window.

Свертку сигнала с вейвлет-функцией осуществляют в фурье-пространстве, для чего: вычисляют Фурье-образ дискретных сигналов, представляющих из себя последовательности значений {x_n}:The convolution of the signal with the wavelet function is carried out in the Fourier space, for which: the Fourier transform of discrete signals is computed, representing a sequence of values {x _n }:

вычисляют Фурье-образ вейвлет-функции:calculate the Fourier transform of the wavelet function:

умножают Фурье-образ дискретных сигналов на комплексно-сопряженный Фурье-образ вейвлет-функции и производят обратное Фурье-преобразование:multiply the Fourier transform of discrete signals by the complex-conjugate Fourier transform of the wavelet function and produce the inverse Fourier transform:

где n - 0, 1, …, N-1, N - число отсчетов в исследуемом ряду данных; h - интервал между последовательными отсчетами временного домена, k/h ⊂ (0, …, (N-1)/h) образует множество частот исходного сигнала x_n.where n is 0, 1, ..., N-1, N is the number of samples in the studied data series; h is the interval between successive samples of the time domain, k / h ⊂ (0, ..., (N-1) / h) forms the set of frequencies of the original signal x _n .

В качестве опорной функции выбирают линейную функцию, состоящую из членов нулевого и первого порядка:As a support function, choose a linear function consisting of members of zero and first order:

y₀=w₀₀ y ₀ = w ₀₀

Обучение проводят посредством минимизации внутреннего критерия - суммы квадратов регрессионных остатков на тренировочном наборе:The training is carried out by minimizing the internal criterion - the sum of squares of the regression residuals on the training set:

Минимизацию внутреннего критерия осуществляют с помощью алгоритма наименьших квадратов:The internal criterion is minimized using the least squares algorithm:

w=(A^TA)^-1A^Tyw = (A ^T A) ^-1 A ^T y

Выбор лучших моделей осуществляют на основе внешнего критерия, рассчитанного на валидационном наборе - суммы квадратов регрессионных остатков моделей, построенных на тренировочном наборе, с нормировкой на соответствующие целевые значения:The selection of the best models is carried out on the basis of the external criterion calculated on the validation set — the sum of squares of the regression residuals of the models built on the training set, normalized to the corresponding target values:

Из построенного семейства моделей выбирают четвертую часть моделей, являющихся лучшими по оценке внешнего критерия на валидационном наборе.From the constructed family of models, one fourth of the models are selected, which are the best in terms of evaluating the external criterion on the validation set.

Переход к следующему уровню детализации осуществляют лишь в том случае, если точность определения целевого параметра на тестовом наборе для хотя бы одной из отобранных моделей превзошла результаты, полученные на предыдущем уровне детализации;The transition to the next level of detail is carried out only if the accuracy of determining the target parameter on the test set for at least one of the selected models exceeded the results obtained at the previous level of detail;

Краткое описание чертежейBrief Description of the Drawings

Изобретение поясняется чертежами, где на фиг. 1 представлен вид непрерывного исходного сигнала сопротивления газовых сенсоров при концентрации СО 20 ppm на протяжении 3x циклов измерений, полученного при реализации примера конкретного выполнения посредством заявляемого способа. Позициями на фигуре обозначены 1 - непрерывный сигнал сопротивления; 2 - непрерывный сигнал термометра, отражающий контролируемое изменение температуры сенсоров на протяжении нескольких циклов измерений. На фиг. 2 представлен вид вейвлет-функции Морле в зависимости от параметра центральной частоты. Вейвлет-функция в позиции 3 на данной фигуре имеет в 2.5 раза меньшее значение центральной частоты, чем изображенная в позиции 4. На фиг. 3 представлено графическое изображение двух итераций предлагаемого способа. На позиции 5 изображен пример предобработанного образца исходного сигнала, из которого выделены области, представленные позициями 6, 7 и 8, после чего производят свертку с вейвлет-функцией, представленной в позиции 9, результатом чего являются переменные а¹ ₁, а¹ ₂, а¹ ₃. Стрелка, обозначенная позицией 10, изображает описанную процедуру отбора информативных диапазонов сигнала, после чего выбранные участки (в данном примере, позиции 7, 8) дробятся в соответствии с параметром масштаба уровня детализации 2, покрывая сигнал окнами, изображенными в позициях 11, 12, 13, 14, 15, после чего процедуру повторяют со сверткой, в результате чего получают массив переменных а² ₁, а² ₂, а² ₃, а² ₄, а² ₅, которые могут быть использованы в последующей процедуре отбора до сходимости алгоритма.The invention is illustrated by drawings, where in FIG. 1 shows a view of a continuous initial signal of resistance of gas sensors at a CO concentration of 20 ppm over 3x measurement cycles obtained when implementing an example of a specific embodiment by means of the inventive method. Positions in the figure denote 1 - continuous resistance signal; 2 - a continuous thermometer signal, reflecting a controlled change in the temperature of the sensors over several measurement cycles. FIG. Figure 2 shows the Morlet wavelet function as a function of the center frequency parameter. The wavelet function in position 3 in this figure has a 2.5 times smaller central frequency value than that shown in position 4. In FIG. 3 shows a graphic image of two iterations of the proposed method. At position 5 illustrates an example of pretreated sample of the original signal from which the highlighted areas represented numerals 6, 7 and 8, whereupon convolution with a wavelet function provided in positions 9, resulting in variable and a ^1: ₁ A ¹ _2, and ¹ ₃ . The arrow indicated by the position 10 represents the described procedure for selecting the informative signal ranges, after which the selected areas (in this example, positions 7, 8) are broken up according to the scale parameter of detail level 2, covering the signal with windows shown in positions 11, 12, 13 , 14, 15, after which the procedure is repeated with convolution, as a result of which an array of variables is obtained: a ² ₁ , a ² ₂ , a ² ₃ , a ² ₄ , and ² ₅ , which can be used in the subsequent selection procedure to the convergence of the algorithm.

Осуществление изобретенияThe implementation of the invention

Ниже представлено более детальное описание осуществления заявляемого способа, которое предназначено для пояснения сущности заявляемого изобретения. Настоящее изобретение может подвергаться различным изменениям и модификациям, понятным специалисту на основе прочтения приведенного описания. Такие изменения не ограничивают объем притязаний. Например, могут изменяться типы целевых показателей, может изменяться критерий сходимости расчета, объем исходных данных для проведения расчетов, абсолютные значения заранее заданных параметров и т.д. Способ не ограничен каким-либо классом вейвлет-функций или алгоритмом обучения, а также размерностью входных данных.Below is a more detailed description of the implementation of the proposed method, which is intended to explain the essence of the claimed invention. The present invention may be subject to various changes and modifications as understood by a person skilled in the art based on the reading of the above description. Such changes do not limit the scope of claims. For example, the types of targets can change, the criterion of calculation convergence, the amount of input data for carrying out calculations, the absolute values of predetermined parameters, etc. can change. The method is not limited to any class of wavelet functions or learning algorithm, as well as the dimension of the input data.

Согласно способу на первом этапе (А) осуществляют предобработку измеренного сигнала с целью удаления шума и амплитудных скачков сигнала, которая может быть реализована различными методами, известными из уровня техники: например, вычитания пьедестала [Steven W. Smith. The Scientist and Engineer's Guide to Digital Signal Processing. - Second Edition. - San-Diego: California Technical Publishing, 1999], устранения локального дрейфа полиномами малых порядков [A. Gallant and W. Fuller. Fitting segmented polynomial regression models whose join points have to be estimated. Journal of the American Statistical Association, 68(341):144-147, 1973]; ограничения выбросов, путем ограничения допустимой амплитуды скачков локальной производной, фильтрация высокочастотного шума с помощью сглаживающих фильтров, таких как скользящее среднее или медианный фильтр [Steven W. Smith. The Scientist and Engineer's Guide to Digital Signal Processing. - Second Edition. - San-Diego: California Technical Publishing, 1999], а также частотных фильтров [Britton С. Rorabaugh. Approximation Methods for Electronic Filter Design. - New York: McGraw-Hill, 1999.], позволяющих устранить высокочастотный шум и медленные осцилляции, связанные с дрейфом базовой линии.According to the method in the first stage (A), the measured signal is preprocessed to remove noise and amplitude jumps of the signal, which can be implemented by various methods known from the prior art: for example, subtracting the pedestal [Steven W. Smith. The Scientist and Engineer's Guide to Digital Signal Processing. - Second Edition. - San-Diego: California Technical Publishing, 1999], eliminating local drift by small-order polynomials [A. Gallant and W. Fuller. Fitting segmented polynomial regression models join points have not been estimated. Journal of the American Statistical Association, 68 (341): 144-147, 1973]; limiting emissions, by limiting the permissible amplitude of local derivative jumps, filtering high-frequency noise using smoothing filters, such as a moving average or a median filter [Steven W. Smith. The Scientist and Engineer's Guide to Digital Signal Processing. - Second Edition. - San-Diego: California Technical Publishing, 1999], as well as frequency filters [Britton S. Rorabaugh. Approximation Methods for Electronic Filter Design. - New York: McGraw-Hill, 1999.], eliminating high-frequency noise and slow oscillations associated with baseline drift.

После удаления из сигнала шума и амплитудных скачков производят разделение непрерывного сигнала на отдельные образцы равной длины, в рамках циклов, как показано в примере на фиг. 1. Общий массив примеров-образцов сигнала разделяют на 3 набора: тренировочный, вылидационный и тестовый. Классической рекомендацией для этой процедуры является разделение набора случайным образом в соотношении 70:20:10 соответственно [Т. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag New York, 745 p. 2009], однако ее конечной целью является обеспечение представительности наборов данных [Li D-C, Hu SC, Lin L-S, Yeh C-W Detecting representative data and generating synthetic samples to improve learning accuracy with unbalanced data sets. PLoS ONE 12(8): e0181853, 2017], каждый из которых должен содержать такие образцы, чтобы целевой параметр внутри наборов лежал в рамках общих границ. Дополнительным фактором, обеспечивающим объективную оценку точности решения задачи, является подход к умышленному формированию наборов из образцов данных, полученных в рамках экспериментов, независимых от тех, чьи образцы были включены в тренировочную выборку. Такой подход исключает зависимость системы от общих условий проведения эксперимента (влажность, атмосферное давление и т.п.), а также временных особенностей поведения измерительного оборудования («старение» сенсорного материала, внешние наводки измерительной электроцепи и т.п.).After the noise and amplitude jumps are removed from the signal, the continuous signal is divided into separate samples of equal length, within cycles, as shown in the example in FIG. 1. The total array of examples of signal samples is divided into 3 sets: training, test and test. The classic recommendation for this procedure is to split the set randomly at a ratio of 70:20:10, respectively [T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag New York, 745 p. 2009], but its ultimate goal is to ensure that the data sets are representative of the data. PLoS ONE 12 (8): e0181853, 2017], each of which must contain such samples so that the target parameter within the sets lies within the general boundaries. An additional factor that provides an objective assessment of the accuracy of the solution of the problem is the approach to the deliberate formation of sets of data samples obtained in the framework of experiments independent of those whose samples were included in the training sample. This approach eliminates the dependence of the system on the general conditions of the experiment (humidity, atmospheric pressure, etc.), as well as time characteristics of the measuring equipment behavior (“aging” of the sensory material, external pickup of the measuring circuit, etc.).

На следующем этапе (Б) каждому образцу сопоставляют целевой параметр. Пример, приведенный в рамках данного описания, касается определения типов и концентраций газов в смеси, включает часть, связанную с классификацией (определением типа газа), характеризующейся узким набором дискретных значений, и части, связанной с регрессией (определением концентрации газа), характеризующейся некоторой непрерывной сеткой значений в рамках установленных границ минимального и максимального значения. Для определения типов и концентраций газов строят статистическую модель, что сводится к минимизации целевой функции, вид которой зависит от определяемого искомого параметра - является он качественным или количественным. Так, для задачи определения количественного целевого параметра (представляющего из себя непрерывный набор значений, задача регрессии) предпочтительно использование значения среднеквадратичного отклонения [Т. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag New York, 745 p. 2009], тогда как для определения качественного целевого параметра (представляющего из себя одно из нескольких детерминированных значений целевого параметра, задача классификации) предпочтительно использование так называемой функции softmax. При выборе целевых функций необходимо, чтобы функции удовлетворяли требованию дифференцируемости для случаев, когда предполагается использовать алгоритм градиентного спуска при обучении моделей [Bishop, С.М. Pattern Recognition and Machine Learning. - Springer, 2006. - 738 p].In the next step (B), each sample is assigned a target parameter. The example given within the scope of this description concerns the determination of the types and concentrations of gases in the mixture, including the part related to the classification (determining the type of gas), characterized by a narrow set of discrete values, and the part related to the regression (determining the concentration of gas), characterized by some continuous grid values within the limits of the minimum and maximum values. To determine the types and concentrations of gases, a statistical model is built, which boils down to minimizing the objective function, the form of which depends on the desired parameter to be determined - whether it is qualitative or quantitative. So, for the task of determining a quantitative target parameter (which is a continuous set of values, a regression task), it is preferable to use the value of the standard deviation [T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Springer-Verlag New York, 745 p. 2009], whereas for determining the qualitative target parameter (representing one of several deterministic values of the target parameter, the task of classification) it is preferable to use the so-called softmax function. When selecting target functions, it is necessary that the functions satisfy the requirement of differentiability in cases where it is intended to use the gradient descent algorithm when training models [Bishop, S.М. Pattern Recognition and Machine Learning. - Springer, 2006. - 738 p].

На следующем этапе (В) выбирают семейства вейвлет-функций. Стандартные требования к вейвлет-функциям (локализованность, нулевое среднее и пр. [Charles K. Chui. An Introduction to Wavelets, Volume 1 (Wavelet Analysis and Its Applications) 1 st Edition. Academic Press, 266 p. 1992] дополняют требованием дифференцируемости для обеспечения возможности применения алгоритма градиентного спуска при обучении моделей. Отличительной особенностью заявляемого способа является отсутствие необходимости проведения обратного преобразования из пространства вейвлет-коэффициентов в исходное пространство, что снимает требование к ортогональности вейвлет-функций и становится возможным одновременное использование вейвлет-функций различных семейств вейвлетов. Пример вейвлет-функции: вейвлет Морле

где ω₀ - центральная частота вейвлета, j - мнимая единица, η - условное обозначение положения точки на оси в пространственном домене.At the next stage (B), families of wavelet functions are selected. Standard requirements for wavelet functions (localization, zero mean, and so on. [Charles K. Chui. 1 Wave Edition, Academic Press, 266 p. 1992] supplement the requirement of differentiability for providing the possibility of using the gradient descent algorithm when training models. A distinctive feature of the proposed method is the absence of the need for an inverse transformation from the space of wavelet coefficients to the original space, which removes the requirement for the orthogonality of wavelet functions and a hundred It is possible to use wavelet functions of different wavelet families simultaneously. Example wavelet function: Morlet wavelet

where ω ₀ is the center frequency of the wavelet, j is the imaginary unit, η is the symbol of the position of a point on the axis in the spatial domain.

После выбора вейвлет функций задают начальные параметры - центральные частоты выбранных вейвлетов, значение масштаба и степень перекрытия соседних окон. Значение перекрытия вейвлет-окон выбирают не менее 30%, предпочтительным является 50% перекрытие вейвлет-окон. Масштаб первого уровня выбирают порядка половины числа отсчетов образца сигналов, чтобы в результате преобразования получилось несколько вейвлет-коэффициентов, как изображено в верхней части фиг. 3.After selecting the wavelet functions, set the initial parameters - the center frequencies of the selected wavelets, the scale value and the degree of overlap of adjacent windows. The value of the overlap of the wavelet windows is chosen not less than 30%, 50% overlap of the wavelet windows is preferred. The scale of the first level is chosen to be about half the number of samples of a sample of signals, so that as a result of the conversion several wavelet coefficients are obtained, as shown in the upper part of FIG. 3

Вейвлет-преобразование можно осуществлять напрямую, при этом наиболее эффективным является использование алгоритма проведения операции свертки в Фурье-пространстве [Hramov, А.Е., Koronovskii, А.А., Makarov, V.A., Pavlov, A.N., Sitnikova, E. Wavelets in Neuroscience. Springer-Verlag Berlin Heidelberg, 318 p. 2015], например, с использованием имеющихся на рынке программных продуктов, реализующих алгоритм Фурье-преобразования [https://software.intel.com/en-us/mkl/features/fft, https://developer.nvidia.com/cufft, https://www.xilinx.com/products/intellectual-property/fft.html]. В рамках выбранного алгоритма получают Фурье-образы образцов сигналов и вейвлет-функции, после чего производят их свертку и проделывают обратное Фурье-преобразование, чтобы вернуться в исходное пространство. Результатом данного шага является набор вейвлет-коэффициентов - по одному коэффициенту для каждого окна.The wavelet transform can be performed directly, with the most effective use of the algorithm for performing convolution operations in Fourier space [Hramov, AE, Koronovskii, AA, Makarov, VA, Pavlov, AN, Sitnikova, E. Wavelets in Neuroscience. Springer-Verlag Berlin Heidelberg, 318 p. 2015], for example, using commercially available software products that implement the Fourier transform algorithm [https://software.intel.com/en-us/mkl/features/fft, https://developer.nvidia.com/cufft , https://www.xilinx.com/products/intellectual-property/fft.html]. Within the framework of the selected algorithm, Fourier images of the signal samples and wavelet functions are obtained, after which they are convolved and the inverse Fourier transform is performed to return to the original space. The result of this step is a set of wavelet coefficients - one coefficient for each window.

На следующем этапе реализации изобретения (Г) после определения вейвлет-коэффициентов проводят построение семейства моделей, отображающих подаваемый набор коэффициентов на значения целевого параметра. Семейство содержит модели, осуществляющие преобразование входных переменных с помощью опорной функции, каждая модель внутри семейства содержит свой уникальный набор переменных. Таким образом, семейство состоит из моделей, получающих на вход все возможные комбинации входных переменных, среди которых будут отобраны лучшие на основании значения внешнего критерия, рассчитанного на валидационном наборе. Поскольку при большом количестве переменных количество моделей, которые потребуется обучить на данном шаге равно n!, то количество входных переменных ограничивают сверху, для уменьшения числа моделей до

В качестве опорной функции рекомендуется использовать линейную функцию, однако возможно применение и полиномиальных функций и универсальных аппроксиматоров функций, например, радиальных базисных функций [Schwenker, Friedhelm; Kestler, Hans A.; Palm,

Three learning phases for radial-basis-function networks. Neural Networks. 14: 439-458. 2001] и искусственных нейронных сетей [Simon Haykin. Neural Networks: A Comprehensive Foundation (2nd ed.). Upper Saddle River, NJ: Prentice Hall. 842 p. 1999].At the next stage of the implementation of the invention (G), after determining the wavelet coefficients, a family of models are constructed that display the supplied set of coefficients for the values of the target parameter. The family contains models that transform input variables using a support function, each model within the family contains its own unique set of variables. Thus, the family consists of models that receive as input all possible combinations of input variables, among which the best ones will be selected based on the value of the external criterion calculated on the validation set. Since, with a large number of variables, the number of models that need to be taught at this step is equal to n !, then the number of input variables is limited from above to reduce the number of models to

As a support function, it is recommended to use a linear function, however, it is possible to use both polynomial functions and universal function approximants, for example, radial basis functions [Schwenker, Friedhelm; Kestler, Hans A .; Palm,

Three learning phases for radial-basis-function networks. Neural Networks. 14: 439-458. 2001] and artificial neural networks [Simon Haykin. Neural Networks: A Comprehensive Foundation (2nd ed.). Upper Saddle River, NJ: Prentice Hall. 842 p. 1999].

На следующем этапе (Д) для сокращения объема требуемых вычислений проводят обучение простых функций с помощью метода наименьших квадратов, однако для обучения сложных адаптивных моделей возможно использование модифицированных алгоритмов градиентного спуска [Caglar Gulcehre, Jose Sotelo, Marcin Moczulski, Yoshua Bengio. A Robust Adaptive Stochastic Gradient Method for Deep Learning. arXiv:1703.00788], которые позволяют обучать модель до приемлемого уровня за небольшое количество итераций. После окончания процедуры обучения моделей на тренировочном наборе производят оценку работы моделей на валидационном наборе, составленном из образцов, не участвовавших в процессе обучения моделей. После чего отбирают заданное число моделей, продемонстрировавших лучшие результаты, и проводят проверку оценки их эффективности на тестовом наборе данных, образцы которых не были задействованы ни в обучении, ни в выборе моделей. Если наблюдают улучшение точности определения целевого параметра на тестовом наборе (Е), в сравнении с результатами, полученными на предыдущих уровнях детализации, то области сигнала, соответствующие этим моделям, объявляют наиболее значимыми для данного уровня детализации (Ж). Если же улучшение точности определения целевого параметра на тестовом наборе не наблюдается или уровень детализации достиг значений уровня дискретизации сигналов (т.е. не представляется возможным выбрать окно меньшей ширины), то не переходят на следующий уровень детализации.At the next stage (D), to reduce the amount of required computations, simple functions are trained using the least squares method, however, modified gradient descent algorithms [Caglar Gulcehre, Jose Sotelo, Marcin Moczulski, Yoshua Bengio can be used to train complex adaptive models. A Robust Adaptive Stochastic Gradient Method for Deep Learning. arXiv: 1703.00788], which allow you to train the model to an acceptable level in a small number of iterations. After the end of the training procedure for models on a training set, an assessment is made of the work of models on a validation set made up of samples that did not participate in the model training process. After that, they select a specified number of models that have demonstrated the best results and test their performance evaluations on a test data set, samples of which were not involved in training or in the choice of models. If an improvement in the accuracy of determining the target parameter on the test set (E) is observed, in comparison with the results obtained at previous levels of detail, the signal regions corresponding to these models are declared most significant for this level of detail (G). If the improvement in the accuracy of determining the target parameter on the test set is not observed or the level of detail has reached the values of the signal discretization level (that is, it is not possible to choose a window of smaller width), then they do not go to the next level of detail.

Если переходят к следующему уровню детализации на следующем этапе заявляемого способа (З), то выбирают новое значение параметра масштаба, предпочтительно двукратно меньше того, что использовалось на предыдущем уровне детализации и изменяют значение центральной частоты вейвлета для сохранения его формы в новом масштабе и далее размещают эти окна в выбранных на предыдущем шаге областях сигнала, рассчитывают вейвлет-коэффициенты (И) и далее повторяют пункты В.-И.If they move to the next level of detail in the next step of the proposed method (D), then a new value of the scale parameter is chosen, preferably two times less than what was used at the previous level of detail and change the value of the center frequency of the wavelet to save its shape to a new scale and then place these the windows in the signal areas selected in the previous step, calculate the wavelet coefficients (I) and then repeat the points V.-I.

Пример осуществления изобретенияAn example embodiment of the invention

Для демонстрации эффективности разработанного подхода был проведен цикл измерений состава воздуха с помощью полупроводниковых газовых сенсоров производства SGX Sensortech (Швейцария). Сенсоры работали в непрерывном режиме, частота дискретизации сигнала составляла 0.1 сек, при этом было реализовано циклическое изменение их температуры, как показано на фиг. 1. Для уменьшения скачкообразности показаний сенсоров и плавности реакции ПИД управляющей системы были введены области термостабилизации на крайних значениях температуры, которую изменяли от 150 до 450 градусов цельсия со скоростью 15 градусов в секунду, длина каждой области стационарной температуры - 10 сек. Перед началом каждого эксперимента проводили продувку сенсоров уличным воздухом в течение одного часа. Измерения для заданного типа газа осуществляли по 2 часа, прерывая их получасовыми продувками установки уличным воздухом. Одна серия экспериментов включала не более трех серий измерений, после чего производили часовую продувку уличным воздухом и отключали измерительную установку. Последовательные серии экспериментов проводили на разных типов газов для исключения влияния фактора «старения» сенсорного материала на измеряемый сигнал. Эксперименты проводили с угарным газом (СО), водородом (Н₂), смесью этих двух газов, уличным воздухом, а также уличным воздухом с контролируемым уровнем влажности. Газы СО и Н₂ подавались из подключенных к установке баллонов, смешиваясь с нагнетаемым уличным воздухом; изменение их концентрации проводилось путем регулировки потока газа, выходящего из баллона. Концентрации менялись в диапазонах от 7 до 126 ppm (points per million) и 33 до 540 ppm для СО и Н₂, соответственно, в рамках равномерной сетки из 9 значений. В тренировочный набор были включены образцы из 3x экспериментов для каждого типа газа, в валидационный - образцы из других двух экспериментов, в тестовый - из одного эксперимента.To demonstrate the effectiveness of the developed approach, an air composition measurement cycle was carried out using semiconductor gas sensors manufactured by SGX Sensortech (Switzerland). The sensors operated in continuous mode, the signal sampling frequency was 0.1 sec, and a cyclic change in their temperature was implemented, as shown in FIG. 1. To reduce the stepwise readings of the sensors and the smooth response of the PID control system, thermal stabilization areas were introduced at extreme temperatures, which were changed from 150 to 450 degrees Celsius at a speed of 15 degrees per second, the length of each stationary temperature area was 10 seconds. Before the start of each experiment, the sensors were purged with street air for one hour. Measurements for a given type of gas were carried out for 2 hours, interrupting them with half-hour blow-downs of the installation with outdoor air. One series of experiments included no more than three series of measurements, after which the hour air was blown with outside air and the measurement setup was turned off. Sequential series of experiments were performed on different types of gases in order to eliminate the influence of the “aging” factor of the sensor material on the measured signal. The experiments were carried out with carbon monoxide (CO), hydrogen (H ₂ ), a mixture of these two gases, outside air, as well as outside air with a controlled humidity level. The CO and H ₂ gases were supplied from the cylinders connected to the installation, mixing with the intake air from the outside; the change in their concentration was carried out by adjusting the flow of gas exiting the cylinder. Concentrations varied in the ranges from 7 to 126 ppm (points per million) and 33 to 540 ppm for CO and H ₂ , respectively, within a uniform grid of 9 values. The training set included samples from 3x experiments for each type of gas, the validation set included samples from the other two experiments, and the test set from one experiment.

Этап А был реализован проведением процедур, направленных на улучшение качества сигнала - очищение от шума производилось с помощью медианного фильтра шириной 8 отсчетов, устранение дрейфа базовой линии сенсоров проводилось путем устранения локальных трендов полиномами не выше третьего порядка. Каждый образец сигнала был составлен из вектора измеряемых значений сопротивления цикла нагревание-стабилизация-охлаждение-стабилизация - всего 600 отсчетов. Для устранения влияния абсолютной амплитуды сенсорного ответа образцы нормировались на собственное интегральное значение. Каждому образцу поставили в соответствие известный тип газа (качественная характеристика) и количественное (концентрация газа, для газов СО, Н₂ и их смеси) (этап Б).Stage A was implemented by conducting procedures aimed at improving the quality of the signal - the noise was cleared using a median filter with a width of 8 counts, the drift of the sensor baseline was eliminated by eliminating local trends by polynomials not higher than the third order. Each signal sample was composed of a vector of measured values of the heating-stabilization-cooling-stabilization cycle resistance — a total of 600 samples. To eliminate the influence of the absolute amplitude of the sensory response, the samples were normalized to their own integral value. Each sample was assigned a well-known gas type (quality characteristic) and quantitative (gas concentration, CO, H ₂ gases and mixtures thereof) (stage B).

В качестве вейвлет-функции на этапе В был выбран вейвлет Морле, при расчете вейвлет-коэффициентов использовали только действительную часть, мнимые значения отбрасывали. Начальное значение центральной частоты выбирали 2*π^3/2 что обеспечило 5 циклов синусоиды внутри выбранного масштаба. Значение параметра масштаба выбрали 200 точек, степень перекрытия соседних вейвлет-окон - 50%. Расчет вейвлетов-коэффициентов проводили в рамках осуществления свертки в Фурье-пространстве с предварительным Фурье-преобразованием образцов сигнала и вейвлет-функции и обратным преобразованием результата. Таким образом, для каждого выбранного окна на образце сигнала рассчитали по одному вейвлет-коэффициенту.At stage B, the Morlet wavelet was chosen as the wavelet function; in calculating the wavelet coefficients, only the real part was used, and the imaginary values were rejected. The initial value of the center frequency was chosen as 2 * π ^3/2, which ensured 5 cycles of the sinusoid within the selected scale. The value of the scale parameter was chosen by 200 points, the degree of overlap of adjacent wavelet windows is 50%. The calculation of wavelet coefficients was carried out in the framework of the convolution in Fourier space with a preliminary Fourier transform of the signal samples and the wavelet function and the inverse transformation of the result. Thus, for each selected window on a signal sample, one wavelet coefficient was calculated.

После того как были рассчитаны вейвлет-коэффициенты на них было построено семейство линейных моделей (этап Г), включающих все возможные комбинации переменных. Подбор коэффициентов моделей осуществляли методом наименьших квадратов на образцах сигнала тренировочного набора. Глобальное ограничение на количество переменных в модели составило 12, ограничение на минимально возможный размер окна - 8 отсчетов. На данном этапе проводили решение задачи классификации, кодирование желаемого значения проводили методом one-hot encoding, т.е. при наличии 4 различных значений целевого параметра (газовых сущностей): СО, Н₂, смесь СО и Н₂, уличный воздух, желаемое значение кодировали вектором из четырех значений, 3 из которых были равны нулю, а одно из них - единице, что соответствовало отсутствию или наличию газа. Задача регрессии была решена сходным образом с тем отличием, что выходные значения представлялись в виде массива непрерывно меняющихся значений внутри указанных диапазонов концентраций. Средняя абсолютная ошибка определения концентраций на тестовом наборе образцов составила менее 10% относительного значения концентрации.After the wavelet coefficients were calculated on them, a family of linear models was constructed (stage D), including all possible combinations of variables. The selection of the coefficients of the models was carried out by the method of least squares on the signal samples of the training set. The global limit on the number of variables in the model is 12, the limit on the minimum possible window size is 8 samples. At this stage, the classification problem was solved, the desired value was encoded using the one-hot encoding method, i.e. in the presence of 4 different values of the target parameter (gas entities): CO, H ₂ , a mixture of CO and H ₂ , outside air, the desired value was coded with a vector of four values, 3 of which were equal to zero, and one of them was equal to one, which corresponded to the absence or presence of gas. The regression task was solved in a similar way with the difference that the output values were represented as an array of continuously varying values within the specified concentration ranges. The average absolute error in determining the concentrations on the test set of samples was less than 10% of the relative concentration value.

В результате для данного уровня построили 120 моделей, после чего их точность работы оценили на валидационном наборе (этап Д). По данному критерию выбрали 25% лучших моделей. Поскольку это первый шаг, то проверку работы на тестовой выборке не проводили (этап Е). Таким образом, выбрали уникальные вейвлет-коэффициенты отобранных моделей и соответствующие им области объявили существенными для решения задачи (этап Ж).As a result, 120 models were built for this level, after which their accuracy of work was evaluated on the validation set (stage D). According to this criterion, 25% of the best models were chosen. Since this is the first step, no test was performed on the test sample (step E). Thus, the unique wavelet coefficients of the selected models were chosen and the corresponding areas were declared essential for the solution of the problem (step F).

Выбранные на шаге Ж области сигнала использовали на следующем уровне детализации (этап З), характеризующемся размером окна, вдвое меньшим, чем на предыдущем шаге, а центральная частота была увеличена в 4/3 раз для сохранения количества периодов синусоиды вейвлета Морле внутри окна. Сохраняя ту же степень перекрытия, выбрирали положения окон на образцах сигналов внутри выбранных областей и далее повторяли действия по п. В.-З.The signal areas selected at step W were used at the next level of detail (step 3), characterized by a window size that was half the size of the previous step, and the center frequency was increased 4/3 times to keep the number of periods of a Morle wavelet sinusoid inside the window. Keeping the same degree of overlap, we chose the positions of the windows on the samples of the signals inside the selected areas and then repeated the actions of B.-Z.

Для технической реализации вычислительного алгоритма использовали компьютер на базе процессора intel 6600k, видеокарта nvidia gtx 1060gb, 32gb ram на базе операционной системы linux. Использование графического ускорителя и библиотеки tensorflow языка python позволили ускорить вычисления фурье-преобразования и организовать многопоточные вычисления.For the technical implementation of the computational algorithm, a computer based on the intel 6600k processor, an nvidia gtx 1060gb video card, 32gb ram based on the linux operating system were used. The use of a graphics accelerator and the python library's tensorflow library made it possible to speed up computations of the Fourier transform and organize multithreaded computations.

Таким образом, преимущество разработанного подхода было продемонстрировано в возможности решения как задачи определения типа газа, так и определения концентраций отдельных газов и их смеси. По сравнению с известным способом по патенту US 8064722 B1, заявляемый способ, помимо возможности определения типа газа (качественного целевого параметра), позволяет определять концентрацию исследуемых газов (количественного целевого параметра), а также обеспечивает высокую точность определения целевого параметра (качественного или количественного) с выделением значимых разномасштабных областей измеряемого сигнала.Thus, the advantage of the developed approach was demonstrated in the ability to solve both the problem of determining the type of gas, and determining the concentrations of individual gases and their mixtures. Compared with the known method of US Pat. No. 8,064,722 B1, the claimed method, in addition to being able to determine the type of gas (qualitative target parameter), allows determining the concentration of the gases being studied (quantitative target parameter), and also provides high accuracy of determining the target parameter (qualitative or quantitative). the selection of significant different-scale areas of the measured signal.

Claims

1. The method of processing vector signals for pattern recognition based on wavelet analysis, including

A) Primary processing of the measured one-dimensional signal x (t) by removing high-frequency noise and then normalizing the pre-processed signal to produce an array of samples of the measured signal to form a training sample, divided into a training, validation and test set, where each sample of the measured signal is assigned a known value of at least at least one target parameter;

B) for each sample from the resulting training sample array, determine the windows of the current level of detail corresponding to the specified value of the parameters width s and the position of their centers - t, ensuring the overlap of adjacent windows;

B) each sample from the received training sample array is processed using the wavelet transform with the convolution of the wavelet function on the overlapping windows of this level of detail to obtain the wavelet coefficients (a ₁ ... a _n );

D) choose a support function, the maximum number of its variables, followed by building a family of models for displaying the wavelet coefficients (a ₁ ... a _n ) with the selected function for at least one target value;

D) after which each model from the family according to paragraph D) is trained on a training set with the selection of the weight parameters of the models w ₁ ... w _n and the subsequent selection of the best models according to the criterion calculated on the validation set;

E) checking the selected models in step D) on a test sample by calculating the criterion for evaluating the convergence of the algorithm;

G) the choice of significant areas corresponding to the windows of this level of detail,

H) the transition to the next level of detail within the selected by section G) significant areas - windows of the current level of detail corresponding to the best models containing wavelet coefficients a _i , previously calculated inside these windows;

I) for each window of significant areas defined at the first level of detail, the corresponding wavelet transform with a smaller scale parameter is used to obtain a detailed representation of a set of significant areas, after which steps B) -I) are repeated until the convergence criterion determined by the target value is reached functions on the test set, resulting in a set of paired combinations of s and t, corresponding to the significant parts of the measured signal, which determine the desired target parameter.

2. The method according to p. 1, characterized in that as a one-dimensional signal x (t) use the values continuously obtained from the measuring equipment.

3. The method according to claim 1, characterized in that the high-frequency noise is removed using a median filter.

4. The method according to claim 1, characterized in that the normalization of the preprocessed signal is performed by dividing the signal values at each point by the integral value of the measured signal.

5. The method according to claim 1, characterized in that the samples of the array of the measured signal are chosen of the same length.

6. The method according to claim 1, characterized by the fact that each of the sets of an array of samples of the measured signal - training, test and validation, is formed from a subset of the measurement samples obtained during experiments conducted at different times.

7. The method according to claim 1, characterized in that a quantitative or qualitative parameter is used as a target parameter.

8. The method according to claim 1, characterized in that the wavelet transform is

,

where x (t) is the original signal, ψ * is the complex-conjugate mother wavelet function.

9. The method according to claim 1, characterized in that functions that satisfy the following properties are used as a wavelet function: localization; zero average; limitations; differentiability; self-similarity.

10. A method according to claim 1, characterized in that the overlap of adjacent windows is at least 30% of the width of the window.

11. The method according to claim 1, characterized in that the convolution of the signal with the wavelet function is carried out in Fourier space, for which: calculate the Fourier transform of the discrete signals, representing the sequence of values {x _n }:

calculate the Fourier transform of the wavelet function:

,

multiply the Fourier transform of discrete signals by the complex-conjugate Fourier transform of the wavelet function and produce the inverse Fourier transform:

;

where n is 0, 1, ..., N-1, N is the number of samples in the studied data series; h is the interval between successive samples of the time domain, k / h ⊂ (0, ..., (N-1) / h) forms the set of frequencies of the original signal x _n .

12. The method according to claim 1, characterized by the fact that as the support function choose

linear function consisting of zero and first order terms:

.

13. The method according to p. 1, characterized in that the training is carried out by minimizing the internal criterion - the sum of squares of regression residues on the training set:

.

14. The method according to p. 13, characterized in that the minimization of the internal criterion is carried out using the algorithm of least squares:

.

15. The method according to claim 1, characterized in that the selection of the best models is carried out on the basis of an external criterion calculated on the validation set - the sum of squares of the regression residuals of the models built on the training set, normalized to the corresponding target values:

.

16. The method according to claim 1, characterized by the fact that out of the constructed family of models, choose a fourth of the models that are the best according to the external criterion on the validation set.

17. The method according to claim 1, characterized in that the transition to the next level of detail is carried out only if the accuracy of determining the target parameter on the test set for at least one of the selected models exceeded the results obtained at the previous level of detail.