RU2697613C9

RU2697613C9 - Способ распознавания объектов с помощью нейронных сетей

Info

Publication number: RU2697613C9
Application number: RU2018140925A
Authority: RU
Inventors: Алексей Андреевич Кадейшвили; Александр Юрьевич Соколов
Original assignee: Хуавей Текнолоджис Ко., Лтд.
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2022-04-15
Also published as: RU2697613C1

Abstract

Изобретение относится к области распознавания объектов. Технический результат - повышение скорости и достоверности распознавания объектов камерой за счет обучения встроенной в камеру нейронной сети с помощью более мощной внешней нейронной сети. Получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, детектируют с помощью указанного модуля изображения и выделяют области изображений Oiс объектами интереса, передают области изображений Oiс выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры, вычисляют по выделенным областям значимые признаки объектов f(Oi), передают те же самые области изображений Oiс выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, вычисляют по выделенным областям значимые признаки объектов g(Oi) на внешней нейронной сети G, передают обратно в камеру признаки объектов g(Oi), производят переобучение нейронной сети в камере F с использованием накопленных в камере изображений Oiи значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G. 2 н. и 3 з.п. ф-лы, 3 ил., 5 табл.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к области распознавания объектов, а именно к способам распознавания объектов с помощью нейронных сетей, при которых: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений O_i с объектами интереса, передают областей изображений O_i с выделенными объектами интереса, на вход одной или совокупности нескольких нейронных сетей F внутри камеры, вычисляют по выделенным областям значимые признаки объектов f(O_i), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.

В данном описании используются следующие термины:

Искусственная нейронная сеть (нейронная сеть) - математическая модель, а также ее программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Она представляет собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И тем не менее будучи соединенными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.

Объект интереса - область на изображении, содержащая распознаваемый объект. Например, может стоять задача распознавания автомобильных номеров, тогда на кадрах изображения будут выделены и будут подвергнуты распознаванию только те области, которые содержат изображения автомобильного номера. Или это могут быть лица людей в потоке.

Значимые признаки объектов - те признаки распознаваемых объектов, которые содержатся в базе данных, списке поиска, хранящемся внутри камеры или на стороннем сервере. Например, для примера выше - собственно база данных автомобильных номеров или база данных ФИО людей.

Сервер (англ. server) - электронное устройство, выполняющее сервисные функции по запросу клиента, предоставляя ему доступ к определенным ресурсам. В целях настоящего описания рассматривается сервер, имеющий постоянное подключение к объединенной сети, которая может передавать данные на сервер с клиентских устройств. Сервер может обрабатывать эти данные и передавать результат обработки обратно на клиентское устройство.

Камера - устройство захвата и сохранение изображения, фотоаппарат, видеокамера и аналогичные им устройства.

Уровень техники

В настоящее время проблема распознавания объектов становится все более актуальной. И к ней предъявляются все более высокие требования. Становится важным решить задачу быстрого и точного распознавания объектов, например автомобильных номеров в быстродвижущимся потоке автомобилей.

Для этого используют камеры, которые получают изображение, которое потом обрабатывается в расположенном в камере модуле обработки кадров с применением нейронной сети. Так, известен способ распознавания объектов с помощью нейронных сетей, при котором: получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F, детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений O_i с объектами интереса, передают областей изображений O_i с выделенными объектами интереса, на вход одной или совокупности нескольких нейронных сетей F внутри камеры, вычисляют по выделенным областям значимые признаки объектов f(O_i), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере. Такой способ описан в патенте РФ №2651147, опубликованном в 2018 году.

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения.

Недостатком этого прототипа является недостаточная достоверность распознавания и невысокая скорость распознавания объектов.

Действительно, так как все процессы распознавания происходят в расположенном в камере модуле обработки кадров, то очевидно, что при практическом применении ее мощности ограничены. И при большом потоке кадров, содержащих разные объекты интереса, их не хватит для качественного, достоверного распознавания, при этом скорость распознавания будет невысокой.

Раскрытие изобретения

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ распознавания объектов с помощью нейронных сетей, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечить повышение скорости и достоверности распознавания объектов одной камерой за счет обучения встроенной в камеру нейронной сети с помощью более мощной внешней нейронной сети, что и является поставленной технической задачей настоящего изобретения.

Для достижения этой цели способ дополнительно сдержит этапы, при которых:

• передают те же самые области изображений O_i с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,

• вычисляют по выделенным областям значимые признаки объектов g(O_i) на внешней нейронной сети G,

• передают обратно в камеру признаки объектов g(O_i),

• производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени, с использованием накопленных в камере изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.

Альтернативно существует примерно такое же решение, которое несколько отличается, но все же является независимым, а именно:

• производят переобучение нейронной сети F на удаленном сервере, с использованием накопленных изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.

• передают обратно в камеру переобученную нейронную сеть F.

Благодаря данным выгодным характеристикам появляется возможность подключать сторонние ресурсы с одной или несколько более сложными нейронными сетями, и с их помощью производить переобучение нейронной сети в камере (первый вариант) в процессе ее эксплуатации в режиме отложенного или реального времени или (второй вариант) производить переобучение нейронной сети F на удаленном сервере и передавать обратно в камеру переобученную нейронную сеть F.

Это все позволяет с помощью более мощных внешних ресурсов быстрее производить переобучение нейронной сети в камере F и впоследствии быстрее и точнее осуществлять распознавание объектов.

Существует также вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности || f(O_i)-g(O_i) || в функции потерь в методе обратного распространения ошибки.

Благодаря данным выгодным характеристикам появляется возможность конкретной реализации механизма переобучения нейронной сети F.

Существует также вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности || f(O_i)-<g(O_i)> || в функции потерь в методе обратного распространения ошибки, где <g(O_i)> - среднее значение вектора признаков, усредненного по всем O_i, принадлежащим одному классу объектов.

Благодаря данным выгодным характеристикам появляется еще одна возможность конкретной реализации механизма переобучения нейронной сети F.

Существует еще один вариант изобретения, в котором осуществляют переобучение нейронной сети F с использованием нормы разности ||f(O_i)-g(O_i)||+λ||<f(O_i)>-f(O_i)||, где <f(O_i)> - центр для f(O_i), а λ - параметр регуляризации.

Совокупность существенных признаков предлагаемого изобретения не известна из уровня техники для способов аналогичного назначения, что позволяет сделать вывод о соответствии критерию «новизна» для изобретения в отношении способа. Неочевидность решения и глобальность решаемой задачи, которая до сих пор оставалась нерешенной, говорит о неочевидности решения для специалиста в данной области техники и, таким образом, о соответствии изобретения критерию «изобретательский уровень».

Краткое описание чертежей

Другие отличительные признаки и преимущества данного изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 схематично изображает систему распознавания объектов с помощью нейронных сетей, согласно изобретению,

- фигура 2 схематично изображает этапы способа распознавания объектов с помощью нейронных сетей, согласно первому независимому пункт формулы изобретения,

- фигура 3 схематично изображает этапы способа распознавания объектов с помощью нейронных сетей, согласно второму независимому пункт формулы изобретения.

Согласно фигуре 1 получают изображение объекта или объектов 1 с помощью камеры 2, содержащей модуль 21 обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F. Детектируют с помощью указанного модуля 21 обработки кадров изображения и выделяют области изображений O_i с объектами интереса, 11. Передают области изображений O_i с выделенными областями интереса стороннему более мощному серверу 3, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса, расположенная в модуле 31.

Передачу сигналов осуществляют любым доступным способом, преимущественно через беспроводное соединение через объединенную сеть 4, которая включает в себя различные топологии, конфигурации и компоновки компонентов межсетевого соединения, выполненные с возможностью соединять между собой корпоративные, глобальные и локальные вычислительные сети, и включает в себя, без ограничения, традиционные проводные, беспроводные, спутниковые, оптические и эквивалентные сетевые технологии. Преимущественно, в качестве объединенной сети обычно используется сеть интернет.

Осуществление изобретения

Способ распознавания объектов с помощью нейронных сетей работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения. Имея в виду, что данный пример не ограничивает применения изобретения.

Согласно фигурам 2 и 3:

Этап А1. Получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F.

Этап А2. Детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений O_i с объектами интереса.

Этап A3. Передают области изображений O_i с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры. Или передают те же самые области изображений O_i с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.

Этап А4. Вычисляют по выделенным областям значимых признаков объектов g(O_i) на внешней нейронной сети G.

Этап А5. Передают обратно в камеру признаки объектов g(O_i).

Этап А6. Производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени, с использованием накопленных в камере изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.

Этап А7. Вычисляют по выделенным областям значимые признаки объектов f(O_i), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.

Этап В1. Получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F.

Этап В2. Детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений O_i с объектами интереса.

Этап В3. Передают области изображений O_i с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры. Или передают те же самые области изображений O_i с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.

Этап В4. Вычисляют по выделенным областям значимые признаки объектов g(O_i) на внешней нейронной сети G.

Этап В5. Производят переобучение нейронной сети F на удаленном сервере, с использованием накопленных изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.

Этап В6. Передают обратно в камеру переобученную нейронную сеть F.

Этап В7. Вычисляют по выделенным областям значимые признаки объектов f(O_i), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере.

Последовательность этапов может быть изменена без потери возможности производить распознавание и переобучение нейронной сети.

Промышленная применимость

Предлагаемый способ распознавания объектов с помощью нейронных сетей может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлена опытная система распознавания объектов с помощью нейронных сетей, то есть испытаны серверы, специально сконфигурированные с возможностью обработки всех данных и камера, содержащая модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей.

Испытания опытной системы показали, что она обеспечивает возможность:

- автоматического обучения одиночной камеры, производящей получение и обработку изображений за счет подключения к более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса.

Таким образом, в данном изобретении достигнута поставленная задача - повышение скорости и достоверности распознавания объектов одной камерой за счет обучения встроенной в камеру нейронной сети с помощью более мощной внешней нейронной сети.

Дополнительным полезным техническим результатом заявленного изобретения является то, что:

- данный способ дает возможность обучать множество различных камер, каждая из которых распознает свои объекты интереса, одной мощной внешней нейронной сетью.

Данный способ является оптимальным решением при построении крупных распределенных систем в масштабах города или региона, на объектах массового пребывания людей: на вокзалах, в метро, в аэропортах, на спортивных аренах.

Claims

1. Способ распознавания объектов с помощью нейронных сетей, при котором:

получают изображение объекта с помощью камеры, содержащей модуль обработки кадров изображения с использованием одной или совокупности нескольких нейронных сетей F,

детектируют с помощью указанного модуля обработки кадров изображения и выделяют области изображений O_i с объектами интереса,

передают области изображений O_i с выделенными объектами интереса на вход одной или совокупности нескольких нейронных сетей F внутри камеры,

вычисляют по выделенным областям значимые признаки объектов f(O_i), необходимые для распознавания объектов в списке поиска, хранящемся внутри камеры или на стороннем сервере, отличающийся тем, что

передают те же самые области изображений O_i с выделенными областями интереса стороннему более мощному серверу, на котором установлена вторая одна или несколько более сложных нейронных сетей G, характеризующаяся меньшими ошибками классификации объектов интереса,

вычисляют по выделенным областям значимые признаки объектов g(O_i) на внешней нейронной сети G,

передают обратно в камеру признаки объектов g(O_i),

производят переобучение нейронной сети в камере F в процессе ее эксплуатации в режиме отложенного или реального времени с использованием накопленных в камере изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G.

2. Способ распознавания объектов с помощью нейронных сетей, при котором:

производят переобучение нейронной сети F на удаленном сервере с использованием накопленных изображений O_i и значений векторов признаков g(i), вычисленных с помощью внешней нейронной сети G,

передают обратно в камеру переобученную нейронную сеть F.

3. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности || f(O_i)-g(O_i) || в функции потерь в методе обратного распространения ошибки.

4. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности || f(O_i)-<g(O_i)> || в функции потерь в методе обратного распространения ошибки, где <g(O_i)> - среднее значение вектора признаков, усредненного по всем O_i, принадлежащим одному классу объектов.

5. Способ по п. 2 или 3, отличающийся тем, что осуществляют переобучение нейронной сети F с использованием нормы разности ॥f(O_i)−g(O_i)॥+λ॥<f(O_i)>−f(O_i)॥, где <f(O_i)> - центр для f(O_i), а λ - параметр регуляризации.