BR102021012710A2 - SUBMARINE 3D SCANNER - Google Patents
SUBMARINE 3D SCANNER Download PDFInfo
- Publication number
- BR102021012710A2 BR102021012710A2 BR102021012710-4A BR102021012710A BR102021012710A2 BR 102021012710 A2 BR102021012710 A2 BR 102021012710A2 BR 102021012710 A BR102021012710 A BR 102021012710A BR 102021012710 A2 BR102021012710 A2 BR 102021012710A2
- Authority
- BR
- Brazil
- Prior art keywords
- scanner
- module
- submarine
- underwater
- scanning
- Prior art date
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
A presente invenção propõe um equipamento capaz de realizar o escaneamento e a digitalização do ambiente submarino, identificando e obtendo a real geometria de equipamentos e trechos de dutos. Através do escaneamento é obtida uma nuvem de pontos que, após processada, resulta em um modelo CAD 3D do objeto escaneado, podendo assim ser manipulado em um software aplicativo de CAD comercial para obtenção de parâmetros geométricos reais.
O digitalizador submarino (DIGISUB) pode ser acoplado em ROVs (veículos de operação remota) ou em AUVs (veículos autônomos submarinos). The present invention proposes an equipment capable of scanning and digitizing the underwater environment, identifying and obtaining the real geometry of equipment and pipeline sections. Through scanning, a cloud of points is obtained which, after being processed, results in a 3D CAD model of the scanned object, thus being able to be manipulated in a commercial CAD application software to obtain real geometric parameters.
The underwater digitizer (DIGISUB) can be attached to ROVs (remotely operated vehicles) or AUVs (undersea autonomous vehicles).
Description
[0001] A presente invenção está baseada no desenvolvimento de um equipamento capaz de obter a geometria de equipamentos e trechos de dutos submarinos.[0001] The present invention is based on the development of equipment capable of obtaining the geometry of equipment and sections of subsea pipelines.
[0002] A tecnologia de mapeamento 3D (também chamada de mapeamento de projeção ou realidade aumentada espacial) é uma tecnologia usada para objeto 2D ou projeto 3D em uma superfície de exibição usando mapeamento espacial.[0002] 3D mapping technology (also called projection mapping or spatial augmented reality) is a technology used to 2D object or 3D project onto a display surface using spatial mapping.
[0003] Como regra geral, quanto maior a distância do sensor ao objeto, menor a acurácia. A seleção de um sensor e técnicas de processamento para o desenvolvimento de sistemas de mapeamento 3D estão relacionadas com as características do local de operação a ser inspecionado, como profundidade, turbidez e temperatura da água. Também afetam a seleção do sensor as técnicas de processamento utilizadas para a geração do mapa 3D. Nesse sentido, o desenvolvimento de equipamentos capazes de operar em águas profundas exige a aplicação de pesquisas avançadas nas áreas científicas correlatas, como a eletrônica, a mecânica e a robótica submarina.[0003] As a general rule, the greater the distance from the sensor to the object, the lower the accuracy. The selection of a sensor and processing techniques for the development of 3D mapping systems are related to the characteristics of the operation site to be inspected, such as depth, turbidity and water temperature. Also affecting the sensor selection are the processing techniques used to generate the 3D map. In this sense, the development of equipment capable of operating in deep water requires the application of advanced research in related scientific areas, such as electronics, mechanics and underwater robotics.
[0004] O documento US8929178B2 revela um sistema que pode ser usado para inspecionar estruturas subaquáticas. Este permite ao usuário obter uma melhor compreensão das condições de uma estrutura subaquática.-Trata-se de um sistema modular independente que pode ser operado por mergulhadores, acoplado a um AUV, ROV, ou outra plataforma de implantação de veículo de plataforma hospedeira, rebocado por um navio, montado em poste ou no casco. Todos os componentes necessários para alcançar as funções de scanner desejadas são incorporados ao sistema modular independente. O equipamento pode incluir e utilizar totalmente um sistema de sonar 3D e um sistema de navegação inercial. Essa combinação de recursos permite que o sistema seja usado para, por exemplo, gerar modelos 3D de estruturas subaquáticas. Apesar de apresentar um equipamento capaz de gerar imagens 3D de um ambiente submarino, o equipamento, porém, só é capaz de gerar as imagens estando consideravelmente perto dos objetos.[0004] Document US8929178B2 discloses a system that can be used to inspect underwater structures. This allows the user to gain a better understanding of the conditions of an underwater structure.-This is a self-contained modular system that can be operated by divers, attached to an AUV, ROV, or other towed host vehicle deployment platform by a ship, mounted on a pole or on the hull. All components needed to achieve the desired scanner functions are built into the self-contained modular system. The equipment can include and fully utilize a 3D sonar system and an inertial navigation system. This combination of features allows the system to be used to, for example, generate 3D models of underwater structures. Despite presenting equipment capable of generating 3D images of an underwater environment, the equipment, however, is only capable of generating images being considerably close to the objects.
[0005] O documento EP3553565A1 revela um sistema de imagem híbrido com aplicação em operações submarinas com robôs. O sistema compreende dois sensores de imagem ópticos para imagem estereoscópica, um emissor de luz com diferentes comprimentos de onda, uma fonte de luz, um processador de dados conectado aos sensores de imagem. Apesar de apresentar um equipamento capaz de gerar imagens 3D de um ambiente submarino, este, porém, só utiliza câmeras para gerar as imagens e, além disso, necessita estar perto dos objetos para retratar o ambiente em 3D.[0005] Document EP3553565A1 reveals a hybrid imaging system with application in underwater operations with robots. The system comprises two optical image sensors for stereoscopic imaging, a light emitter with different wavelengths, a light source, a data processor connected to the image sensors. Despite presenting equipment capable of generating 3D images of an underwater environment, this, however, only uses cameras to generate the images and, in addition, needs to be close to the objects to portray the environment in 3D.
[0006] O documento CN111090103A revela um dispositivo de imagem tridimensional de detecção dinâmica de alvos subaquáticos. O dispositivo compreende uma plataforma e se caracteriza por um módulo emissor de laser e uma câmara subaquática estarem dispostos de forma fixa numa plataforma. Apesar apresentar um equipamento capaz de gerar imagens 3D, o equipamento, porém, só é capaz de detectar objetos ou pequenos alvos, não é capaz de recriar o ambiente virtualmente em 3D.[0006] Document CN111090103A discloses a three-dimensional imaging device for dynamic detection of underwater targets. The device comprises a platform and is characterized in that a laser emitting module and an underwater camera are fixedly arranged on a platform. Despite presenting equipment capable of generating 3D images, the equipment, however, is only capable of detecting objects or small targets, it is not capable of recreating the environment virtually in 3D.
[0007] A presente invenção apresenta uma solução para um digitalizador 3D, sendo o objeto desta um protótipo digitalizador subaquático (DIGISUB). O sistema da invenção é composto por um computador blindado numa embarcação de apoio, dotado de um software para interface com o usuário. A comunicação entre o computador e o protótipo DIGISUB segue a arquitetura Ethernet, através de uma rede local que utilizará o umbilical do ROV para envio de pacotes. O protótipo da invenção é dotado de dois multiplexadores (MUX), disponíveis na embarcação (topside) e no ROV, este responsável pela alimentação do sistema de potência do equipamento e sua comunicação. O DIGISUB é dividido em 7 subsistemas, caracterizando a estrutura analítica do protótipo. Tais subsistemas são os de iluminação, sensoriamento, processamento, sistema de potência, estrutura mecânica, interface e software.[0007] The present invention presents a solution for a 3D digitizer, the object of which is an underwater digitizer prototype (DIGISUB). The system of the invention consists of an armored computer on a support vessel, equipped with user interface software. The communication between the computer and the DIGISUB prototype follows the Ethernet architecture, through a local network that will use the ROV's umbilical to send packets. The prototype of the invention is equipped with two multiplexers (MUX), available on the vessel (topside) and on the ROV, the latter responsible for feeding the equipment's power system and its communication. DIGISUB is divided into 7 subsystems, characterizing the analytical structure of the prototype. Such subsystems are lighting, sensing, processing, power system, mechanical structure, interface and software.
[0008] Os trabalhos obtidos do Estado da Técnica diferem desta invenção por não revelarem utilização de um método de visão estéreo passivo que usa apenas duas câmeras e luz estruturada por faixa de linhas de laser utilizada para medir a disparidade entre as duas câmeras e, portanto, não há necessidade de corrigir qualquer refração causada por ela ao passar por vários meios na água. Consequentemente, esta abordagem não requer calibração extrínseca entre o projetor de padrões e o sistema de visão estéreo e um software que possui uma divisão em camadas com componentes de interfaces bem definidos, proporcionando alta coesão e baixo acoplamento em diversos níveis.[0008] The works obtained from the State of the Art differ from this invention because they do not reveal the use of a passive stereo vision method that uses only two cameras and structured light by a range of laser lines used to measure the disparity between the two cameras and, therefore, , there is no need to correct any refraction caused by it when passing through various media in the water. Consequently, this approach does not require extrinsic calibration between the pattern projector and the stereo vision system and software that has a layering of well-defined interface components, providing high cohesion and low coupling at various levels.
[0009] É um objetivo da invenção obter a geometria real de equipamentos e trechos de dutos submarinos.[0009] It is an objective of the invention to obtain the real geometry of equipment and subsea pipeline sections.
[0010] A presente invenção propõe um protótipo capaz de realizar o escaneamento e a digitalização do ambiente submarino, identificando e obtendo a real geometria de equipamentos e trechos de dutos em ambientes submarinos.[0010] The present invention proposes a prototype capable of scanning and digitizing the underwater environment, identifying and obtaining the real geometry of equipment and pipeline sections in underwater environments.
[0011] O protótipo do equipamento digitalizador DIGISUB, objeto desta invenção, foi projetado para fornecer nuvens de pontos 3D de alta resolução, provenientes da fusão sensorial de sensores diversos, através da exploração das diferentes qualidades de cada sensor. As nuvens de pontos podem ser utilizadas para gerar modelos tridimensionais dos equipamentos e trechos de dutos/risers subaquáticos. A partir destas, será possível realizar a reconstrução 3D das estruturas inspecionadas, proporcionando medições necessárias para o planejamento de operações em ambiente virtual, reduzindo ainda o tempo e o custo das operações.[0011] The prototype of the digitizing equipment DIGISUB, object of this invention, was designed to provide clouds of high resolution 3D points, resulting from the sensory fusion of different sensors, through the exploration of the different qualities of each sensor. Point clouds can be used to generate three-dimensional models of equipment and sections of underwater pipelines/risers. From these, it will be possible to carry out a 3D reconstruction of the inspected structures, providing necessary measurements for planning operations in a virtual environment, further reducing the time and cost of operations.
[0012] O protótipo do equipamento digitalizador subaquático DIGISUB é caracterizado por possuir sete módulos funcionais: módulo de aquisição, módulo de integração, módulo de digitalização, módulo de persistência, módulo de navegação, módulo de pós-processamento, e módulo de interface.[0012] The prototype of the DIGISUB underwater digitizing equipment is characterized by having seven functional modules: acquisition module, integration module, digitization module, persistence module, navigation module, post-processing module, and interface module.
[0013] A presente invenção será descrita com mais detalhes a seguir, com referência às figuras em anexo que, de uma forma esquemática e não limitativa do escopo inventivo, representam exemplos de realização desta. Nos desenhos, têm-se:
- - A Figura 1, a qual ilustra a estrutura analítica do protótipo do digitalizador 3D (DIGISUB);
- - A Figura 2, a qual ilustra o fluxo de atividades do Módulo de Aquisição;
- - A Figura 3, a qual ilustra o fluxo de atividades do Módulo de Integração;
- - A Figura 4, a qual ilustra o fluxo de atividades do Módulo de Digitalização;
- - A Figura 5, a qual ilustra o fluxo de atividades do Módulo de Persistência;
- - A Figura 6, a qual ilustra o fluxo de atividades do Módulo de Navegação;
- - A Figura 7, a qual ilustra o fluxo de atividades do Módulo de Pós-Processamento;
- - A Figura 8, a qual ilustra o fluxo de atividades do Módulo de Interface de Operação;
- - A Figura 9, a qual ilustra a arquitetura geral do protótipo e seus respectivos módulos funcionais;
- - A Figura 10, a qual ilustra a visão geral do projeto arquitetural.
- - A Figura 11, a qual ilustra o ROS nodes;
- - A Figura 12, a qual ilustra a visão de pacotes e subsistemas da aplicação;
- - A Figura 13, a qual ilustra uma visão isométrica do sistema do digitalizador 3D, sendo composto de um sistema óptico (A), um sistema de visão estéreo formado por duas câmeras RGB (B e C), um sistema de processamento e potência (D), um sistema de iluminação formado por dois LED's (E e F) e um sonar multifeixe (G);
- - A Figura 14, a qual ilustra uma visão isométrica do encapsulamento das câmeras;
- - A Figura 15, a qual ilustra uma visão isométrica do encapsulamento da unidade de processamento e potência;
- - A Figura 16, a qual ilustra uma visão isométrica do encapsulamento óptico;
- - A Figura 17, a qual ilustra uma visão isométrica do encapsulamento do sonar;
- - A Figura 18, a qual ilustra a arquitetura eletroeletrônica completa do protótipo;
- - A Figura 19, a qual ilustra uma visão frontal do digitalizador 3D;
- - A Figura 20, a qual ilustra uma visão lateral do digitalizador 3D.
- - Figure 1, which illustrates the analytical structure of the 3D digitizer prototype (DIGISUB);
- - Figure 2, which illustrates the flow of activities in the Acquisition Module;
- - Figure 3, which illustrates the flow of activities in the Integration Module;
- - Figure 4, which illustrates the activity flow of the Digitization Module;
- - Figure 5, which illustrates the activity flow of the Persistence Module;
- - Figure 6, which illustrates the flow of activities in the Navigation Module;
- - Figure 7, which illustrates the activity flow of the Post-Processing Module;
- - Figure 8, which illustrates the flow of activities of the Operator Interface Module;
- - Figure 9, which illustrates the general architecture of the prototype and its respective functional modules;
- - Figure 10, which illustrates the overview of the architectural project.
- - Figure 11, which illustrates the ROS nodes;
- - Figure 12, which illustrates the view of packages and subsystems of the application;
- - Figure 13, which illustrates an isometric view of the 3D digitizer system, consisting of an optical system (A), a stereo vision system formed by two RGB cameras (B and C), a processing and power system ( D), a lighting system consisting of two LEDs (E and F) and a multibeam sonar (G);
- - Figure 14, which illustrates an isometric view of the cameras encapsulation;
- - Figure 15, which illustrates an isometric view of the packaging of the processing and power unit;
- - Figure 16, which illustrates an isometric view of the optical package;
- - Figure 17, which illustrates an isometric view of the sonar package;
- - Figure 18, which illustrates the complete electronics architecture of the prototype;
- - Figure 19, which illustrates a front view of the 3D scanner;
- - Figure 20, which illustrates a side view of the 3D scanner.
[0014] Abaixo segue descrição detalhada de uma concretização preferida da presente invenção, de cunho exemplificativo e de forma nenhuma limitativo. Não obstante, ficarão claras para um técnico no assunto, a partir da leitura desta descrição, possíveis concretizações adicionais da presente invenção ainda compreendidas pelas características essenciais e opcionais abaixo.[0014] Below follows a detailed description of a preferred embodiment of the present invention, by way of example and in no way limiting. Nevertheless, it will be clear to a person skilled in the art, from reading this description, possible additional embodiments of the present invention still comprised by the essential and optional features below.
[0015] A presente invenção utiliza um computador blindado numa embarcação de apoio, dotado de um software para interface com o usuário. Todo o processamento e acionamento dos dispositivos de hardware é de responsabilidade do computador embarcado no digitalizador 3D submarino (DIGISUB), o qual estará fixo ao ROV.[0015] The present invention uses an armored computer on a support vessel, equipped with user interface software. All processing and activation of hardware devices is the responsibility of the computer onboard the submarine 3D digitizer (DIGISUB), which will be fixed to the ROV.
[0016] A comunicação entre o computador e o digitalizador 3D submarino (DIGISUB) segue a arquitetura ethernet, através de uma rede local que utilizará o umbilical do ROV para envio de pacotes. Um multiplexador (MUX) estará disponível na embarcação (topside) e outro no ROV que será responsável pela alimentação do sistema de potência do digitalizador e por sua comunicação.[0016] The communication between the computer and the submarine 3D digitizer (DIGISUB) follows the ethernet architecture, through a local network that will use the ROV's umbilical to send packets. A multiplexer (MUX) will be available on the vessel (topside) and another on the ROV that will be responsible for feeding the digitizer's power system and for its communication.
[0017] O desenvolvimento do DIGISUB através de fusão sensorial irá disponibilizar nuvens de pontos que podem ser utilizadas para gerar modelos tridimensionais dos equipamentos e trechos de dutos/risers subaquáticos. A partir das nuvens de pontos, será possível realizar a reconstrução 3D das estruturas inspecionadas, proporcionando medições necessárias para o planejamento de operações em ambiente virtual, reduzindo o tempo e o custo das operações.[0017] The development of DIGISUB through sensory fusion will provide point clouds that can be used to generate three-dimensional models of equipment and sections of underwater pipelines/risers. From the point clouds, it will be possible to carry out a 3D reconstruction of the inspected structures, providing necessary measurements for planning operations in a virtual environment, reducing the time and cost of operations.
[0018] A adoção da fusão sensorial tem por objetivo gerar uma nuvem de pontos de alta resolução, através da exploração das diferentes qualidades de cada sensor. Nesse sentido, o digitalizador 3D submarino DIGISUB deverá:
- • Escanear os componentes submarinos a partir de uma distância de até 20 metros do ROV;
- • Ter uma área de cobertura de escaneamento máxima de pelo menos 40 m2 por tomada;
- • Ter uma resolução mínima de pelo menos 3 mm a longa distância e 1 mm a curta distância;
- • Possuir um método para auto calibração do equipamento;
- • Ser projetado para operar em profundidades de até 3000 m;
- • Salvar os dados dos componentes escaneados em formato que possa ser utilizado para outras aplicações;
- • Possuir interface amigável para configuração do equipamento.
- • Scan subsea components from a distance of up to 20 meters from the ROV;
- • Have a maximum scanning coverage area of at least 40 m2 per outlet;
- • Have a minimum resolution of at least 3 mm at long range and 1 mm at close range;
- • Have a method for self-calibration of the equipment;
- • Be designed to operate at depths of up to 3000 m;
- • Save the scanned component data in a format that can be used for other applications;
- • Have a friendly interface for equipment configuration.
[0019] De forma sistemática, o digitalizador 3D submarino foi dividido em 7 subsistemas (módulos funcionais), caracterizando a estrutura analítica do protótipo, ilustrado na Figura 1. Os subsistemas consistem em Iluminação, Sensoriamento, Processamento, Sistema de Potência, Estrutura Mecânica e Interface e estão relacionadas às condições físicas do hardware. Já o subsistema do software foi considerado a partir das funcionalidades desenvolvidas à solução final do projeto da invenção.[0019] Systematically, the submarine 3D digitizer was divided into 7 subsystems (functional modules), characterizing the analytical structure of the prototype, illustrated in Figure 1. The subsystems consist of Lighting, Sensing, Processing, Power System, Mechanical Structure and Interface and are related to the physical condition of the hardware. The software subsystem was considered from the functionalities developed to the final solution of the invention project.
[0020] Para a criação da nuvem de pontos dos objetos submersos é necessária a utilização de uma primeira câmera (Figura 13, B) de alta velocidade, capaz de capturar uma grande quantidade de pixels por segundo. Essa câmera servirá para capturar os pontos de interesse balizados pelo laser submarino.[0020] To create the point cloud of submerged objects, it is necessary to use a first high-speed camera (Figure 13, B), capable of capturing a large number of pixels per second. This camera will be used to capture the points of interest marked out by the underwater laser.
[0021] Para que o processo de fusão dos dados e de geração da nuvem de pontos seja realizado adequadamente, o sistema precisa conhecer a posição do equipamento em um determinado momento. Esse posicionamento é alcançado através de diversas técnicas, uma delas usando uma segunda câmera (Figura 13, C) como referência visual para a posição atual.[0021] For the process of data fusion and point cloud generation to be carried out properly, the system needs to know the position of the equipment at a given time. This positioning is achieved through several techniques, one of them using a second camera (Figure 13, C) as a visual reference for the current position.
[0022] Para o adequado funcionamento das câmeras do sistema é necessária a utilização de lentes que se adéquem aos requisitos do protótipo do digitalizador 3D submarino. Para tal, são utilizadas 2 lentes.[0022] For the proper functioning of the system's cameras, it is necessary to use lenses that fit the requirements of the submarine 3D digitizer prototype. For this, 2 lenses are used.
[0023] É utilizado também um sonar (Figura 13, G) capaz de gerar uma imagem de alta resolução de áreas submarinas, estruturas e objetos, em condições de baixa ou zero visibilidade. O sonar fornece uma nuvem de pontos 3D e pode entregar uma nuvem de pontos com compensação de movimento com a utilização de equipamentos adicionais.[0023] A sonar is also used (Figure 13, G) capable of generating a high resolution image of underwater areas, structures and objects, in conditions of low or zero visibility. Sonar provides a 3D point cloud and can deliver a motion compensated point cloud with the use of additional equipment.
[0024] Dada a quantidade de informação captada pelas duas câmeras (Figura 13, B, C) e sonar (Figura 13, G), é necessário um computador portátil de configurações avançadas e robustez física compatível com as intempéries e condições de risco do ambiente em que as operações são realizadas.[0024] Given the amount of information captured by the two cameras (Figure 13, B, C) and sonar (Figure 13, G), a portable computer with advanced settings and physical robustness compatible with the weather and risky conditions of the environment is required in which the operations are carried out.
[0025] A arquitetura geral do protótipo digitalizador foi projetada com características modulares para facilitar a utilização de todos os componentes do sistema. O digitalizador 3D submarino aqui proposto é composto por sete módulos funcionais, responsáveis pela execução das etapas da digitalização de objetos subaquáticos, proporcionando a geração de uma nuvem de pontos de alta resolução. São estes: Módulo de Aquisição, Módulo de Integração, Módulo de Digitalização, Módulo de Persistência, Módulo de Navegação, Módulo de Pós-Processamento, e Módulo de interface.[0025] The general architecture of the scanner prototype was designed with modular features to facilitate the use of all system components. The underwater 3D digitizer proposed here is composed of seven functional modules, responsible for executing the steps of digitizing underwater objects, providing the generation of a high resolution point cloud. These are: Acquisition Module, Integration Module, Digitization Module, Persistence Module, Navigation Module, Post-Processing Module, and Interface Module.
[0026] O Módulo de Aquisição é composto por um sonar, duas câmeras de alta resolução e um laser line de potência adequada à operação. Os dados gerados pelos sensores serão tratados adequadamente e disponibilizados a outros subsistemas do protótipo. Essa funcionalidade consiste em estabelecer comunicação e realizar a leitura de dados das câmeras de alta velocidade, sonar e posição angular do laser line. Trata-se de uma etapa da funcionalidade de digitalização.[0026] The Acquisition Module consists of a sonar, two high-resolution cameras and a laser line with adequate power for the operation. The data generated by the sensors will be properly treated and made available to other prototype subsystems. This functionality consists of establishing communication and reading data from high-speed cameras, sonar and laser line angular position. This is a step of the scanning functionality.
[0027] Os dispositivos integrados ao computador embarcado no sistema de digitalização, como câmeras de alta definição, sonar e o laser line, são adicionados aos respectivos ROS drivers e criados pacotes ROS para realização da aquisição dos dados ã etapa de digitalização. Os dados brutos, como nuvem de pontos e posição, provenientes do sonar, são processados durante a etapa de digitalização. As câmeras estereoscópicas publicam as imagens retificadas e pré-processadas para que seja possível extrair o mapa de profundidade para que na etapa posterior seja possível gerar a nuvem de pontos da cena de interesse. Já o sistema formado pela câmera e o laser line entrega um frame para cada posição angular do laser line. Essas imagens são entregues à etapa de digitalização. Na Figura 2 é representado o fluxo de atividades da etapa de aquisição de dados do protótipo.[0027] The devices integrated into the computer embedded in the scanning system, such as high definition cameras, sonar and the laser line, are added to the respective ROS drivers and ROS packages are created to perform data acquisition at the scanning stage. Raw data such as point cloud and position from sonar are processed during the digitization step. The stereoscopic cameras publish the rectified and pre-processed images so that it is possible to extract the depth map so that in the later step it is possible to generate the point cloud of the scene of interest. The system formed by the camera and the laser line delivers a frame for each angular position of the laser line. These images are delivered to the scanning step. In Figure 2, the activity flow of the data acquisition stage of the prototype is represented.
[0028] O Módulo de Integração tem o papel de conectar os dispositivos de aquisição de dados (sensores) e os atuadores como o sistema ROS. Essa funcionalidade é responsável pelo estabelecimento das conexões físicas entre o sistema do protótipo e os sensores, além de estabelecer a comunicação lógica entre os sensores e o ROS através de drivers desenvolvidos por terceiros e/ou pela equipe do projeto, conforme mostrado na Figura 3.[0028] The Integration Module has the role of connecting data acquisition devices (sensors) and actuators with the ROS system. This functionality is responsible for establishing the physical connections between the prototype system and the sensors, in addition to establishing the logical communication between the sensors and the ROS through drivers developed by third parties and/or by the project team, as shown in Figure 3.
[0029] O Módulo de Integração estabelece a ligação física através de cabos e conectores especialmente dimensionados para operar em ambiente de águas profundas. Com a conexão física garantida, a comunicação lógica pode ser estabelecida entre os dispositivos (sensores/atuadores) e o Módulo de Aquisição.[0029] The Integration Module establishes the physical connection through cables and connectors specially sized to operate in a deep water environment. With the physical connection guaranteed, the logical communication can be established between the devices (sensors/actuators) and the Acquisition Module.
[0030] O Módulo de Digitalização permite realizar a digitalização de equipamentos subaquáticos e fornece como resultado uma nuvem de pontos de alta resolução no formato PLY. O processo de digitalização consiste no cruzamento dos dados adquiridos na etapa de aquisição, o que resultará na construção de pontos tridimensionais de alta definição, formando a nuvem de pontos 3D. Essa funcionalidade irá processar os dados heterogêneos dos sensores a partir da seleção automática de pontos comuns, usando a nuvem de pontos da varredura a laser como referência para escalar a malha triangulada. Por meio da interface de operação o operador poderá iniciar o processo de digitalização, monitorá-lo e interrompê-lo, caso seja necessário. Após o envio do comando para iniciar uma tomada, o sistema recebe um sinal de interrupção e processa um conjunto de ações, conforme ilustrado na Figura 4, onde ê apresentado o fluxo para aquisição dos dados de cada sensor e posterior criação da nuvem de pontos no formato PLY.[0030] The Digitizing Module allows you to digitize underwater equipment and provides a high-resolution point cloud in PLY format as a result. The digitalization process consists of crossing the data acquired in the acquisition stage, which will result in the construction of high definition three-dimensional points, forming the 3D point cloud. This functionality will process heterogeneous sensor data from the automatic selection of common points, using the laser scan point cloud as a reference to scale the triangulated mesh. Through the operator interface, the operator will be able to start the scanning process, monitor it and interrupt it, if necessary. After sending the command to start a shot, the system receives an interruption signal and processes a set of actions, as shown in Figure 4, where the flow for acquiring data from each sensor and subsequent creation of the cloud of points in the PLY format.
[0031] O Módulo de Persistência permite realizar a criação, busca e exclusão de arquivos PLY que contêm os dados das nuvens de pontos. Na Figura 5 ê representado o fluxo de atividades do Módulo de Persistência do protótipo.[0031] The Persistence Module allows creating, searching and deleting PLY files that contain data from point clouds. In Figure 5, the activity flow of the prototype's Persistence Module is represented.
[0032] O Módulo de Persistência tem por objetivo manter os arquivos das nuvens de pontos que serão utilizados na etapa de pós-processamento. Os arquivos gerados a partir da digitalização de equipamentos precisam ser organizados em pastas que contêm os arquivos que identifiquem unicamente cada etapa/processo de digitalização[0032] The purpose of the Persistence Module is to maintain the point cloud files that will be used in the post-processing step. Files generated from scanning equipment need to be organized into folders that contain files that uniquely identify each scanning step/process
[0033] O Módulo de Navegação é responsável por fornecer dados do cálculo de distância entre as nuvens de pontos geradas na etapa de digitalização. A inclusão desses dados nos pontos ê importante à união das nuvens de pontos durante a etapa de pós-processamento. A navegação é a funcionalidade que fornece ao sistema os dados necessários para a correta montagem das nuvens de pontos. Essa funcionalidade usa dados das nuvens de pontos fornecidas pelo próprio sistema de aquisição para se localizar, gerando uma visão global do ambiente em que navegará. Na Figura 6 é representado o fluxo de atividades da navegação.[0033] The Navigation Module is responsible for providing data for calculating the distance between the point clouds generated in the digitization step. The inclusion of this data in the points is important to the union of the point clouds during the post-processing step. Navigation is the functionality that provides the system with the necessary data for the correct assembly of point clouds. This functionality uses point cloud data provided by the acquisition system itself to locate itself, generating a global view of the environment in which it will navigate. In Figure 6, the navigation activity flow is represented.
[0034] O processo de captura das nuvens de pontos e de localização 3D no espaço são realizados de forma simultânea com uma técnica conhecida como Localização e Mapeamento Simultâneos (SLAM Simultaneous Localization and Mapping). Ο SLAM fornecerá um mapa 3D do ambiente em que ocorrerá a digitalização, permitindo a localização do protótipo no ambiente. Para aumentar a precisão dos dados gerados pelo SLAM, além das nuvens de pontos, será usada uma unidade de medida inercial, conhecida como Sistema de Navegação Inercial (INS Inertial Navigation System), que gera dados de medidas inerciais com alta precisão e repetibilidade, ajudando o algoritmo de SLAM a compensar pequenas variações de pose (posição e orientação) que o protótipo possa sofrer durante o processo de digitalização.[0034] The process of capturing point clouds and 3D location in space are performed simultaneously with a technique known as Simultaneous Localization and Mapping (SLAM Simultaneous Localization and Mapping). Ο SLAM will provide a 3D map of the environment in which the digitalization will take place, allowing the location of the prototype in the environment. To increase the accuracy of the data generated by SLAM, in addition to the point clouds, an inertial measurement unit will be used, known as the Inertial Navigation System (INS Inertial Navigation System), which generates inertial measurement data with high precision and repeatability, helping the SLAM algorithm to compensate for small pose variations (position and orientation) that the prototype may suffer during the digitization process.
[0035] O Módulo de Pós-Processamento é responsável por fazer a fusão dos dados provenientes dos sensores presentes no digitalizador 3D e pela montagem das nuvens de pontos referentes às digitalizações subaquáticas realizadas nas missões, conforme observado na Figura 7.[0035] The Post-Processing Module is responsible for merging the data from the sensors present in the 3D scanner and for assembling the point clouds referring to the underwater scans carried out in the missions, as seen in Figure 7.
[0036] Por fim, o Módulo de Interface de operação é responsável por tratar das funcionalidades relacionas ã interação entre o sistema do protótipo digitalizador e o operador do sistema. Por meio deste módulo, é possível realizar as operações tais como: verificar status do protótipo, calibrar o sistema, realizar download da nuvem de pontos, pós-processamento, inspeção visual, e digitalização. Na Figura 8 é representado o fluxo de atividades da interface de operação do digitalizador 3D.[0036] Finally, the Operator Interface Module is responsible for dealing with functionalities related to the interaction between the scanner prototype system and the system operator. Through this module, it is possible to perform operations such as: checking the status of the prototype, calibrating the system, downloading the point cloud, post-processing, visual inspection, and digitalization. In Figure 8, the activity flow of the 3D digitizer operator interface is represented.
[0037] O digitalizador 3D submarino aqui proposto possui uma arquitetura geral abrangendo todos os módulos acima citados, conforme representado na Figura 9. Na arquitetura é proposta uma divisão em camadas (Figura 10), sendo elas:
- • Camada de Apresentação - contém os componentes de UI (User Interface), responsáveis pela interação do sistema com o usuário da aplicação. Essa camada comunica-se com as camadas de Serviço e Modelo.
- • Camada de Serviço - provê as funcionalidades referentes à lógica da aplicação, gerência das classes de negócio e controle, sendo independente da camada de apresentação.
- • Camada de Persistência - implementa uma solução de acesso a dados, provendo uma interface de métodos à Camada de Serviço para consulta e gravação de objetos.
- • Modelo - contém as abstrações que representam as classes entidades do sistema, as quais são utilizadas para transferir dados entre as camadas da aplicação.
- • Camada de Controle - é composta por classes responsáveis pelo gerenciamento do hardware do sistema. Nela encontra-se o ROS master, responsável por registrar e coordenar a comunicação entre os diversos nós (ROS Node) do sistema.
- • Camada de Integração - implementa classes que oferecem serviços de abstração do hardware e controle de baixo nível de dispositivos (drivers).
- • ROS Framework - sistema operacional.
- • Presentation Layer - contains the UI (User Interface) components, responsible for the interaction between the system and the application user. This layer communicates with the Service and Model layers.
- • Service Layer - provides functionalities related to application logic, management of business and control classes, being independent of the presentation layer.
- • Persistence Layer - implements a data access solution, providing an interface of methods to the Service Layer for querying and saving objects.
- • Model - contains the abstractions that represent the system's entity classes, which are used to transfer data between application layers.
- • Control Layer - comprises classes responsible for managing the system's hardware. It contains the ROS master, responsible for registering and coordinating the communication between the different nodes (ROS Node) of the system.
- • Integration Layer - implements classes that offer hardware abstraction services and low-level control of devices (drivers).
- • ROS Framework - operating system.
[0038] A Figura 11 ilustra o esquema de comunicação contendo três componentes do sistema (Nodes): Câmera, Sonar e Laser, onde cada círculo representa um node (nó). Cada node comunica-se com outros nodes através de mensagens, que são atribuídas a um endereço de memória (local padrão daquele node, onde recebe ou envia mensagens). O node lê a mensagem em um endereço e realiza uma ação.[0038] Figure 11 illustrates the communication scheme containing three system components (Nodes): Camera, Sonar and Laser, where each circle represents a node (node). Each node communicates with other nodes through messages, which are assigned to a memory address (standard location of that node, where it receives or sends messages). The node reads the message at an address and performs an action.
[0039] As camadas acima listadas são compostas por um ou mais pacotes e/ou subsistemas da aplicação, conforme ilustrados na Figura 12. Esses pacotes agrupam classes de acordo suas responsabilidades, a saber: presentation -representa o local onde ficam as classes da Camada de Apresentação, service - representa o local onde ficam as classes da Camada de Serviço, persistence -representa o local onde ficam as classes da Camada de Persistência, model -representa o local onde ficam as classes da Camada de Modelo, control -representa o local onde ficam as classes da Camada de Controle, integration -representa o local onde ficam as classes (drivers) da Camada de Integração.[0039] The layers listed above are composed of one or more packages and/or application subsystems, as shown in Figure 12. These packages group classes according to their responsibilities, namely: presentation -represents the location where the Layer classes are located of Presentation, service - represents the location where the Service Layer classes are located, persistence -represents the location where the Persistence Layer classes are located, model -represents the location where the Model Layer classes are located, control -represents the location where the Control Layer classes are, integration -represents the location where the Integration Layer classes (drivers) are.
[0040] A arquitetura proposta suporta os requisitos de uma arquitetura cliente/servidor. A parte cliente é implementada por meio do computador blindado na embarcação de apoio. Os componentes são projetados para assegurar que sejam necessários requisitos mínimos de disco e memória no nó servidor (NUC).[0040] The proposed architecture supports the requirements of a client/server architecture. The client part is implemented through the armored computer on the support vessel. The components are designed to ensure that minimum disk and memory requirements are required on the server node (NUC).
[0041] No computador blindado ficam hospedados os componentes de software que tratam das funcionalidades relacionas à interação entre o usuário e o sistema do protótipo digitalizador. O usuário opera o sistema através de uma interface amigável, contendo funcionalidades para visualizar o status do sistema, calibrar os sensores, ativar a câmera de inspeção, digitalizar equipamentos, realizar download de nuvem de pontos, e aplicar filtros nas nuvens de pontos.[0041] The shielded computer hosts the software components that deal with the functionalities related to the interaction between the user and the scanner prototype system. The user operates the system through a friendly interface, containing features to view the system status, calibrate the sensors, activate the inspection camera, scan equipment, download the point cloud, and apply filters to the point clouds.
[0042] No NUC fica hospedado o conteúdo dinâmico da aplicação, abrangendo os componentes de software das camadas de serviço, persistência, modelo, controle e integração.[0042] The dynamic content of the application is hosted in the NUC, covering the software components of the service, persistence, model, control and integration layers.
[0043] A estrutura mecânica do digitalizador 3D submarino seguiu algumas premissas para atender às especificações de trabalho, como ser capaz de operar em regiões onde a lâmina de água se aproxima dos 3000 m de profundidade, em ambiente com baixa iluminação, suportar pressões elevadas devido ao ambiente de operação, ser dotado de uma unidade de processamento conectada aos sensores, possuir uma área de cobertura do escaneamento de até 40 m2 e uma distância do escaneamento até 20 m.[0043] The mechanical structure of the submarine 3D digitizer followed some assumptions to meet the work specifications, such as being able to operate in regions where the water depth approaches 3000 m in depth, in an environment with low lighting, withstanding high pressures due to to the operating environment, be equipped with a processing unit connected to the sensors, have a scanning coverage area of up to 40 m2 and a scanning distance of up to 20 m.
[0044] A Figura 13 ilustra o design do digitalizador 3D, sendo o protótipo subdivido em 5 encapsulamentos, compostos por uma unidade de processamento e potência (Figura 13, D), duas câmeras RGB (Figura 13, B e C) (formando um sistema de visão estéreo), sistema óptico (Figura 13, A) (laser), um sonar (Figura 13, G), além de um subsistema de iluminação artificial (Figura 13, E e F) composto por dois LEDs.[0044] Figure 13 illustrates the design of the 3D digitizer, with the prototype subdivided into 5 packages, consisting of a processing and power unit (Figure 13, D), two RGB cameras (Figure 13, B and C) (forming a stereo vision system), optical system (Figure 13, A) (laser), a sonar (Figure 13, G), in addition to an artificial lighting subsystem (Figure 13, E and F) composed of two LEDs.
[0045] A Figura 14 ilustra o encapsulamento das câmeras RGB. Por se tratar de uma câmera com conexão por USB 3.0, o encapsulamento conta com um conector do padrão MCBH16F que conta com 16 pinos, sendo 10 pinos utilizados para a comunicação USB 3.0 tipo Micro B, 4 pinos para utilização do acionamento analógico, e dois pinos sobressalentes para possíveis mudanças.[0045] Figure 14 illustrates the encapsulation of the RGB cameras. As it is a camera connected via USB 3.0, the package has a standard MCBH16F connector with 16 pins, 10 of which are used for USB 3.0 Micro B communication, 4 pins for analog activation, and two spare pins for possible changes.
[0046] O encapsulamento da unidade de processamento e potência ê ilustrado na Figura 15, localizado na parte central do protótipo.[0046] The encapsulation of the processing and power unit is illustrated in Figure 15, located in the central part of the prototype.
[0047] Ο encapsulamento óptico, ilustrado na Figura 16, abriga um sistema composto por um laser que irá incidir em um espelho. O espelho é montado em um motor elétrico, responsável pela movimentação do feixe do laser nos objetos a serem escaneados. A posição centralizada do laser em relação ás câmeras garante que o feixe do laser sempre se encontrará na sobreposição das imagens das duas câmeras.[0047] Ο optical encapsulation, illustrated in Figure 16, houses a system composed of a laser that will focus on a mirror. The mirror is mounted on an electric motor, responsible for moving the laser beam on the objects to be scanned. The centralized position of the laser in relation to the cameras guarantees that the laser beam will always find itself in the superposition of the images of the two cameras.
[0048] O encapsulamento do sonar é ilustrado na Figura 17. De forma semelhante ao posicionamento do laser, o sonar também deve estar posicionado de forma centralizada, uma vez que o tipo de feixe emitido pelo sonar se espalha em formato cônico à sua frente.[0048] The sonar encapsulation is illustrated in Figure 17. Similar to the positioning of the laser, the sonar must also be centrally positioned, since the type of beam emitted by the sonar spreads out in a conical shape in front of it.
[0049] Devido à utilização em águas profundas e em um ambiente que apresenta iluminação praticamente nula, um sistema auxiliar de iluminação foi projetado como parte do protótipo. O posicionamento leva em consideração a direção de visualização das câmeras (Figura 13, B e C) e um posicionamento acima do plano de emissão do feixe do laser (Figura 13, A) para, em caso de utilização em conjunto, evitar interferência da luz no laser.[0049] Due to the use in deep water and in an environment that has practically no lighting, an auxiliary lighting system was designed as part of the prototype. The positioning takes into account the viewing direction of the cameras (Figure 13, B and C) and a positioning above the emission plane of the laser beam (Figure 13, A) to, in case of use together, avoid light interference on the laser.
[0050] O projeto da invenção possui um conjunto de sensores e atuadores independentes que trabalham de forma sincronizada para criar realizar a digitalização de estruturas subaquáticas. Para que o processo de digitalização seja realizado de forma apropriada, uma fonte de alimentação deve ser capaz de prover energia para os sensores (INS, sonar e câmeras), dispositivos de iluminação (laser e LEDs), assim como o galvanômetro, switch, unidade de aquisição de dados (DAQ) e NUC. O ROV fornecerá cabeamento para alimentar e se comunicar com o protótipo.[0050] The design of the invention has a set of independent sensors and actuators that work synchronously to create and scan underwater structures. For the scanning process to be carried out properly, a power supply must be able to provide power to the sensors (INS, sonar and cameras), lighting devices (laser and LEDs), as well as the galvanometer, switch, unit data acquisition (DAQ) and NUC. The ROV will provide cabling to power and communicate with the prototype.
[0051] A comunicação entre o protótipo e o usuário feita através de um computador utiliza um enlace ethernet disponível na porta do Switch. Os comandos são enviados à NUC, que funciona como central de processamento. Os dados capturados pelos sensores (Câmeras, Sonar e INS) são enviados à NUC, onde o processamento é feito e, então, os resultados são enviados ao computador através do cabo umbilical do ROV. A arquitetura eletroeletrônica completa do protótipo é ilustrada na Figura 18.[0051] The communication between the prototype and the user via a computer uses an Ethernet link available on the Switch port. The commands are sent to the NUC, which works as a processing center. The data captured by the sensors (Cameras, Sonar and INS) are sent to the NUC, where the processing is done and, then, the results are sent to the computer through the umbilical cable of the ROV. The complete electronics architecture of the prototype is illustrated in Figure 18.
[0052] As Figuras 19 e 20 ilustram as principais dimensões do protótipo, em milímetros.[0052] Figures 19 and 20 illustrate the main dimensions of the prototype, in millimeters.
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BR102021012710-4A BR102021012710A2 (en) | 2021-06-25 | 2021-06-25 | SUBMARINE 3D SCANNER |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BR102021012710-4A BR102021012710A2 (en) | 2021-06-25 | 2021-06-25 | SUBMARINE 3D SCANNER |
Publications (1)
Publication Number | Publication Date |
---|---|
BR102021012710A2 true BR102021012710A2 (en) | 2022-12-27 |
Family
ID=84688086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR102021012710-4A BR102021012710A2 (en) | 2021-06-25 | 2021-06-25 | SUBMARINE 3D SCANNER |
Country Status (1)
Country | Link |
---|---|
BR (1) | BR102021012710A2 (en) |
-
2021
- 2021-06-25 BR BR102021012710-4A patent/BR102021012710A2/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190079522A1 (en) | Unmanned aerial vehicle having a projector and being tracked by a laser tracker | |
JP7175652B2 (en) | Aircraft laser speckle system and method | |
US11645757B2 (en) | Method of and apparatus for analyzing images | |
AU2014247986B2 (en) | Underwater platform with lidar and related methods | |
Ridao et al. | Visual inspection of hydroelectric dams using an autonomous underwater vehicle | |
Blaer et al. | Data acquisition and view planning for 3-D modeling tasks | |
JP6023831B2 (en) | Method for position and orientation detection using virtual reference images | |
MX2013003853A (en) | Rapid 3d modeling. | |
US20080310754A1 (en) | System and method for assembling substantially distortion-free images | |
CN110135396A (en) | Recognition methods, device, equipment and the medium of surface mark | |
KR102298645B1 (en) | 3D modeling system of underwater surfaces using infrared thermal imaging camera and drone | |
Wang et al. | Acoustic camera-based pose graph slam for dense 3-d mapping in underwater environments | |
WO2019119426A1 (en) | Stereoscopic imaging method and apparatus based on unmanned aerial vehicle | |
JP2022134114A (en) | Method and system for generating hd map based on aerial image captured by unmanned flight body or aircraft | |
JP6185866B2 (en) | Position detecting device and position detecting method for underwater moving body | |
BR102021012710A2 (en) | SUBMARINE 3D SCANNER | |
US12002193B2 (en) | Inspection device for inspecting a building or structure | |
KR20230109406A (en) | Apparatus and method for detecting an object based on fusion of thermal imaging camera and lidar sensor | |
JP2015049192A (en) | Position detection device of underwater mobile body | |
BR102020021762A2 (en) | SPATIAL LOCATION USING AUGMENTED REALITY | |
Anwer et al. | Underwater online 3D mapping and scene reconstruction using low cost kinect RGB-D sensor | |
Bleier | Underwater Laser Scanning-Refractive Calibration, Self-Calibration and Mapping for 3D Reconstruction | |
Winkel et al. | Design, Implementation, and Evaluation of an External Pose-Tracking System for Underwater Cameras | |
JP6230923B2 (en) | Position detecting device and position detecting method for underwater moving body | |
Duda et al. | Self-referenced laser system for optical 3D seafloor mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B03A | Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette] |