ES2633742T3

ES2633742T3 - Sistema para procesamiento de imagen panorámica

Info

Publication number: ES2633742T3
Application number: ES12189941.3T
Authority: ES
Inventors: Thaddeus J. Strzempko; Jesse David Chamberlain; Daniel Lawrence Lavalley; Michael Rose
Original assignee: L3 Communications Corp
Current assignee: L3 Technologies Inc
Priority date: 2007-03-16
Filing date: 2008-03-14
Publication date: 2017-09-25
Anticipated expiration: 2028-03-14
Also published as: CA2680813A1; EP2562578B1; EP2130084A4; CA2680813C; EP2130084A1; WO2008115416A1; CN101702939A; EP2562578A3; JP5213880B2; US20090058988A1; PL2562578T3; JP2010521879A; US8106936B2; EP2562578A2

Abstract

Un sistema de visualización y de formación de imágenes de vídeo panorámicas completas de 360 grados en movimiento continuo de alta resolución y baja latencia, que comprende: una pluralidad de cámaras de vídeo de alta resolución, generando cada cámara de vídeo una señal de imagen de videocámara de al menos 500 kilopíxeles como una cadena digital de píxeles individuales representativos de imágenes en el campo de visión de la videocámara respectiva; un soporte para colocar la pluralidad de videocámaras en ubicaciones angulares predeterminadas alrededor del soporte para permitir a la pluralidad de videocámaras generar juntas señales de imagen de videocámara de cadena de píxeles digitales que abarcan campo de visión de 360 grados completos alrededor de la pluralidad de videocámaras, o un soporte adaptado para ser montado en una plataforma para colocar la pluralidad de videocámaras en ubicaciones angulares predeterminadas alrededor del soporte para permitir a la pluralidad de videocámaras generar juntas señales de imagen de videocámara de cadena de píxeles digitales que abarcan un campo de visión de 360 grados completos alrededor de la plataforma; un enlace de comunicación entre la pluralidad de videocámaras y un procesador de imagen para comunicar las señales de imagen de videocámara de cadena de píxeles digitales desde la pluralidad de videocámaras al procesador de imagen; recibiendo el procesador de imagen las señales de imagen de videocámara de cadena de píxeles digitales desde cada una de la pluralidad de videocámaras y procesar las señales imagen de videocámara de cadena de píxeles digitales desde cada una de la pluralidad de videocámaras en paralelo con las señales de imagen de videocámara de cadena de píxeles digitales desde otras de entre la pluralidad de videocámaras para generar señales de vídeo combinadas, en donde el procesamiento incluye una compensación del movimiento dinámica tal como las imágenes mostradas desde las señales de vídeo combinadas que permanecen fijas incluso cuando al menos una de la pluralidad de videocámaras se somete a movimiento, configurándose el procesador de imagen para realizar: corrección de imagen de señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual las correcciones de píxeles se ejecutan y se completan conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco total de píxeles se reciban para la corrección de imagen; envoltura cilíndrica de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la envoltura cilíndrica de los píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciba para la envoltura cilíndrica; fusión de imagen de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la fusión de los píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciban para fusión de imagen; selección de píxeles de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la selección de píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciba para la selección de píxeles; y el recorte de imágenes de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual el recorte de píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciban para recorte de imagen; un enlace de comunicación entre el procesador de imagen y un dispositivo de visualización para comunicar las señales de vídeo combinadas al dispositivo de visualización; y mostrando el dispositivo de visualización las señales de vídeo combinadas como imágenes panorámicas de 360 grados combinadas ininterrumpidas con corrección de distorsión completas en el campo de visión alrededor de la pluralidad de videocámaras, con cada una de las imágenes panorámicas de 360 grados combinadas siendo mostradas desde las señales de imagen de videocámara de cadena de píxeles digitales dentro de no más de 100 milisegundos a partir del evento de formación de imágenes y con cada una de las imágenes de videocámara que comprenden juntas la imagen panorámica de 360 grados combinada reflejando el mismo instante en el tiempo.

Description

imagen1

DESCRIPCIÓN

Sistema para procesamiento de imagen panorámica

5 Campo de la invención

La presente invención se refiere al procesamiento de datos de imagen y, más particularmente, a un sistema para imágenes panorámicas adecuadas p ara aplicaciones militares robustas que requieren capacidades duras de formación de imágenes en tiempo real.

10

Antecedentes

La mayoría de los submarinos del Ejército de los Estados Unidos depende aún del uso del periscopio antiguo. A profundidad del periscopio, tanto el periscopio como incluso la última generación de mástiles fotónicos no

15 penetrantes, que se instalan en submarinos Virginia Class, por ejemplo, todavía tienen que girarse para ver contactos específicos. Cuando se opera de manera pasiva en un entorno denso de contacto, tal identificación manual de contacto puede consumir tiempo y, en algunos casos, poner el submarino en situaciones potencialmente peligrosas.

20 Los sistemas panorámicos actuales utilizan uno de los dos enfoques. El primer enfoque usa una óptica especializada que capta la imagen de 360 grados sobre el horizonte en un círculo del plano focal de la formación de imágenes. El procesamiento de imagen se usa para asignar un círculo en una línea recta para su visualización. Sin embargo, este enfoque sufre de varias deficiencias. Es decir, la resolución más alta alcanzable por el sistema se limita por el tamaño del plano(s) focal(es) que se puede(n) utilizar en la disposición óptica. Además, la resolución

25 óptica no es uniforme sobre el campo de visión. Normalmente esto es muchos menos píxeles que se pueden implementar usando un número de cámaras separadas. Este enfoque también sufre de desafíos mecánicos debido a la necesidad de un cilindro transparente continuo que debe proporcionar también una medida de rigidez estructural.

30 El segundo enfoque usa varias cámaras de vídeo más estándar dispuestas sobre una circunferencia para captar la imagen del círculo completo. Normalmente, el software de procesamiento de imagen que se ejecuta en un procesador de fines generales se usaría para volver a montar o unir las imágenes separadas en una individual continua o, alternativamente, varios segmentos de imagen largos. Este enfoque es computacionalmente intensivo, ineficiente, engorroso y puede dar como resultado en latencia significativa y sobrecarga de procesamiento. Por lo

35 tanto, existe una necesidad en la técnica de un sistema de formación de imágenes panorámica en tiempo real de alta resolución.

Breve sumario de la invención

40 Se divulgan y se reivindican en el presente documento sistemas para baja latencia, alta resolución, formación de imágenes panorámica continua en movimiento. En una realización, el sistema incluye una pluralidad de videocámaras de alta resolución que generan señales de imagen de videocámara casi en tiempo real. Se proporciona un soporte para colocar la pluralidad de cámaras en ubicaciones angulares predeterminadas para generar señales de imagen de videocámara que abarcan un campo de visión completo de 360 grados. El sistema

45 incluye un procesador de imagen acoplado a la pluralidad de cámaras mediante una pluralidad de cámaras a través de un enlace de comunicación y configurado para recibir las señales de imagen de videocámara desde una pluralidad de videocámaras, procesar las señales de imagen de videocámara juntas en paralelo y generar una señal de imagen panorámica. El procesador de imagen puede acoplarse a una pantalla a través de un segundo enlace de comunicación, la pantalla es capaz de mostrar imágenes panorámicas en el campo de la visión alrededor de la

50 pluralidad de cámaras casi en tiempo real.

Otros aspectos, características y técnicas de la invención se harán evidentes a un experto en la materia relevante en vista de la siguiente descripción detallada de la invención.

55 Breve descripción de los dibujos

Las características, objetos y ventajas de la presente invención se harán más evidentes a partir de la descripción detallada que se expone a continuación cuando se toma junto con los dibujos en los que los caracteres de referencia similares se identifican de manera correspondiente en todo el documento y en el que:

60 la figura 1 es un diagrama de bloques de una realización de un sistema de formación de imágenes de 360 grados;

la figura 2 es un diagrama de bloques simplificado de un sistema de formación de imágenes de acuerdo con una 65 o más realizaciones de la invención;

imagen2

la figura 3 es una vista en planta de una unidad de sensor que muestra el diseño de los dispositivos de formación de imágenes, de acuerdo con una realización de la invención;

la figura 4 es un diagrama de bloques que representa el flujo lógico de un algoritmo de procesamiento de imagen 5 de acuerdo con una o más realizaciones de la invención; y

la figura 5 es un diagrama de bloques que representa un algoritmo de procesamiento de imagen de acuerdo con una o más realizaciones de la invención.

Descripción detallada de las realizaciones a modo de ejemplo

Visión general de la divulgación

Un aspecto de la presente invención se refiere a un dispositivo de formación de imágenes panorámica. En una

15 realización, se puede proporcionar un dispositivo de formación de imágenes para que incluya una pluralidad de videocámaras de alta resolución. La pluralidad de cámaras de alta resolución se puede montar en un alojamiento o unidad configurada para disponer las videocámaras de una manera segura y ajustable. Además, las videocámaras pueden configurarse para proporcionar imágenes fijas, imágenes en movimiento, una serie de imágenes y/o cualquier tipo de datos de formación de imágenes en general.

Como se describirá en mayor detalle a continuación, la pluralidad de videocámaras de alta resolución puede generar al menos 500 kilopíxeles, por cámara, señales de imagen de videocámara casi en tiempo real representativas de imágenes en el campo de visión de las cámaras respectivas. También debería apreciarse que se pueden usar otros valores de píxeles. Por ejemplo, en una realización, cada cámara se puede configurar para proporcionar señales de

25 imagen de 1 megapíxel. Un soporte para colocar la pluralidad de cámaras en ubicaciones angulares predeterminadas puede usarse para permitir que la pluralidad de cámaras opere al unísono para generar señales de imagen de videocámara que abarcan un campo de visión de 360 grados completo alrededor de las cámaras.

Otro aspecto de la invención es proporcionar señales de imagen de videocámara desde la pluralidad de videocámaras en un procesador de imagen. En una realización, el procesador de imagen se puede configurar para procesar las señales de imagen de videocámara en paralelo con el fin de generar perfectas señales de vídeo representativas de imágenes panorámicas ininterrumpidas. Por lo tanto, las señales de vídeo pueden proporcionarse en un dispositivo de visualización, sobre un enlace de comunicación, que puede, a su vez, mostrar imágenes panorámicas ininterrumpidas en el campo de visión alrededor de la pluralidad de cámaras casi en tiempo real. Como

35 se usa en el presente documento, las imágenes panorámicas ininterrumpidas se pueden referir a una imagen panorámica continua de 360 grados sin interrupciones o distorsión del campo de visión. De acuerdo con otra realización, las señales de vídeo se pueden mostrar como una imagen generalmente ininterrumpida, de tal manera que los datos de imagen se muestran de una forma casi continua.

Las características del sistema de formación de imágenes panorámica pueden ser útiles en el contexto de aplicaciones submarinas. En ciertas realizaciones, la invención puede proporcionar una imagen continua de 360 grados del horizonte en intervalos de video. En ciertas realizaciones, la invención puede permitir a un submarino observar todos los contactos instantáneamente sin rotación del periscopio o del mástil. También debería apreciarse que el sistema de captación de imagen panorámica se puede usar para otras aplicaciones tales como formación de

45 imágenes terrestres, formación de imágenes aéreas y cualquier tipo de captación de imágenes en general.

En ciertas realizaciones, la formación de imágenes puede mejorar la conciencia de la situación de un submarino y las capacidades para evitar colisiones. Se espera que el capitán y la tripulación, como usuarios del sistema, puedan evaluar rápidamente la seguridad del buque y el entorno externo con una mínima intervención del operario. Con ese fin, la visualización de un campo de visión panorámico ininterrumpido es deseable en un monitor de vídeo de alta resolución.

Basándose en las enseñanzas de la invención, las mejoras en la resolución pueden ser posibles por la adición de cámaras y recursos de procesamiento para tanto implementaciones de una sola pantalla, así como para

55 implementaciones multipantalla. En otras realizaciones, una pantalla virtual que usa gafas de proyección o un sistema similar pueden usarse también en la que la imagen mostrada se puede basar en la detección de la operación del operario. Otras realizaciones, aspectos, características y técnicas de la invención se detallarán adicionalmente a continuación.

Como se usa en el presente documento, el término "uno/a" significarán uno o más de uno. El término "pluralidad" significará dos o más de dos. El término "otro" se define como un segundo o más. Las expresiones "que incluye" y/o "que tiene" están abiertas (es decir, que comprenden). El término "o" como se usa en el presente documento debe interpretarse como inclusivo o que significa cualquiera o cualquier combinación. Por lo tanto, "A, B o C" significa "cualquiera de lo siguiente: A; B; C; A y B; A y C; B y C; A, B y C". Una excepción a esta definición tendrá lugar solo

65 cuando una combinación de elementos, funciones, etapas o actos son de algún modo inherente y mutuamente exclusivos.

imagen3

La referencia a través de este documento a "una realización", "ciertas realizaciones", "una realización" o expresiones similares significa que una prestación, característica o estructura descrita en conexión con la realización se incluye en al menos una realización de la presente invención. Por lo tanto, las apariciones de tales frases o en diversos 5 lugares a través de esta memoria descriptiva no se refieren todas necesariamente a la misma realización. Además, las prestaciones, estructuras o características particulares pueden combinarse de cualquier modo adecuado en una

o más realizaciones sin limitación.

Cuando se implementa en el firmware, los elementos de la invención son esencialmente los segmentos de código para realizar las tareas necesarias. El programa o los segmentos de código se pueden almacenar en cualquier medio legible por el procesador.

Realizaciones a modo de ejemplo de la invención

15 En referencia ahora a las figuras, la figura 1 representa un diagrama de bloques de nivel superior de un sistema de formación de imágenes 100, que en una realización corresponde a un sistema de formación de imágenes de vídeo panorámicas en movimiento continuo de alta resolución y baja latencia. Como se representa en la figura 1, el sistema 100 incluye una unidad de sensor 110, que se muestra además en la vista en planta de la figura 3 como sensor 300. En una realización, la unidad de sensor 110 puede incluir una caja o alojamiento resistente a la presión. De acuerdo con otra realización, la unidad de sensor 110 comprende una pluralidad de salidas de formación de imágenes que pueden multiplexarse en un canal 125 de fibra (o RF) por el multiplexor 120 y transmitirse al procesador de imagen 150, que puede constituirse de dos o más procesadores de señal digital adecuados, tales como circuitería integrada de aplicación específica (ASIC) o circuitería o tarjetas Field Programmable Gate Array (FPGA) 1601n tras demultiplexarse por el demultiplexor 130. En ciertas realizaciones, la unidad de sensor 110 puede

25 comprender una pluralidad de videocámaras de alta resolución. Tales videocámaras de alta resolución se pueden configurar para generar señales de imagen de videocámara casi en tiempo real de casi 500 kilopíxeles por cámara representativas de imágenes en el campo de visión de la cámara respectiva. Debe apreciarse que las cámaras de alta resolución pueden generar datos de formación de imágenes de alta resolución que se pueden caracterizar por otros valores de píxeles. Por ejemplo, en una realización, la alta resolución puede referirse a datos de señales de imagen de al menos 500 kilopíxeles. Como se usa en el presente documento, casi en tiempo real puede referirse a no más de 60 a 100 ms de latencia. Sin embargo, debería apreciarse que otros valores de latencia pueden usarse.

Mientras que el procesador de imagen 150 puede colocarse cerca de la unidad de sensor 110, en otra realización un centro de sistema puede usarse para comunicación con uno o más sistemas de formación de imágenes (por 35 ejemplo, el sistema 100). De manera similar, el centro de sistema puede usarse para controlar la operación de uno o más sistemas de formación de imágenes remotamente como se tratará en mayor detalle con referencia a la figura 2.

Aunque no se ha representado en la figura 1, debería apreciarse que la unidad de sensor 110 puede acoplarse a o integrarse con un soporte para colocar los sensores (por ejemplo, una pluralidad de cámaras) en ubicaciones angulares predeterminadas para permitir a la pluralidad de cámaras generar juntas señales de imagen de videocámara que abarcan un campo de visión completo de 360 grados alrededor de la pluralidad de cámaras.

En una realización, la(s) tarjeta(s) 1601n pueden integrarse en un procesador de imagen 150 de alta velocidad, como se muestra en la figura 1. Por otra parte, el procesador 150 puede conectarse de manera eléctrica a una pantalla 45 175 para mostrar los datos de imagen resultantes. A modo de ejemplo, el procesador de imagen 150 procesa las señales de imagen de videocámara recibidas de la unidad de sensor 110 juntas, en paralelo, para generar señales de vídeo que son representativas de las imágenes panorámicas ininterrumpidas capturadas por las videocámaras. De acuerdo con otra realización, los datos de imagen recibidos por la unidad de sensor 110 pueden procesarse en serie. Estas señales pueden entonces transmitirse a una pantalla 175 para mostrar casi en tiempo r real imágenes panorámicas ininterrumpidas en el campo de visión alrededor de la pluralidad de cámaras. En una realización, la CPU 165 puede configurarse para recibir y manejar datos de formación de imágenes que se suministrarán a la tarjeta gráfica 170. La CPU 165 puede, además, configurarse para recibir información de control de la interfaz de operador 145. En otras realizaciones, los datos de formación de imágenes recopilados por la unidad de sensor 110 pueden referirse a al menos un dato de formación de imágenes visuales, datos de formación de imágenes no

55 visuales, datos infrarrojos, datos de formación de imágenes térmicos, datos de formación de imágenes de microondas, datos de formación de imágenes magnéticos, etc.

Puede apreciarse que los datos recopilados por los sensores dentro de la unidad de sensor 110 pueden recopilarse desde el canal de fibra 125 usando el demultiplexor 130, la tarjeta de interfaz 140 y/o la tarjeta de entrada y salida (I/O) 155. De acuerdo con otra realización, la tarjeta I/O 155 puede integrarse para recibir y/o generar una o más señales que incluyen formación de imágenes y datos de no imagen. De esta manera, la tarjeta I/O 155 se puede usar para recibir otros datos no proporcionados por la unidad de sensor 110 que incluye, pero no se limita a, datos de radar, datos de plataforma, etc. Aún en otra realización, la tarjeta I/O 155 se puede configurar para recibir comandos desde una ubicación remota sobre cualquier enlace cableado o inalámbrico. De acuerdo con otra 65 realización, la tarjeta I/O 155 puede recibir metadatos relacionados con uno o más datos de sistema de posicionamiento global (GPS), datos de sello de tiempo, encabezado, velocidad y coordenadas de operación que se

imagen4

pueden asociar con la unidad de sensor 110. Además, la tarjeta I/O 155 se puede usar para generar vídeo tal como un vídeo comprimido sobre IP.

Además, el sistema 100 puede, además, algoritmos de compensación del movimiento para estabilizar los datos de

5 imagen. El algoritmo de compensación del movimiento se puede configurar para modificar las señales de vídeo para ajustarse al movimiento. En una realización, la unidad de medición inercial (IMU) 115 puede configurarse para proporcionar una o más señales de salida que caracterizan el movimiento de la unidad de sensor 110 en la tarjeta de interfaz 140. Con ese fin, la salida de IMU 115 puede usarse para modificar las señales de vídeo para ajustarse al movimiento.

En una realización, el algoritmo de compensación del movimiento puede utilizar un objeto generalmente fijado en el campo de visión de una de las videocámaras para ajustar las señales de imagen de videocámara generadas desde las videocámaras adicionales. En esencia, un proceso de sustracción de datos de vídeo puede usarse para establecer una línea de base utilizándola señal de vídeo que resulta de un objeto fijo en el campo de visión de al

15 menos una de las videocámaras relacionadas con las señales de imagen de videocámara de las otras videocámaras. De acuerdo con otra realización, el sistema 100 puede incluir un circuito configurado para realizar una sustracción de datos de vídeo.

Por medio de un ejemplo, la IMU 115 puede estar en forma de un sensor de nivel que incluye, pero no se limita a uno de entre un giroscopio mecánico y giroscopio de fibra óptica, que puede ubicarse dentro de o cerca de, la unidad de sensor 110 y configurado para detectar la orientación y el movimiento de la unidad de sensor 110. En una realización, la unidad de sensor 110 puede detectar la orientación y el movimiento en el espacio inercial y transmitir los datos correspondientes a un procesador de imagen 150 de alta velocidad. En ciertas realizaciones, el procesador de imagen 150 (y/o) las FPAG 1601n de las mismas) pueden procesar el vídeo entrante y realizar uno o más de lo

25 siguiente:

•: Estabilización de imágenes para corregir la orientación y compensar el movimiento de la plataforma,

•: Traducción y registro de las imágenes para producir una visualización continua (unida), y

•: Corrección de la posición de imagen en el plano azimut para compensar la rotación sobre el eje de azimut para mostrar las imágenes en coordenadas rodantes reales.

Continuando en referencia a la figura 1, el sistema 100 puede incluir una tarjeta gráfica 170 para formatear la salida

35 del procesador de imagen 150. De esta manera, los datos de formación de imágenes se pueden proporcionar en la pantalla 175.

En una realización, el soporte se puede llevar sobre una plataforma móvil (por ejemplo, un submarino, un buque de superficie naval, un tanque, un vehículo de combate, etc.) sujeta al movimiento y el algoritmo de compensación del movimiento puede usarse para modificar las señales de vídeo para ajustarse para tal movimiento.

De acuerdo con otra realización, la unidad de sensor 110 puede incluir uno o más de entre sensores no visuales. Por ejemplo, en una realización, el sensor 105 puede proporcionarse para recopilar datos no visuales en el campo de visión de la unidad de sensor 110, que entonces puede integrarse con la salida de la unidad de sensor 110. La

45 salida puede entonces usarse para comunicar los datos visuales para el procesador de imagen 150, en la que el procesador de imagen 150 puede asociar los datos no visuales con los datos de imagen (por ejemplo, las imágenes panorámicas ininterrumpidas) generados a partir de las señales de imagen de la videocámara recopiladas al mismo tiempo que los datos no visuales. Los datos no visuales detectados por el sensor 105 pueden proporcionarse en el procesador de imagen 150 mediante la tarjeta de interfaz 140.

En otra realización, la unidad de sensor 110 puede, además incluir un sensor de posicionamiento global que proporciona datos de procesamiento global en el procesador de imagen 150. El procesador de imagen 150 puede entonces asociar los datos de procesamiento global con los datos de imagen (por ejemplo, las imágenes panorámicas ininterrumpidas) generados a partir de las señales de imagen de la videocámara recopiladas al mismo 55 tiempo que los datos no visuales y/o los metadatos. Por medio de ejemplos no limitantes, tales datos no visuales pueden referirse a indicador de norte real, rotación, encabezado, latitud, longitud, hora del día, coordenadas del mapa, coordenadas de diagrama y/o parámetros de operación de plataforma tales como la velocidad, la profundidad.

En otra realización, las cámaras y la óptica del sistema (por ejemplo, la unidad de sensor 110) puede diseñarse para cumplir con las cargas de choque tanto con el Grado A (misión crítica) o Grado B (misión no crítica). Además, el análisis térmico puede usarse para dictar los medios de refrigeración requeridos. Los métodos de refrigeración pasivos pueden usarse para conducir el calor al mástil y, en última instancia, al agua cuando se aplica en aplicaciones marinas. Los métodos de refrigeración pueden ser menos deseables para algunas aplicaciones. Mientras que la unidad de sensor 110 se ha descrito como incluyendo cámaras y/o componentes ópticos, debería

65 apreciarse igualmente que los dispositivos de formación de imágenes electrónicamente pueden usarse igualmente para incluir dispositivos de formación de imágenes electrónicos y dispositivos de formación de imágenes en general.

imagen5

Continuando en referencia a la figura 1, La(s) FPGA(s) 1601n pueden integrarse sobre otras tarjetas de circuito. En una realización, Las FPGA(s) 1601n pueden referirse a Xilinx Vertex 4 o 5 y pueden integrarse en una tarjeta de circuito por Nallatech, Inc. También se puede apreciar que el circuito o tarjeta de interfaz de vídeo 150 puede 5 configurarse para aceptar multitud de opciones de interfaz de vídeo digital, incluyendo, pero ciertamente sin limitarse a SDI, GigE, Camera Link y vídeo digital en general. En una realización, la tarjeta de interfaz personalizada 140 puede usarse para interconectar datos de vídeo digital de alta banda ancha y alta velocidad directamente con las FPGA(s) 1601n a la vez que no carga el bus 180 (por ejemplo, bus PCI/PCIX). De esta manera, los usuarios del sistema 100 y el método de formación de imágenes asociado, puede evaluar la cercanía de un barco o ubicación de una manera rápida. La formación de imágenes casi en tiempo real mediante FPGA(s) 1601n puede(n) proporcionarse procesando señales de imagen generadas por la unidad de sensor 110 de una manera en paralelo y/o canalizada o en serie. Como se usa en el presente documento, procesar en un procesamiento canalizado puede referirse a procesar datos de formación de imagen basándose al menos en parte en órdenes que se reciben. Sería ventajoso proporcionar una imagen de 360 grados de tal manera que el tiempo sea esencial. Además, el

15 procesamiento paralelo por FPGA(s) 1601n puede facilitar la compensación del movimiento y/o la estabilización de imágenes panorámicas. Cuando la unidad de sensor 110 se monta en una plataforma sometida a movimiento, la circuitería de compensación del movimiento puede modificar las señales de vídeo para ajustarse a tal movimiento.

Aunque no se ha representado en la figura 1, debe apreciarse que el sistema puede comprender, además, algoritmos de detección automática para detectar el movimiento de un objeto en el campo de visión de al menos uno de la pluralidad de cámaras. En una realización, un dispositivo controlado por operario puede usarse para identificar un área de interés en las imágenes panorámicas ininterrumpidas y controlar el procesador de imagen para proporcionar información de señal de imagen adicional para mostrar una vista ampliada del área de interés. La interfaz de operario 145 puede configurarse para generar una o más señales para controlar la información mostrada.

25 En una realización, la interfaz de operario 145 puede incluir un dispositivo de entrada tal como un ratón. El sistema 100 puede también detectar el movimiento comparando marcos de imagen de referencia con marcos posteriores. Los cambios aparentes en imágenes posteriores pueden usarse para indicar posible movimiento.

En referencia ahora a la figura 2, un diagrama de bloques simplificado se muestra de un sistema de formación de imágenes de acuerdo con una o más realizaciones de la invención. Como se muestra en la figura 2, una o más unidades de sensor 2051n (por ejemplo, una unidad de sensor 110) puede configurarse para comunicarse con uno o más procesadores 225a225b mediante la red de comunicación 215 de datos. De acuerdo con una realización, cada una de las unidades de sensor 2051n puede configurarse para controlarse por una única estación de trabajo de una ubicación remota. Cada estación de trabajo puede incluir una interfaz de usuario gráfica (GUI) 220a y lógica de

35 procesamiento 225a (por ejemplo, el procesador de imagen 150). De esta manera, los datos de formación de imágenes y/o los datos de no formación de imágenes, detectados por las unidades de sensor 2051n pueden procesarse de manera remota y presentarse a un usuario. De acuerdo con otra realización, cada unidad de sensor 2051n puede incluir lógica de procesamiento 2101n para procesar datos de formación de imágenes antes de transmitir los datos de formación de imágenes sobre la red de comunicación 215 de datos. La red de comunicación 215 de datos puede ser una red de comunicación cableada o inalámbrica.

En referencia ahora a la figura 3, una vista en planta de un alojamiento de sensor (por ejemplo, la unidad de sensor 110) se muestra de acuerdo con una realización de la invención. En particular, la unidad de sensor 300 se muestra incluyendo un material de caja 305, una pluralidad de dispositivos de formación de imágenes 3101n y una

45 montura/soporte 315. Mientras que, en una realización, los dispositivos de formación de imágenes 3101n pueden comprender una pluralidad de videocámaras de alta resolución capaces de generar señales de imagen de videocámara casi e n tiempo real de al menos 500 kilopíxeles, debería apreciarse igualmente que numerosos otros tipos de dispositivos de formación de imágenes pueden usarse igualmente de manera consistente con los principios de la invención. Por ejemplo, los dispositivos de formación de imágenes pueden referirse a al menos uno de entre infrarrojos (IR), infrarrojos de onda corta (SWIR), pantalla acoplada de carga multipolar (EMCCD), etc.

En ciertas realizaciones, el material de caja de cámara 305 puede ser un cilindro de acero inoxidable. Además, el espesor de la pared del cilindro puede ser aproximadamente de 1/2 pulgada para sobrevivir en inmersión profunda, aunque otro espesor de material apropiado puede usarse de manera similar. Además, puede apreciarse que el

55 material de caja 305 puede comprenderse de otros tipos de material que incluye, materiales de alta resistencia de aleaciones u otros metales ininterrumpidos en general, etc. Las aberturas ópticas para dispositivos de formación de imágenes 3101n pueden construirse de cuarzo o zafiro y pueden sellarse en la caja usando juntas tóricas redundantes, por ejemplo. Como se muestra en la figura 3, las rutas ópticas de los dispositivos de formación de imágenes 3101n puede pasar a través del material de caja 305, y pueden sellarse y protegerse de un entorno externo. Sin embargo, puede también apreciarse que los dispositivos de formación de imágenes 3101n pueden acoplarse a un soporte de una manera extraíble.

La energía y las señales de paso a través de la caja (por ejemplo, el material de caja 305) que usa presiónprueba, conectores herméticos, tales como los fabricados por SEACON® Phoenix, Inc. con oficinas en Westerly, Rhode 65 Island. En ciertas realizaciones, la unidad de sensor 300 puede montarse en un mástil (tal como un periscopio de un submarino) con un acoplamiento roscado. El diámetro exterior del mástil o periscopio puede incluir roscas, al igual

imagen6

que el diámetro exterior de la caja de sensor. El anillo de acoplamiento tiene roscas sobre su diámetro interior. En una realización, la montura 315 puede servir como un soporte p ara colocar los dispositivos de formación de imágenes 3101n en ubicaciones angulares predeterminadas para permitir a los dispositivos de formación de imágenes 3101n generar juntos señales de imágenes de videocámaras que abarcan un campo de visión de 360

5 grados completo alrededor de la unidad de sensor 300.

Mientras que la figura 3 se ha descrito como proporcionando una caja para los dispositivos de formación de imágenes 3101n, también debería apreciarse que cada uno de los dispositivos de formación de imágenes pueden montarse de manera separada. Por ejemplo, en una realización, los dispositivos de formación de imágenes 3101n puede montarse en o alrededor de cuatro cuadrantes de un vehículo. De esta manera, cada uno de los dispositivos de formación de imágenes 3101n puede alojarse en una caja separada. De manera similar, mientras que en la figura 3 se ha descrito en relación con aplicaciones submarinas, debe apreciarse que la unidad de sensor 300 puede montarse en uno de entre un recipiente superficial, un vehículo de combate y cualquier vehículo en general. Cuando se emplea en vehículos terrestres, los dispositivos de formación de imágenes 3101n pueden montarse tanto como un

15 conjunto integral, que puede incluir protección balística, como en un punto alto de un vehículo. Como alternativa, cuando se emplea en buques superficiales, los dispositivos de formación de imágenes 3101n pueden montarse tanto en un punto alto en la superestructura, fijarse en un mástil y/o estructura desplegable.

A modo de ejemplo, los siguientes dos escenarios operativos se proporcionan para mostrar cómo la invención puede adaptarse para variar las condiciones operativas, de acuerdo con una o más realizaciones de la invención.

Escenarios operativos a modo de ejemplo

Escenario 1 (reconocimiento de un buque cisterna a 5 millas):

25 Un buque cisterna puede tener 300 metros de longitud. 5 mi son 8 km y el objetivo subtendido es de 37,5 mRadians. El reconocimiento requiere al menos 4 ciclos u 8 píxeles a través de la dimensión objetivo. Por lo tanto, el píxel IFOV debe ser menor que 4,7 mRad. Un IFOV 1 mRad satisfará fácilmente este requisito.

Escenario 2 (reconocimiento de un primer barco de pesca a 1 milla):

Un barco de pesca tiene una longitud de 10 metros. 1 milla son 1,6 km y el objetivo subtendido es de 6,25 mRadians. El reconocimiento requiere al menos 4 ciclos u 8 píxeles a través de la dimensión objetivo. Por lo tanto, el píxel IFOV debe ser menor que 0,78 mRad que es aproximadamente 1 mRad. Por lo tanto, un sistema

35 de 1 mRad debería satisfacer aproximadamente este requisito.

Un IFOV 1 mRad produce 6282 mRad alrededor de un horizonte de 360 grados. Si se alojan 4 cámaras, esto da aproximadamente 1570 píxeles requeridos para cada cámara (por ejemplo, el dispositivo de formación de imágenes 2101n del sensor 200). Las cámaras que tienen 1600 píxeles en el formato horizontal están disponibles. Asumiendo que de 3 a 5 grados de superposición horizontal proporcionarán un buen registro de imagen, los siguientes valores se pueden usar:

Campo de visión de cámara horizontal: 95 grados

45 Recuento de píxeles horizontales: 1600 mínimo

IFOV: 1,036 mRad

Campo de visión de cámara vertical 71,2 grados

Con referencia ahora a la figura 4, se representa un diagrama de bloques de una secuencia de procesamiento de imagen 400 realizadas por la(s) FPGA(s) (por ejemplo, la(s) FPGA(s) 1601n) de un procesador de imagen (por ejemplo, el procesador de imagen 150), de acuerdo con una realización de la invención. Como se muestra en la figura 4, los datos de imagen de las cuatro cámaras 410a 410d pueden rotarse primero para corregir la inclinación

55 del sensor (por ejemplo, la unidad de sensor 110) en dos dimensiones usando entradas del sensor IMU 420 (por ejemplo, el sensor IMU 115). Debería apreciarse que las cuatro cámaras 410a410d pueden integrarse en un sensor de presiónprueba que se configura de acuerdo con los principios de la invención (por ejemplo, la unidad de sensor 110 y/o la unidad de sensor 200). De acuerdo con otra realización, los datos de formación de formación de imágenes provistos por las cámaras 410a410d pueden corregirse en bloques 415a415c como se describirá a continuación en mayor detalle con respecto a la figura 5.

Una vez ajustados para la inclinación, los datos recibidos pueden trasladarse en bloques 430a430b que usan las posiciones relativas conocidas de las 4 cámaras. A continuación, los datos de imagen pueden fusionarse en el bloque 440 para crear un panorama esencialmente continuo. Después de la fusión, los píxeles pueden combinarse 65 en el archivador 450 ya que puede mostrar, pero no tener resolución suficiente para mostrar la resolución completa. La entrada de usuario recibida en el bloque 420 puede indicar las vistas deseadas incluyendo la ampliación y/o

manipulación de los datos de imagen recibidos. Por lo tanto, el recorte de imagen en el bloque 460 puede realizarse para un tamaño vertical seleccionado antes de dividir la fecha de la imagen en dos o más secciones de tal manera que puedan mostrar datos.

5 Continuando en referencia a la figura 4, muchas pantallas tendrán menos píxeles de los que se formarán en la imagen por el sistema de formación de imágenes de la invención (por ejemplo, el sistema 100). Por lo tanto, los píxeles pueden necesitar combinarse (o archivarse) cuando se muestra el panorama completo, como se mencionó anteriormente. Sin embargo, si un área/elemento particular de interés se detecta en la imagen panorámica, en ciertas realizaciones, el procesamiento de imagen de la figura 3 puede usarse para magnificar el área/elemento de

10 interés usando una prestación de zoom en el bloque 480. La prestación de zoom puede mostrar qué parte de la imagen alrededor del área y/o elemento de interés en una ventana separada a una resolución de píxel completa (es decir, cada píxel puede mostrarse sin archivarse), de acuerdo con una realización.

En otras realizaciones, la(s) FPGA(s) (por ejemplo, la(s) FPGA(s) 1601n) puede realizarse procesando la imagen de

15 datos con el fin de lograr la detección de objetivo automático. En términos generales, el algoritmo de detección busca regiones en las que ciertas características de imagen se han detectado, tal como contraste local, movimiento, etc. Para ello, el reconocimiento de objetivo puede realizarse de manera similar, por lo que los objetos se caracterizan automáticamente basándose en las propiedades de reconocimiento de la imagen. De acuerdo con una realización, el reconocimiento objetivo puede basarse en objetos detectados por un sensor (por ejemplo, la unidad

20 de sensor 110). Como alternativa o en combinación, los objetivos pueden identificarse a través de la entrada de usuario. Los usuarios pueden proporcionar, además, coordinadas geográficas para ampliar o manipular una ventana de visualización generada por la prestación de zoom 480.

Debería apreciarse, además, que todas las diversas prestaciones, características y realizaciones divulgadas en el

25 presente documento pueden ser igualmente aplicables a formación de imágenes panorámicas en la banda infrarroja. Sin embargo, ya que las cámaras infrarrojas normalmente tienen un conteo de píxeles inferior a las cámaras de espectro visible comercialmente disponibles, la resolución del sistema global puede ser inferior en tales casos.

Finalmente, debería apreciarse que los algoritmos de rastreo objetivos se pueden programar en la(s) FPGA(s) (por

30 ejemplo, la(s) FPGA(s) 1601n). Los algoritmos de rastreo de objetivos a modo de ejemplo pueden incluir centroides, correlación, borde, etc. De esta manera, los elementos rastreados pueden representarse en una pantalla panorámica de 360 grados.

En referencia ahora a la figura 5, se representa un diagrama de bloques de una secuencia de procesamiento de

35 imagen 500 que puede realizarse durante la corrección de imagen de la figura 4 (por ejemplo, los bloques de corrección de imagen 415a415d). Los datos de imagen 505 recibidos desde un dispositivo de formación de imágenes (por ejemplo, los dispositivos de formación de imágenes 3101n) puede corregirse de tal manera que los píxeles se alinean de nuevo en el bloque 510. En el bloque 515, se puede realizar un proceso de interpolación de capa en datos de imagen para filtrar los colores RGB de los datos de formación de imágenes. Los datos de color

40 RGB pueden convertirse en datos de color YUV para definir los datos de formación de imágenes en términos de componentes de brillo y color en el bloque 520. Los datos de formación de imágenes pueden entonces ecualizarse en el bloque 525 automáticamente. En el bloque 530, los datos de formación de imágenes se pueden convertir desde YUV a datos de color RGB. De acuerdo con otra realización, el proceso 500 puede incluir una corrección de distorsión de cilindro en el bloque 535 para la corrección de datos de formación de imágenes. Los datos de

45 formación de imágenes corregidos 540 pueden proporcionarse para traslación y o fusión. El proceso 500 se ha descrito como realizando las etapas específicas para corregir los datos de imagen, sin embargo, debería apreciarse que los actos adicionales/diferentes pueden realizarse por el proceso 500.

Mientras que se han descrito ciertas realizaciones a modo de ejemplo y se han mostrado en los dibujos adjuntos,

50 debe entenderse que tales realizaciones son meramente ilustrativas de y no restrictivas de la amplia invención y que esta invención no se limita a construcciones y disposiciones específicas mostradas y descritas, ya que diversas otras modificaciones pueden tener lugar para aquellos expertos normalmente en la materia. Las marcas registradas y los derechos de autor mencionados en el presente documento son propiedad de sus respectivos propietarios.

55 Las realizaciones adicionales de la invención se describen por los siguientes elementos:

1. Un sistema de formación de imágenes continuas de alta resolución y baja latencia, que comprende:

una pluralidad de cámaras de vídeo de alta resolución, generando cada videocámara señales de imagen de

60 videocámara casi en tiempo real de al menos 500 kilopíxeles representativas de imágenes en el campo de visión de la cámara respectiva;

un soporte para colocar la pluralidad de cámaras en ubicaciones angulares predeterminadas alrededor del soporte para permitir que la pluralidad de cámaras genere juntas señales de imágenes de videocámara que

65 abarcan un campo de visión de 360 grados completo alrededor de la pluralidad de cámaras;

5

15

25

35

45

55

65

un enlace de comunicación entre la pluralidad de cámaras y un procesador de imágenes para dirigir las señales de imagen de videocámara desde la pluralidad de cámaras al procesador de imágenes;

recibiendo el procesador de imágenes las señales de imagen de videocámara desde la pluralidad de videocámaras y procesar las señales de imagen de videocámara juntas en paralelo para generar las señales representativas de imágenes panorámicas alrededor de la pluralidad de cámaras; y

un enlace de comunicación entre el procesador de imagen y una pantalla para comunicar las señales de vídeo en la pantalla, con la pantalla mostrando imágenes panorámicas en el campo de visión alrededor de la pluralidad de cámaras casi en tiempo real.

2.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, en el que el procesador de imagen incluye matrices de puerta programable de campo para procesamiento paralelo de las señales de imagen de cámara de vídeo.

3.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, que comprende, además, un sensor operable en el espectro no visual para recopilar datos no visuales en el campo de visión de la pluralidad de cámaras y, un enlace de comunicación para comunicar los datos no visuales del al menos un sensor en el procesador de imagen, con el procesador de imagen asociando los datos no visuales con las imágenes panorámicas generadas a partir de las señales de imagen de videocámara de cadena de recopiladas en el mismo momento que los datos no visuales.

4.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 3, en el que el al menos un sensor es un sensor infrarrojo.

5.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 3, que comprende, además, un sensor de posicionamiento global que posiciona los datos del procesador de imagen y, asociando el procesador de imagen los datos de posicionamiento global con las imágenes panorámicas generadas a partir de las señales de imagen de videocámara de cadena de recopiladas en el mismo momento que los datos no visuales.

6.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, en el que el procesador de imagen proporciona un algoritmo de compensación del movimiento para la estabilización de imágenes panorámicas.

7.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 6, en el que el soporte se lleva sobre una plataforma móvil sometida al movimiento y el algoritmo de compensación del movimiento modifica las señales de vídeo para ajustarse para tal movimiento.

8.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 7, en el que la circuitería de compensación del movimiento comprende además una circuitería de estabilización.

9.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 7, que comprende, además, un sensor de movimiento sobre el soporte, en el que el sensor de movimiento genera una señal representativa del movimiento relativo del soporte y un enlace de comunicación entre el sensor y la circuitería de compensación del movimiento.

10.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 7, en el que la compensación de movimiento utiliza un objeto generalmente fijado predeterminado en el campo de visión de uno de entre una pluralidad de videocámaras para ajustar las señales de imagen de videocámara de los otros de la pluralidad de videocámaras en relación con las señales de imagen de videocámara de dicha una de la pluralidad de cámaras.

11.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, que comprende, además, una circuitería de detección para detectar el movimiento de un objeto en el campo de visión de al menos una de la pluralidad de cámaras.

12.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, que comprende, además, un dispositivo controlado por operario para identificar un área de interés en las imágenes panorámicas y controlar el procesador de imagen para proporcionar información de la señal de imagen adicional para mostrar una vista ampliada del área de interés.

13.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 1, en el que el procesador de imagen se coloca cerca de la pluralidad de videocámaras.

14.: Un sistema de formación de imágenes de vídeo como se expone en el elemento 13, que comprende,

imagen7

además, un centro de sistema para comunicarse con los procesadores de imagen de una pluralidad de sistemas de formación de imágenes de vídeo y para controlar la operación de la pluralidad de sistemas de formación de imágenes de vídeo a partir de una ubicación de los sistemas de formación de vídeo.

5 15. El sistema de formación de imágenes como se establece en el elemento 1, en el que las señales de vídeo representativas de imágenes panorámicas generadas por el procesador de imagen se refieren a imágenes panorámicas ininterrumpidas.

16. El sistema de formación de imágenes como se establece en el elemento 1, en el que la pluralidad de

10 videocámaras de alta resolución se monta en un alojamiento configurado para disponer las videocámaras de alta resolución para proporcionar el campo de visión de 360 grados y para proteger la cámara del entorno.

17. El sistema de formación de imágenes como se establece en el elemento 1, en el que la pluralidad de

videocámaras de alta resolución se monta en un cuadrante de la plataforma móvil. 15

18. El sistema de formación de imágenes como se establece en el elemento 1, en el que la pluralidad de videocámaras de alta resolución se monta de manera separada en ubicaciones separadas alrededor del soporte en alojamientos separados, uno para cada cámara para proteger las cámaras del entorno.

Claims

imagen1

REIVINDICACIONES

1. Un sistema de visualización y de formación de imágenes de vídeo panorámicas completas de 360 grados en movimiento continuo de alta resolución y baja latencia, que comprende:

5 una pluralidad de cámaras de vídeo de alta resolución, generando cada cámara de vídeo una señal de imagen de videocámara de al menos 500 kilopíxeles como una cadena digital de píxeles individuales representativos de imágenes en el campo de visión de la videocámara respectiva; un soporte para colocar la pluralidad de videocámaras en ubicaciones angulares predeterminadas alrededor del soporte para permitir a la pluralidad de videocámaras generar juntas señales de imagen de videocámara de cadena de píxeles digitales que abarcan campo de visión de 360 grados completos alrededor de la pluralidad de videocámaras, o un soporte adaptado para ser montado en una plataforma para colocar la pluralidad de videocámaras en ubicaciones angulares predeterminadas alrededor del soporte para permitir a la pluralidad de videocámaras generar juntas señales de imagen de videocámara de cadena de píxeles digitales que abarcan un

15 campo de visión de 360 grados completos alrededor de la plataforma; un enlace de comunicación entre la pluralidad de videocámaras y un procesador de imagen para comunicar las señales de imagen de videocámara de cadena de píxeles digitales desde la pluralidad de videocámaras al procesador de imagen; recibiendo el procesador de imagen las señales de imagen de videocámara de cadena de píxeles digitales desde cada una de la pluralidad de videocámaras y procesar las señales imagen de videocámara de cadena de píxeles digitales desde cada una de la pluralidad de videocámaras en paralelo con las señales de imagen de videocámara de cadena de píxeles digitales desde otras de entre la pluralidad de videocámaras para generar señales de vídeo combinadas, en donde el procesamiento incluye una compensación del movimiento dinámica tal como las imágenes mostradas desde las señales de vídeo combinadas que permanecen fijas incluso cuando

25 al menos una de la pluralidad de videocámaras se somete a movimiento, configurándose el procesador de imagen para realizar:

corrección de imagen de señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual las correcciones de píxeles se ejecutan y se completan conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco total de píxeles se reciban para la corrección de imagen; envoltura cilíndrica de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la envoltura cilíndrica de los píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se

35 reciba para la envoltura cilíndrica; fusión de imagen de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la fusión de los píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciban para fusión de imagen; selección de píxeles de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual la selección de píxeles se ejecuta y se completa conforme las señales de imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciba para la selección de píxeles; y el recorte de imágenes de las señales de imagen de videocámara de cadena de píxeles digitales mediante lo cual el recorte de píxeles se ejecuta y se completa conforme las señales de

45 imagen de videocámara de cadena de píxeles digitales se reciben y antes de que un marco completo de píxeles se reciban para recorte de imagen; un enlace de comunicación entre el procesador de imagen y un dispositivo de visualización para comunicar las señales de vídeo combinadas al dispositivo de visualización; y mostrando el dispositivo de visualización las señales de vídeo combinadas como imágenes panorámicas de 360 grados combinadas ininterrumpidas con corrección de distorsión completas en el campo de visión alrededor de la pluralidad de videocámaras, con cada una de las imágenes panorámicas de 360 grados combinadas siendo mostradas desde las señales de imagen de videocámara de cadena de píxeles digitales dentro de no más de 100 milisegundos a partir del evento de formación de imágenes y con cada una de las imágenes de videocámara que comprenden juntas la imagen panorámica de 360 grados combinada

55 reflejando el mismo instante en el tiempo.
2.

Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que el procesador de imagen incluye unas matrices de puerta programables de campo de las señales de imagen de videocámara de cadena de píxeles digitales.
3.

Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, que comprende, además, un sensor operable en el espectro no visual para recopilar datos no visuales en el campo de visión de la pluralidad de videocámaras, y un enlace de comunicación para comunicar los datos no visuales del al menos un sensor al procesador de imagen, con el procesador de imagen asociando los datos no visuales con las

65 imágenes panorámicas generadas a partir de las señales de imagen de videocámara de cadena de píxeles digitales recopiladas en el mismo momento que los datos no visuales.

11

imagen2
4. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 3, en el que el al menos un sensor es un sensor infrarrojo.

5 5. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 3, que comprende, además, un sensor de posicionamiento global que posiciona los datos del procesador de imagen y asociando el procesador de imagen los datos de posicionamiento global con las imágenes panorámicas generadas a partir de las señales de imagen de videocámara de cadena de píxeles digitales recopiladas en el mismo momento que los datos no visuales.

10
6. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que el procesador de imagen incluye una circuitería de compensación del movimiento configurada para ejecutar un algoritmo de compensación del movimiento para la estabilización de imágenes panorámicas.

15 7. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 6, en el que el soporte se lleva sobre una plataforma sometida al movimiento y el algoritmo de compensación del movimiento modifica las señales de vídeo para ajustarse para tal movimiento.
8. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 7, en el que la 20 circuitería de compensación del movimiento comprende además una circuitería de estabilización.
9. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 7, que comprende, además, un sensor de movimiento sobre el soporte, en donde el sensor de movimiento genera una señal representativa del movimiento relativo del soporte y, un enlace de comunicación entre el sensor y la circuitería

25 de compensación del movimiento.
10. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 7, en el que el algoritmo de compensación del movimiento utiliza un objeto predeterminado en el campo de visión de una de la pluralidad de videocámaras para ajustar las señales de imagen de videocámara de cadena de píxeles digitales de

30 las otras de la pluralidad de videocámaras en relación con las señales de imagen de videocámara de cadena de píxeles digitales de dicha una de la pluralidad de videocámaras.
11. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, que

comprende, además, una circuitería de detección para detectar el movimiento de un objeto en el campo de visión de 35 al menos una de la pluralidad de videocámaras.
12. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, que comprende, además, un dispositivo controlado por operario para identificar un área de interés en las imágenes panorámicas y controlar el procesador de imagen para proporcionar información de la señal de imagen adicional

40 para mostrar una vista ampliada del área de interés.
13. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que el procesador de imagen está colocado cerca de la pluralidad de videocámaras.

45 14. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 13, que comprende, además, un centro de sistema para comunicarse con los procesadores de imagen de una pluralidad de sistemas de formación de imágenes de vídeo y para controlar la operación de la pluralidad de sistemas de formación de imágenes de vídeo a partir de una ubicación remota de los sistemas de formación de vídeo.

50 15. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que las señales de vídeo combinadas representativas de imágenes panorámicas generadas por el procesador de imagen se refieren a imágenes panorámicas ininterrumpidas.
16. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que

55 la pluralidad de videocámaras de alta resolución están montadas en un alojamiento configurado para disponer las videocámaras de alta resolución para proporcionar el campo de visión de 360 grados y proteger las videocámaras del entorno.
17. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que

60 la pluralidad de videocámaras de alta resolución están montadas en un cuadrante de una plataforma sometida a movimiento.
18. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que la pluralidad de videocámaras de alta resolución están montadas de manera separada en ubicaciones distanciadas

65 alrededor del soporte en alojamientos separados, un alojamiento para cada videocámara para proteger las videocámaras del entorno.

12

imagen3
19. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 12, en el que una o más áreas de interés pueden ser procesadas de manera separada e independiente por el sistema de procesamiento de imagen de vídeo para su visualización.

5
20. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 19, en el que el área de interés se refiere a la dirección del movimiento de la plataforma asociado a la orientación del operario.
21. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 19, en el 10 que uno o más sensores del sistema de formación de imágenes de vídeo puede recopilar datos asociados a las una

o más áreas de interés.
22. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 1, en el que

la plataforma es un vehículo. 15
23. Un sistema de visualización y formación de imágenes de vídeo como se expuso en la reivindicación 22, en el que el vehículo se selecciona a partir del grupo que consiste en vehículos de tierra y vehículos marinos.

13