ES2291129B1

ES2291129B1 - Procedimiento de restauracion de imagenes afectadas por imperfecciones, dispositivo para llevarlo a cabo y sus aplicaciones.

Info

Publication number: ES2291129B1
Application number: ES200602116A
Authority: ES
Inventors: Javier De La Portilla Muelas; Carlos Dorronsoro Diaz; Jose Antonio Guerrero Colon
Original assignee: Consejo Superior de Investigaciones Cientificas CSIC; Universidad de Granada
Current assignee: Consejo Superior de Investigaciones Cientificas CSIC; Universidad de Granada
Priority date: 2006-08-03
Filing date: 2006-08-03
Publication date: 2008-12-16
Anticipated expiration: 2026-08-03
Also published as: EP1908966A2; WO2008020109A1; EP2056253A1; ES2291129A1

Abstract

Procedimiento de restauración de imágenes afectadas por imperfecciones dispositivo para llevarlo a cabo y sus aplicaciones. Procedimiento para restaurar imágenes obtenidas con dispositivos de captación de imágenes partiendo de la caracterización de su degradación mediante la función de dispersión de un punto (PSF), en una o varias posiciones del plano del objeto, y, posiblemente, para una o varias posiciones de enfoque, así como la densidad espectral de potencia (PSD) del ruido. El procedimiento se aplica en dos pasos: (1) pre-filtrado de mínimo error cuadrático para compensación del emborronamiento causado por la PSF; y (2) eliminación de ruido. La optimización puede realizarse según modelo de error del método de eliminación de ruido (2), o, en ausencia de modelo, de forma empírica con un filtro cuyo parámetro libre se optimiza para un conjunto de pares de imágenes original/degradada de entrenamiento, y de pares (PSF/PSD de ruido).

Description

Procedimiento de restauración de imágenes afectadas por imperfecciones, dispositivo para llevarlo a cabo y sus aplicaciones.

Sector de la invención

Esta invención se enmarca en el tratamiento de imágenes, y de forma más particular, del post-procesamiento de imágenes obtenidas con dispositivos de captación (típicamente opto-electrónicos), para cualquier banda del espectro electromagnético (visible, infrarrojos, etc.).

Estado de la técnica

En la actualidad, son muchos los dispositivos de captación de imágenes digitales que se encuentran al alcance de los usuarios. Desde cámaras profesionales de gran precisión, en infrarrojo o en visible, hasta pequeñas webcams, PDA's, teléfonos móviles, etc.

La restauración de imágenes es un problema clásico en el cual se trata de estimar una imagen original a partir de una observación degradada, asumiendo habitualmente que ésta proviene de realizar un filtrado lineal de la original con un kernel y sumarle ruido independiente al resultado. En la literatura [R. Molina, J. Mateos, A.K. Katsaggelos, and M. Vega, "Bayesian multichannel image restoration using compound gauss-markov random fields," IEEE Trans. Image Proc., vol. 12, no. 12, pp. 1642-1654, Dec. 2003; M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution", in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782-785.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 15, no. 4, pp. 937-951, Apr. 2006; M. R. Banham and A. K. Katsaggelos, "Spatially adaptive wavelet-based multiscale image restoration", IEEE Trans. Image Proc., vol. 5, pp. 619-634, Apr. 1996.; R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ill-conditioned systems," IEEE Trans. Signal Proc., vol. 52, no. 2, pp. 418-433, Feb. 2004.; J. Kalifa and S. Mallat, "Mini-max restoration and deconvolution", in Bayesian inference in wavelet based methods. Springer, 1999.; A. Jalobeanu, N. Kingsbury, and J. Zerubia, "Image deconvolution using hidden markov tree modeling of complex wavelet packets", in IEEE Int'l Conf on Image Proc, vol. 1, pp. 201-204, 2001.], se encuentran multitud de métodos que atacan este problema, los cuales, en algunos casos, como el que se trata aquí, presuponen conocidas las fuentes de degradación.

En el ámbito científico, la mayoría de los algoritmos que proporcionan buenos resultados tienen un carácter iterativo y computacionalmente intensivo, lo que limita en la práctica su aplicación en condiciones de procesamiento de tiempo real y por lo que suelen ser aplicados a imágenes degradadas simuladas, que son procesadas "off-line". [R. Molina, J. Mateos, A.K. Katsaggelos, and M. Vega, "Bayesian multichannel image restoration using compound gauss-markov random fields", IEEE Trans. Image Proc., vol. 12, no. 12, pp. 1642-1654, Dec. 2003; M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution", in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782-785.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 15, no. 4, pp. 937-951, Apr. 2006.]. Otros algoritmos, buscando una mayor eficiencia en el procesamiento, separan el problema en dos pasos [M. R. Banham and A. K. Katsaggelos, "Spatially adaptive wavelet-based multiscale image restoration", IEEE Trans. Image Proc., vol. 5, pp. 619-634, Apr. 1996.; R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ill-conditioned systems," IEEE Trans. Signal Proc., vol. 52, no. 2, pp. 418-433, Feb. 2004.; J. Kalifa and S. Mallat, "Mini-max restoration and deconvolution", in Bayesian inference in wavelet based methods. Springer, 1999.; A. Jalobeanu, N. Kingsbury, and J. Zerubia, "Image deconvolution using hidden Markov tree modeling of complex wavelet packets", in IEEE Int'l Conf on Image Proc, vol. 1, pp. 201-204, 2001.], uno que compensa el emborronamiento y un segundo que trata de eliminar el ruido resultante.

En el ámbito técnico, existen algunas patentes relacionadas con la presente invención. Por un lado, Biggs y Meichle [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", US2005265621, 2005-12-01; Pohle Richard and Reiley Michael, "Three-dimensional imaging with multiframe blind deconcolution", WO2005076774-2005-08-25.] proponen distintos sistemas de estimación de la función de dispersión de un punto (en adelante, Point Spread Function, PSF), para la posterior utilización en la restauración de imágenes en distintos ámbitos, imágenes de microscopía en el caso de Biggs y Meichle [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", ÚS2005265621, 2005-12-01] e imágenes atmosféricas en el caso de Pohle y Reiley [Pohle Richard and Reiley Michael, "Three-dimensional imaging with multiframe blind deconcolution", WO2005076774-2005-08-25.]. Una aproximación similar se presenta en [Kitamura Yoshiro, "Method, apparatus, and program for image processing", US2005249429, 2005-11-10] en la cual se reivindica principalmente una metodología de medida de PSF's, para su posterior uso en la restauración. Por otro lado, Atherton [Atherton Timothy, "Deconvolution of a digital image", EP1522961-2005-04-13] reivindica un sistema que utiliza meta-datos del dispositivo de captación en cuestión (información del fabricante de la cámara, modelo, configuración de apertura de lentes (número f), valor de apertura, longitud focal, resolución focal en ambas direcciones (x,y), etc.), en combinación con la función de transferencia óptica (OTF) para restaurar las imágenes capturadas con dichos dispositivos. En este aspecto, la filosofía de esta anterior patente es muy parecida a la presente invención, en tanto que se utiliza una caracterización previa del dispositivo de captación (aunque con un conjunto de parámetros diferente) y posteriormente se utiliza esta información para el post-procesado de la imagen. Es en este procesado donde se encuentran importantes diferencias, como por ejemplo el esquema de procesado, global en su caso y basado en un esquema de dos pasos (global o local el primero, local el segundo) en el de la presente invención. Además, nuestra invención, a diferencia de la patente referida, realiza la compensación de emborronamiento espacialmente variante. Un campo especial de aplicación del procedimiento de la presente invención, donde la PSF es conocida a priori y puede ser utilizada, junto con la caracterización del ruido, para restaurar la imagen captada, es el denominado "wavefront coding" [George Nicholas, Chi Wanli, "Extended depth of field using a multi-focal lenth lens with a controlled range of spherical aberration and centrally obscured aperture", WO2006028527-2006-03-16]. Este tipo de aplicaciones utilizan una óptica de coste reducido con la peculiaridad de que su PSF varía muy poco en un intervalo extenso de foco en el eje óptico. De esta forma se consigue una gran profundidad de campo, a costa de introducir una PSF que debe ser compensada numéricamente.

Descripción de la invención Descripción breve

Un objeto de la invención lo constituye un procedimiento de restauración de imágenes para sistemas de captación de imágenes que introducen ruido y emborronamiento en las imágenes, en adelante procedimiento de la invención, que, dado un método de eliminación de ruido en imágenes y el propio dispositivo de captación en cada uno de sus posibles modos de funcionamiento, está caracterizado por:

a) la medida de la degradación que introduce el dispositivo de captación, mediante dos conjuntos de parámetros: PSFs (PSF: Función de Dispersión de un Punto, Point Spread Function) y PSDs de ruido (PSD: Densidad Espectral de Potencia, Power Spectral Density).

b) la captación de la imagen,

c) el cálculo del prefiltrado óptimo para los parámetros de degradación caracterizados en (a) y para la imagen captada en (b) o, en promedio, para un conjunto de imágenes de entrenamiento, que minimiza el error cuadrático medio a la salida del método de eliminación de ruido aplicado a las imágenes pre-filtradas,

d) el almacenamiento en memoria no volátil, de forma previa a la operación del dispositivo, de dos conjuntos de parámetros que caracterizan la degradación que introduce el dispositivo de captación, según las siguientes alterna-
tivas:

i): parámetros de degradación medidos en (a), PSFs y PSD de ruido (en este caso el cálculo del prefiltrado óptimo de (c) se hace en tiempo de operación y no se almacena en memoria no volátil), o

ii): pre-filtros óptimos calculados según (c) usando imágenes de entrenamiento, y PSDs de ruido correspondientes,

e) la aplicación del prefiltrado calculado en (c) a la imagen obtenida en (b), y

f) la aplicación del método de eliminación del ruido a las imágenes pre-filtradas obtenidas en (e).

Un objeto particular de la invención lo constituye el procedimiento de la invención en el que el método de cálculo del pre-filtrado óptimo de c), está basado en la existencia de un modelo de predicción del error cuadrático del método de eliminación de ruido, que aproxima el error cuadrático como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable por técnicas estándar) y el segundo correspondiente al error residual del resultado respecto de la imagen a la salida del pre-filtrado, este último calculable mediante el modelo de error cuadrático del método de eliminación de ruido.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que la obtención de una aproximación al método de pre-filtrado óptimo de (c) comprende las siguientes etapas:

a) uso de un pre-filtrado dependiente de un único parámetro libre, y

b) una etapa de entrenamiento, donde dada una o varias condiciones de degradación expresadas como parejas (PSF/PSDs de ruido) y un conjunto de parejas de imágenes originales/degradas, obtención, para cada pareja de imágenes original/degradada, del valor del parámetro libre que minimiza el error cuadrático en la restauración, y de un intervalo de seguridad en torno a este valor dentro del cual el error cuadrático cae menos que un determinado nivel de fidelidad (típicamente alrededor de 0.1 decibelios) respecto del óptimo hallado, y

c) elección del parámetro óptimo en promedio como aquel valor del parámetro libre que maximiza el número de experimentos para los que dicho valor no se sale del intervalo de seguridad correspondiente a cada experimento.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSF (típicamente la correspondiente al eje óptico y al plano imagen de mejor foco, en sistemas ópticos), y una única PSD de ruido.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSD de ruido y varias PSFs correspondientes a distintas posiciones espaciales del campo, que reflejan el comportamiento espacialmente variante del dispositivo de captación y que dan lugar a un pre-filtrado diferente para cada localización espacial dentro de la imagen captada.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que se añaden a la caracterización del dispositivo las PSFs correspondientes a distintas posiciones de foco, para cada posición considerada en el plano de la imagen, junto con la PSD del ruido, lo que da lugar a un pre-filtrado diferente para cada posición de foco y cada localización espacial considerada dentro de la imagen captada.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que el cálculo del pre-filtrado óptimo es realizado con imágenes de entrenamiento en lugar de con la imagen captada, y en el que, para cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, se almacenan en memoria:

a) pre-filtros calculados para un conjunto de imágenes de entrenamiento, en lugar de las PSFs, y

b) PSDs resultantes del pre-filtrado del ruido con sus correspondientes pre-filtros, en lugar de la PSD original.

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que la selección de los parámetros almacenados de forma previa en memoria no volátil y su acceso y utilización en tiempo de operación se realiza según

a) el modo de funcionamiento del dispositivo de captación

b) la posición espacial en el plano de la imagen

c) la información disponible sobre el estado de enfoque del dispositivo de captación.

Otro objeto de la presente invención lo constituye un dispositivo genérico del sistema híbrido opto-electrónico que albergue los elementos necesarios para el desarrollo del procedimiento de la invención, en adelante dispositivo de la invención, que comprende:

A) El dispositivo opto-electrónico o cuerpo de captación, el cual está formado por un sistema óptico de lentes (A1), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21) y la electrónica de lectura (A22), y un sistema de grabación digital (A3).

B) una unidad de proceso hardware-firmware (B1), la cual posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital (B11) que ejecuta las instrucciones sobre los datos previamente almacenados (caracterización de las fuentes de degradación) y los captados por el sensor. Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico.

C) Periférico de visualización de la imagen final obtenida.

Descripción detallada

La presente invención se enfrenta al problema de proporcionar nuevas herramientas para la restauración de imágenes de dispositivos opto-electrónicos.

La presente invención se basa en que los inventores han observado que es posible aumentar la calidad de las imágenes digitales capturadas con dispositivos opto-electrónicos, equipados con una óptica de coste reducido que se encuentran afectados (los dispositivos) por las imperfecciones de la óptica así como por el ruido generado por el dispositivo opto-electrónico de captación, utilizando un post-procesado numérico realizado a partir de la caracterización tanto de la óptica como de los parámetros estadísticos del ruido generado por el sensor (por ejemplo, CCDs) y/u otras fuentes de ruido foto-electrónico (ver Ejemplo 2 y 3).

Para ello se cuenta con la descripción de la óptica partiendo de la caracterización de la degradación de las imágenes mediante la función de dispersión de un punto (Point Spread Function, en adelante PSF), en una o varias posiciones del plano del objeto, y, posiblemente, para una o varias posiciones de enfoque; y de la densidad espectral de potencia (Power Spectral Density, en adelante PSD) del ruido introducido por el dispositivo de captación (Ejemplo 1). Para la estimación de la PSF de la óptica y la PSD del ruido para cada modo de funcionamiento del dispositivo de captación, es necesaria la caracterización del equipo de captación en unas condiciones controladas y lo más fieles posibles a sus condiciones de uso real. De la calidad de la calibración dependerá en gran parte la calidad final de las imágenes procesadas.

La estrategia de la presente invención está en línea con los procedimientos descritos anteriormente de dos pasos -compensación del emborronamiento y eliminación posterior del ruido resultante- con dos importantes novedades: (1) ambos pasos se encuentran formalmente ligados, a través de la estimación de un filtro de compensación del emborramiento optimizado que minimiza el error cuadrático a la salida del segundo paso (eliminación de ruido), y (2) se proporciona un método para compensar degradaciones ópticas que varíen de acuerdo a la posición espacial [J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids", in IEEE Int'l Conf on Image Proc. Italy, Sep. 2005, vol. I, pp. 105-108; J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids", in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006].

En concreto, el procedimiento de restauración de la invención se apoya en el siguiente modelo de degradación:

\vskip1.000000\baselineskip

1

\vskip1.000000\baselineskip

donde H es una matriz circulante que realiza la convolución de h (la respuesta al impulso que típicamente modela la respuesta óptica, o PSF, inicialmente considerado espacialmente invariante), con la imagen original x, en este caso, la escena capturada. El vector w_{0} representa ruido independiente de la señal, de media cero y de densidad espectral de potencia (PSD) P_{w0} conocida. En el dominio de Fourier la observación tiene la siguiente expresión:

\vskip1.000000\baselineskip

2

\vskip1.000000\baselineskip

con H(u,v) la transformada de Fourier del filtro h.

El objetivo planteado consiste en obtener una estimación lo más fidedigna posible de x a partir de y_{0}, en términos de error cuadrático, considerando conocidas la PSF (filtro h) y la PSD del ruido P_{w0}. Para ello se utiliza el esquema que se muestra en la Figura 2. El primer paso del procedimiento consiste en una compensación global del emborronamiento, mediante la aplicación de un pre-filtro G. Este filtro es una aproximación regularizada al filtro inverso de H, es decir, GH es aproximadamente 1 excepto en las frecuencias donde la amplitud del ruido supera ampliamente la de la señal. El segundo paso trata de eliminar el ruido de la observación filtrada con G, utilizando típicamente para ello métodos no lineales (por ejemplo, [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain", IEEE Trans. Image Proc., vol. 12, pp. 1338-1351, Nov. 2003.; J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids", in IEEE Int'l Conf on Image Proc. Italy, Sep. 2005, vol. I, pp. 105-108.]). Aplicando la primera etapa del método a la expresión (2) se obtiene, en el dominio de la frecuencia espacial (descartando, para aligerar la notación, los índices de frecuencia u,v):

3

Nótese que el nuevo termino de ruido, W_{1}, se encuentra afectado por el pre-filtro G de compensación, por lo que no se estará en general tratando con ruido blanco (aunque lo fuese inicialmente) y por tanto se necesitará métodos de eliminación de ruido capaces de tratar PSDs no planas (como por ejemplo [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain", IEEE Trans. Image Proc., vol. 12, pp. 1338-1351, Nov. 2003.; J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids", in IEEE Int'l Conf on Image Proc. Italy, Sep. 2005, vol. I, pp. 105-108.]). La nueva PSD del ruido (P_{w1}) posee la siguiente expresión:

4

Una vez que se ha aplicado el primer paso, la imagen mejorada se obtiene como resultado de aplicar el algoritmo de eliminación de ruido a la observación pre-filtrada Y_{1}. La densidad espectral de potencia del ruido pre-filtrado, P_{w1}, es un parámetro de entrada al algoritmo de eliminación de ruido.

Para optimizar los resultados en términos de error cuadrático se propone acoplar ambos pasos de tal forma que el filtro G se elija de forma que minimice en promedio el error cuadrático a la salida del método de eliminación de ruido con respecto a la señal original. Así, se puede expresar el pre-filtro óptimo \hat{G} como:

5

\newpage

donde f(G\cdotY) es el resultado de aplicar el método de eliminación de ruido f (paso 2), a la observación (Y) filtrada con el pre-filtro G (paso 1). \hat{G}, por tanto es el pre-filtrado que minimiza la esperanza matemática de la distancia euclídea al cuadrado entre la imagen original X y la estimación final f(G\cdotY). La esperanza matemática de la Ecuación (5) puede expresarse de forma equivalente:

6

Considerando que el error debido al emborronamiento esta aproximadamente des-correlacionado del error debido al ruido residual a la salida del paso 2 (esto se ha comprobado empíricamente en varios ejemplos usando simulaciones, datos no mostrados), se puede aproximar el error cuadrático total como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable usando técnicas estándar) y el segundo al error residual del resultado respecto de la imagen obtenida pre-filtrada:

7

Se podrá aplicar esta solución, por tanto, si se cuenta con un método de estimación del error cuadrático a la salida del algoritmo de eliminación de ruido empleado (segundo sumando en el término de la derecha de la Ecuación 7), que sea función de la imagen a la que se aplica y de la densidad espectral de potencia del ruido que afecta a dicha imagen.

Para los casos en que no se disponga de tal modelo, se puede proponer una metodología alternativa aproximada de minimización del error cuadrático global basada en entrenamiento que consta de:

\bullet: Uso de un pre-filtro o filtro de compensación, G, dependiente de un único parámetro libre, y

\bullet: Entrenamiento y elección del parámetro libre.

En lugar de estimar el filtro sin restricciones, como en la aproximación anterior, en este caso se reducen los grados de libertad a un solo parámetro libre, simplificando así el proceso de entrenamiento. En particular se ha escogido como punto de partida un filtro de Wiener generalizado (Ecuación 8). Este filtro es muy utilizado en técnicas de restauración, no solo como compensación previa [R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ill-conditioned systems", IEEE Trans. Signal Proc., vol. 52, no. 2, pp. 418-433, Feb. 2004.], sino también como solución global [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", US2005265621, 2005-12-01].

8

Este filtro realiza una inversión regularizada con el parámetro \alpha que controla la supresión de ruido/emborronamien-
to. Para valores del parámetro cercanos a cero, la imagen intermedia es muy ruidosa (en el extremo, \alpha = 0, tenemos un filtro inverso puro). Para valores cercanos a 1 el filtro destruirá demasiadas componentes de frecuencias alta y media, proporcionando imágenes demasiado suaves desde el punto de vista de un filtrado de ruido no lineal. De hecho \alpha = 1 corresponde con el filtrado de Wiener, que sólo es adecuado cuando tanto la señal como el ruido son aproximadamente gaussianos. Cabe esperar pues valores de parámetros comprendidos en el intervalo (0,1).

Para el entrenamiento se selecciona un conjunto de imágenes "tipo" libres de degradación que se suponen representativas de las escenas que capturará el dispositivo. Cada imagen del conjunto es degradada (típicamente de forma numérica) de acuerdo a una determinada PSF y a un ruido aditivo de estadística dada. Nótese que, dado que en este caso la optimización se hace de forma empírica, no se exige al ruido ninguna condición previa, excepto su independencia de la señal y su media nula. Con la información de la observación y la original, para cada experimento se calcula el valor del parámetro que minimiza el error cuadrático entre la original y la degradada. Para ello se utiliza el algoritmo clásico de búsqueda basado en la sección áurea. Adicionalmente se calcula un intervalo de seguridad, dentro del cual el nivel de fidelidad no desciende por debajo de un umbral determinado (0.05-0.1 dBs por ejemplo) respecto al resultado del \alpha óptimo obtenido. El parámetro óptimo en promedio es aquel valor de \alpha que maximiza el número de experimentos para los que se obtiene un resultado cuasi-óptimo, es decir, un resultado dentro de la tolerancia fijada respecto al óptimo del experimento [J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids", in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006].

La idea más inmediata para el procesamiento de la imagen captada es tener, para cada modo de funcionamiento del dispositivo de captación, la PSF de la óptica y la PSD del ruido (P_{w0}) almacenadas en memoria no volátil. El dispositivo de la invención utilizaría esta información en tiempo de operación del dispositivo de captación, junto con una estimación de las densidad espectral de potencia de la señal original (P_{x}) a partir de la observada para obtener el prefiltro óptimo G adaptado a cada imagen específica. Una vez obtenido el prefiltro se puede procesar la imagen observada utilizando el esquema propuesto. Sin embargo, y teniendo en cuenta que la velocidad de proceso es crítica en esta aplicación, es preferible considerar una PSD de la señal original (P_{x}), genérica o estimada a partir de un conjunto de imágenes representativas de las escenas que típicamente capturará el dispositivo, y así poder realizar "off-line" la optimización de G para una PSD del ruido (P_{w0}) y una PSF de la óptica dadas. De esta forma, para cada modo de funcionamiento del dispositivo de captación, se almacena el pre-filtro G ya optimizado, así como la PSD del ruido afectada por este pre-filtrado (P_{w1}, Ecuación 4) en lugar de almacenar directamente los parámetros de degradación (PSF y PSD de ruido).

La solución descrita hasta ahora modela la degradación que introduce la óptica como espacialmente invariante, a través de una convolución. Sin embargo, esto es sólo una aproximación que, en ciertos sistemas ópticos como en [George Nicholas, Chi Wanli, "Extended depth of field using a multi-focal lenth lens with a controlled range of spherical aberration and centrally obscured aperture", WO2006028527 -2006-03-16], no es aplicable. La PSF va variando suavemente según nos alejamos del eje óptico hacia posiciones excéntricas en distintos ángulos, llegando en ocasiones a ser el cambio con respecto a la posición del eje muy significativo. En la Figura 3 se muestra la PSF de un ejemplo de sistema óptico real en distintas posiciones espaciales. En este caso, el eje óptico se encuentra en la esquina superior derecha (PSF más parecida a un punto) y va variando de forma gradual a medida que nos alejamos de este punto. Para mejorar la calidad de imágenes degradadas de forma espacialmente variante, se propone, en lugar de almacenar en el dispositivo una sola PSF (normalmente la correspondiente al eje óptico y al plano imagen de mejor foco), almacenar una malla bidimensional de PSFs, que corresponderían, en un caso extremo, a cada una de las posiciones espaciales (cada pixel de la imagen). Sin embargo, normalmente, no es necesario este nivel de muestreo espacial, ya que las PSFs varían suavemente (ver Figura 3, por ejemplo) y es suficiente dividir la imagen en bloques y usar una PSF para cada bloque, dentro del cual la PSF se asume invariante. El dispositivo restaurará localmente cada región de acuerdo a la PSFs correspondientes almacenadas en memoria. De forma análoga a lo dicho para el caso espacialmente invariante, resulta mucho más eficiente en la práctica calcular "off-line" y almacenar en memoria no volátil los pre-filtros G optimizados, esta vez para cada posición espacial. La estadística del ruido, al verse afectada por el pre-filtrado espacialmente variante, será también diferente para cada bloque, por lo que se almacenarán en memoria también las PSDs locales de ruido pre-filtrado. Así, aplicando la Ecuación 4, cada PSD correspondiente a la región centrada en la posición (m,n) posee la siguiente expresión:

\vskip1.000000\baselineskip

9

\vskip1.000000\baselineskip

siendo G(m,n) el pre-filtro optimizado para la posición espacial (m,n), que compensa parcialmente la PSF correspondiente a dicha posición.

La restauración que se ha propuesto mejora la calidad de las imágenes capturadas, asumiendo que estas se encuentran en foco. Es decir, las PSFs almacenadas caracterizan a la óptica del dispositivo cuando ésta enfoca perfectamente la escena (se asume en esta patente que los objetos de la escena guardan una distancia mínima suficientemente grande al dispositivo de captación de imágenes, por lo que, de haber desenfoque, éste es aproximadamente constante espacialmente). Si se posee una fuente de información acerca del estado del enfoque, el procedimiento es aplicable a imágenes capturadas fuera de foco, sin más que almacenar las PSF's de los distintos planos de enfoque (estructura de datos 3D, donde la tercera dimensión corresponde al enfoque). De nuevo, resulta mucho más conveniente en la práctica almacenar los filtros de compensación calculados "off-line" para cada PSF local y cada desplazamiento de foco, y sus correspondientes PSDs de ruido prefiltrado, que almacenar las PSFs y la PSD de ruido original.

En resumen, dependiendo de las condiciones de trabajo y la naturaleza del dispositivo de captación, se podrá calcular y almacenar en memoria de forma previa a la operación de captura:

i): Un solo filtro de compensación: Si se supone que la óptica del dispositivo tiene un comportamiento que se puede aproximar o definir como espacialmente invariante y que la imagen está permanentemente en foco.

ii): Una cuadrícula 2D de filtros de compensación: Si se quiere compensar un comportamiento diferente de la óptica en cada posición espacial.

iii): Una cuadrícula 3D de filtros de compensación: Si además de tener la descripción de la óptica espacialmente variante, se posee información acerca del estado del enfoque y se desea compensar el desenfoque numéricamente.

Por tanto, un objeto de la invención lo constituye un procedimiento de restauración de imágenes para sistemas de captación de imágenes que introducen ruido y emborronamiento en las imágenes, en adelante procedimiento de la invención, que, dado un método de eliminación de ruido en imágenes y el propio dispositivo de captación en cada uno de sus posibles modos de funcionamiento, está caracterizado por:

a) la medida de la degradación que introduce el dispositivo de captación, mediante dos conjuntos de parámetros: PSFs (PSF: Función de Dispersión de un Punto, Point Spread Function) y PSDs de ruido (PSD: Densidad Espectral de Potencia, Power Spectral Density)

b) la captación de la imagen,

c) el cálculo del pre-filtrado óptimo para los parámetros de degradación caracterizados en (a) y para la imagen captada en (b) o, en promedio, para un conjunto de imágenes de entrenamiento, que minimiza el error cuadrático medio a la salida del método de eliminación de ruido aplicado a las imágenes pre-filtradas,

d) el almacenamiento en memoria no volátil, de forma previa a la operación del dispositivo, de dos conjuntos de parámetros que caracterizan la degradación que introduce el dispositivo de captación, según las siguientes alternativas:

a) uso de un pre-filtrado dependiente de un único parámetro libre, y

Otro objeto particular de la invención lo constituye el procedimiento de la invención en el que la selección de los parámetros almacenados de forma previa en memoria no volátil y su acceso y utilización en tiempo de operación según

a) el modo de funcionamiento del dispositivo de captación

b) la posición espacial en el plano de la imagen

Por otro lado, la presente invención permite el diseño de hardware pre-programable genérico que es fácilmente integrable en los dispositivos de captación de imágenes, con el objetivo de proporcionar imágenes de mayor calidad para un mismo coste, medida ésta tanto visualmente, como en términos de error cuadrático medio respecto a un original (ver resultados de simulaciones en [J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006]). De esta forma se puede conseguir la fabricación de un dispositivo opto-electrónico de captación de imágenes con un significativo abaratamiento y reducción de peso manteniendo una calidad similar a dispositivos con un aparato óptico más sofisticado.

Así, otro objeto de la presente invención lo constituye un dispositivo genérico del sistema híbrido opto-electrónico que albergue los elementos necesarios para el desarrollo del procedimiento de la invención, en adelante dispositivo de la invención, que comprende:

A) El dispositivo opto-electrónico o cuerpo de captación está formado por un sistema óptico de lentes (A1), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21) y la electrónica de lectura (A22), y un sistema de grabación digital (A3).

B) una unidad de proceso hardware-firmware (B1) posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital (B11) que ejecuta las instrucciones sobre los datos previamente almacenados (caracterización de las fuentes de degradación) y los captados por el sensor. Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico.

(C) un periférico para la visualización de la imagen final obtenida.

En la presente invención se parte de la base de que se conocen las características de la óptica del dispositivo de captación (PSF), centrándose en el procedimiento de restauración y no limitándose en ningún momento a un tipo determinado de dispositivo de captación de imágenes, ni a un rango de longitudes de onda, ni a un tipo de degradación particular. Las únicas condiciones que se exigen al dispositivo de captación de imágenes es que (1) el emborronamiento de la imagen captada sea el efecto de una función lineal (y por tanto, caracterizable por una PSF, aunque ésta varíe en cada posición espacial); y (2) el ruido generado sea modelable como aditivo.

Tal como se utiliza en la presente invención el término "dispositivo de captación de imágenes" se refiere a un dispositivo, preferentemente opto-electrónicos tipo CCD o CMOS, para cualquier banda del espectro electromagnético, por ejemplo visible o infrarrojos, perteneciente, a título ilustrativo y sin que limite el alcance de la invención, al siguiente grupo: cámaras digitales, pequeñas webcams, PDA's y teléfonos móviles.

Por otro lado, no es necesario que la electrónica de procesamiento esté integrada en el mismo dispositivo de captación de imágenes. Por ejemplo, el dispositivo de captación podría estar localizado en un satélite en órbita y la electrónica de procesamiento estar ubicada en el centro de recepción de datos.

Breve descripción de las figuras y tablas

Figura 1.- Dispositivo genérico del sistema híbrido opto-electronico. En esta figura se muestra el dispositivo híbrido opto-electrónico que alberga el procedimiento de la invención. El dispositivo se divide en dos partes principales, dispositivo de captación y hardware-firmware de procesado. A) El dispositivo opto-electrónico o cuerpo de captación está formado por un sistema óptico de lentes (A1), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21) y la electrónica de lectura (A22), y un sistema de grabación digital (A3). B) La unidad de proceso con su electrónica de proceso (B1) posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital (B11) que ejecuta las instrucciones sobre los datos previamente almacenados (parámetros que caracterizan las fuentes de degradación y/o los correspondientes pre-filtrados óptimos) y los captados por el sensor. Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico. Finalmente, el dispositivo presenta una salida para la visualización de la Imagen final (C).

Figura 2.- Esquema del procedimiento de la invención en dos pasos. Esta figura muestra el esquema básico del procedimiento de restauración de la imagen de la invención. A partir de una imagen digital degradada (I_{0}), se realiza una compensación previa del emborronamiento o pre-filtrado de la imagen degradada (A, Paso 1), para posteriormente aplicar una eliminación de ruido de la imagen prefiltrada (B, Paso 2). A la salida del procedimiento se obtiene la imagen restaurada (I_{F}).

Figura 3.- Descripción de una óptica espacialmente variante. En esta figura se muestra la PSF correspondiente a distintas posiciones espaciales. El eje óptico se encuentra, en este caso, en la esquina superior derecha.

Figura 4.- Índice de optimización para cada valor del parámetro libre (\alpha). En el contexto de óptimización empírica del pre-filtrado, para cada valor del parámetro libre se indica el porcentaje de experimentos para los que dicho valor no se sale del intervalo de seguridad. El eje x representa el parámetro libre \alpha, y el eje y el Índice de optimización (%).

Figura 5.- Comparación visual de los resultados sobre dos imágenes test, House y Barbara (Region 80x80 pixeles). De izquierda a derecha y de arriba abajo: Degradada: House filtrada con PSF1 y con ruido añadido de varianza 2; Bárbara con PSF2 y varianza 0.308; Restaurada con método de Portilla y Simoncelli [J. Portilla and E. P. Simoncelli, "Image restoration using Gaussian scale mixtures in the wavelet domain", in Proc IEEE Int'l Conf on Image Proc. September 2003, vol. 2, pp. 965-968] utilizando la representación FSP; Restaurada con el método de Figueiredo y Nowak [M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration", IEEE Trans. Image Proc., vol. 12, no. 8, pp. 906-916, Aug. 2003]; Restaurada con el procedimiento de la invención P.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006]: House usando THP y Barbara FSP. Los valores numéricos indican Peak Signal-to-Noise Ratio (PSNR). Como se puede observar, tanto en términos de PSNR como visualmente (ver la línea del tejado en House y el mantel en Barbara) el procedimiento de la invención supera en estos ejemplos a los mejores resultados publicados hasta la fecha.

Figura 6.- Resultado visual de aplicación real del procedimiento de la invención. Imagen de un libro de texto tomada por una cámara CCD Hamamatsu.

Figura 7.- Resultado visual de aplicación real del procedimiento de la invención. Imagen de un micro-display mostrando una escena de un avión tomada por una cámara CCD Hamamatsu.

Ejemplos de realización de la invención

Se describen a continuación casos prácticos de realización de la invención, que debe entenderse no tienen carácter limitativo de la misma.

Ejemplo 1

Aplicación del procedimiento a imágenes degradadas simuladas

En la Figura 1 se muestra el esquema típico de un sistema híbrido opto-electrónico digital particular construido en el marco de la presente invención donde se ha implementado los elementos electrónicos de hardware y firmware necesarios para ejecutar el procedimiento de la presente invención. A grandes rasgos, el sistema se compone de:

- Un componente óptico que incluye un sistema de lentes,

- Un componente de captación digital de imágenes: por ejemplo, CCD o CMOS, y

- Un componente electrónico con los elementos necesarios para el procesamiento que contiene, al menos una memoria y un microprocesador digital.

En este ejemplo el procedimiento de la invención de restauración de imágenes descrito se aplicó en condiciones de simulación numérica de la degradación a un conjunto de imágenes de prueba estándar ("House", "Cameraman", "Boats" y "Barbara"), a un conjunto de PSFs gaussianas con desviaciones típicas de 1, 2, 4, 8 y 16, y una PSD plana para ruido blanco gaussiano de media nula, con valores de desviación típica de 0.4, 0.8, 1.6 y 3.2. El método de eliminación de ruido utilizado fue el descrito en [J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids", in IEEE Int'l Conf on Image Proc. Italy, Sep. 2005, vol. I, pp. 105-108], que es una versión espacialmente adaptativa (por bloques) del potente algoritmo no-lineal descrito en [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain", IEEE Trans. Image Proc., vol. 12, pp. 1338-1351, Nov. 2003]. Se utilizaron bloques de 32x32 píxeles, y dos representaciones piramidales diferentes, una con 3 orientaciones (THP) la otra con 8 orientaciones (FSP), ambas con 4 escalas (más detalles en [J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids", in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006]).

La optimización del pre-filtrado se hizo de forma empírica conjuntamente para todas las PSFs consideradas, para el conjunto de imágenes utilizadas y para todos los niveles de ruido, dando lugar a un total de 80 experimentos (4 imágenes x 5 PSFs x 4 PSDs de ruido). En este caso se buscaba una solución de prefiltrado único y genérico. Nótese que se podría haber obtenido un menor error cuadrático promedio en la estimación de las imágenes originales si se hubiera realizado el entrenamiento de forma separada para cada PSF y PSD de ruido consideradas (a costa de perder generalidad en la solución). Los valores del parámetro libre \alpha se tomaron equi-espaciados en intervalos de anchura 0.1, y el intervalo de seguridad entorno a cada óptimo individual se eligió al correspondiente a una caída de 0.05 decibelios en la relación señal a ruido (SNR, Signal-to-Noise Ratio) del resultado con respecto al que se obtiene con el \alpha óptimo. La Figura 4 muestra el índice de optimización, es decir, el porcentaje de experimentos que proporcionaron un resultado cuasi-óptimo (según la tolerancia descrita) para cada valor de \alpha. El valor óptimo del parámetro libre del pre-flitrado resultó ser \alpha = 0,3, para el que se obtuvo un índice de optimización del 84%. Este porcentaje tan alto se considera un dato positivo en términos de la robustez y generalidad del método, dada la gran variabilidad introducida en este caso tanto en anchuras de la PSF como en niveles de ruido.

La Tabla 1 muestra el aumento promedio, para el conjunto de imágenes utilizado en SNR obtenido (en decibelios) respecto a la SNR de la observación degradada simulada, para las distintas condiciones de degradación utilizadas. Aunque en esta simulación se ha utilizado las mismas imágenes test para el entrenamiento que para la medida del rendimiento del método, se ha comprobado que el valor óptimo del parámetro libre del pre-filtrado no variaba, para los intervalos de muestreo utilizados, si se excluía cada vez la imagen de prueba en el entrenamiento. Es decir, queda demostrado que el resultado no está afectado por sobre-entrenamiento ("over-fitting").

\vskip1.000000\baselineskip

TABLA 1 Se muestra el incremento de la relación señal a ruido (ISNR) promedio, para los experimentos del conjunto de entrenamiento

10

Cada experimento es una combinación de:

\bullet: Imagen: House, Cameraman, Barbara, Boat y Lena

\bullet: PSF: Gaussianas con una anchura (\sigma): 0.4, 0.8 1.6 y 3.2.

\bullet: Ruido: Blanco Gaussiano de una desviación estándar: 1, 2, 4, 8 y 16.

Para poner aún más a prueba la robustez del método descrito, se ha comprobado la aplicabilidad del anterior resultado de optimización empírica del pre-filtrado a otras condiciones de degradación diferentes de las utilizadas en dicha optimización. Para ello, se ha realizado un conjunto adicional de experimentos con tres de las cinco imágenes de prueba usadas anteriormente y unas PSFs y PSDs de ruido utilizados en la literatura de restauración de imágenes, lo que nos ha permitido realizar una comparación objetiva con otros métodos en términos del error cuadrático medio de la restauración. Todas las PSDs de ruido consideradas son constantes (ruido blanco), y se ha utilizado ruido aditivo gaussiano. La primera PSF (PSF1) tiene la forma 1/(1 + i^{2} + j^{2}), con i,j = -7...7, normalizada a 1 en volumen, y se ha aplicado junto a ruido de varianzas 2 y 8. PSF2 es uniforme en un soporte cuadrado de 9x9 pixeles y se ha aplicado con ruido de varianza 0,308. PSF3 es un filtro binomial 5x5, y se ha usado con ruido de varianza 49. En la Tabla 2 se muestran los resultados obtenidos por el procedimiento de la invención comparado con los mejores resultados de eliminación de ruido en simulaciones que se han encontrado en la literatura reciente [M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution", in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782 - 785.; J. Portilla and E. P. Simoncelli, "Image restoration using Gaussian scale mixtures in the wavelet domain", in Proc IEEE Int'l Conf on Image Proc, Barcelona, Spain, September 2003, vol. 2, pp. 965-968; M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration", IEEE Trans. Image Proc., vol. 12, no. 8, pp. 906-916, Aug. 2003.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 15, no. 4, pp. 937-951, Apr. 2006.]. En la Tabla 2 también se han incluido, por comparación, dos de las PSFs gaussianas utilizadas en la etapa de optimización del pre-filtrado: PSF4 y PSF5 son filtrados gaussianos con desviaciones típicas de 1.6 y 0.4, respectivamente, y se han aplicado con varianzas de ruido de 4 y 64, respectivamente. Según estos resultados, el procedimiento de la presente invención de restauración proporciona los mejores resultados en 2 de cada 3 (66,7%) de estos experimentos de
restauración.

TABLA 2 Se muestra una comparativa del nuestro método (E) con otros métodos del estado (A, B, C, D) del arte en términos de ISNR

11

\bullet: Método A: M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution", in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782-785.;

\bullet: Método B: J. Portilla and E. P. Simoncelli, "Image restoration using Gaussian scale mixtures in the wavelet domain", in Proc IEEE Int'l Conf on Image Proc. September 2003, vol. 2, pp. 965-968;

\bullet: Método C: M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration", IEEE Trans. Image Proc., vol. 12, no. 8, pp. 906-916, Aug. 2003.;

\bullet: Método D: J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors", IEEE Trans. Image Proc., vol. 15, no. 4, pp. 937-951, Apr. 2006.

\bullet: Método E: J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids", in IEEE Int'l Conf on Image Proc. Atlanta, Oct. 2006, Publicación a partir de Octubre-2006.

En la Figura 5 se muestran dos ejemplos visuales de los resultados obtenidos con el procedimiento de la invención (cuadrante inferior derecho), junto con la imagen degradada (cuadrante superior izquierdo) y los resultados con otros procedimientos competidores inmediatos (los otros dos cuadrantes). Se aprecia una significativa mejora visual en ambos casos con respecto a los resultados de los procedimientos competidores.

Ejemplo 2

Aplicación del procedimiento a imágenes degradadas reales

En este tercer ejemplo se aplica el procedimiento de restauración a imágenes tomadas con dispositivos de captación que tienen elementos ópticos de baja calidad o no perfectamente ajustados (enfoque, alineamiento, etc.). Se utilizó una cámara CCD Hamamatsu. Para simular una fuerte degradación óptica se utilizó un doblete acromático, proveniente de unos prismáticos, centrado y alineado manualmente. Se experimentó con dos imágenes: la primera proveniente de una página de texto y la otra de un micro-display mostrando una escena de un avión. Ambas imágenes eran efectivamente de luz monocromática, la primera por estar iluminada con una fuente de luz filtrada con un filtro interferencial de 500 nm (verde) y la segunda por haber colocado el mismo filtro enfrente del micro-display. Para reducir el efecto del ruido, se tomaron 30 fotografías de cada imagen, que fueron promediadas posteriormente. Asimismo, la PSF se estimó utilizando un "pinhole" retro-iluminado con luz monocromática de la misma longitud de onda referida. Se tomaron 15 fotografías, que se promediaron y normalizaron para la estimación. La PSD del ruido se aproximó en ambos casos como plana (ruido blanco) y su varianza se estimó seleccionando zonas uniformes en las imágenes y tomando la varianza muestral. Aplicando el método empírico de optimización del parámetro libre de pre-filtrado se obtuvo un valor para alfa de 0.48. Para la eliminación de ruido se utilizó el método descrito en P.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids", in IEEE Int'l Conf on Image Proc. Italy, Sep. 2005, vol. I, pp. 105-108], con una pirámide de Haar trapezoidal (THP) para la representación, con 4 escalas, y usando vecindades de 3x3 coeficientes, sin coeficiente padre. La Figura 6 muestra la imagen del micro- display antes y después de ser procesada. Este resultado demuestra la potencia del procedimiento de la invención aplicado en condiciones reales. En este caso la imagen subtendía un ángulo pequeño, por lo que basta con caracterizar el sistema óptico con una única PSF (aproximación espacialmente invariante). Sin embargo, en el caso de la imagen de texto, ésta ocupaba un ángulo mucho mayor, lo que se traduce (ver Figura 7) en que el resultado no tiene una calidad uniforme espacialmente, sino que proporciona la máxima calidad en el centro de la imagen, donde se estimó la PSF. Esto demuestra la necesidad de utilizar una caracterización espacialmente variante de la PSF en algunos casos.

Claims

1. Procedimiento de restauración de imágenes para sistemas de captación de imágenes que introducen ruido y emborronamiento en las imágenes, que, dado un método de eliminación de ruido en imágenes y el propio dispositivo de captación en cada uno de sus posibles modos de funcionamiento, está caracterizado por:

b) la captación de la imagen,

c) el cálculo del pre-filtrado óptimo para los parámetros de degradación caracterizados en (a) y para la imagen captada en (b) o, en promedio, para un conjunto de imágenes de entrenamiento, que minimiza el error cuadrático medio a la salida del método de eliminación de ruido aplicado a las imágenes pre-filtradas,

d) el almacenamiento en memoria no volátil, de forma previa a la operación del dispositivo, de dos conjuntos de parámetros que caracterizan la degradación que introduce el dispositivo de

\hbox{captación, según las siguientes 
alternativas:}

ii): pre-filtros óptimos calculados segun (c) usando imágenes de entrenamiento, y PSDs de ruido correspondientes,

e) la aplicación del prefiltrado calculado en (c) a la imagen captada en (b), y

2. Procedimiento según la reivindicación 1 caracterizado porque el método de cálculo del pre-filtrado óptimo de c), está basado en la existencia de un modelo de predicción del error cuadrático del método de eliminación de ruido, que aproxima el error cuadrático como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable por técnicas estándar) y el segundo correspondiente al error residual del resultado respecto de la imagen a la salida del pre-filtrado, este último calculable mediante el modelo de error cuadrático del método de eliminación de ruido.

3. Procedimiento según la reivindicación 1 caracterizado porque la obtención de una aproximación al método de pre-filtrado óptimo de (c) comprende las siguientes etapas:

a) uso de un pre-filtrado dependiente de un único parámetro libre, y

4. Procedimiento según la reivindicación 1 caracterizado porque se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSF (típicamente la correspondiente al eje óptico y al plano imagen de mejor foco, en sistemas ópticos), y una única PSD de ruido.

5. Procedimiento según la reivindicación 1 caracterizado porque se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSD de ruido y varias PSFs correspondientes a distintas posiciones espaciales del campo, que reflejan el comportamiento espacialmente variante del dispositivo de captación y que dan lugar a un pre-filtrado diferente para cada localización espacial dentro de la imagen captada.

6. Procedimiento según las reivindicaciones 1, 4 y 5 caracterizado porque se añaden a la caracterización del dispositivo las PSFs correspondientes a distintas posiciones de foco, para cada posición considerada en el plano de la imagen, junto con la PSD del ruido, lo que da lugar a un pre-filtrado diferente para cada posición de foco y cada localización espacial considerada dentro de la imagen captada.

7. Procedimiento según la reivindicación 1 a la 6 caracterizado porque el cálculo del pre-filtrado óptimo (reivindicación 1(c)) es realizado con imágenes de entrenamiento en lugar de con la imagen captada, y porque, para cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, se almacenan en memoria:

8. Procedimiento y dispositivo de restauración de imágenes en sistemas de captación de imágenes según las reivindicaciones 1 a la 7 caracterizado por la selección de los parámetros almacenados de forma previa en memoria no volátil y su acceso y utilización en tiempo de operación según

a) el modo de funcionamiento del dispositivo de captación

b) la posición espacial en el plano de la imagen

9. Dispositivo opto-electrónico caracterizado porque comprende los siguientes elementos para el desarrollo del procedimiento según las reivindicaciones 1 a la 8:

i) un dispositivo opto-electrónico o cuerpo de captación formado por un sistema óptico de lentes, un sensor de adquisición que incluye una matriz de detectores y la electrónica de lectura y un sistema de grabación digital.

ii) una unidad de proceso hardware-firmware que posee una memoria para el almacenaje de los datos necesarios, y un microprocesador digital que ejecuta las instrucciones sobre los datos previamente almacenados y los captados por el sensor, y

iii) y un periférico para la visualización de la imagen final obtenida.

10. Dispositivo opto-electrónico según la reivindicación 9 caracterizado porque el dispositivo pertenece al siguiente grupo: cámaras digitales, webcams, PDAs y teléfonos móviles.

11. Dispositivo opto-electrónico según la reivindicación 9 caracterizado porque el sensor electrónico de adquisición pertenece al siguiente grupo: CCD y CMOS.

12. Dispositivo opto-electrónico según las reivindicaciones 10 a la 11 caracterizado porque el dispositivo de captación y el sistema de proceso no están en un mismo dispositivo físico.