ES2629463T3

ES2629463T3 - Difusión de video compatible estereoscópicamente

Info

Publication number: ES2629463T3
Application number: ES09790521.0T
Authority: ES
Inventors: Walter J. Husak; David S. Ruhoff; Alexandros Tourapis; Athanasios Leontaris
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2008-07-20
Filing date: 2009-07-16
Publication date: 2017-08-09
Anticipated expiration: 2029-07-16
Also published as: PL2308239T3; EP3197155A1; US20180070071A1; US20180146185A1; US10264235B2; US9712801B2; US11190749B2; EP2308239B1; US10136118B2; US10721453B2; EP4322532A3; US9912931B1; HUE033017T2; PT2308239T; US9843785B2; EP2308239B8; US20200314405A1; US20190191143A1; US10038891B1; CN102100074A

Abstract

Uso de un sistema para codificar imágenes, en donde el uso comprende codificar datos de imagen estereoscópica de múltiples vistas en un formato de video monoscópico (120), en donde el sistema está configurado para reducir píxeles de un par de imágenes estereoscópicas (110), formatear los píxeles reducidos en un patrón de imagen, y codificar el patrón de imagen como un fotograma en el formato de video monoscópico (120), caracterizado por que la reducción y el formateo de píxeles comprende submuestreo alterno de cada una de las imágenes del par de imágenes estereoscópicas y colocación de las submuestras en ubicaciones del patrón de imagen correspondientes a las ubicaciones de la imagen de la que fueron submuestreadas, el patrón de imagen alterna a una tasa predeterminada entre una primera retícula de píxeles y una segunda retícula de píxeles, la primera retícula de píxeles que comprende un tablero de damas, en donde los píxeles "negros" del tablero de damas comprenden píxeles derivados de una primera imagen del par estereoscópico de imágenes (110) y píxeles "blancos" del tablero de damas comprenden píxeles derivados de una segunda imagen del par estereoscópico de imágenes (110), y la segunda retícula de píxeles que comprende un tablero de damas, en donde los píxeles "blancos" del tablero de damas comprenden píxeles derivados de la primera imagen del par estereoscópico de imágenes (110) y píxeles "negros" del tablero de damas comprenden píxeles derivados de la segunda imagen del par estereoscópico de imágenes (110).

Description

DESCRIPCION

Difusion de video compatible estereoscopicamente ANTECEDENTES DE LA INVENCION

Campo de la invencion

5 La presente invencion se refiere a la codificacion de video y mas particularmente a la codificacion de v^deo estereoscopica.

Descripcion de la tecnica relacionada

En los ultimos anos, los proveedores de contenidos se han interesado considerablemente en la difusion de contenido estereoscopico (3D) en el hogar. Este interes es impulsado por el aumento de la popularidad y la 10 produccion de material en 3D, pero tambien, por la aparicion de varios dispositivos estereoscopicos que ya estan disponibles para el consumidor. Aunque se han propuesto varios sistemas para la difusion a casa de material estereoscopico que combinan formatos de "disposicion" de vision de video espedficos con, principalmente, tecnologfas de compresion de video existentes tales como ISO MPEG-2, MPEG-4 AVC/ITU-T H.264 y vC-1, estos sistemas no proporcionan informacion alguna sobre como debe realizarse el proceso de codificacion de video. Esto 15 ha dado como resultado soluciones de codificacion de video estereo mal disenadas con un rendimiento inferior, lo cual ha sido perjudicial para la adopcion de tales sistemas.

El documento US 2003/0223499 A1 da a conocer una tecnica para codificar y reproducir secuencias de video estereoscopicas. Se utilizan dos tipos de mosaicos (llamados "A" y "B"), que corresponden a patrones de tablero de damas que contienen solamente pfxeles en posiciones "negras" o "blancas" del tablero de damas, respectivamente. 20 Las imagenes de dos secuencias de imagenes (p. ej., una secuencia de ojo izquierdo y una secuencia de ojo derecho) se comprimen espacialmente manteniendo solo el mosaico A de las imagenes de una secuencia y el mosaico B de las imagenes de la otra secuencia. Estos mosaicos se almacenan juntos en un bufer de fotogramas para formar dos campos adyacentes. En una alternativa, el mosaico A se guarda para las imagenes de numero par y el mosaico B para las imagenes de numero impar, para ambas secuencias de entrada, de modo que dos imagenes 25 sucesivas del mismo ojo senan reconstruidas a partir de mosaicos de diferentes tipos y potencialmente almacenadas en el mismo fotograma comprimido.

El documento US 6.661.463 B1 da a conocer una tecnica en la que se muestrea una senal de television de alta definicion antes de su transmision a traves de un canal de ancho de banda bajo. Se utiliza un esquema de muestreo variable en el tiempo que tiene en cuenta caractensticas del sistema visual humano para mejorar la calidad percibida 30 de la imagen que se muestra.

El documento US 2007/0222855 A1 da a conocer un metodo de analisis de datos de imagen recibidos para determinar si los datos de imagen recibidos corresponden a una vista unica o a multiples vistas.

SUMARIO DE LA INVENCION

La invencion esta determinada por las reivindicaciones independientes. Las reivindicaciones dependientes se 35 refieren a elementos opcionales de algunas realizaciones de la invencion.

Los autores de la presente invencion han comprendido la necesidad de proporcionar un sistema de difusion 3D compatible con el formato existente. Descrita de forma aproximada, la presente invencion proporciona un sistema de difusion 3D que es compatible hacia atras con sistemas de difusion monoscopicos existentes. Esto permite, por ejemplo, que un disco de video Blu-ray sea codificado bajo el formato Blu-ray con datos estereoscopicos con la 40 capacidad de ser reproducido en un reproductor Blue Ray ordinario y alimentar un dispositivo de visualizacion compatible 3D para su visualizacion por el consumidor. La presente invencion puede ser practicada por todos los demas formatos monoscopicos incluyendo, por ejemplo, formatos de DVD, HD-DVD, la familia MPEG, JPEG, etc.

La presente invencion proporciona un metodo que comprende el paso de embeber una senal estereoscopica en una infraestructura de video compatible monoscopica.

La senal estereoscopica embebida comprende un formato de video en el que los pfxeles de una primera y una segunda imagen se almacenan en un patron de "tablero de damas" dentro de la infraestructura de video compatible monoscopica.

En una realizacion, el metodo comprende, ademas, el paso de reduccion de p^xeles de un par de imagenes 5 estereoscopicas para ser embebidas en la infraestructura de video. El paso de reduccion de pfxeles comprende, por ejemplo, submuestreo del par de imagenes estereoscopicas y colocacion de las submuestras en un fotograma de la infraestructura de video. El paso de reduccion de pfxeles comprende filtrar el par de imagenes estereoscopicas y mezclar las imagenes filtradas en un unico fotograma de la infraestructura de video. El submuestreo puede realizarse, por ejemplo en muestras coincidentes de las imagenes, muestras relacionadas de las imagenes y/o el 10 submuestreo de una primera de las imagenes estereoscopicas esta desplazado del submuestreo de una segunda de las imagenes estereoscopicas. En una realizacion, las ubicaciones de submuestreo de una primera de las imagenes estereoscopicas se alternan con ubicaciones de submuestreo de una segunda de las imagenes estereoscopicas.

El metodo comprende ademas, por ejemplo, el paso de disposicion de las submuestras en una estructura reticular en un fotograma de la infraestructura de video. Cada una de las submuestras se coloca, por ejemplo, en una 15 ubicacion correspondiente en la estructura reticular ocupada por la submuestra en la imagen de la cual fue submuestreada. La infraestructura monoscopica compatible comprende, por ejemplo, cualquier formato de video compatible con Blu-ray y formato de video compatible con HD-DVD, un formato de transmision por Internet, un formato de video compatible con Direct-TV, cualquiera de la familia de formatos MPEG y formato de video compatible con ATSC.

20 En otro aspecto de la presente invencion se proporciona un metodo, que comprende los pasos de reduccion de pfxeles de un par de imagenes estereoscopicas, formateo de los pfxeles reducidos en un patron de imagen y codificacion del patron de imagen como un fotograma en un formato de video monoscopico. El paso de reduccion de pfxeles comprende, por ejemplo, submuestreo de las imagenes estereoscopicas. El submuestreo comprende, por ejemplo, muestreo de la mitad de los pfxeles en una primera de las imagenes estereoscopicas y submuestreo de la 25 mitad de los pfxeles en una segunda de las imagenes estereoscopicas.

En la presente invencion, el patron de imagen comprende un patron reticular de pfxeles que comprende un tablero de damas, en el cual pfxeles "negros" del tablero de damas comprenden pfxeles derivados de una primera imagen del par estereoscopico de imagenes y pfxeles "blancos" del tablero de damas comprenden pfxeles derivados de una segunda imagen del par estereoscopico de imagenes. Una ubicacion de los pfxeles en el patron reticular 30 comprende, por ejemplo, una ubicacion coincidente en la imagen de la que se derivaron.

El metodo comprende ademas, por ejemplo, el paso de decodificar los pfxeles "negros" en un primer canal de una imagen estereoscopica y decodificar los pfxeles "blancos" en un segundo canal de la imagen estereoscopica.

La presente invencion tambien se puede incorporar en un dispositivo de codificacion, el cual comprende un puerto de entrada configurado para recibir un patron de bits que comprende pares de imagenes estereoscopicas a ser 35 codificadas y un codificador configurado para colocar, por lo menos, partes de cada par de imagenes estereoscopicas en un flujo de bits de video codificado compatible monoscopicamente. El codificador esta configurado para producir una estructura reticular, la cual comprende partes de cada imagen de un par de imagenes estereoscopicas. La estructura reticular se produce por reduccion y reordenamiento de pfxeles, los cuales comprenden submuestreo alterno de cada una de las imagenes y colocacion de las submuestras en ubicaciones de 40 una estructura reticular que corresponden a las ubicaciones de la imagen de la cual fueron submuestreadas. El flujo de bits de video codificado compatible monoscopicamente comprende, por lo menos, uno de un formato ATSC, un formato Blu-ray, un formato HD-DVD, un formato de video existente, uno de la familia de formatos MPEG y otro formato de video. En un ejemplo, la invencion tambien puede ser realizada como un dispositivo de decodificacion, el cual comprende un puerto de entrada configurado para recibir una senal de imagen con formato monoscopico, un 45 procesador configurado para decodificar la senal de imagen con formato monoscopico y un separador de imagen configurado para extraer una primera imagen de cada uno de los fotogramas de la senal de imagen con formato monoscopico decodificada y extraer una segunda imagen de cada uno de los fotogramas de la imagen con formato monoscopico decodificada. El dispositivo de decodificacion comprende, ademas, por ejemplo, un extractor de imagenes configurado para extraer y expandir cada una de las imagenes a un fotograma completo de un dispositivo 50 objetivo. El dispositivo objetivo comprende, por ejemplo, por lo menos una de las pantallas, una pantalla HDTv, una pantalla de cine, una pantalla de telefono celular, una pantalla de ordenador. El dispositivo de decodificacion puede ser ademas parte de un sistema de medios mas grande, el cual comprende una pantalla y el expansor de imagen esta configurado para extraer pfxeles para la expansion de cada una de las imagenes de un patron de tablero de damas dentro de la imagen con formato monoscopico decodificada.

55 En otro ejemplo, la invencion tambien se puede incorporar en cualquier dispositivo o metodo que reciba un video con formato monoscopico y extraiga y muestre las multiples imagenes en cualquier formato.

Las imagenes multiples se extraen de un patron de tablero de damas dentro de la imagen con formato monoscopico y despues se muestran como un video 3D.

Pueden implementarse convenientemente partes, tanto de los dispositivos como de los metodos y/u otras realizaciones, en la programacion en un ordenador de uso general, o en ordenadores en red, y los resultados 5 pueden mostrarse en un dispositivo de salida conectado a cualquiera de los ordenadores de uso general en red, o transmitidos a un dispositivo remoto para su salida o visualizacion. Ademas, cualquier componente de la presente invencion representado en un programa informatico, secuencias de datos y/o senales de control, puede ser realizado como una senal electronica emitida (o transmitida) a cualquier frecuencia en cualquier medio, incluyendo, pero sin limitarse a, emisiones inalambricas, y transmisiones sobre cable(s) de cobre, cable(s) de fibra optica y cable(s) 10 coaxial(es), etc.

BREVE DESCRIPCION DE LOS DIBUJOS

Una apreciacion mas completa de la invencion y muchas de las ventajas asociadas de la misma se obtendran facilmente segun es entendida mejor por referencia a la siguiente descripcion detallada, si se considera en relacion con los dibujos adjuntos, en donde:

15 La Fig. 1A es un diagrama de bloques que ilustra una estructura basica de acuerdo con una realizacion de la presente invencion;

la Fig. 1B es un diagrama de un codificador de acuerdo con una realizacion de la presente invencion;

la Fig. 1C es un diagrama de un sistema para codificar y decodificar imagenes de acuerdo con una realizacion de la presente invencion;

20 la Fig. 1D es un diagrama de un sistema para codificar, decodificar y mostrar imagenes de acuerdo con una realizacion de la presente invencion;

la Fig. 2 es un diagrama que ilustra una topologfa de sistema de acuerdo con una realizacion de la presente invencion; y

la Fig. 3 es una ilustracion de una estructura reticular de imagenes de acuerdo con una realizacion de la presente 25 invencion.

DESCRIPCION DE LAS FORMAS DE REALIZACION PREFERIDAS

Muchos sistemas estereoscopicos de consumo actuales requieren procesos adicionales - ya sea como dispositivos de hardware o aplicaciones de software - que el consumidor debe comprar e instalar. Esto presenta una barrera significativa al mercado para el consumidor y para los estudios.

30 Los autores de la presente invencion han realizado una implementacion que permite la transmision de una senal estereoscopica, de una manera que reutiliza la infraestructura de television y video existente, embebiendo la senal estereoscopica en una senal compatible monoscopicamente. Utilizando tal implementacion, los distribuidores de contenidos podnan entonces desplegar contenido teatral estereoscopico en el hogar para explotar el esfuerzo de comercializacion lo mas cerca posible de la fecha de estreno en salas.

35 La presente invencion crea un metodo de distribucion que puede encajar en la actual HD-DVD o Blu-ray, difusion y otras infraestructuras de distribucion y, tambien, permite flexibilidad para sistemas futuros. Espedficamente, un sistema futuro podna permitir que se transmitan senales estereoscopicas de ancho de banda completa mientras se mantiene la compatibilidad con dispositivos estereoscopicos anteriores. En esta invencion, un metodo de codificacion de senales estereoscopicas se combina de una manera novedosa con varias tecnicas de codificacion de 40 imagenes y de estructuracion de imagen.

Con referencia ahora a los dibujos, en donde numeros de referencia similares designan partes identicas o correspondientes, y mas particularmente a Fig. 1A de los mismos, se ilustra una estructura basica de acuerdo con una realizacion de la presente invencion. Las imagenes izquierda y derecha 101/102 comprenden 2 imagenes fijas o dos flujos de imagenes que representan las imagenes izquierda y derecha de una produccion estereoscopica. Como 45 se ilustra en 103, las imagenes se codifican y se empaquetan en un medio compatible sobre, por ejemplo, un disco HD-DVD o Blu-ray estandar. Los datos estereoscopicos resultantes aparecen como una imagen estandar y se

5

10

15

20

25

30

35

40

45

50

pueden presentar en una pantalla en su forma codificada. La pantalla decodifica los datos estereoscopicos de nuevo en sus formas de imagen izquierda y derecha, donde se muestran (p. ej., HDTV 104) donde aparecen como imagenes izquierda y derecha 105/106.

La Fig. 1B es un diagrama de un codificador de acuerdo con una realizacion de la presente invencion. Las imagenes estereoscopicas 110 son alimentadas a un codificador 115. Las imagenes se empaquetan como un formato monoscopico 120. El formato monoscopico comprende un formato monoscopico existente, por ejemplo, un formato Blu-ray, una difusion ATSC u otros formatos.

La Fig. 1C es un diagrama de un sistema para codificar y decodificar imagenes de acuerdo con una realizacion de la presente invencion. Las imagenes estereoscopicas 110 son alimentadas a un codificador 115. Las imagenes se empaquetan como un formato monoscopico 120. Las imagenes estereoscopicas son, por ejemplo, una serie de imagenes de canal izquierdo y derecho de un video 3D. El formato monoscopico comprende una senal de video monoscopica, en donde cada uno de los fotogramas del video se empaqueta con las imagenes de canal izquierdo y derecho de cada uno de los fotogramas del video 3D (senal de video 3d empaquetada monoscopica).

Un decodificador monoscopico 125 incluye, por lo menos, un puerto para recibir un video monoscopico, y es alimentado a la senal de video 3D empaquetada monoscopica. El por lo menos un puerto comprende, por ejemplo, cualquiera de un puerto HDMI, un puerto de antena, un conector de S-Video, un conector de cable, componente de vfdeo/audio o conectores compuestos, conector de red, red inalambrica 802.11, etc. En algunas realizaciones relacionadas con la transmision o transporte (p. ej., 802.11), la senal de video monoscopica se empaqueta adicionalmente dentro del protocolo de transporte de transmision, o de transporte relacionado, y se utiliza un dispositivo adicional para extraer la senal monoscopica del protocolo de transporte y/u otros protocolos (no mostrados). En ultima instancia, la senal 3D monoscopica empaquetada es recibida por el decodificador monoscopico 125.

El decodificador monoscopico 125 decodifica la senal 3D monoscopica empaquetada de acuerdo con el estandar del formato monoscopico (p. ej., Blu-ray, ATSC, etc.). La senal decodificada es un video monoscopico, en el que las imagenes del video son imagenes descomprimidas de patron 130. Es decir, cada una de las imagenes o fotogramas de la senal decodificada es una imagen de patron en la que el patron comprende imagenes de canal izquierdo y derecho de las imagenes estereoscopicas originales 110.

Un separador 135 sigue un patron de establecido o variable, en donde las imagenes estan embebidas en la senal decodificada (imagenes descomprimidas de patron 130) y extrae las imagenes originales (comprimidas y despues descomprimidas) (p. ej., imagenes de canal izquierdo y derecho). El separador 135 puede ser un dispositivo separado o puede estar empaquetado como parte de un sistema de decodificacion 140.

La Fig. 1D es un diagrama de un sistema para codificar, decodificar y mostrar imagenes de acuerdo con una realizacion de la presente invencion. El decodificador monoscopico 125 decodifica la senal 3D monoscopica empaquetada de acuerdo con el estandar del formato monoscopico (p. ej., Blu-ray, ATSC, etc.). La senal decodificada es un video monoscopico, en donde las imagenes del video son imagenes descomprimidas de patron 130. Es decir, cada una de las imagenes o fotogramas de la senal decodificada es un patron, en la que el patron comprende imagenes de canal izquierdo y derecho de las imagenes estereoscopicas originales 110.

Un reconocedor de patrones 150 identifica una senal de entrada como una senal codificada de video monoscopica estandar o una senal codificada de multiples imagenes (p. ej., estereo). El reconocimiento puede realizarse, por ejemplo, comparando pfxeles adyacentes o relacionados de otro modo en el patron descomprimido, o construyendo imagenes enteras basandose en un patron monoscopico codificado en 3D y comparando las imagenes resultantes.

Basandose en el reconocimiento, la senal se procesa entonces de manera correspondiente (p. ej., la senal es dirigida al procesamiento de pantalla 2D 155 para video monoscopico estandar, o la senal es dirigida al procesamiento de pantalla 3D 160 para 3D monoscopico empaquetado), cuyos resultados se proporcionan entonces y se muestran en la pantalla 165. En una realizacion, el reconocedor de patrones y el procesamiento/dispositivos de procesamiento asociados se empaquetan juntos en una pantalla (p. ej., HDTV), como, por ejemplo, el sistema 170. En otra realizacion, el decodificador monoscopico esta tambien empaquetado junto con la pantalla (sistema 175).

La Fig. 2 es un diagrama que ilustra una topologfa de sistema 200 de acuerdo con una realizacion de la presente invencion. En la Fig. 2 se presentan dos imagenes al aparato, una tomada desde la perspectiva izquierda y la otra desde la perspectiva derecha formando juntas un par estereoscopico. Estas dos imagenes son, por ejemplo, 210A/210B filtradas en paso bajo y submuestreadas 215A/215B por, por ejemplo, un factor de dos. La operacion de submuestreo produce muestras izquierda y derecha (p. ej., pfxeles) de las imagenes izquierda y derecha. La operacion de submuestreo se puede hacer en y puede ocurrir en ubicaciones coincidentes en ambas imagenes

5

10

15

20

25

30

35

40

45

50

izquierda y derecha, o las posiciones muestreadas pueden ser desplazadas de una imagen a la otra. La realizacion preferida consiste en utilizar un muestreo desplazado tal como se muestra en la estructura reticular (o tablero de damas) descrita a continuacion.

Los datos de imagen muestreados se disponen entonces en una estructura reticular de imagen 3D por medio de un dispositivo/procesador de estructura reticular 220. La estructura reticular de imagen 3D se muestra en la Fig. 3. Las muestras izquierda y derecha estan dispuestas en orden alterno dentro de cada una de las lmeas y luego en el orden opuesto en la lmea siguiente. Este patron se repite a traves de la reticula. La estructura reticular ayuda a proporcionar una resolucion aumentada en las dimensiones horizontal y vertical al decodificar imagenes con el sistema descrito. En lugar de reducir la resolucion en una dimension, la resolucion se reduce en ambas dimensiones pero en una menor cantidad. El resultado es una reduccion de resolucion de aproximadamente 0,7 fs en lugar de 0,5 fs.

En una realizacion, la estructura reticular cambia, o alterna a una tasa predeterminada (p. ej., una vez por fotograma). Como se muestra en la Fig. 3, las filas de la estructura reticular alternan entre un patron L/R y un patron R/L (un patron de fotograma de L/R - R/L). La estructura entera tambien se puede alternar entre los diferentes patrones de fotograma. Por ejemplo, un primer fotograma comprende el patron L/R - R/L y el segundo fotograma comprende un patron R/L - L/R.

Una vez que la reticula se rellena con pfxeles de la manera prescrita, las imagenes se presentan a un codificador de imagen. Las secuencias de imagen izquierda y derecha estan relacionadas temporalmente y pueden utilizar codificadores como codificadores MPEG, codificadores JPEG o cualquier otro codificador utilizado en la compresion de video. En una realizacion, la conversion de espacio de colores y el submuestreo de crominancia se utilizan durante el paso de codificacion (p. ej., codificador 115).

Los datos producidos por el codificador de imagen 230 (p. ej., un patron monoscopico codificado en 3D), se envasan a continuacion por el sistema de envasado 240 utilizando un mecanismo de transporte comun. El mecanismo de transporte es, por ejemplo, un flujo de transporte MPEG-2 o un flujo de programa. El resultado neto del paso de empaquetado es crear un metodo en el que se conserve la compatibilidad hacia atras con los sistemas desplegados. Aunque la realizacion preferida esta disenada para discos HD-DVD o Blu-ray, los datos debidamente empaquetados se pueden difundir usando cualquier metodo de transmision digital tal como internet o la difusion de television digital convencional. La difusion puede adoptar la forma de difusion terrestre, sistemas cerrados de difusion por cables o sistemas de difusion por satelite.

El lado de decodificacion del sistema comprende un reverso del lado de codificacion. El flujo de bits suministrado se presenta al aparato de decodificacion por el sistema de distribucion. Los datos de imagen codificados se extraen utilizando un demultiplexor y se entregan a un decodificador de imagenes. El decodificador de imagenes convierte el flujo de bits comprimido en los datos de imagen estereoscopica que todavfa estan en la estructura reticular. La estructura reticular se transmite entonces a la pantalla para la decodificacion final en los pares de imagenes izquierda y derecha.

La decodificacion de la imagen se realiza retirando los datos de imagen de la estructura reticular e interpolando a los tamanos de imagen originales (p. ej., el procesamiento 3D 160 incluye, por ejemplo, partes separadas de la estructura reticular relacionada con cada imagen y convierte esas muestras para crear las imagenes completas). Los pares de imagenes izquierda y derecha se presentan entonces al espectador, por ejemplo, visualizando cada una de las imagenes en "destellos" separados en una pantalla de visualizacion, entrelazando las imagenes individuales en un fotograma a mostrar u otras tecnicas.

El uso de la estructura reticular proporciona la funcionalidad estereoscopica a los reproductores de HD-DVD y Blu- ray existentes sin dejar obsoletos a los reproductores instalados. El sistema puede emplear la mensajeria para configurar los reproductores para proporcionar automaticamente los datos estereoscopicos a la pantalla. Estos mensajes pueden embeberse en el flujo de bits de cualquier manera, incluyendo mensajes SEI especiales, datos privados MPEG o como codigo Java en el flujo.

Aunque la presente invencion se ha descrito aqrn con referencia a presentaciones estereograficas, la descripcion que aqrn se hace tambien aplica a la codificacion, transmision y decodificacion de imagenes multiples en general.

En una realizacion, un disco Blu-ray (u otro medio) de acuerdo con la presente invencion, puede incluir, por ejemplo, versiones 2D y 3D de una peticula u otra produccion. En otra realizacion, se incluyen dos versiones 2D separadas en el medio (p. ej., vistas izquierda y derecha) que hacen que el sistema sea compatible con sistemas con multiples decodificadores y no deseen utilizar el patron reticular o tablero de damas seleccionado (por cualquier razon).

5

10

15

20

25

30

35

40

45

50

La tasa de bits entre versiones separadas puede asignarse, por ejemplo, segun la complejidad de cada version. Se podna estimar la complejidad dada una variedad de metodos incluyendo el preanalisis de MCTF, la codificacion basica (es decir intra), usando los mismos parametros de cuantificacion y el calculo de la relacion de tasa de bits, o simplemente basandose en la entrada del usuario u otros factores. En una realizacion diferente, esto podna hacerse de una manera para lograr una cierta distorsion "media" en cualquier flujo (esto puede ser el mismo o podna ser ajustado dado un modelo o entrada de usuario).

Al describir realizaciones preferidas de la presente invencion ilustradas en los dibujos, se emplea una terminologfa espedfica por motivos de claridad. Sin embargo, la presente invencion no pretende limitarse a la terminologfa espedfica asf seleccionada, y debe entenderse que cada elemento espedfico incluye todos los equivalentes tecnicos que operan de una manera similar. Por ejemplo, al describir un reproductor Blu-ray, cualquier otro dispositivo equivalente, como reproductores de DVD, reproductores de HD-DVD, dispositivos que entregan contenido (incluidos dispositivos de memoria, tarjetas de memoria, camaras, I-pods, etc.) u otro dispositivo que tienen una funcion o capacidad equivalente, esten o no enumerados en la presente memoria, pueden estar sustituidos por ellos.

Ademas, los autores de la invencion reconocen que las nuevas tecnologfas desarrolladas que todavfa no se conocen, pueden tambien sustituir las partes descritas y todavfa no apartarse del alcance de la presente invencion. De hecho, la presente invencion preve espedficamente la aplicacion de nuevos estandares de video y similares aun no conocidos o publicados. Todos los demas elementos descritos y otros equivalentes, incluyendo, pero no limitados a muestreo, filtros, protocolos de transmision, protocolos/formatos de almacenamiento, codificadores y pantallas (p. ej., LCD, LCoS, plasma, proyeccion de cine, procesadores/servidores de proyeccion de cine, dispositivo de almacenamiento de cine, dispositivos DLP, etc.) tambien deben considerarse en vista de todos y cada uno de los equivalentes disponibles.

Las partes de la presente invencion se pueden implementar convenientemente utilizando un ordenador convencional de uso general o un ordenador digital especializado o un microprocesador programado de acuerdo con las divulgaciones de la presente descripcion, como sera evidente para los expertos en la tecnica informatica.

La codificacion apropiada de software puede prepararse facilmente por programadores expertos basandose en las divulgaciones de la presente descripcion, como resultara evidente para los expertos en la tecnica del software. La invencion tambien se puede implementar mediante la preparacion de circuitos integrados espedficos de la aplicacion o interconectando una red apropiada de circuitos de componentes convencionales, como sera facilmente evidente para los expertos en la tecnica basados en la presente descripcion.

En un ejemplo, se proporciona un producto de programa informatico, el cual es un medio de almacenamiento (medio) que tiene instrucciones almacenadas sobre el mismo/en el, que se puede usar para controlar, o hacer que un ordenador realice cualquiera de los procesos de la presente invencion. El medio de almacenamiento puede incluir, pero no esta limitado a, cualquier tipo de disco incluyendo disquetes, mini discos (MD), discos opticos, DVD, HD DVD, Blu-ray, CD-ROM, CD o DVD RW +/-, micro-drive y discos magneto-opticos ROM, RAM, EPROM, EEPROM, DRAM, VRAM, dispositivos de memoria flash (incluyendo tarjetas flash, tarjetas de memoria), tarjetas magneticas u opticas, tarjetas SIM, MEMS, nanosistemas (incluidos los CI de memoria molecular), dispositivos RAID, almacenamiento remoto de datos/archivo/almacen, o cualquier tipo de medio o dispositivo adecuado para almacenar instrucciones y/o datos.

Almacenado en cualquiera de los medios (medios) legibles por ordenador, la presente invencion incluye un software para controlar tanto el hardware del ordenador de uso general/especializado o microprocesador, como para permitir que el ordenador o microprocesador interactue con un usuario humano u otro mecanismo que utiliza los resultados de la presente invencion. Dicho software puede incluir, pero no esta limitado a, controladores de dispositivo, sistemas operativos y aplicaciones de usuario. En ultima instancia, dichos medios legibles por ordenador incluyen ademas software para llevar a cabo la presente invencion, como se ha descrito anteriormente.

Se incluyen en la programacion (software) del ordenador general/especializado o microprocesador modulos de software para implementar las ensenanzas de la presente invencion, incluyendo, pero sin limitarse a, muestreo de imagenes, filtrado de datos de imagen, codificacion de datos de imagenes multiples en patrones predeterminados, codificacion de datos de imagenes multiples en reticula (o estructura de tablero de damas), codificacion de una estructura de imagenes multiples en un formato de imagen monoscopica, decodificacion de datos codificados monoscopicos y expandir los datos decodificados en multiples imagenes (p. ej., estereo 3D) y la visualizacion, almacenamiento o comunicacion de resultados de acuerdo con los procesos de la presente invencion.

La presente invencion puede comprender, consistir o consistir esencialmente en cualquiera de los elementos (las diversas partes o caractensticas de la invencion) y sus equivalentes como se describen en la presente memoria.

Ademas, la presente invencion divulgada aqm de manera ilustrativa, se puede practicar en ausencia de cualquier elemento, ya sea o no espedficamente descrito en la presente memoria.

Obviamente, son posibles numerosas modificaciones y variaciones de la presente invencion a la vista de las ensenanzas anteriores. Por lo tanto, debe entenderse que dentro del alcance de las reivindicaciones, la invencion 5 puede ser puesta en practica de otra manera que la descrita espedficamente en la presente memoria.

Claims

5

10

15

20

25

30

35

40

45

50

55

REIVINDICACIONES

1. Uso de un sistema para codificar imagenes, en donde el uso comprende codificar datos de imagen estereoscopica de multiples vistas en un formato de video monoscopico (120), en donde el sistema esta configurado para reducir p^xeles de un par de imagenes estereoscopicas (110), formatear los p^xeles reducidos en un patron de imagen, y codificar el patron de imagen como un fotograma en el formato de video monoscopico (120),

caracterizado por que

la reduccion y el formateo de pfxeles comprende submuestreo alterno de cada una de las imagenes del par de imagenes estereoscopicas y colocacion de las submuestras en ubicaciones del patron de imagen correspondientes a las ubicaciones de la imagen de la que fueron submuestreadas,

el patron de imagen alterna a una tasa predeterminada entre una primera reticula de pfxeles y una segunda reticula de pfxeles,

la primera reticula de pfxeles que comprende un tablero de damas, en donde los pfxeles "negros" del tablero de damas comprenden pfxeles derivados de una primera imagen del par estereoscopico de imagenes (110) y pfxeles "blancos" del tablero de damas comprenden pfxeles derivados de una segunda imagen del par estereoscopico de imagenes (110), y

la segunda reticula de pfxeles que comprende un tablero de damas, en donde los pfxeles "blancos" del tablero de damas comprenden pfxeles derivados de la primera imagen del par estereoscopico de imagenes (110) y pfxeles "negros" del tablero de damas comprenden pfxeles derivados de la segunda imagen del par estereoscopico de imagenes (110).
2. El uso de acuerdo con la reivindicacion 1, en donde el sistema esta configurado ademas para submuestreo de una parte de los pfxeles en una primera de las imagenes estereoscopicas (110) y submuestreo de una parte de los pfxeles en una segunda de las imagenes estereoscopicas (110), y los pfxeles submuestreados de la primera imagen estan en ubicaciones en la primera imagen adyacentes a las ubicaciones correspondientes submuestreadas en la segunda imagen.
3. El uso de acuerdo con la reivindicacion 1, en donde una ubicacion de los pfxeles en el patron reticular comprende una ubicacion coincidente en la imagen de la que fueron derivados.
4. Un dispositivo de codificacion, que comprende:

un puerto de entrada configurado para recibir un patron de bits que comprende pares de imagenes estereoscopicas (110) a codificar; y

un codificador (115, 230) configurado para colocar por lo menos partes de cada uno de los pares de imagenes estereoscopicas (110) en un flujo de bits codificado de video compatible monoscopicamente (120); caracterizado por que

las partes de cada uno de los pares de imagenes estereoscopicas (110) comprenden una reduccion y reordenacion de pfxeles en el par de imagenes (110) que comprende submuestreo alterno de cada una de las imagenes y colocacion de las submuestras en ubicaciones de una estructura reticular correspondientes a las ubicaciones de la imagen de la cual fueron submuestreadas,

y la estructura reticular comprende un primer patron de fotograma y un segundo patron de fotograma que alternan entre fotogramas del flujo de bits codificado de video compatible monoscopicamente (120), en donde: cada una de las lmeas de los patrones de fotograma primero y segundo esta dispuesta en un patron L/R en el cual las submuestras izquierda y derecha estan dispuestas en orden alterno, comenzando con una submuestra izquierda, o en un patron R/L en el cual las submuestras derecha e izquierda estan dispuestas en orden alterno, comenzando con una submuestra derecha,

las lmeas del primer patron de fotograma alternan entre un patron L/R y un patron R/L, comenzando con un patron L/R, y

las lmeas del segundo patron de fotograma alternan entre un patron R/L y un patron L/R, comenzando con un patron R/L.
5. Un sistema de video, que comprende:

un puerto de entrada configurado para recibir una senal de imagen con formato monoscopico (120); un procesador configurado para decodificar la senal de imagen con formato monoscopico (120); y un separador de imagenes configurado para extraer una primera imagen de cada uno de los fotogramas de la senal de imagen con formato monoscopico decodificada y extraer una segunda imagen de cada uno de los fotogramas de la imagen con formato monoscopico decodificada,

en donde el separador de imagenes esta configurado para extraer pfxeles de la imagen con formato monoscopico decodificada con una estructura reticular que alterna a una tasa predeterminada entre una primera estructura reticular y una segunda estructura reticular,

la primera estructura reticular que comprende un patron de tablero de damas dentro de la imagen con formato monoscopico decodificada, en donde se extraen pfxeles "negros" del patron de tablero de damas para formar la primera imagen y se extraen pfxeles "blancos" del patron de tablero de damas para formar la segunda imagen,

la segunda estructura reticular que comprende un patron de tablero de damas dentro de la imagen con formato monoscopico decodificada, en donde se extraen pfxeles "blancos" del patron de tablero de damas para formar la primera imagen y se extraen pfxeles "negros" del patron de tablero de damas para formar la segunda imagen.
6. El sistema de video de acuerdo con la reivindicacion 5, en donde el sistema de video esta embebido en un 5 telefono movil.
7. El sistema de video de acuerdo con la reivindicacion 5, en donde el separador de imagenes esta configurado para extraer pfxeles del formato monoscopico decodificado (120) de un patron seleccionado por un proceso de codificacion del formato de video monoscopico (120).
8. Un metodo que comprende los pasos de:

10 decodificar, mediante un decodificador monoscopico (125), una senal de imagen de formato monoscopico (120) de una infraestructura de video compatible monoscopicamente,

reconocer, mediante un reconocedor de patrones (150), la senal decodificada como una senal codificada por video monoscopica estandar o una senal 3D codificada empaquetada monoscopica, y

dirigir la senal decodificada basandose en el reconocimiento ya sea para procesamiento de pantalla 2D para video 15 monoscopico estandar, o para procesamiento de pantalla 3D para video 3D monoscopico empaquetado, en donde el procesamiento de visualizacion 3D comprende extraer pfxeles de una primera imagen y una segunda imagen de cada uno de los fotogramas de la senal (120) de imagen con formato monoscopico decodificada con una estructura reticular que alterna a una tasa predeterminada entre una primera estructura reticular y una segunda estructura reticular,

20 la primera estructura reticular comprende un patron de tablero de damas dentro de la imagen con formato monoscopico decodificada, en donde se extraen pfxeles "negros" del patron de tablero de damas para formar la primera imagen y se extraen pfxeles "blancos" del patron de tablero de damas para formar la segunda imagen, y la segunda estructura reticular comprende un patron de tablero de damas dentro de la imagen con formato monoscopico decodificada, en donde se extraen pfxeles "blancos" del patron de tablero de damas para formar la 25 primera imagen y se extraen pfxeles "negros" del patron de tablero de damas para formar la segunda imagen.
9. El metodo de acuerdo con la reivindicacion 8, en el que el reconocimiento se realiza comparando pfxeles adyacentes o relacionados de otro modo en un patron descomprimido.
10. El metodo de acuerdo con la reivindicacion 8, en el que el reconocimiento se realiza construyendo dos imagenes enteras basadas en un patron monoscopico codificado en 3D y comparando las imagenes resultantes.

30 11. El metodo de acuerdo con cualquiera de las reivindicaciones 8-10, que comprende ademas:

reducir los pfxeles de un par de imagenes estereoscopicas (110); y

embeber el par de imagenes estereoscopicas (110) en la senal de imagen en formato monoscopico (120) de la infraestructura de video compatible monoscopicamente.
12. El metodo de acuerdo con la reivindicacion 11, en el que el paso de reduccion de pfxeles comprende filtrar el par 35 de imagenes estereoscopicas (110) y mezclar las imagenes filtradas en un unico fotograma de la infraestructura de

video, y/o

en el que el paso de reduccion de pfxeles comprende el submuestreo realizado en muestras coincidentes de las imagenes estereoscopicas (110).
13. El metodo de acuerdo con la reivindicacion 11, en el que el paso de reduccion de pfxeles comprende el 40 submuestreo realizado en muestras relacionadas de las imagenes estereoscopicas (110).
14. El metodo de acuerdo con la reivindicacion 13,

en el que el submuestreo de una primera de las imagenes estereoscopicas (110) esta desplazado del submuestreo de una segunda de las imagenes estereoscopicas (110), y/o

en el que las ubicaciones de submuestreo de una primera de las imagenes estereoscopicas (110) se alternan con 45 ubicaciones de submuestreo de una segunda de las imagenes estereoscopicas (110), y/o

en el que el paso de submuestreo comprende al menos dos patrones de submuestreo y el patron utilizado para submuestreo de una imagen particular del par de imagenes estereoscopicas (110) se alterna con el patron de submuestreo usado para submuestreo de la submuestra de la otra imagen (110), y/o que comprende, ademas, el paso de seleccionar un patron de submuestreo, y/o 50 que comprende ademas el paso de seleccion de un patron de submuestreo basado en el contenido de imagen.
15. El metodo de acuerdo con la reivindicacion 8, en el que la infraestructura de video compatible monoscopicamente comprende, por lo menos, una de un formato de video compatible con Blu-ray, un formato de

video compatible con HD-DVD, un formato de transmision por Internet, un formato de video compatible con Direct- TV, un formato de video compatible con ATSC, un formato de video existente y un formato de video recientemente desarrollado.