Nothing Special   »   [go: up one dir, main page]

CN102106152A - 通用3-d画面格式 - Google Patents

通用3-d画面格式 Download PDF

Info

Publication number
CN102106152A
CN102106152A CN200980128855XA CN200980128855A CN102106152A CN 102106152 A CN102106152 A CN 102106152A CN 200980128855X A CN200980128855X A CN 200980128855XA CN 200980128855 A CN200980128855 A CN 200980128855A CN 102106152 A CN102106152 A CN 102106152A
Authority
CN
China
Prior art keywords
picture
depth map
depth
displacement
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980128855XA
Other languages
English (en)
Inventor
W.H.A.布鲁尔斯
R.B.M.克莱因古内韦克
G.W.T.范德海登
P.S.牛顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41066194&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102106152(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CN201610485204.8A priority Critical patent/CN106101682B/zh
Publication of CN102106152A publication Critical patent/CN102106152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供如下的3-D画面。提供一对画面（LP,RP），其包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）。另外，提供特别地专用于所述第一画面（LP）的深度图（DM）。所述深度图（DM）包括深度指示值。深度指示值与所述第一画面（LP）的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。这种3-D画面允许在许多种显示设备上进行令人满意的3-D视觉呈现。优选地，为3-D画面补充呈现指导数据（GD），其指定用于相应的呈现环境的相应的参数。这些相应的参数优选地涉及根据所述第一画面（LP）和所述深度图（DM）来生成经过移位的视点画面。

Description

通用3-D画面格式
技术领域
本发明的一方面涉及一种提供包括一对图像的3-D画面的方法，其中一个画面意在用于观看者的一只眼睛，另一个画面意在用于观看者的另一只眼睛。所述3-D画面可以形成例如具有类似格式的3-D画面的序列的一部分，以便构成视频。本发明的其它方面涉及一种3-D画面提供系统、一种传送3-D画面的信号、一种呈现3-D画面的方法、一种3-D画面呈现系统以及一种用于可编程处理器的计算机程序产品。
背景技术
可以基于包括以下一对画面的信号来获得视觉3-D呈现：分别意在用于观看者的左眼和右眼的左画面和右画面。在视频的情况下，信号将包括这种画面配对的序列。包含在其中的左画面和右画面可以直接在立体显示设备上呈现，所述立体显示设备可能需要观看者佩戴一副眼镜。左眼镜片将所呈现的左画面传递给左眼。右眼镜片将所呈现的右画面传递给右眼。例如，所述显示设备可以交替地显示所呈现的左画面和所呈现的右画面。在此情况下，当显示所呈现的左画面时使得左眼镜片透明，在其它情况下左眼镜片不透明。类似地，当显示所呈现的右画面时使得右眼镜片透明，在其它情况下右眼镜片不透明。
如上面的段落中描述的包括构成3-D视频的一对画面或者画面配对的序列的信号典型地对于关于例如屏幕尺寸和观看距离的特定呈现环境而生成。所述特定呈现环境可以例如是具有12米宽的屏幕并且其中观看者典型地坐在距屏幕18米的距离处的电影院。如果呈现环境不同于已经为其生成了信号的呈现环境，则3-D视频将看起来不同。例如，如果已经为电影院生成的3-D视频在家用视频机上呈现，则观看者将体验与在电影院中的视觉印象不同的视觉印象。深度效应将典型地更小，此外，在看起来在电影院中的屏幕后面很远的对象看起来几乎在家用视频机的屏幕的前面的意义上，可能存在明显的深度移位。
在诸如家里之类的私人环境中观看3-D视频的观看者可能希望调整深度效应，以便获得用户体验最舒适的呈现。原理上，可以依靠内插或者外插来实现这点，所述内插或者外插基于在3-D视频中包括的每对图像。实际上，左画面和右画面被比较以便获得所谓的视差图，其表示这些画面之间的差异，特别是在水平位移方面的这些画面之间的差异。可以以经过修改的视差图的形式来表示深度效应调整，所述经过修改的视差图被用于生成一对新的图像。这种内插或者外插的过程相对复杂，并且因此相对昂贵。此外，这种过程可能引入可感知的伪像，其对于观看者来说可能是较不舒适的。
公开号为2005/0190180的美国专利申请描述了一种用于对于给定的立体显示器根据用户或者一组用户来自定义场景内容的方法。获得了关于用户的自定义信息。还获得了用于一对给定的立体图像的场景视差图。确定了用于用户的目标视差范围。生成与给定立体显示器的用户融合能力相关的自定义视差图。为随后的显示呈现或者再次呈现立体图像。
发明内容
存在对于允许在许多种显示设备上的令人满意的呈现的通用3-D视频信号的需要。附于说明书的独立权利要求限定了本发明中更好地解决此需要的各个方面。从属权利要求限定了用于有利地实现本发明的附加特征。
根据本发明的一个方面，如下地提供3-D画面。提供包括意在用于观看者的一只眼睛的第一画面以及意在用于观看者的另一只眼睛的第二画面的一对画面。另外，提供特别地专用于第一画面的深度图。该深度图包括深度指示值。深度指示值与第一画面的特定部分有关，并且指示至少部分地由第一画面的该部分表示的对象与观看者之间的距离。
该对画面典型地表示根据不同视点的场景。在呈现结束时，可以根据第一画面以及深度图来生成经过移位的视点画面。该经过移位的视点画面表示根据不同于第一画面的视点的视点的场景。该经过移位的视点画面以及第二画面联合构成新的画面对，其允许不同于通过像这样显示第一画面和第二画面来获得的视觉3-D呈现的视觉3-D呈现。可以通过关于第一画面在视点方面调整经过移位的视点画面的移位的量来获得适当的呈现。移位的量将典型地依赖于呈现环境：可以通过适当的移位量来适应较大的屏幕或者较小的屏幕。重要的是，可以根据第一画面和深度图而以相对精确且简单的方式生成经过移位的视点画面，所述深度图特别地专用于第一画面。相应地，可以以成本有效的方式在许多种显示设备上获得令人满意的视觉3-D呈现。
应当注意：已经根据本发明而提供的3-D画面或者其序列还特别适于依靠自动立体显示设备来进行呈现。这种呈现典型地包含生成多个经过移位的视点画面，每个视点画面表示根据特定视点考虑的场景。可以以相对简单的方式根据第一画面和深度图来生成这些个经过移位的视点画面，所述深度图特别地专用于第一画面。为了自动立体呈现的目的，可以有效地省略第二画面。相应地，可以为了两个目的有效地使用深度图：第一，为了适于特定的呈现环境的目的；第二，为了在依靠自动立体显示设备进行呈现的情况下生成多个经过移位的视点画面的目的。
还应当注意：与仅包括一对画面的基本3-D画面相比，已经根据本发明而提供的3-D画面或者其序列将典型地包括适量的附加数据。这是因为与构成场景的视觉表现的画面相比，深度图将典型地包括适量的数据。深度图可以具有比深度图所属的画面低的分辨率。此外，深度图对于一定像素或者一组像素仅需要包括单个值，而画面典型地对于一定像素包括各种值：亮度值以及两个色度值。相应地，提供用于存储基本3-D视频的足够容量的诸如DVD盘之类的存储介质也将典型地提供用于存储已经根据本发明提供的3-D视频的足够容量。类似地，允许传输基本3-D视频的传输信道也将典型地允许传输已经根据本发明提供的3-D视频。由此，在存储容量或带宽或者两者方面，可以仅利用相对较小的投入来获得上述优点。
本发明的一个实现方式有利地包括下面的附加特征中的一个或者更多个，在与各个从属权利要求对应的独立的段落中描述所述附加特征。
优选地，呈现指导数据指定用于相应的呈现环境的相应的参数。所述相应的参数涉及根据第一画面和深度图来生成经过移位的视点画面，所述深度图特别地专用于第一画面。
呈现指导数据优选地包括用于第一立体模式的一组参数以及用于第二立体模式的一组参数。在第一立体模式下，根据第一画面和深度图生成的经过移位的视点画面构成所呈现的第一画面，第二画面构成所呈现的第二画面。在第二立体模式下，第一画面构成所呈现的第一画面，根据第一画面和深度图生成的经过移位的视点画面构成所呈现的第二画面。
优选地为上述相应组的参数提供其中第一立体模式应当应用的第一立体强度范围以及其中第二立体模式应当应用的第二立体强度范围的定义。
呈现指导数据可以定义用于相应的深度指示值的相应的最大视差移位值。
呈现指导数据可以定义用于相应的屏幕尺寸的相应的视差补偿值。
呈现指导数据可以包括深度图精确度的指示。
优选地，提供特别地专用于第一画面的背景画面。
另外，优选地提供特别地专用于第一画面的阿尔法图。该阿尔法图定义可以根据左画面、深度图以及背景画面生成的经过移位的视点画面中的逐步过渡。
本发明还体现在如权利要求1所述的方法中，其中以被调谐到用于传送信号的预定带宽的分辨率提供第一画面、第二画面以及深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
隐含的思想是：可以以被调谐到用于传送原始分辨率的第一画面和第二画面的可用带宽的分辨率提供第一画面、第二画面以及深度图。依次提供额外的帧，以便提供用于基于图像和深度分量来进行呈现的另外的数据。
本发明还体现在：以被调谐到用于传送信号的预定带宽的分辨率来提供根据第一画面、第二画面以及深度图的3-D画面提供系统，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
本发明还体现在传递3-D画面的信号，该信号包括：一对画面，其包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）；特别地专用于第一画面（LP）的深度图（DM），所述深度图包括深度指示值，深度指示值与第一画面的特定部分有关并且指示至少部分地由第一画面的该部分表示的对象与观看者之间的距离，并且其中以被调谐到用于传送信号的预定带宽的分辨率提供第一画面、第二画面以及深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
本发明还体现在包括根据权利要求19的信号的存储介质。
参照附图的详细描述例示上面总结的本发明以及附加的特征。
附图说明
图1是图示3-D视频生成系统的框图。
图2是图示3-D视频生成系统提供的通用3-D视频信号的概念图。
图3是图示可能具有通用3-D视频信号的第一立体模式的概念图。
图4是图示可能具有通用3-D视频信号的第二立体模式的概念图。
图5是图示补充通用3-D视频信号的概念图。
图6是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的实例的数据图。
图7是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的另一实例的数据图。
图8是图示可以被包括在补充通用3-D视频信号中的呈现指导数据的又一实例的数据图。
图9是图示能够提供补充通用3-D视频信号的3-D视频补充系统的框图。
图10是图示3-D视频信号补充系统可以执行的一系列步骤的流程图。
图11是图示允许基于通用3-D视频信号来进行立体呈现的视频呈现系统的框图。
图12是图示包括自动立体显示设备的替代视频呈现系统的框图。
图13示出了用于30Hz逐行或者60Hz隔行的单视场（monoscopic）视频的BD播放机的概况。
图14示出了关于如何可以使用具有与单视场1080p 24Hz单信号所需的比特率近似相同的比特率的AVC/H264或者MVC来有效地编码L’R’D’信号的实例。
图15示出了用于新的3D蓝光应用的各种模式和选项。
图16示出了一种在比特率和存储器方面有效的L R D（2:1:1帧速率比）的联合编码（利用AVC/H264）的实例。
图17示出了其中以12Hz编码深度和透明度分量并且其中深度和透明度涉及不同的相位的编码实例。
图18示出了具有混合的12Hz和24Hz深度分量的编码实例。
图19示出了LRDD’模式下的交织和压缩，并且示出了D和D’帧的相应内容。
图20示出了用于建立用于深度和透明度的空间的各种子采样方法。
具体实施方式
图1图示了S-D视频生成系统GSY。该3-D视频生成系统GSY包括一对摄像机 – 右摄像机RCAM和左摄像机LCAM、记录处理器RPR以及存储介质STM。深度扫描器DS与左摄像机 LCAM相关联。该对摄像机RCAM、LCAM指向场景SCN，以捕捉该场景SCN的3-D视频。该场景SCN包括各种对象，诸如人、树、房子以及天上的太阳。每个对象相对于该对摄像机具有给定的距离，该对摄像机可以被看作观看场景SCN的虚拟观察者。
右摄像机RCAM和左摄像机LCAM每个可以是传统的摄像机。记录处理器RPR可以包括例如指令执行设备以及已经将一组指令载入的程序存储器，该组指令定义将在下文描述的记录处理器RPR的操作。存储介质STM可以是例如硬盘、可写光盘或者固态存储器的形式。深度扫描器DS可以包括例如可以被向各个方向引导的激光束以及检测激光束的反射的传感器。作为另一实例，深度扫描器DS可以包括雷达成像模块。作为又一实例，深度扫描器甚至可以是离线建立深度图的人的形式。
3-D视频生成系统GSY基本上如下操作。该对摄像机RCAM、LCAM提供场景SCN的基本3-D视频，其由画面配对的序列形成。画面配对包括右画面和左画面。由右摄像机RCAM捕捉的右画面意在用于人类观察者的右眼。由左摄像机LCAM捕捉的左画面意在用于人类观察者的左眼。
右摄像机RCAM和左摄像机LCAM相对于彼此具有特定的位置关系。此位置关系可以通过在例如屏幕尺寸和观看距离方面的典型呈现环境来定义。例如，包括被交织的右画面的序列和左画面的序列的基本3-D视频可以意在用于在具有12米的典型屏幕尺寸和18米的典型观看距离的电影院中进行显示。
深度扫描器DS执行用于左画面的一系列深度测量，而左摄像机LCAM捕捉左画面。深度测量提供用于所涉及的左画面的特定部分的深度指示值。这种特定部分可以包括单个像素或者可以构成块的一组像素。例如，左画面可以被有效地分为各个像素块，由此深度扫描器DS提供用于相应的像素块的相应的深度指示值。对于部分表示场景SCN中的人的像素块，深度扫描器DS可以提供表示场景SCN中的人与虚拟观察者之间的距离的深度指示值。
记录处理器RPR可以由此生成用于左画面的深度图，其包括深度扫描器DS为此左画面提供的相应的深度指示值。这种深度图可以被看作左画面的扩展，其增加从2-D到3-D的额外的维度。换言之，深度图向左画面的像素添加深度指示值，其包括所涉及的像素的亮度值以及一对色度值。深度图特别地专用于左画面：深度指示值与左画面中的至少一个像素相关联，而可能不可以将深度指示值与右画面中的任何像素相关联。深度图可以具有比左画面低的分辨率。在该情况下，相邻的像素共享相同的深度指示值，其适用于一组像素。
应当注意：可以以许多不同的形式来提供深度指示值。例如，深度指示值可以是视差值的形式，其对于典型的屏幕宽度、典型的观看距离以及典型的眼距离而定义。这种视差值可以被转换为距离值。
记录处理器RPR还可以生成用于左画面的背景画面。背景画面表示在左画面中被具有前景位置的其它对象遮蔽的对象或者对象的部分。也就是说，背景画面提供有关在左画面中具有前景位置的对象后面是什么的信息。此信息可以被有利地用于基于深度图来生成左图像的3-D表示。参照图1，房子具有背景位置，而人具有前景位置并且因此可以在左画面中遮蔽房子的一部分。背景画面可以由此至少部分地包括在左画面中房子被人遮蔽的部分。应当注意：背景画面还可以包括特别地专用于其的深度图。除非另外声明，背景画面可以包括纹理信息以及深度信息，该深度信息提供被遮蔽的对象的3-D表示。记录处理器RPR可以基于例如在右画面中包括的信息来生成用于左画面的背景画面。
记录处理器RPR还可以生成阿尔法图，其特别地专用于左画面。阿尔法图可以有利地用于提供根据左画面、深度图以及背景画面生成的经过移位的视点画面中的逐步过渡。这对所感知的图像质量做出贡献。阿尔法图可以被看作一组总加权系数，其可以对于经过移位的视点画面的特定部分确定来自左画面的贡献的程度以及来自背景画面的贡献程度。这种阿尔法图可以定义不同的画面部分的不同的混合参数，这允许平滑过渡。
记录处理器RPR通过向右摄像机RCAM和左摄像机LCAM提供的基本3-D视频添加元素来生成通用3-D视频信号。这些元素包括深度图，并且可选地包括背景画面和可以如上所述地生成的阿尔法图。存储介质STM存储通用3-D视频信号VS。通用3-D视频信号VS可以经受进一步的处理，其对于在许多种显示器上进行令人满意的3-D呈现做出贡献。这将在下文中更详细地描述。
图2图示了通用3-D视频信号VS。通用3-D视频信号VS包括通用3-D画面 …, VPn-1, VPn, VPn1, VPn-2, …的序列。通用3-D画面构成在给定时刻图1中图示的场景SCN的3-D表示。图2图示任意通用3-D画面VPn的细节。通用3-D画面VPn包括右画面RP和左画面LP，它们联合构成基本3-D画面。右画面RP提供意在用于人类观察者的右眼的场景SCN的综合表示，而左画面LP提供意在用于人类观察者的左眼的场景的综合表示。
通用3-D画面还包括深度图DM，并且优选地包括背景画面BG以及未在图2中表示的阿尔法图。深度图DM特别地专用于上面解释的左画面LP。深度图DM可以被看作灰度图像，其中灰度值对应于左图像中与特定像素或者特定组的像素有关的深度指示值。相对较低的深度指示值可以对应于指示相对邻近的对象的明亮色调（bright tone），而相对较高的深度指示值可以对应于指示相对较远的对象的暗色调（dark tone），或者反之亦然。背景画面BG也优选地特别地专用于左画面LP。实际上，在被部分或者整体遮蔽的对象在背景画面BG中表示的意义上，背景画面BG构成左画面LP的扩展。阿尔法图（如果存在的话）也特别地专用于左画面LP。
通用3-D视频信号VS由此包括对应于上文提及的基本3-D视频的基本3-D画面的序列。另外，通用3-D视频信号VS包括伴随的深度图的序列，并且优选地包括伴随的背景画面的序列以及伴随的阿尔法图的序列。如上文所解释的，这些附加的元素特别地专用于在基本3-D视频中包括的左画面。
在通用3-D视频信号VS中包括的基本3-D视频可以在立体显示设备上显示，由此左画面和右画面被分别应用于观看者的左眼和右眼。立体显示器具有给定的屏幕尺寸，并且观看者处于距立体显示设备给定的距离处。这定义给定的呈现环境。
实际的呈现环境可以类似于基本3-D视频意在用于的典型呈现环境。在该情况下，获得令人满意的场景SCN的3-D表示。例如，假定基本3-D视频意在用于如在上文提及的具有12米的典型屏幕尺寸和18米的典型观看距离的电影院中进行显示。如果在这种电影院中呈现基本3-D视频，则获得令人满意的场景的3-D表示。
然而，如果实际呈现环境不同于基本3-D视频意在用于的典型呈现环境，则这可能造成较不令人满意的场景SCN的3-D表示。例如，如果基本3-D视频意在用于在如上文描述的电影院中进行显示，而基本3-D视频在具有1米的屏幕尺寸和2.5米的典型观看距离的家用视频机上呈现，情况可能就是这样。在观看者将体验比在电影院中程度低的深度的意义上，这可能导致减小的深度效应。此外，在看起来在电影院中的屏幕后面很远的对象看起来几乎在家用设备的屏幕的前面的意义上，这也可能导致向观看者的深度移位。简而言之，当在家中观看意在用于电影院的3-D视频时，3-D视频将看起来与在电影院中相比相当不同。
如果呈现环境不同于所述呈现环境，则可以提供某种形式的校正。可以依靠内插或者外插来基于所捕捉的画面配对来生成新的画面配对。然而，这种校正相对复杂，并且因此是昂贵的，其涉及复杂的硬件或软件或两者。更有甚者，这种校正可能引入由内插误差或者外插误差（无论哪个适用时）导致的可感知的伪像。
在图2中图示的通用3-D视频信号VS允许在许多种呈现环境中的令人满意的3-D表示。在上述实例方面，意在用于电影院的3-D视频可能看起来与在家里类似。这归功于深度图DM的添加而被实现，该深度图特别地专用于所捕捉的画面配对中的一个画面 – 在此情况下是左画面LP。
深度图DM允许以相对简单和精确的方式基于左画面LP来生成新的画面。此新的画面表示根据略微不同于左画面LP的视点的视点的场景SCN。所述视点可以从左画面LP的视点稍微向右移位或者稍微向左移位。新的画面在下文中将因此被称为经过移位的视点画面。原理上，经过移位的视点画面可以表示根据与右画面RP的视点相同的视点的场景SCN。在该特定情况下，经过移位的视点画面应当理想地与右画面RP匹配。
图3和图4图示了两种不同的立体模式，它们可能具有图2中图示的通用3-D视频信号VS。这些立体模式将被分别称为立体模式A和立体模式B。在每种立体模式下，基于通用3-D画面提供一对所呈现的画面，以用于在显示设备上显示。该对所呈现的画面包括所呈现的左画面LR以及所呈现的右画面RR，它们被分别应用于观看者的左眼和右眼。图3和图4每个包括表示屏幕视差的水平轴。屏幕视差是由视点的改变导致的显示上的移位。因此，如上文所定义的经过移位的视点画面中的对象可以相对于左画面LP中的相同对象移位。
图3图示了立体模式A。在此立体模式下，通用3-D画面中包括的右画面RP构成所呈现的右画面RR。也就是说，所呈现的右画面RR是右画面RP的简单副本。如上文所提及的基于左画面LP和深度图DM生成的经过移位的视点画面构成所呈现的左画面LR。
图3图示了两个不同的经过移位的视点画面：经过左移位的视点画面LP+S以及经过右移位的视点画面LP-S。经过左移位的视点画面LP+S表示根据在左画面LP的视点的左侧的视点的场景SCN。此经过移位的视点画面具有相对于左画面LP的正视差移位P+2。经过右移位的视点画面LP-S表示根据在左画面LP的视点的右侧的视点的场景SCN。此经过移位的视点画面具有相对于左画面LP的负视差移位P-2。图3还图示了一种特定的情况，其中左画面LP构成所呈现的左画面LR，所呈现的左画面LR是左画面LP的简单副本。
如果经过左移位的视点画面LP+S构成所呈现的左画面LR，则观看者体验比当左画面LP构成所呈现的左画面LR时更大的深度效应。存在立体强度上的增加。相反，如果经过右移位的视点画面LP-S构成所呈现的左画面LR，则观看者体验比当左画面LP构成所呈现的左画面LR时更小的深度效应。存在立体强度上的减少。着重说明，左移位增加立体强度，而右移位减少立体强度。
可以在视差方面评估立体强度。例如，标准的立体强度可以对应于图3中指示的视差P8，其是当左画面LP构成所呈现的左画面LR时获得的。最大立体强度可以对应于图3中指示的视差P10，其是当经过左移位的视点画面LP+S构成所呈现的左画面LR时获得的。视差P10对应于正视差移位P+2所应用的视差P8。中等立体强度可以对应于图3中指示的视差P6，其是当经过右移位的视点画面LP-S构成所呈现的右画面RR时获得的。视差P6对应于负视差移位P-2所应用的视差P8。
图4图示了立体模式B。在此立体模式下，通用3-D画面中包括的左画面LP构成所呈现的左画面LR。也就是说，所呈现的左画面LR是左画面LP的简单副本。如上文所提及的基于左画面LP和深度图DM生成的经过右移位的视点画面LP-S构成所呈现的右画面RR。经过右移位的视点画面LP-S具有相对于左画面LP的负视差移位P-4。立体强度全部由此负视差移位确定。在立体模式B下，右画面RP不需要起任何特定作用。也就是说，在立体模式B下，右画面RP可以被有效地省略。
立体模式A优选地用于在最大立体强度与中等立体强度之间包括的立体强度范围中。标准立体强度被包括在此范围中。立体模式B优选地用于在中等立体强度与最小立体强度之间包括的立体强度范围中。也就是说，当期望相对较小的深度效应时，可以使用立体模式B。最小立体强度可以对应于不存在任何深度效应，也就是说纯二维表示。在此极端情况下，视差等于0：所呈现的左画面LR和所呈现的右画面RR是相同的。
可以由此通过生成经过移位的视点画面并且分别取决于应用立体模式A还是立体模式B来将经过移位的视点画面与右画面RP或者左画面LP组合，来获得期望的立体强度。可以基于左画面LP以及与其相关联的深度图DM根据预定义的通用规则来生成经过移位的视点画面。此预定义的通用规则可以基于几何关系并且可以对于所有不同的视点应用。在这种方式中，将左画面LP中的像素在某种程度上（as it were）移位由以下三个因素专门确定的量：期望的立体强度、如上文所解释的深度图DM为像素提供的深度指示值以及预定义的通用公式。由此移位的像素构成经过移位的视点画面的像素。
然而，如果以取决于环境的方式来生成经过移位的视点画面，则可以获得更有利的呈现结果，所述方式考虑一个或者更多个呈现参数，诸如屏幕尺寸。此外，创作者或者另一个人可能希望定义在给定的呈现环境中给定的3-D视频应当看起来如何。也就是说，作者可以表示偏好的3-D呈现，其不需要一定对应于基于物理对象之间的几何关系的3-D呈现。3-D呈现可以包含艺术偏好。
图5图示了补充通用3-D视频信号SVS，其处理在前面的段落中提及的几点。补充通用3-D视频信号SVS包括呈现指导数据GD，其伴随着通用3-D画面…, VPn-1, VPn, VPn1, VPn-2, …的序列。补充通用3-D视频信号SVS可以由此通过向图2中图示的通用3-D视频信号VS添加呈现指导数据GD来获得。
呈现指导数据GD包括涉及基于左画面和特别地专用于此左画面的深度图来生成经过移位的视点画面的参数。呈现指导数据GD可以根据定义生成经过移位的视点画面的默认方法的预定义的通用规则来指定例如一个或者更多个偏移。例如，可以为不同的立体强度指定相对于默认方法的不同的偏移。类似地，可以为不同的屏幕尺寸指定不同的偏移。更有甚者，偏移不需要一定应用于感兴趣的整个3-D视频。可以为感兴趣的3-D视频中的相应的场景或者甚至为相应的3-D画面来指定相应的偏移。由此，呈现指导数据GD被优选地组织为各个段，其中段与3-D画面的特定子序列有关，所述特定子序列可以构成场景SCN。段也可以与特定3-D画面有关。
图6图示了可以形成呈现指导数据GD的一部分的参数组的实例。该参数组以包括三列的表格的形式表示，所述三列中的每一列涉及表示为整数值（即10、6和5）的特定立体强度，其中10表示最大立体强度。每一列具有带有阴影底色的标题，其指示立体强度以及要用于该立体强度的立体方法。
该表格指示图3中图示的立体模式A应当用于在10与6之间包括的立体强度。该表格还指示图3中图示的立体模式B应当用于在5与0之间包括的立体强度。该表格还包括表示相应的深度指示值的相应的行。相应的深度指示值在表格的最左一列中列出，其具有阴影底色。
该表格对于上述三个立体强度10、6以及5中的每一个指定用于相应的深度指示值DV的相应的最大视差移位Pmax。可以以像素单位表示的相应的最大视差移位Pmax在所涉及的列的白色区域中列出。最大视差移位定义经过移位的视点画面中的像素与根据其生成经过移位的视点画面的左画面中的对应的像素之间的最大位移。图6中图示的表格可以由此在功能上被看作经过移位的视点画面生成器中的限制模块。
表格中指定的最大视差移位Pmax可以防止容易被感知为不自然的效应或者可以导致眼睛疲劳的效应或者这两者。如上文所解释的，生成经过移位的视点画面涉及移位所考虑的左画面的像素。移位的量典型地取决于深度指示值以及立体强度。相对较大的移位可能产生不自然的效应，或者导致眼睛疲劳，或者其它不利的效应。在图6中图示的表格中指定的最大视差移位Pmax通过确保移位的量保持在可接受的限度内来允许防止这种不利的效应。
对于在10和6之间以及5和0之间的立体强度的适合的最大视差移位Pmax可以依靠例如内插来获得。为该目的，这是足够的：该表格指定用于立体模式A下的两个不同的立体强度（诸如图6中的10和6）以及用于立体模式B下的单个立体强度（诸如5）的相应的最大视差移位Pmax。在立体模式B下不需要指定用于两个不同的立体强度的最大视差移位Pmax，因为用于立体强度0的所有最大视差移位Pmax可以典型地被视为等于0。立体强度0对应于单视场呈现，也就是说，无任何深度效应的纯二维表示。
图7图示了可以形成呈现指导数据GD的一部分的参数组的另一实例。该参数组以包括若干列的表格的形式表示，所述若干列中的每一列涉及表示为整数值（即10、8、6、5、3和1）的特定立体强度STS。每一列具有带有阴影底色的标题，其指示立体强度STS。该表格还包括表示各种不同的屏幕尺寸SZ（30、40、50英寸）的各行，所述屏幕尺寸SZ在表格中具有阴影底色的最左一列中指示。
该表格对于上述三个立体强度10、8、6、5、3和1中的每一个指定用于各种屏幕尺寸的相应的视差补偿Poff。可以以像素单位表示的相应的视差补偿Poff在所涉及的列的白色区域中列出。视差补偿定义经过移位的视点画面中的相应的像素相对于根据其生成经过移位的视点画面的左画面中的相应的对应像素的附加的位移。也就是说，视差补偿定义整体位移，其要被添加到对于给定的像素通过应用通用预定义规则而获得的特定的移位，以生成经过移位的视点画面。图7中图示的表格可以在功能上被看作经过移位的视点画面生成器中的输出补偿模块。
视差补偿可以补偿向观看者的深度移位，其可以当在具有小于感兴趣的3-D视频意在用于的屏幕的尺寸的尺寸的屏幕上呈现感兴趣的3-D视频时出现。例如，看起来在电影院中的屏幕后面很远的对象可以看起来几乎在家用设备的屏幕的前面，如上文所提及的。图7中图示的表格中指定的视差补偿Poff提供合适的校正。可以依靠例如内插来获得用于不同于图7中图示的表格中的屏幕尺寸和立体强度的屏幕尺寸和立体强度的适合的视差补偿。
图8图示了可以形成呈现指导数据GD的一部分的参数组的又一实例。该参数组以包括三列的表格的形式表示，每一列具有指示列标题的带有阴影底色的标题。题为STS的列指定相应的立体强度。题为Poff的另一列指定相应的视差补偿Poff。该表格还包括表示各种不同的屏幕尺寸SZ（30、40以及50英寸）的各行，所述屏幕尺寸SZ在表格中带有标题的最左一列中指示。
该表格指定用于各种不同的屏幕尺寸的立体强度STS和视差补偿Poff的优选的组合OPT。立体强度STS依靠整数值指示，像图6和图7中图示的表格中那样。视差补偿Poff可以以像素单位或者其它单位表示。每个优选的组合提供用于可能不同于感兴趣的3-D视频意在用于的典型屏幕尺寸的所涉及的屏幕尺寸的令人满意的呈现。创作者可以定义令人满意的呈现。也就是说，创作者可以依靠图8中图示的表格来表示当在具有感兴趣的屏幕尺寸的显示器上呈现时感兴趣的3-D视频应当看起来如何。可以依靠例如内插来获得不同于图8中图示的表格中的屏幕尺寸的屏幕尺寸的优选的组合。
呈现指导数据GD还可以明确地或者隐含地包括深度图精确度以及深度图分辨率的指示。优选地，与当生成经过移位的视点画面时相对精确的深度图不同地应用相对不精确的深度图DM。例如，当基于相对不精确的深度图来生成经过移位的视点画面时，存在相对较大的引入失真的概率。在这种情况下，像素应当仅移位相对较小的量，以便确保任何失真都相对较弱。因此，在3-D呈现过程中，可以有利地使用深度图精确度以及深度图分辨率的指示。这种指示还可以在某种程度上被嵌入像图7中图示的表格那样的指定最大视差移位Pmax的表格中。
如果例如仅基于存在于二维画面中的信息来估计深度指示值，则深度图可能相对不精确。机器或者人或者两者的组合可以基于例如有关所涉及的画面中的对象的先验知识、特别是关于所述对象的相应的典型尺寸的先验知识来生成这种所估计的深度图。典型地尺寸相对较大，但在画面中看起来相对较小的对象可能较远。依靠这种估计技术来向画面添加深度可以与向黑白画面添加色彩相比。深度指示值可能或者可能不能充分地近似将获得的值，已经例如基于距离测量或者立体画面配对的分析来使用精确的深度图生成技术。
图9图示了可以生成呈现指导数据GD的3-D视频补充系统XSY。该3-D视频补充系统XSY可以另外向通用3-D视频信号VS添加呈现指导数据GD，以便获得补充通用3-D视频信号SVS。该3-D视频补充系统XSY包括呈现指导处理器RGP、显示设备DPL以及操作者接口OIF。3-D视频补充系统XSY还包括存储介质STM，其中存储通用3-D视频信号VS，如图1中所图示的。
呈现指导处理器RGP可以例如包括指令执行设备以及程序存储器。在显示设备DPL可以模拟可以例如在屏幕尺寸方面不同的各种类型的显示设备的意义上，显示设备DPL优选地是通用的。可替代地，可以与图5中图示的3-D视频补充系统XSY相关联地使用各种不同类型的显示设备。操作者接口OIF可以例如包括键盘、触摸板、鼠标或轨迹球、各种按钮或者它们的任何组合。
图10图示了呈现指导处理器RGP可以为了生成呈现指导数据GD的目的而执行的一系列步骤S1-S7的实例。图10可以被看作一组指令的流程图表示，该组指令可以被载入到上述程序存储器中，以便使得参考指导处理器能够执行下文参照图10描述的各种操作。
在步骤S1中，呈现指导处理器RGP提示系统操作者选择通用3-D视频信号VS的特定部分（SEL_VS），如果需要的话，系统操作者可以选择通用3-D视频信号VS其整体。所选择的特定部分可以对应于特定的场景，诸如图1中图示的场景SCN。如上文所解释的，对于一个场景可以被视为最优的3-D呈现对于另一个场景可能不是最优的。因此，以逐场景为基础评估和调整3-D呈现可能是有利的。
在步骤S2中，呈现指导处理器RGP还可以提示系统操作者指定指示深度图精确度和深度图分辨率的数据（DM_PRC=?）。可替代地，呈现指导处理器RGP还可以包括检测模块，用于自动检测深度图精确度和深度图分辨率。如上文所解释的，深度图精确度和深度图分辨率的指示可以被有利地用于3-D呈现过程。也可以考虑这种指示以生成呈现指导数据GD。例如，如果深度图精确度相对较低或者深度图分辨率相对较低或者两者均相对较低，则在图6中图示的最大视差移位Pmax可以被设置为较低的值。
在步骤S3中，呈现指导处理器RGP提示系统操作者指定呈现环境（RND_CXT=?）。可以例如在屏幕尺寸、典型的观看者距离以及其它的与呈现有关的参数方面表示呈现环境。屏幕尺寸可以对应于图10中图示的显示设备DPL的屏幕尺寸，或者可以对应于显示设备DPL如上文所提及的那样可以模拟的另一屏幕尺寸。
在步骤S4中，呈现指导处理器RGP提示系统操作者指定立体强度并且可选地指定立体模式（STS=?）。立体强度可以为在0和10之间的范围内的整数值的形式。整数值0可以对应于纯二维表示，其意味着不存在任何深度效应。整数值10可以对应于最大立体强度，其提供最高程度的深度印象。整数值8可以例如对应于提供默认程度的深度印象的标准立体强度，所述默认程度的深度印象与场景的可靠的三维再现相关联。系统操作者可以在上文描述的立体模式A与B之间进行选择。立体模式可以被预定义为立体强度的函数。在该情况下，呈现指导处理器RGP提示系统操作者仅指定立体强度。
在步骤S5中，呈现指导处理器RGP提示系统操作者指定潜在地可以形成呈现指导数据GD的一部分的一组或者多组参数（SEL_PAR）。可以从菜单中选择一组参数，或者可以以常规方式指定一组参数。所指定的各组参数涉及基于左画面以及专用于此左画面的深度图来生成经过移位的视点画面，所述左画面和深度图存在于通用3-D视频信号VS中。所述参数典型地与视差有关，如在图6、图7以及图8中所图示的，并且所述参数可以修改深度印象。当在通用3-D视频信号VS中考虑各组参数时，所涉及的场景中的特定对象可能看起来更近或者远离。
在步骤S6中，呈现指导处理器RGP使得显示设备DPL显示通用3-D视频中系统操作者已经根据系统操作者已经定义的呈现环境和立体强度而选择的部分（DPL_VS_SEL）。也就是说，对于所涉及的部分中的每个通用3-D画面，呈现指导处理器RGP分别取决于立体模式是A还是B而生成如图3或图4中图示的所呈现的左画面LR和所呈现的右画面RR。在这样做时，呈现处理器考虑系统操作者已经指定的各组参数。这构成通用3-D视频的所涉及的部分的特定呈现。该系统操作者可以由此评估此特定呈现是否令人满意。
在步骤S7中，呈现处理器确定已经根据其执行了呈现的各组参数是否应当被包括在呈现指导数据GD中（PAR                                                
Figure 200980128855X100002DEST_PATH_IMAGE001
GD?）。呈现指导处理器RGP可以许多不同的方式来这样做。例如，在基本的方式中，呈现指导处理器RGP可以提示系统操作者指示呈现是否令人满意。如果系统操作者指示呈现令人满意，则呈现处理器可以包括在呈现指导数据GD中涉及的各组参数。另外，呈现处理器可以随后执行步骤S3以及其后面的步骤，以用于确定用于另一呈现环境的合适的参数组的目的。
在更复杂的方式中，呈现指导处理器RGP可以请求系统操作者指定对于所涉及的特定呈现的满意程度。满意程度可以是分数的形式。在此方式中，呈现指导处理器RGP可以执行步骤S5-S7若干次，每次针对不同组的参数。相应地，对于相应的不同组的参数获得相应的分数。如果感兴趣的所有组的参数已经被给出了分数，则呈现指导处理器RGP可以选择具有最高分数的一组参数或者各组参数（无论哪个适用时）。这些所选择的组的参数可以被包括在呈现指导数据GD中。呈现处理器可以随后执行步骤S3以及其后面的各步骤，以用于确定用于另一呈现环境的合适的参数组的目的。
相应地，呈现指导处理器RGP可以通过执行图10中图示的一系列步骤S1-S7来确定图6、图7以及图8中图示的各组参数中的任一个或者这些参数的任意组合。呈现指导处理器RGP可以接管来自系统操作者的特定任务或者决定。也就是说，与仅通过实例的方式给出的上文参照图10进行的描述相比，可以有更高程度的自动化。更有甚者，由该系统操作者做出的一个或者更多个决定可以代之由表示典型观看者的专门小组（panel）做出。在这种情况下，呈现指导处理器RGP可以配备有例如确定是否多数的专门小组成员觉得所涉及的呈现令人满意的多数投票模块，或者可以配备有确定由专门小组成员给出的平均值的平均分数模块。
一旦如上文所述地或者以其他方式获得了图5中图示的补充通用3-D视频信号SVS，补充通用3-D视频信号SVS就可以被分发和销售或者许可给终端用户。存在许多不同的方式来这样做。例如，可以依靠可以是无线或者有线或者它们的组合的网络来广播补充通用3-D视频信号SVS。作为另一实例，补充通用3-D视频信号SVS可以被上传到服务器中，终端用户可以从该服务器下载该补充通用3-D视频信号SVS。作为又一实例，可以产生许多存储介质，在所述存储介质上记录补充通用3-D视频信号SVS。在上述实例中的任一个中，优选地为了数据压缩和差错复原的目的编码该补充通用3-D视频信号SVS。
图11图示了一种可以安装在终端用户的家中的视频呈现系统RSY。视频呈现系统RSY包括立体类型的显示设备DPL，其可能需要观看者佩戴一副眼镜。左眼镜片将所呈现的左画面LR或者更确切地说是所呈现的左画面LR的序列传递给左眼。右眼镜片将所呈现的右画面RR或者更确切地说是所呈现的右画面RR的序列传递给右眼。为该目的，显示设备DPL可以交替地显示所呈现的左画面以及所呈现的右画面。当显示所呈现的左画面LR时，使得左眼镜片透明，在其它情况下左眼镜片不透明。类似地，当显示所呈现的右画面RR时使得右眼镜片透明，在其它情况下右眼镜片不透明。作为另一实例，显示设备DPL可以以给定的极化显示所呈现的左画面并且以相反的极化来显示所呈现的右画面。于是，左眼镜片和右眼镜片可以具有对应的相反的极化。
视频呈现系统RSY还包括各种功能实体：存储介质播放器PLY、解码器DEC、解多路复用器DMX、经过移位的视点画面生成器SHG、选择器SEL、控制器CTRL以及用户接口UIF。所有上述功能实体可以形成例如家庭影院设备的一部分。解码器DEC、解多路复用器DMX、经过移位的视点画面生成器SHG以及选择器SEL可以依靠指令执行设备和程序存储器来实现。在这种实现方式中，被载入到程序存储器中的一组指令可以导致指令执行设备执行对应于一个或者更多个功能实体的操作，其将在下文中更详细地描述。控制器CTRL和用户接口UIF可以至少部分地也被以此方式实现，并且此外与上述功能实体共享相同的指令执行设备。
视频呈现系统RSY基本上如下地操作。假定：存储介质播放器PLY读取包括图5中图示的补充通用3-D视频信号SVS的编码的版本CV的存储介质。解码器DEC接收此编码的版本CV，并且作为响应而提供补充通用3-D视频信号SVS。解多路复用器DMX有效地提取并且分离在此信号中包括的各个分量。呈现指导数据GD是控制器CTRL接收的一个这样的分量。经过移位的视点画面生成器SHG接收在通用3-D画面中包括的各个其他分量：左画面LP、深度图DM以及背景画面BG。经过移位的视点画面生成器SHG还可以接收阿尔法图，其可以包括在通用3-D画面中。右画面RP被直接应用于选择器SEL。
控制器CTRL基于可以预先存储在视频呈现系统RSY中的呈现指导数据GD以及呈现环境数据来确定一组经过移位的视点生成参数GP以及选择器控制信号SC。呈现环境数据定义在例如显示设备DPL的屏幕尺寸以及典型的观看距离的方面的呈现环境。控制器CTRL还可以考虑期望的立体强度STD（如果有的话），以用于确定该组经过移位的视图生成参数的目的。观看者可以依靠用户接口UIF来定义期望的立体强度STD。如果观看者未定义任何期望的立体强度STD，则控制器CTRL可以基于默认立体强度来操作。该组经过移位的视点生成参数GP可以例如包括考虑适用于图10中图示的视频呈现系统RSY的呈现环境、基于图6、图7以及图8中图示的表格中的任一个而建立的参数。
经过移位的视点画面生成器SHG根据该组经过移位的视点生成参数GP，基于左画面LP、深度图DM、背景画面BG而生成经过移位的视点画面LP+/-S。如果专用于左画面LP的阿尔法图可用，则经过移位的视点画面生成器SHG可以有利地利用这种阿尔法图。经过移位的视点画面生成器SHG在分别在图3和图4中图示的立体模式A或者立体模式B下操作。经过移位的视点生成参数GP定义移位的程度，其可以是如图3和图4中图示的向右或者向左。
选择器控制信号SC表示适用的立体模式。如果立体模式A适用，则选择器控制信号SC导致选择器SEL选择经过移位的视点画面LP+/-S以构成所呈现的左画面LR。在该情况下，选择器SEL选择右画面RP以构成所呈现的右画面RR。相反，如果立体模式B适用，则选择器控制信号SC导致选择器SEL选择经过移位的视点画面LP+/-S以构成所呈现的右画面RR。在该情况下，选择器SEL选择左画面LP以构成所呈现的左画面LR。在任一情况下，显示设备DPL基于所呈现的左画面LR和所呈现的右画面RR提供3-D呈现。
图12图示了一种替代视频呈现系统ARSY或者更确切地说是其部分。替代视频呈现系统ARSY包括自动立体类型的显示设备ADPL，其不需要观看者佩戴一副眼镜。这种显示设备典型地显示一组不同的视图MVS，其中每个视图在某种程度上被以特定方向发出。相应地，显示设备ADPL将不同的视图投射到左眼和右眼，其导致观看者体验深度效应。
该替代视频呈现系统ARSY包括多视图生成器MVG，其接收与图11中图示的经过移位的视点画面生成器SHG相同的分量：左画面LP、深度图DM以及背景画面BG。这些分量可以由类似于也在图11中图示的存储介质播放器PLY、解码器DEC以及解多路复用器DMX的功能实体提供。多视图生成器MVG还可以接收特别地专用于左画面LP的阿尔法图。
多视图生成器MVG生成在自动立体类型的显示设备DPL上显示的该组不同的视图MVS。实际上，多视图生成器MVG可以被看作包括多个经过移位的视点画面生成器，其中每个可以类似于图11中图示的经过移位的视点画面生成器SHG。这些相应的视点画面生成器生成表示根据不同的相应的视点的场景的相应的经过移位的视点画面。也就是说，在类似于图3和图4的示图中，每个相应的经过移位的视点画面具有在水平轴上的特定位置。应当注意：多视图生成器MVG完全不需要利用与左画面LP相关联的右画面RP。也就是说，为了3-D呈现的目的，不需要使用在补充通用3-D视频信号SVS中存在的右画面。
在上文中，描述了组合立体格式和所谓的图像+深度格式的优点的3D格式。以下的实施例对于以下内容进行详细说明：这种立体+深度格式如何可以在实践中被实现以用于现有的以及将来的蓝光播放机。隐含的思想是：使用深度分量（其在下文中也被称为“D”）的空间和时间子采样（并且可选地使用诸如遮蔽数据之类的另外的信息），并且将其格式化为2:2:1的LRD帧速率比的包括立体和深度两者的三维视频信号。
本发明的特别有利的实施例针对利用视频信号的较低分辨率的表示，以便生成适应原始立体信号的带宽需要的立体加深度信号。隐含的思想是：利用常规的1280*720@60Hz的视频流，以便编码1920*1080@24Hz的立体（LR）加深度（D）信号。
通过另外利用2:1，2:2:1交织，可以实现可以包含多个时刻（例如Dt=1和Dt=2）的各种分量（诸如深度分量或者透明度分量）的额外的帧插入。
如前面提出的LRD格式通常需要比蓝光播放机中当前可用的更多的（解码）资源。而且，这种蓝光播放机缺少用于立体信号和深度信号的附加的接口端口。
还应注意：当前使用的棋盘立体图案具有若干缺点，因为其不允许使用典型的自动立体显示器，并且3-D感知高度取决于屏幕尺寸。
而且，由于棋盘图案的性质，比特率要求相对较高（至少是1080p，24Hz，单视场视频所需要的比特率的两倍）。
提出了通过使用具有L’R’D’帧的1280*720p的时间交织的格式来克服解码资源和接口问题两者，其中：
- L’ = 空间子采样左图像（1920*1080 
Figure 783749DEST_PATH_IMAGE002
 1280*720），
- R’ = 空间子采样右图像（1920*1080 
Figure 638572DEST_PATH_IMAGE002
 1280*720），并且
- D’ = 空间深度。
典型地，尽管不是强制地，D’包括时间和空间深度、遮蔽纹理、遮蔽深度以及透明度信息。以因子2对D’进行时间子采样，这意味着L’ + R’ + D’ = 24 + 24 + 12 Hz = 60Hz。
典型地，蓝光播放机可以解码诸如使用MPEG编码的720p的图像流之类的视频信号。此外，720p图像信号是在像HDMI/CEA之类的已知接口上被支持的视频格式。所提出的空间和时间子采样以及将L、R和D交织为一个1280*720@60Hz L’R’D’的流允许在每个现有的BD播放机上实现本发明。
图13例示对于现有的单视场BD播放机解码以及以兆像素/秒的接口（IF）信息通过量的要求。为了支持上面的L’R’D’编码，对于现有的播放机不需要进行特别的修改。应注意：在图13中，D帧包括深度信息（D）、透明度信息（T）、背景纹理（BG）以及背景深度（BD）。仅剩的问题是解决同步问题。
如果流被如图14所描述的那样编码，则可以解决同步问题。这里示出了：优选地，L、R和D帧被交织以便形成L、R、D、L、R帧的重复的序列。此外，图14示出了编码图像的优选方式。HDMI标准具有以下选项：在所谓的信息帧中指示在接口上存在的图像是原始编码帧，并且具体地是I、P和B指示符存在。另外，需要向监视器或者显示器用信号通知L’R’D’编码，从而指示在接口上的信号不是常规的单视场720p信号，而是根据本发明的3D-720p信号。这可能需要在HDMI/CEA中被标准化，然而同样接口规范提供用于指示这些的足够的空间。
由于上面的L’R’D’信号具有常规720p 60Hz单视场信号的所有特性，其可以由蓝光播放机解码并且也可以被输出到蓝光播放机的HDMI输出接口。
如上面所指示的，D’分量的内容典型地不限于深度，而是也可以包括背景纹理（BG）、透明度（T）以及附加元数据信息。元数据可以是用于提高3D感知质量的附加图像信息，但是也可以是与内容有关的信息（例如信令等等）。
典型的分量是D（（前景）深度）、BG（背景纹理）、BD（背景深度）以及T（透明度图）。原理上，利用所提出的格式，这些分量在12 Hz而不是24 Hz下可用。它们可以利用已知的或者新颖的上采样算法来在时间上进行上采样。然而，对于某些应用，不需要上采样。例如，当在视频上面合成图形（字幕、OSD等等）时，使深度信息可用是有用的，以使得可以在正确的位置处合成所述图形，即在相对于深度的正确位置处合成所述图形。
上面的内容可以通过如在图17中所看到的那样对于深度（D）和透明度（T）具有不同的（即交替的）相位来实现。该图示出了包括深度信息D1以及透明度信息T2的1280x720的帧。1280x720的帧的分量D1基于来自时刻T=1/24秒处1920x1080帧的D1分量。1280x720的帧的分量T2基于来自时刻T=2/24秒处另外的1920x1080帧的T2分量。
使D1和T2根据不同的时刻而可用的优点在于：其通过利用来自相邻的时刻的透明度而允许改进的深度的时间重构，参见图17。
应注意：不是D帧中的所有分量都同等重要。这给略过（总是或者动态地取决于内容并且以某些标志来标记的）一个分量留下了空间，从而为另一分量处于完整的24 Hz留下了空间。此构思在图18中图示，在图18中，在单个1280x720帧内组合来自T=1/24以及T=2/24的透明度信息。
由此，图17指示了其中所有分量被时间子采样的实例，图18指示其中T（透明度）仅被空间子采样而未被时间子采样（T1, T2）的解决方案。
新3D BD
而且，对于新的要定义的3D蓝光播放机/规范，根据本发明的LRD类型的格式可以变得有关。有可能将来的BD播放机系统的信息通过量由于兼容性和成本的原因将近似为2 * 1080p@30 (or 2*1080i@60Hz)。当应用上面的LRD原理（即添加附加信息）时，需要多出11%的附加的信息通过量。这接近于2 * 1080p@30。取决于所述优点，将最大信息通过量增加为高出11%的值对于将来的系统可以是可接受的。
对于将来的3D蓝光播放机，质量是非常重要的。实验已经显示：特别地，以因子2:1进行的深度和透明度分量两者的空间子采样（即水平和垂直子采样）可以过多地降低质量（也参见图21）。改善此情况的一个选择是应用基于如图21中图示的对角滤波的所谓的quinqunx子采样。例如，1920*1080的像素可以首先被垂直子采样为1920*540，然后被对角滤波和quinqunx子采样，此后我们得到的结果是960*540（quinqunx）样本。然而，这些样本在水平方向上保持完整的1920的分辨率。
另一方式将是仅在垂直方向上对于深度和透明度进行子采样。图19示出了这可以如何使用L、R、D、L、R、D、D’帧的重复序列来实现。在底部，指示D帧的内容，即随后的D、D和D’帧。图中的箭头指示在帧的编码中使用的预测的方向。
在D帧内，提供以1920*540像素的分辨率交替的深度（D1，D2，D3）以及透明度（T1，T2）。同时，以960*540像素提供背景纹理（BG）以及背景深度（BD）。
应注意：在此特定的编码方案中，D帧和D’帧具有不同的内容和速率。D’类型的帧以L和D的帧速率一半的帧速率而提供。D’帧可被用于分配深度和透明度（这里是D2和T2）的丢失的时刻。请注意：（其中一些）分量也可以被quinqunx（也参见附录1）子采样。
随后，通过连续编码LRD-LRDD’-LRD-LRDD’，可以利用如在图19中的GOP（画面组）编码结构中指示的LRD流中的LRD信息来交织D’帧。
图19还示出了在L R D D’模式下如何可以通过使用D1来预测D3并且通过使用D1和D3两者来预测D2来有效地压缩深度信息D以及深度信息D’。
图15示出了用于编码视频以用于3D蓝光系统的选项中的一些。如我们可以从图15中看到的，本发明允许对于全高清的电影以及对于高清的体育两者而编码LRD（立体+深度）。
最后，图20示出了在选项1下本发明的实施例，其中用于上述LRDD’模式的D帧被交织。图20还示出了在选项2下本发明的实施例，其中来自4个时刻的信息被组合，而之前的选项仅组合来自2个时刻的信息。在后者的实施例中，视频信号的Y、U和V分量被用于携带不同的信息，例如，在D2帧中，对于T=1，U分量携带背景深度，而对于T=2，V分量携带背景深度。各个分量Y、U和V对于相应的D帧进行描述。
此第二选项的相应的D帧的内容D1、D2、D3、D4、D5、D6在交织实例的下面进行描述。
在此实施例中，用于四个时刻（BG11, BG12, BG13, BG14）的背景纹理被打包到一个帧（用于4个时刻）中，因此D帧可以被更有效地使用。此实施例有效地利用深度分量通常具有与由UV分量提供的尺寸类似的尺寸的事实。这甚至允许：对于12Hz，2 D或者T之一为完整的1920*1080的分辨率，其中其它的时刻处于1920*540。如可以在图20中看到的，甚至可能剩下一些剩余空间。
结束语
参照附图的上文的详细描述仅是在权利要求中限定的本发明以及附加特征的例示。本发明可以以许多不同的方式实现。为了例示这点，简要地指出一些替代方案。
本发明可以被有利地应用于与3-D视觉表示有关的许多类型的产品或者方法。3-D视频仅为一个实例。本发明可以等同地应用于3-D静止画面，即3-D照片。
根据本发明，存在许多提供3-D视频画面的方式。图1图示了包括一对摄像机RCAM、LCAM的实现方式。在此实例中，该对摄像机捕捉真实的画面。在另一种实现方式中，虚拟的画面配对可以依靠例如适当编程的处理器来生成。深度图不需要一定依靠深度扫描器或者类似的测量设备来获得。深度图可以基于估计而建立，如上文在详细描述中提及的。要紧的是：深度图特别地专用于同样构成3-D视觉表示的一对画面中的一个画面。
深度图可以如在上文中的详细描述中那样特别地专用于左画面，或者可以专用于右画面。也就是说，在图2中图示的通用3-D视频信号VS的不同版本中，深度图DM可以特别地专用于右画面RP。在这种变型中，根据右画面RP和特别地专用于此画面的深度图DM来生成经过移位的视点画面。于是，背景画面BG也将专用于右画面RP。为了例如数据减少或者带宽减少的目的，背景画面BG可以省略。
存在许多不同的提供呈现指导数据的方式。上文的详细描述提供了参照图10的实例。在此实例中，执行一系列步骤，其中一些步骤涉及与系统操作者交互。这些交互中的一个或者更多个可以有效地被自动决策代替。还可以以全自动的方式生成呈现指导数据。还应当注意：图10中图示的系列步骤不需要一定以这些步骤被示出的顺序来执行。此外，各个步骤可以被组合为一个步骤，或者可以省略一定步骤。
术语“画面”应当被广义地理解。该术语包括允许视觉呈现的任何实体，诸如图像、帧或者场。
从广义上说，存在许多依靠硬件或者软件或者它们的组合来实现功能实体的方式。在此方面，附图是非常概略的。尽管附图将不同的功能实体示为不同的块，但这绝不排除其中单个实体执行若干功能的实现方式，或者其中若干实体执行单个功能的实现方式。例如，参照图11，解码器DEC、解多路复用器DMX、经过移位的视点画面生成器SHG、选择器SEL以及控制器CTRL可以依靠包括所有这些功能实体的集成电路的形式的适当编程的处理器或者专用处理器来实现。
存在许多存储和分发一组指令（即软件）的方式，该组指令允许可编程电路根据本发明来操作。例如，软件可以被存储在诸如光盘或者存储器电路之类的适当的介质中。其中存储软件的介质可以被提供为单独的产品或者与可以执行软件的另一产品一起提供。这种介质也可以是使得软件能够被执行的产品的一部分。软件也可以经由通信网络来分发，所述通信网络可以是有线的、无线的或者混合的。例如，软件可以经由因特网来分发。可以使得软件可用于依靠服务器下载。下载可能需要付费。
上文进行的结语表明参照附图的详细描述例示而非限制了本发明。存在落入所附权利要求的范围内的许多替代方案。权利要求中的任何附图标记不应当解释为限制权利要求。词语“包括”不排除除了权利要求中所列出的元件或步骤之外的其它元件或步骤的存在。元件或步骤前面的词语“一”不排除存在多个这种元件或步骤。仅仅是相应的从属权利要求限定相应的附加特征这一事实不排除对应于从属权利要求的组合的附加特征的组合。

Claims (20)

1. 一种提供3-D画面的方法，包括：
- 画面提供步骤，其中提供一对画面（LP, RP），其包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）；
- 深度图提供步骤，其中提供特别地专用于所述第一画面的深度图（DM），所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。
2. 根据权利要求1所述的方法，包括：
- 呈现指导数据提供步骤，其中提供呈现指导数据（GD），所述呈现指导数据指定用于相应的呈现环境的相应的参数，其中所述相应的参数涉及根据所述第一画面（LP）和所述深度图（DM）来生成经过移位的视点画面（LP+/-S），所述深度图（DM）特别地专用于所述第一画面。
3. 根据权利要求1所述的方法，所述呈现指导数据提供步骤包括子步骤，其中：
- 为第一立体模式（A）定义一组参数，在所述第一立体模式（A）下，根据所述第一画面（LP）和所述深度图（DM）生成的经过移位的视点画面（LP+/-S）构成所呈现的第一画面（LR），并且在所述第一立体模式（A）下，所述第二画面（RP）构成所呈现的第二画面（RR）；以及
- 为第二立体模式（B）定义一组参数，在所述第二立体模式（B）下，所述第一画面（LP）构成所呈现的第一画面（LR），并且在所述第二立体模式（B）下，根据所述第一画面（LP）和所述深度图（DM）生成的经过移位的视点画面（LP+/-S）构成所呈现的第二画面（RR）。
4. 根据权利要求3所述的方法，所述呈现指导数据提供步骤包括子步骤，其中：为相应组的参数（Pmax）提供其中所述第一立体模式（A）应当应用的第一立体强度范围（10-6）以及其中所述第二立体模式（B）应当应用的第二立体强度范围（5-0）的定义。
5. 根据权利要求2所述的方法，所述呈现指导数据（GD）定义用于相应的深度指示值（DV）的相应的最大视差移位值（Pmax）。
6. 根据权利要求2所述的方法，所述呈现指导数据（GD）定义用于相应的屏幕尺寸（SZ）的相应的视差补偿值（Poff）。
7. 根据权利要求1所述的方法，所述呈现指导数据（GD）包括深度图精确度的指示。
8. 根据权利要求1所述的方法，包括：
- 背景画面提供步骤，其中提供特别地专用于所述第一画面（LP）的背景画面（BG）。
9. 根据权利要求8所述的方法，包括：
- 阿尔法图提供步骤，其中提供特别地专用于所述第一画面（LP）的阿尔法图，所述阿尔法图定义能够根据左画面、所述深度图（DM）以及所述背景画面（BG）生成的经过移位的视点画面中的逐步过渡。
10. 一种3-D画面提供系统，包括：
- 画面提供装置（LCAM, RCAM），用于提供一对画面（LP, RP），其包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）；
- 深度图提供器（DS, RPR），用于提供特别地专用于所述第一画面（LP）的深度图（DM），所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。
11. 一种传递3-D画面的信号，包括：
- 一对画面，包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）；
- 特别地专用于所述第一画面（LP）的深度图（DM），所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离。
12. 一种存储介质，包括根据权利要求11的信号。
13. 一种基于根据权利要求10的信号呈现3-D画面的方法，所述方法包括：
- 经过移位的视点画面生成步骤，其中根据所述第一画面（LP）和所述深度图（DM）生成经过移位的视点画面（LP+/-S），所述深度图（DM）特别地专用于所述第一画面；以及
- 呈现步骤，用于根据下面两个立体模式中的至少一个来呈现所述3-D画面：
    - 第一立体模式（A），其中所述经过移位的视点画面（LP+/-S）构成所呈现的第一画面（LR），并且其中在所述信号中包括的所述第二画面（RP）构成所呈现的第二画面（RR）；以及
    - 第二立体模式（B），其中包括在所述信号中的所述第一画面（LP）构成所呈现的第一画面（LR），并且其中所述经过移位的视点画面（LP+/-S）构成所呈现的第二画面（RR）。
14. 一种用于基于根据权利要求10的信号呈现3-D画面的3-D画面呈现系统，所述系统包括：
- 经过移位的视点生成器（SHG），用于根据所述第一画面（LP）和所述深度图（DM）生成经过移位的视点画面（LP+/-S），所述深度图（DM）特别地专用于所述第一画面（LP）；以及
- 选择器（SEL），用于根据下面两个立体模式中的至少一个来呈现所述3-D画面：
    - 第一立体模式（A），其中所述经过移位的视点画面（LP+/-S）构成所呈现的第一画面（LR），并且其中在所述信号中包括的所述第二画面（RP）构成所呈现的第二画面（RR）；以及
    - 第二立体模式（B），其中包括在所述信号中的所述第一画面（LP）构成所呈现的第一画面（LR），并且其中所述经过移位的视点画面（LP+/-S）构成所呈现的第二画面（RR）。
15. 一种计算机程序产品，其包括一组指令，当其被载入可编程处理器中时，其导致所述可编程处理器执行如权利要求1-9中的任一项或者权利要求13所述的方法。
16. 如权利要求1所述的方法，其中以被调谐到用于传送信号的预定带宽的分辨率提供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
17. 如权利要求16所述的方法，其中所述额外的帧包括多个时刻的分量。
18. 根据权利要求10所述的3-D画面提供系统，其中以被调谐到用于传送信号的预定带宽的分辨率提供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
19. 一种传递3-D画面的信号，包括：
- 一对画面，包括意在用于观看者的一只眼睛的第一画面（LP）以及意在用于观看者的另一只眼睛的第二画面（RP）；
- 特别地专用于所述第一画面（LP）的深度图（DM），所述深度图包括深度指示值，深度指示值与所述第一画面的特定部分有关并且指示至少部分地由所述第一画面的该部分表示的对象与所述观看者之间的距离，并且其中以被调谐到用于传送信号的预定带宽的分辨率提供所述第一画面、所述第二画面以及所述深度图，并且其中编码额外的帧，从而提供用于基于图像和深度分量来进行呈现的另外的数据。
20. 一种存储介质，包括根据权利要求19的信号。
CN200980128855XA 2008-07-24 2009-07-22 通用3-d画面格式 Pending CN102106152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610485204.8A CN106101682B (zh) 2008-07-24 2009-07-22 通用3-d画面格式

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP08305420.5 2008-07-24
EP08305420 2008-07-24
EP08169821.9 2008-11-24
EP08169821 2008-11-24
PCT/IB2009/053180 WO2010010521A2 (en) 2008-07-24 2009-07-22 Versatile 3-d picture format

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610485204.8A Division CN106101682B (zh) 2008-07-24 2009-07-22 通用3-d画面格式

Publications (1)

Publication Number Publication Date
CN102106152A true CN102106152A (zh) 2011-06-22

Family

ID=41066194

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980128855XA Pending CN102106152A (zh) 2008-07-24 2009-07-22 通用3-d画面格式
CN201610485204.8A Active CN106101682B (zh) 2008-07-24 2009-07-22 通用3-d画面格式

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610485204.8A Active CN106101682B (zh) 2008-07-24 2009-07-22 通用3-d画面格式

Country Status (10)

Country Link
US (2) US9432651B2 (zh)
EP (2) EP2308241B1 (zh)
JP (1) JP5567562B2 (zh)
KR (1) KR101749893B1 (zh)
CN (2) CN102106152A (zh)
BR (1) BRPI0911016B1 (zh)
MY (1) MY155378A (zh)
RU (1) RU2519057C2 (zh)
TW (1) TWI573434B (zh)
WO (1) WO2010010521A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103688535A (zh) * 2012-07-19 2014-03-26 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN104519336A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 还原尺寸重调景深图框的方法、装置及系统
CN105913499A (zh) * 2016-04-12 2016-08-31 郭栋 一种立体转制合成的方法及系统
CN107431801A (zh) * 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013966A (ko) 2009-05-01 2012-02-15 톰슨 라이센싱 3ｄｖ를 위한 기준 화상 리스트
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
KR20110005205A (ko) * 2009-07-09 2011-01-17 삼성전자주식회사 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9344702B2 (en) 2010-08-09 2016-05-17 Koninklijke Philips N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
WO2012036903A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
CN103202019A (zh) * 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
KR101834934B1 (ko) * 2010-12-03 2018-03-08 코닌클리케 필립스 엔.브이. ３ｄ 이미지 데이터의 전송
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
CN103095978A (zh) * 2011-11-03 2013-05-08 华晶科技股份有限公司 产生背景模糊的影像处理方法及其影像撷取装置
KR20130094905A (ko) * 2012-02-17 2013-08-27 삼성전자주식회사 디스플레이장치 및 그 입체감 조정방법
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
JP2014016383A (ja) * 2012-07-05 2014-01-30 Toshiba Corp 画像処理装置および画像表示装置
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
RU2013102854A (ru) * 2013-01-30 2014-08-10 ЭлЭсАй Корпорейшн Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
RU2015147002A (ru) * 2013-04-05 2017-05-12 Конинклейке Филипс Н.В. Перенастройка сигнала трехмерного изображения
RU2556451C2 (ru) * 2013-06-06 2015-07-10 Общество с ограниченной ответственностью "Триаксес Вижн" СПОСОБ КОМПОНОВКИ ФОРМАТА ЦИФРОВОГО СТЕРЕОСКОПИЧЕСКОГО ВИДЕОПОТОКА 3DD Tile Format
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
RU2661331C2 (ru) * 2014-10-08 2018-07-13 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображений с эффектом глубины при кодировании видео
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
KR102434497B1 (ko) * 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
US10671881B2 (en) 2017-04-11 2020-06-02 Microsoft Technology Licensing, Llc Image processing system with discriminative control
RU2691884C1 (ru) * 2018-01-16 2019-06-18 Общество с ограниченной ответственностью "Авиаинформатика" Телевизионное устройство для формирования стереоскопического изображения
WO2019146226A1 (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および出力情報制御方法、並びにプログラム
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
US11190748B1 (en) * 2020-11-20 2021-11-30 Rockwell Collins, Inc. Dynamic parallax correction for visual sensor fusion

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1524249A (zh) * 2000-09-14 2004-08-25 用于自动进行二维和三维转换的方法
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1726726A (zh) * 2002-12-16 2006-01-25 三洋电机株式会社 立体图像产生设备和立体图像传递方法
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
CN1925627A (zh) * 2005-08-31 2007-03-07 三星电子株式会社 控制三维图像深度的装置和方法
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
CN101156175A (zh) * 2005-04-11 2008-04-02 三星电子株式会社 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
WO2008067363A2 (en) * 2006-11-27 2008-06-05 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8626527D0 (en) 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH0946729A (ja) * 1995-08-01 1997-02-14 Olympus Optical Co Ltd 立体撮像装置
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US6137912A (en) * 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
WO2001096147A2 (en) * 2000-06-15 2001-12-20 Automotive Systems Laboratory, Inc. Occupant sensor
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
WO2002059835A1 (en) 2001-01-26 2002-08-01 Koninklijke Philips Electronics N.V. Spatio-temporal filter unit and image display apparatus comprising such a spatio-temporal filter unit
EP1321894B1 (en) 2001-11-27 2011-11-09 Samsung Electronics Co., Ltd. Apparatus and method for representing 3-dimensional objects using depth images
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
EP1408703A3 (en) * 2002-10-10 2004-10-13 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
JP3971691B2 (ja) * 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
US20060203085A1 (en) 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
EP1587329B1 (en) 2003-01-20 2015-04-15 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
US20050041736A1 (en) * 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
EP2538676A3 (en) 2004-02-27 2014-01-08 Tdvision Corporation S.A. DE C.V. Method and system for digital coding 3D stereoscopic video images
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
EP1897056B1 (en) * 2005-06-23 2016-08-10 Koninklijke Philips N.V. Combined exchange of image and related data
KR20080075079A (ko) 2005-07-06 2008-08-14 미디어팟 엘엘씨 비주얼 데이터 캡처 시스템 및 방법
KR100988894B1 (ko) * 2005-11-17 2010-10-20 노키아 코포레이션 ３차원 이미지 데이터를 생성, 전달, 및 처리하기 위한방법 및 장치
RU2306678C1 (ru) * 2006-02-07 2007-09-20 Василий Александрович ЕЖОВ Автостереоскопический дисплей с квазинепрерывным спектром ракурсов
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP4751801B2 (ja) * 2006-10-17 2011-08-17 シャープ株式会社 立体画像検索装置
JP2008141666A (ja) 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP5429896B2 (ja) * 2008-05-12 2014-02-26 トムソン ライセンシング 立体動画による潜在的眼精疲労を測定するシステムおよび方法
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1524249A (zh) * 2000-09-14 2004-08-25 用于自动进行二维和三维转换的方法
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1726726A (zh) * 2002-12-16 2006-01-25 三洋电机株式会社 立体图像产生设备和立体图像传递方法
CN101156175A (zh) * 2005-04-11 2008-04-02 三星电子株式会社 3d对象的基于深度图像呈现方法和使用该方法的建模方法和设备以及渲染方法和设备
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
CN1925627A (zh) * 2005-08-31 2007-03-07 三星电子株式会社 控制三维图像深度的装置和方法
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
WO2008067363A2 (en) * 2006-11-27 2008-06-05 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103688535A (zh) * 2012-07-19 2014-03-26 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103688535B (zh) * 2012-07-19 2017-02-22 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US10104360B2 (en) 2012-07-19 2018-10-16 Sun Patent Trust Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
CN104519336A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 还原尺寸重调景深图框的方法、装置及系统
CN107431801A (zh) * 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备
US10397538B2 (en) 2015-03-01 2019-08-27 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
US10574962B2 (en) 2015-03-01 2020-02-25 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
US10701331B2 (en) 2015-03-01 2020-06-30 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
US10742948B2 (en) 2015-03-01 2020-08-11 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
US11870967B2 (en) 2015-03-01 2024-01-09 Nevermind Capital Llc Methods and apparatus for supporting content generation, transmission and/or playback
CN105913499A (zh) * 2016-04-12 2016-08-31 郭栋 一种立体转制合成的方法及系统

Also Published As

Publication number Publication date
EP3101894A1 (en) 2016-12-07
BRPI0911016B1 (pt) 2021-01-05
BRPI0911016A2 (pt) 2016-06-07
CN106101682B (zh) 2019-02-22
KR20110045013A (ko) 2011-05-03
EP2308241A2 (en) 2011-04-13
US20110122131A1 (en) 2011-05-26
US10567728B2 (en) 2020-02-18
WO2010010521A2 (en) 2010-01-28
US20160344995A1 (en) 2016-11-24
RU2519057C2 (ru) 2014-06-10
JP2011529287A (ja) 2011-12-01
US9432651B2 (en) 2016-08-30
TWI573434B (zh) 2017-03-01
WO2010010521A3 (en) 2010-03-18
MY155378A (en) 2015-10-15
EP3101894B1 (en) 2021-06-23
JP5567562B2 (ja) 2014-08-06
KR101749893B1 (ko) 2017-06-22
TW201010409A (en) 2010-03-01
CN106101682A (zh) 2016-11-09
RU2011106470A (ru) 2012-08-27
EP2308241B1 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
CN102106152A (zh) 通用3-d画面格式
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
Meesters et al. A survey of perceptual evaluations and requirements of three-dimensional TV
RU2538335C2 (ru) Объединение данных 3d изображения и графических данных
EP2235685B1 (en) Image processor for overlaying a graphics object
CN103181171B (zh) 深度指示图的产生
JP6095067B2 (ja) 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US20110298795A1 (en) Transferring of 3d viewer metadata
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
CN103024408A (zh) 立体图像转换装置和方法、立体图像输出装置
CN102224738A (zh) 在三维图形用户界面中扩展二维图形
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
JP2011508557A5 (zh)
CN102132573A (zh) 用于编码3d视频信号的方法和系统，用于编码3d视频信号的编码器，编码的3d视频信号，用于解码3d视频信号的方法和系统，用于解码3d视频信号的解码器
CN102014293B (zh) 平面视频的立体渲染方法
CN104982033A (zh) 用于生成中间视图图像的系统
CN103369336A (zh) 一种设备和方法
Grau et al. 3D-TV R&D activities in europe
RU2632404C2 (ru) Данные сигнализации глубины
CN102196287A (zh) 再现设备、再现控制方法和程序
Doyen et al. 3D intensity adjustment of a stereo content to improve Quality Of Experience

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110622