Nothing Special   »   [go: up one dir, main page]

CN101006732A - 视图模式的检测 - Google Patents

视图模式的检测 Download PDF

Info

Publication number
CN101006732A
CN101006732A CNA2005800283175A CN200580028317A CN101006732A CN 101006732 A CN101006732 A CN 101006732A CN A2005800283175 A CNA2005800283175 A CN A2005800283175A CN 200580028317 A CN200580028317 A CN 200580028317A CN 101006732 A CN101006732 A CN 101006732A
Authority
CN
China
Prior art keywords
view
data
data element
element structure
receives
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800283175A
Other languages
English (en)
Other versions
CN101006732B (zh
Inventor
M·P·C·M·克里杰恩
W·伊杰泽曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101006732A publication Critical patent/CN101006732A/zh
Application granted granted Critical
Publication of CN101006732B publication Critical patent/CN101006732B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Abstract

本发明公开了一种用于分析接收到的图像数据以确定接收到的图像数据是对应于单个视图还是多个视图的方法的单元。该方法包括:将接收到的图像数据(200)划分成多个数据元素(224-234)结构(1-9);计算第一个数据元素结构(1)与第二个数据元素结构(2)之间的相关性;以及根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图。

Description

视图模式的检测
技术领域
本发明涉及一种分析接收到的图像数据以确定该接收到的图像数据是对应于单个视图还是对应于多个视图的方法。
本发明还涉及一种装载在计算机装置中的计算机程序产品,其包括分析接收到的图像数据以便确定该接收到的图像数据是对应于单个视图还是对应于多个视图的指令。
本发明还涉及一种视图模式分析单元,其用于分析接收到的图像数据以确定该接收到的图像数据是对应于单个视图还是对应于多个视图。
本发明还涉及一种显示设备,其设置为根据接收到的图像数据显示多个视图,该显示设备包括如上所述的视图模式分析单元。
背景技术
自出现显示设备以来,逼真的3D显示设备就一直是许多人的梦想。已经研究出应当会得到这种显示设备的许多原理。一些原理试图创作出具有一定体积的逼真3D对象。例如,在2003年SID’03会议论文集1531-1533页,由A.Sullivan撰写的论文“固态多平面体积显示器(Solid-state Multi-planar Volumetric Display)”中的显示设备中,利用快速投影仪在平面阵列处显示信息。每个平面是可切换的扩散器。如果平面的数量足够大,则人脑整合画面,并且观察到逼真的3D对象。这个原理可以使观看者在一定范围之内环顾该对象。在这种显示设备中,所有对象都是(半)透明的。
许多其它原理则试图制造仅基于双目视差的3D显示设备。在这些系统中,观看者的左眼和右眼察觉不同的图像,因此观看者察觉到3D图像。在普林斯顿大学出版社1993年出版,D.F.McAllister(Ed.)著的“立体计算机图形和其它真实3D技术(Stereo Computer Graphicsand Other True 3D Technologies)”中,能够找到这些概念的综述。第一个原理使用光阀眼镜结合例如CRT。如果显示奇数帧,则遮挡左眼的光,如果显示偶数帧,则遮挡右眼的光。
将无需附加装置就可以显示3D的显示设备称作自动立体显示设备。
第一种无眼镜显示设备包括用于生成瞄准观看者左眼和右眼的光锥的挡板。该锥体对应于例如奇数和偶数子像素列。通过利用适当的信息寻址这些列,如果观看者位于准确的位置则其左眼和右眼中获得的图像不同,并且能够察觉到3D图像。
第二种无眼镜显示设备包括用于将奇数和偶数子像素列的光成像到观看者的左眼和右眼的透镜阵列。
上述无眼镜显示设备的缺点在于观看者必须保持在固定位置。为了引导观看者,已经提出了指示器来指示观看者本身是否位于正确的位置。参见例如美国专利US5986804,其中将挡板与红色和绿色发光二极管结合。如果观看者的位置正确,则他看到绿光,否则看到红光。
为了减轻坐在固定位置的观看者的负担,已经提出了多视图自动立体显示设备。参见例如美国专利US60064424和US20000912。在US60064424和US20000912所公开的显示设备中,使用了倾斜双凸透镜,其中双凸透镜的宽度大于两个子像素。这样就存在几幅彼此相接的图像,并且观看者一定程度上可以自由地向左和向右移动。
自动立体显示设备的缺点是伴随3D图像的生成出现分辨率损失。有利的是,这些显示设备可以在2D和3D模式之间切换,即在单视图模式和多视图模式之间切换。如果需要比较高的分辨率,可以切换到单视图模式,因为单视图模式具有更高的分辨率。
在1998年SPIE会议论文见第3295页,由J.Eichenlaub撰写的论文“用于游戏机、监视器和笔记本用途的轻重量紧凑2D/3D自动立体LCD背光(A lightweight compact 2-D/3-D autostereoscopic LCDbacklight for games,monitor and notebook applications)”中,描述了这种可切换显示设备的实例。公开了将可切换扩散器用于在2D和3D模式之间的切换。WO2003015424中描述了可切换自动立体显示设备的另一个实例,其中将基于LC的透镜用于制成可切换双凸透镜。
原理上,可以将整个显示设备从2D切换到3D,反之亦然。可选的是,仅切换一部分显示设备。为了在各种视图模式之间切换,需要适当的控制信息作为输入。
显而易见,必须设置用于接收可能对应于单个视图或者对应于多个视图的图像数据的显示设备,以确定接收到的图像数据是否与该显示设备的能力相兼容。该显示设备可以设置为根据接收到的图像数据中视图的实际数量切换到特定的视图模式,例如单个视图或者多个视图。可选的是,该显示设备可以设置为将对应于例如9个视图的接收到的图像数据映射到对应于8个视图的显示数据中。例如,这可以通过不予处理对应于9个视图中的一个视图的一部分接收到的图像数据来实现。显而易见,需要确定接收到的图像数据中视图的实际数量。
发明内容
本发明的目的是提供一种开篇段落中所述类型的方法,以通过比较容易的方式来确定接收到的图像数据对应于单个视图还是对应于多个视图。
本发明目的的实现依赖于该方法包括:
-将接收到的图像数据划分成多个数据元素结构;
-计算第一个数据元素结构与第二个数据元素结构之间的相关性;
-根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图。
本发明基于以下事实,一起形成多视图图像的不同视图的相关性比较强。通常,不同的视图对应于一个或多个照相机从略微不同的角度拍摄的相同场景。这意味着:这些视图相互表现出强烈的相似性。比较像素的对应亮度值和/或色值,例如不同视图的数据元素产生了表示相关量的量度。接收到的图像数据包括常规的数据元素结构-例如亮度值的二维矩阵或者RGB三元组。现有技术不能获知数据元素属于单个视图还是多个视图,多个视图比单个视图具有更低的空间分辨率。为了分析接收到的图像数据,假设接收到的图像数据对应于多个视图。优选的是,对实际视图数量和数据元素结构的布置进行假设。根据这种假设,将接收到的图像数据划分成多个数据元素结构。例如,如果假设了存在两个视图,那么将接收到的图像数据中的偶数数据元素分配给第一个数据元素结构,将接收到的图像数据中的奇数数据元素分配给第二个数据元素结构。最后,通过计算相关性并且分析相关性来核实该假设。优选的是,上述分析包括将该相关性与预定的阈值进行比较。
根据本发明的方法的实施例,还包括计算第一个数据元素结构与第三个数据元素结构之间的进一步相关性,并且如果这个进一步的相关性小于第一个数据像素结构与第二个数据元素结构之间的相关性,则确定接收到的图像数据对应于多个视图。如上所述,多视图图像的不同视图之间存在相关性。通常,不同视图之间的相关性相互不等。例如,两幅连续的视图通常比彼此距离更远的两幅视图更加相关。除了将相关性与预定的阈值进行比较之外,还要比较已经算出的相关性,这样稳定性(robustness)更高。
根据本发明的方法的实施例,还包括计算第一个数据元素结构与各个进一步的数据元素结构之间的进一步相关性序列,并且如果进一步相关性序列的连续相关性根据预定模式相互相关,则确定接收到的图像数据对应于多个视图。除了比较两对数据元素结构的相关性之外,将多个相关性相互进行比较也是有利的。这样就产生了更稳定的方法。预定的模式例如可以是值的序列,在这些值中连续的值小于先前的值。可选的是,连续的值更大。显而易见,其他的模式也是可以的,例如10、9、8、7、8、9、10的周期性模式。
在根据本发明的方法的实施例中,基于从一组数据元素结构布置中选择特定的数据元素结构布置来将接收到的图像数据划分成多个数据元素结构。基于所假设的布置将接收到的图像数据划分成多个数据元素结构。这意味着不同结构的数据元素相对于进一步结构的进一步数据元素的空间排列。实际的布置是未知的。原理上存在几种可能的布置,即存在一组数据元素结构的布置。例如,适用于具有两个视图的显示设备的第一布置,适用于具有八个视图的显示设备的第二布置,适用于具有九个视图的显示设备的第三布置等等。设置根据本发明的方法的这个实施例以评价多个布置。从该组布置中选择第一布置,通过计算各相关性并且相互比较这些相关性来评价该第一布置。随后,选择第二布置,并且按照类似的方式进行评价。可选的是,评价进一步的布置。最后根据各评价结果来选择最匹配的布置。
通常,数据元素结构的特定布置对应于显示设备的发光元件结构的特定布置,设置该显示设备以接收图像数据并且生成与数据元素结构的特定布置相匹配的特定数量的视图。
本发明的另一个目的是提供一种开篇段落中所述类型的计算机程序产品,以按照比较容易的方式确定接收到的图像数据是对应于单个视图还是对应于多个视图。
本发明目的的实现依赖于该计算机程序产品包括处理装置和存储器,在装载了该计算机程序产品之后,该计算机程序产品给所述处理装置提供实施以下步骤的能力:
-将接收到的图像数据划分成多个数据元素结构;
-计算第一个数据元素结构与第二个数据元素结构之间的相关性;以及
-根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图。
本发明的另一个目的是提供一种开篇段落中所述类型的视图模式分析单元,其设置为按照比较容易的方式确定接收到的图像数据对应于单个视图还是对应于多个视图。
本发明目的的实现依赖于视图模式分析单元包括:
-用于将接收到的图像数据划分成多个数据元素结构的划分装置;
-用于计算第一个数据元素结构与第二个数据元素结构之间的相关性的计算装置;和
-用于根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图的确定装置。
本发明的另一个目的是提供一种开篇段落中所述类型的显示设备,其设置为按照比较容易的方式确定接收到的图像数据是对应于单个视图还是对应于多个视图。
本发明目的的实现依赖于该显示设备的视图模式分析单元包括:
-用于将接收到的图像数据划分成多个数据元素结构的划分装置;
-用于计算第一个数据元素结构与第二个数据元素结构之间的相关性的计算装置;和
-用于根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图的确定装置。
根据本发明的实施例的显示设备,设置为在第一视图模式与第二视图模式之间切换部分显示设备,其包括根据该部分显示设备的实际视图模式传递所生成的光的光学装置,该实际视图模式为第一视图模式或者第二视图模式,该视图模式分析单元控制该光学装置。通常,第一视图模式对应于单视图模式,第二视图模式对应于多视图模式。
根据本发明的显示设备的实施例包括用于将第一数量的视图映射到第二数量的视图的映射装置,其中第二数量的视图不同于第一数量的视图。
视图模式分析单元的修改及其变型可以对应于所述的该显示设备、该方法以及该计算机程序产品的修改及其变型。
附图说明
参照下文中所述的实现方式和实施例以及参照附图会清楚并明了根据本发明的视图模式分析单元、显示设备、方法和计算机程序产品的这些及其他方面,在附图中:
图1示意性示出了根据本发明的可切换显示设备的实施例;
图2A示意性示出了接收到的图像数据在第一数据元素结构和第二数据元素结构上的两种可替换的映射;
图2B示意性示出了接收到的图像数据在第三数据元素结构和第四数据元素结构上的进一步映射;
图3示出了对应于三个相邻视图的图像数据的实例;
图4A示出了9视图显示设备上的典型3D图像的视图间的相关性系数R2 ij的实例;
图4B示出了另一个9视图显示设备上的典型3D图像的视图间的相关性系数R2 ij的另一实例;
图5示意性示出了根据本发明的视图模式分析单元的实施例。
在贯穿各附图中,相同的附图标记表示类似的部件。
具体实施方式
图1示意性示出了根据本发明的可切换显示设备100的实施例。将该可切换显示设备100设置为在视图模式之间进行切换。在单视图模式下,也称作2D视图模式下,仅生成一幅图像。换句话说,在单视图模式下,生成单个视图,能够在具有较大视角的观察锥体中观察该视图。在多视图模式下,也称作3D视图模式下,生成多幅图像。能够在不同观看锥体中观看这些图像,每幅图像的视角基本上小于所述观察锥体。例如,多视图模式下视图的数量为9。通常,观看锥体是这样的,使得给相对于显示设备100位于适当位置的观看者的左眼呈现第一视图,右眼呈现第二视图,从而产生3D印象,其中第二视图与第一视图相关。
将该可切换显示设备100设置为完全切换或者仅部分切换,即整个显示设备100处于单视图模式下或者多视图模式下,或者可选的是,该显示设备100的第一部分处于单视图模式下,而第二部分处于多视图模式下。例如,大多数显示设备处于单视图模式下,而窗口处于多视图模式下。
该显示设备100包括:
-用于接收在输入连接器106处提供的图像数据的接收单元102;
-用于根据接收到的图像数据产生光的发光单元108;
-用于根据该显示设备的实际视图模式传递所生成的光的光引导单元110;
-设置为根据接收单元102接收到的图像数据,计算将要提供给发光单元108的驱动值的图像再现单元112;和
-用于分析接收到的图像数据,以确定接收到的图像数据是对应于单个视图还是对应于多个视图的视图模式分析单元104。
结合图2-5更详细地说明视图模式分析单元104。设置该视图模式分析单元104以确定接收到的图像数据是部分地还是全部地对应于视图模式之一。如果接收到的图像数据的第一部分对应于单个视图,第二部分对应于多个视图,则视图模式分析单元104向该光引导单元110提供该第一和第二部分的坐标。
接收到的图像所具有的格式包括具有各个亮度值的元素。例如,信息信号为具有RGB格式的视频信号。应当注意,由RGB分量表示亮度。可选的是,也可使用YUV格式或者其它格式向显示设备100提供输入。该图像数据可以是通过天线或者电缆接收到的广播信号,也可以是来自诸如VCR(盒式录像机)或者数字通用盘(DVD)之类的存储设备的信号。
该发光单元108包括发光元件矩阵,根据基于图像数据的驱动信号调制这些发光元件。优选的是,该发光单元108包括LCD。
该光引导单元110可以基于可控视差挡板。其中可控表示光吸收量不是固定的。例如,在关闭该视差挡板的第一状态下,表示其不会吸收所生成的光。在该第一状态下,可切换显示设备100处于单视图模式下。在接通该视差挡板的第二状态下,表示其吸收某些方向的光。在该第二状态下,该可切换设备100处于多视图模式下。可选的是,该视差挡板的位置是可控的,从而能够跟随眼睛的轨迹引导光。
优选的是,该光引导单元110基于透镜。为了在单视图模式与多视图模式之间进行切换,该光引导单元110可选地包括扩散器。可选择的是,该光引导单元110包括可切换透镜,或者包括设置为与透镜协作的装置,以补偿透镜的影响。
该图像再现单元112设置为根据接收单元102接收到的图像数据计算将要提供给发光单元108的驱动值。该驱动值可以直接基于接收到的图像数据的亮度值。这表示,接收到的亮度值与图像再现单元112的输出值之间存在一对一的关系。在这种情况下,该图像再现单元简单地传递这些值。然而,接收到的图像数据与图像显示设备的分辨率之间可能存在图像分辨率差。在这种情况下,需要图像缩放。
还可以是,接收到的图像数据包括与用于显示的显示设备数量不同的视图。在这种情况下需要映射。该映射可以是不予考虑对应于一个或多个视图的一部分接收到的图像数据。可选的是,根据接收到的图像数据生成对应于附加视图的数据。这种生成过程可以基于简单地复制一部分接收到的图像数据。优选的是,通过内插,即空间滤波来生成这种附加视图的数据。
可以利用一个处理器来实现接收单元102、图像再现单元112和视图模式分析单元104。通常,在软件程序产品的控制下实施这些功能。在执行过程中,通常将软件程序产品装载到诸如RAM之类的存储器中,并且从该存储器执行该软件程序产品。可以从诸如ROM、硬盘或者磁和/或光存储器之类的后台存储器装载该程序,或者可以通过诸如因特网之类的网络装载该程序。可选择的是,专用集成电路提供了上述功能。
根据本发明的可切换显示设备100可以是例如电视。可选择的是,该图像处理装置100包括诸如硬盘的存储装置,或者用于在诸如光盘的可拆卸媒质上存储的装置。
总之,假设根据本发明的多视图显示设备接收图像数据的实施例可以在单视图模式与具有N个视图的多视图模式之间切换。将该显示设备设置为检测接收到的图像数据中存在多少个视图。如果仅有一个视图,则该显示设备切换到单视图模式。如果该图像包含M个视图,且M不等于N,则以下的可选择方式是可能的:
-显示消息以提醒观看者接收到的图像数据与3D显示器不相兼容;
-在单视图模式下应用显示设备,并且仅显示所接收的图像数据中存在的视图之一;
-内插(或外推)M个视图,从而获得N个视图并且在该显示设备的多视图模式下显示这N个视图。优选的是,确定接收到的图像数据中的中心视图,以便设置沿着基本上垂直于显示设备的方向引导该视图。中心视图表示平均的视图间的相关性系数较小的视图。(对于两个相关性系数的限定参见以下)。
图2A示意性示出了接收到的图像数据200在数据元素的第一结构240和数据元素的第二结构250上的两个可替换的映射。假设根据公知的RGB(红、绿、兰)格式构建接收到的图像数据。这表示接收由值202-212的三元组构成的二维矩阵200。三元组的相互相关性是未知的,即不知道接收到的图像数据是对应于单个视图还是多个视图。假设接收到的图像数据对应于单个视图,则如图2A上部所示的利用图像再现单元112使RGB值到驱动值214-224的映射是适当的。图2A的上部示出了全部对应于同一视图-即视图1的数据元素的布置。例如,将第一个值的三元组202的三个成分映射到对应于发光单元108的三个不同发光元件的三个不同驱动值214-218。
然而,假设接收到的图像数据对应于9个视图,则如图2A下部所示的RGB值到驱动值224-234的映射是适当的。图2A的下部示出了对应于9个不同视图-表示为数字1-9的数据元素的布置。
图2B示意性示出了所接收的图像数据200在数据元素的第三结构260和数据元素的第四结构270上的进一步映射。数据元素的第三结构260对应于表示为数字1-2的视图。并且数据元素的第四结构270对应于表示为数字1-4的四个视图。应当注意,数据元素的可替换结构也是可以的。
能够在重复的单元元件或者超像素中划分布置在N视图的3D显示设备上的像素,每个像素包含N个子像素。这些子像素中的每一个对应于N个不同视图之一,并且设置为生成红色、绿色或蓝色中的一种颜色。这种布置是已知的,并且对于特定的3D显示器而言是固定的。如上所述,图2A的下部对应于用于9个视图的数据元素布置。能够在单元元件中划分该布置,每个单元元件具有9个子像素。这9个子像素中的每一个对应于9个不同视图之一。
通常,对于相邻视图而言,视图的图像内容之间的相关性大。然而对于离得很远的视图而言,例如视图1和视图N,这种相关性很小。通常,如果j=2,则视图1与视图j的图像内容之间的相关性大,并且当j增大到j=N时逐渐减小。假设R2 1j为视图1与视图j之间的视图间相关性系数。则通常该相关性系数对于多视图图像而言基本上从j=1到j=N线性减小。如果将实际上对应于单个视图的接收到的图像数据根据其涉及多个视图的假设分成数据元素结构并且计算这些结构之间的相关性,则算得的相关性较小和/或基本上不是线性减小。然而,在可以观察到的相关性序列中不存在与预定模式相匹配的模式。注意,递减的值序列也是一种模式。
如上所述,通常,在多视图的情况下,图像R2 1j与j的比值基本上遵循直线,即所谓的线性回归。线性回归模型怎样很好地拟合这些视图间相关性系数的量度称作总相关性系数,下文中由R2表示。如果接收到的图像数据表示多个视图,并且评价适当的数据结构布置,则R2基本上等于1。然而,如果接收到的图像数据实际上对应于单个视图,则算得的总相关性系数基本上等于0。
接着,将更详细地说明计算视图间相关性系数R2 ij和总相关性系数R2的方法。
第一步是将接收到的图像数据划分成对应于不同视图的多个数据元素结构。设想所假设的布置对应于实际的显示设备布置。例如,考虑N视图显示设备具有对应于3×m×n×N个子像素的m×n×N个像素。某种颜色的每个视图对应于m×n个子像素。例如,在图3中,示出了具有特定颜色的三个不同视图的图像内容。视图1和视图2的图像内容之间的类似之处比较多。视图1和视图3类似之处少。
随后,计算各视图间相关性系数。根据等式1计算对应于相同颜色的视图i和j的视图间相关性系数:
R ij 2 = nmΣ X nm i X nm j - Σ X nm i Σ X nm j [ nmΣ X nm i 2 - ( Σ X nm i ) 2 ] · [ nmΣ X nm j 2 - ( Σ X nm j ) 2 ] - - - ( 1 )
此处,Xnm i和Xnm j为位于对应于相同颜色的不同视图(视图i和j)中坐标(n,m)处的两个子像素的亮度值。求和是相对于所有像素(n,m)的。
可以对为三种颜色中的每一种获得的视图间相关性系数求平均,以便获得考虑各个视图时的求平均的视图间相关性系数。可选择的是,仅考虑三种颜色中最大的视图间相关性系数,这是因为在一些颜色成分中存在的信息较少。
最后,如果视图间相关性系数中的至少一个大于预定阈值,则确定接收到的图像数据对应于多个视图。
可选择的是,分析算得的视图间相关性系数,以确定它们是否与预定模式相匹配。图4A示出了对于9视图显示设备的典型多视图图像而言,视图间相关性系数R2 ij的实例。换句话说,图4A示出了对于9视图显示设备的典型多视图图像而言,作为视图i和j的函数的视图间相关性系数R2 ij的值的轮廓曲线。沿着对角线,在i=j处,视图间相关性系数等于1。远离对角线,视图间相关性系数单调递减。例如,考虑到视图5与视图j之间的视图间相关性系数,R2 5j从j=1到j=5增大,并且再次从j=5到j=9降低。
为了量化视图间相关性系数之间的相互关系,计算总相关性系数R2,如等式2规定的:
R 2 = NΣ R 1 j 2 j - Σ R 1 j 2 Σj [ NΣ R 1 j 2 2 Σ ( Σ R 1 j 2 ) 2 ] · [ NΣ j 2 - ( Σj ) 2 ] - - - ( 2 )
求和是相对于j从j=1到j=N的。如果关于数据元素结构布置的假设是有效的,则计算得到较高的总相关性系数。
可选择的是,根据可选的数据元素结构布置来划分接收到的图像数据,随后进行如上所述的类似评价。
图4B示出了对于9视图显示设备的另一种多视图图像而言,视图间相关性系数R2 ij的另一个实例。目前,随后的视图间相关性系数不增大/减小,而是对应于预定模式。根据所谓的“周期性”分布来设置视图。在2004年3月9日提交的申请号为EP04101024.0的专利申请(代理文档号PHNL040285)中更详细地描述了这个概念。
图5示意性示出了根据本发明的视图模式分析单元104的实施例。将该视图式分析单元104设置为分析接收到的图像数据,以确定接收到的图像数据是对应于单个视图还是对应于多个视图。该视图模式分析单元104包括:
-用于将接收到的图像数据划分成多个数据元素结构的划分单元502;
-用于计算第一个数据元素结构与第二个数据元素结构之间的相关性的计算单元504;
-用于确定接收到的图像数据是否对应于多个视图的确定单元504。
可以利用一个处理器实现划分单元502、计算单元504和确定单元504。
在视图模式分析单元104的输入连接器512处向其提供图像数据,视图模式分析单元104被设置为在其第一输出连接器514处提供第一输出信号,以及在其第二输出连接器516处提供第二输出信号。第一输出信号表示实际的数据元素结构布置,即多视图配置的不同视图如何设置。将该信息提供给图像再现单元112。可选的是,第一输出信号包括附加信息,例如视图中的哪个视图为中心视图以及这些视图是否为“周期性”的。第二输出信号表示接收到的图像数据是对应于单个视图还是多个视图。将第二输出信号提供给光学引导单元110,光学引导单元110设置为在单视图模式与多视图模式之间进行切换。
该划分单元502包括用于向视图模式分析单元104提供一组数据元素结构布置的第一控制接口508。将该划分单元设置为根据选定的一个布置来划分接收到的图像数据。
确定单元504包括用于向视图模式分析单元104提供预定模式以用于分析视图间相关性系数序列的第二控制接口510。
优选的是,根据本发明的视图模式分析单元104包括时间滤波装置,即低通滤波器。对随后的图像进行分析。可能发生的是根据随后图像的随后分析产生了两个不同的结果。例如,多个随后的分析表示接收到的图像数据对应于多个视图,而突然一个单独的分析表示刚刚接收到的图像数据部分对应于单个视图。通常,最后的分析是不正确的概率比刚刚接收到的图像数据部分实际上对应于单个视图的概率高。为了防止视图模式分析单元104提供不稳定的结果,优选应用时间滤波。
应当注意,上述实施例仅仅是阐明本发明而非限制本发明,本领域技术人员能够在不脱离所附权利要求的范围的情况下设计出可替换的实施例。在这些权利要求中,放置在括号中的任何附图标记不应理解成对权利要求的限制。词语“包括”不排除权利要求中未列出的元件或步骤的存在。元件前的词语“一”或“一个”不排除多个这种元件的存在。利用包含几个不同元件的硬件以及利用适当编程的计算机能够实现本发明。在列举了几个装置的产品权利要求中,能够由同一个硬件实现这些装置中的几个。所使用的词语第一、第二和第三等不表示任何顺序。这些词语要作为名称解释。

Claims (11)

1.一种分析接收到的图像数据以确定接收到的图像数据是对应于单个视图还是对应于多个视图的方法,该方法包括:
-将接收到的图像数据划分成多个数据元素结构;
-计算第一个数据元素结构与第二个数据元素结构之间的相关性;
-根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图。
2.根据权利要求1所述的分析方法,包括如果该相关性大于预定阈值,则确定接收到的图像数据对应于多个视图。
3.根据权利要求1所述的分析方法,还包括计算第一个数据元素结构与第三个数据元素结构之间的进一步相关性,并且如果该进一步相关性小于第一个数据元素结构与第二个数据元素结构之间的相关性,则确定接收到的图像数据对应于多个视图。
4.根据权利要求1所述的分析方法,还包括计算第一个数据元素结构与各进一步的数据元素结构之间的进一步相关性序列,并且如果该进一步相关性的序列的连续相关性根据预定模式相互相关,则确定接收到的图像数据对应于多个视图。
5.根据权利要求1或2所述的分析方法,其中基于从一组数据元素结构布置中选择特定数据元素结构布置来将接收到的图像数据划分成多个数据元素结构。
6.根据权利要求4所述的分析方法,其中特定数据元素结构布置对应于显示设备的特定发光元件结构布置,将该显示设备设置为接收图像数据并且生成与特定数据元素结构布置相匹配的特定数量的视图。
7.一种装载在计算机装置中的计算机程序产品,其包括分析接收到的图像数据以便确定该接收到的图像数据是对应于单个视图还是多个视图的指令,该计算机装置包括处理装置和存储器,在装载了该计算机程序产品之后,该计算机程序产品给所述处理装置提供实施以下步骤的能力:
-将接收到的图像数据划分成多个数据元素结构;
-计算第一个数据元素结构与第二个数据元素结构之间的相关性;
-根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图。
8.一种视图模式分析单元(104),用于分析接收到的图像数据以确定该接收到的图像数据是对应于单个视图还是对应于多个视图,该视图模式分析单元包括:
-用于将接收到的图像数据划分成多个数据元素结构的划分装置(502);
-用于计算第一个数据元素结构与第二个数据元素结构之间的相关性的计算装置(504);
-用于根据第一个数据元素结构与第二个数据元素结构之间的相关性确定接收到的图像数据对应于多个视图的确定装置(506)。
9.一种显示设备(100),其设置为根据接收到的图像数据显示多个视图,该显示设备(100),包括:
-用于接收图像数据的接收装置(102);
-用于根据接收到的图像数据产生光的发光装置(108);和
-用于分析接收到的图像数据以确定接收到的图像数据是对应于单个视图还是对应于多个视图的如权利要求8所述的视图模式分析单元(104)。
10.根据权利要求9所述的显示设备(100),其设置为在第一视图模式与第二视图模式之间切换一部分显示设备(100),其包括根据该部分显示设备(100)的实际视图模式传递所生成的光的光学装置(110),该实际视图模式为第一视图模式或者第二视图模式,该视图模式分析单元(104)控制该光学装置(110)。
11.根据权利要求9或10所述的显示设备(100),其包括用于将第一数量的视图映射到第二数量的视图的映射装置,其中第二数量的视图不同于第一数量的视图。
CN2005800283175A 2004-08-17 2005-08-04 视图模式的检测 Expired - Fee Related CN101006732B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04103937 2004-08-17
EP04103937.1 2004-08-17
PCT/IB2005/052607 WO2006018773A1 (en) 2004-08-17 2005-08-04 Detection of view mode

Publications (2)

Publication Number Publication Date
CN101006732A true CN101006732A (zh) 2007-07-25
CN101006732B CN101006732B (zh) 2010-12-29

Family

ID=35124537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800283175A Expired - Fee Related CN101006732B (zh) 2004-08-17 2005-08-04 视图模式的检测

Country Status (9)

Country Link
US (1) US7839378B2 (zh)
EP (1) EP1782638B1 (zh)
JP (1) JP5150255B2 (zh)
KR (1) KR101166248B1 (zh)
CN (1) CN101006732B (zh)
AT (1) ATE397833T1 (zh)
DE (1) DE602005007361D1 (zh)
ES (1) ES2306198T3 (zh)
WO (1) WO2006018773A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100074A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 兼容立体视频递送
CN102378029A (zh) * 2010-08-18 2012-03-14 索尼公司 图像处理装置、方法和程序
CN102474634A (zh) * 2009-07-10 2012-05-23 杜比实验室特许公司 对于3维显示模式修正图像
CN102742283A (zh) * 2010-02-09 2012-10-17 皇家飞利浦电子股份有限公司 三维视频格式检测

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
DE102006031799B3 (de) * 2006-07-06 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP5092738B2 (ja) * 2007-12-26 2012-12-05 ソニー株式会社 画像処理装置及び方法、並びにプログラム
US8244697B2 (en) * 2008-01-09 2012-08-14 Wisys Technology Foundation Versioning system for electronic textbooks
WO2009154595A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Display of two-dimensional content during three-dimensional presentation
TWI419124B (zh) 2009-03-06 2013-12-11 Au Optronics Corp 二維/三維影像顯示裝置
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
JP5340083B2 (ja) * 2009-08-28 2013-11-13 キヤノン株式会社 画像表示装置及びその輝度制御方法
TW201143373A (en) * 2010-05-27 2011-12-01 Acer Inc Three-dimensional image display apparatus, three-dimensional image display system, and method of adjusting display parameters thereof
WO2011162737A1 (en) * 2010-06-24 2011-12-29 Thomson Licensing Detection of frame sequential stereoscopic 3d video format based on the content of successive video frames
US9210414B2 (en) * 2010-06-30 2015-12-08 Tp Vision Holding B.V. Multi-view display system and method therefor
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치
JP2012199897A (ja) * 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9106894B1 (en) 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
JP5817639B2 (ja) 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP6359990B2 (ja) * 2015-02-24 2018-07-18 株式会社ジャパンディスプレイ 表示装置および表示方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05122733A (ja) * 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> 3次元画像表示装置
JPH07298310A (ja) * 1994-04-26 1995-11-10 Canon Inc 立体視用表示装置
JP3524147B2 (ja) * 1994-04-28 2004-05-10 キヤノン株式会社 3次元画像表示装置
JPH08242469A (ja) * 1995-03-06 1996-09-17 Nippon Telegr & Teleph Corp <Ntt> 撮像カメラ装置
JP3096612B2 (ja) 1995-05-29 2000-10-10 三洋電機株式会社 時分割方式立体映像信号検出方法、時分割方式立体映像信号検出装置および立体映像表示装置
JPH0973049A (ja) * 1995-06-29 1997-03-18 Canon Inc 画像表示方法及びそれを用いた画像表示装置
US6064424A (en) * 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
JP3443272B2 (ja) * 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
GB9623682D0 (en) * 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
JPH10224825A (ja) * 1997-02-10 1998-08-21 Canon Inc 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体
JPH10257525A (ja) * 1997-03-07 1998-09-25 Sanyo Electric Co Ltd ディジタル放送受信機
WO1998039927A1 (en) 1997-03-07 1998-09-11 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
JPH10336700A (ja) * 1997-05-30 1998-12-18 Sanyo Electric Co Ltd ディジタル放送システム、送信機、および受信機
GB0119176D0 (en) 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
GB0129992D0 (en) * 2001-12-14 2002-02-06 Ocuity Ltd Control of optical switching apparatus
WO2003092276A1 (fr) * 2002-04-25 2003-11-06 Sony Corporation Appareil, procede et logiciel de traitement d'image
EP2262273A3 (en) 2002-04-25 2013-12-04 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP2003102038A (ja) * 2002-08-27 2003-04-04 Sharp Corp 3次元映像記録方法及び3次元映像再生方法並びに3次元映像記録フォーマット並びに3次元映像記録媒体
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
JP4243095B2 (ja) * 2002-11-25 2009-03-25 三洋電機株式会社 立体画像処理方法及びプログラム及び記録媒体
GB0317909D0 (en) * 2003-07-31 2003-09-03 Koninkl Philips Electronics Nv Switchable 2D/3D display
US9316841B2 (en) 2004-03-12 2016-04-19 Koninklijke Philips N.V. Multiview display device
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100074A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 兼容立体视频递送
CN102474634A (zh) * 2009-07-10 2012-05-23 杜比实验室特许公司 对于3维显示模式修正图像
CN102474634B (zh) * 2009-07-10 2016-09-21 杜比实验室特许公司 对于3维显示模式修正图像
CN102742283A (zh) * 2010-02-09 2012-10-17 皇家飞利浦电子股份有限公司 三维视频格式检测
CN102742283B (zh) * 2010-02-09 2016-04-27 皇家飞利浦电子股份有限公司 三维视频格式检测
CN102378029A (zh) * 2010-08-18 2012-03-14 索尼公司 图像处理装置、方法和程序

Also Published As

Publication number Publication date
US7839378B2 (en) 2010-11-23
ES2306198T3 (es) 2008-11-01
DE602005007361D1 (de) 2008-07-17
ATE397833T1 (de) 2008-06-15
WO2006018773A1 (en) 2006-02-23
JP5150255B2 (ja) 2013-02-20
CN101006732B (zh) 2010-12-29
EP1782638A1 (en) 2007-05-09
KR101166248B1 (ko) 2012-07-18
KR20070046860A (ko) 2007-05-03
JP2008510408A (ja) 2008-04-03
US20070222855A1 (en) 2007-09-27
EP1782638B1 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
CN101006732B (zh) 视图模式的检测
CN101390131B (zh) 呈现输出图像
CN101204097B (zh) 使用2d图像和深度数据的3d图像传送
US9036015B2 (en) Rendering views for a multi-view display device
CN101278567B (zh) 可切换显示设备
US8279272B2 (en) Autostereoscopic display with planar pass-through
KR100582667B1 (ko) 파장 필터 어레이를 이용한 자동 입체 이미지 디스플레이방법
CN101107644A (zh) 多视图显示设备
CN101243694B (zh) 立体显示装置
CN101203881A (zh) 图像和相关数据的组合交换
CN101103380A (zh) 深度感知
US8902284B2 (en) Detection of view mode
KR101669498B1 (ko) 이미지 정보를 표시하는 방법 및 자동입체이미지 스크린
Grasnick Universal 4D multiplexing of layered disparity image sequences for pixel and voxel based display devices
Markova et al. PROBLEMS CONCERNING THE VISUALIZATION OF IMAGES AND THE FORMATION OF THREE-DIMENSIONAL FRAME WITH 3D-DISPLAYS

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101229

Termination date: 20190804

CF01 Termination of patent right due to non-payment of annual fee