CN111095348A - 基于摄像头的透明显示器 - Google Patents

Abstract

呈现场景的图像可包括由电子设备的摄像头捕获场景的图像，其中所述电子设备包括所述摄像头和显示器，并且其中所述摄像头和所述显示器具有第一空间关系，所述空间关系确定视点和所述电子设备的显示器之间的第二空间关系，使所述图像翘曲以基于所述第一空间关系和所述第二空间关系来获得所述场景的第一部分的图像，并且在所述显示器上呈现所述经翘曲的图像，其中，从视点来看，场景的第一部分的图像基本上与电子设备的边缘之外可见的场景的第二部分邻接。

Description

基于摄像头的透明显示器

背景技术

本公开整体涉及数字图像处理的领域，并且更具体地涉及提供基于摄像头的透明显示器的领域。

许多多功能电子设备(诸如智能电话和平板电脑)包括摄像头和显示设备，所述摄像头和显示设备允许用户利用显示器来预览和查看由摄像头捕获的图像。当在预览模式中使用传统多功能设备时，屏幕上显示的图像表示来自摄像头的视点的图像。因此，当用户将设备保持在场景的前面并查看显示器时，屏幕上的图像不与其后面的场景对齐。即，用户的视点不同于捕获图像的镜片的角度，从而导致用户的视点和真实环境之间的断开。即，对于用户，图像可能出现在错误的位置和错误的缩放中。

发明内容

在一个实施方案中，描述了一种用于呈现场景的图像的方法。所述方法可包括由电子设备的摄像头捕获场景的图像，其中所述电子设备包括所述摄像头和显示器，并且其中所述摄像头和所述显示器具有第一空间关系，所述空间关系确定视点和所述电子设备的显示器之间的第二空间关系，使所述图像翘曲以基于所述第一空间关系和所述第二空间关系来获得所述场景的第一部分的图像，并且在所述显示器上呈现所述经翘曲的图像，其中，从视点来看，场景的第一部分的图像基本上与电子设备的边缘之外可见的场景的第二部分邻接。

在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在具有图像捕获能力的电子设备中实现。

附图说明

图1以框图形式示出了根据一个或多个实施方案的简化电子设备。

图2以流程图形式示出了根据一个或多个实施方案的用于在真实环境中显示经翘曲的图像的示例方法。

图3以流程图形式示出了根据一个或多个实施方案的用于使真实环境的图像翘曲的方法。

图4以系统图形式示出了根据一个或多个实施方案的使用设备来查看真实世界环境的图像的示例性设置。

图5示出了根据一个或多个实施方案的示出显示真实环境的经翘曲图像的方法的示例系统图。

图6示出了根据一个或多个实施方案的示出翘曲方法的示例系统图。

图7以框图形式示出了根据一个或多个实施方案的简化多功能设备。

具体实施方式

本公开涉及用于呈现场景的经翘曲图像的系统、方法和计算机可读介质。一般来讲，公开技术以提供经翘曲的场景图像，使得场景中环境的图像从视点看起来与显示器上的真实环境无缝。根据一个或多个实施方案，显示经翘曲的图像可提供对电子设备上真实环境的更现实的视图。

根据一个或多个实施方案，电子设备的后置摄像头可捕获真实环境的视图的图像。可确定关于视点和电子设备之间的空间关系，以及摄像头和电子设备的显示器之间的空间关系。可基于空间关系将翘曲函数应用于图像。然后可将经翘曲的图像呈现在电子设备上的前置显示器上，使得真实环境的图像看起来基本上与背景(即，真实环境的其余部分)邻接。即，除了围绕显示器的电子设备的任何边或边界之外，场景可能在真实世界和显示器中显示为邻接的。给定相对于电子设备的屏幕的视点，由摄像头捕获的图像可相对于屏幕来变换或重新投影，使得从用户的视点来看，场景中的至少一个对象具有与场景后面的真实对象相同的位置和销售。因此，根据一个或多个实施方案，电子设备可看起来是透明的，或者场景的图像可从用户的视点看起来与其后面的场景基本上无缝。

在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和设备，以避免模糊所公开实施方案的新颖方面。在该上下文中，应当理解，对没有相关联标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同或不同的实施方案。

应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。

出于本公开的目的，术语“镜头”是指镜头组件，其可包括多个镜头。在一个或多个实施方案中，可将镜头移动到不同位置以捕获具有不同焦点的图像。另外，在一个或多个实施方案中，镜头可指任何种类的镜头，诸如可伸缩镜头或广角镜头。因此，术语镜头可指被配置为叠堆或其他布置的单个光学元件或多个元件。

出于本公开的目的，术语“摄像头系统”指的是一个或多个镜头组件以及一个或多个传感器元件和用于捕获图像的其他电路。出于本公开的目的，“摄像头”可包括不止一个摄像头系统，诸如立体摄像头系统、多摄像头系统、或能够感测所捕获场景的深度的其他摄像头系统。

参见图1，其示出了根据本公开的一个或多个实施方案的电子设备100的简化框图。电子设备100可为多功能设备的一部分，诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备、或包括摄像头系统的任何其他电子设备。图1以框图形式示出了根据一个或多个实施方案的能够支持图像翘曲的系统图的总体视图。具体地，图1示出了为计算机系统的电子设备100。电子设备100可通过网络连接到其他网络设备，诸如移动设备、平板设备、台式设备，以及网络存储设备诸如服务器等。

电子设备100可包括处理器130，诸如中央处理单元(CPU)。处理器130可为片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器130可包括相同或不同类型的多个处理器。电子设备100还可包括存储器140。存储器140各自可包括一个或多个不同类型的存储器，其可用于结合处理器130执行设备功能。例如，存储器140可包括高速缓存、ROM和/或RAM。存储器140可在执行期间存储各种编程模块，包括翘曲模块155和位置检测模块160。

电子设备100还可包括一个或多个摄像头，诸如前置摄像头110和后置摄像头120。摄像头110和120可各自包括图像传感器、镜头堆栈和可用于捕获图像的其他组件。在一个或多个实施方案中，摄像头可在电子设备中指向不同的方向。例如，前置摄像头110可位于电子设备100的第一表面中或第一表面上，而后置摄像头120可位于电子设备100的第二表面中或第二表面上。在一个或多个实施方案中，第一表面和第二表面可为电子设备100的相对表面。又如，后置摄像头可被配置为从电子设备100的背面捕获环境的图像，而前置摄像头被配置为捕获用户的图像或设备前方的其他对象。尽管示出了两个摄像头，如下文将更详细地描述，但在一个或多个实施方案中，电子设备100可包括单个摄像头，或者可包括附加摄像头，诸如两个后置摄像头和一个前置摄像头。在一个或多个实施方案中，电子设备100也可包括显示器150。显示器150可为任何种类的显示设备，诸如LCD(液晶显示器)、LED(发光二极管)显示器、OLED(有机发光二极管)显示器等。此外，显示器150可为半不透明显示器，诸如抬头显示器等。显示器150可与前置摄像头110位于相同的电子设备100表面上。

虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。另外，可使用附加部件，也可组合任何部件的功能的某些组合。

在一个或多个实施方案中，位置检测模块160被配置为确定用户和设备之间的空间关系。例如，位置检测模块160可利用例如来自后置摄像头120或传感器175的传感器数据来检测用户的视点。例如，位置检测模块160可跟踪视点相比于设备的相对位置。在一个或多个实施方案中，视点可为经由显示器从其查看场景的空间中的点。例如，视点可位于用户的眼睛处或眼睛附近，诸如位于用户双眼的中间，或位于用户双眼附近的位置处。在一个或多个实施方案中，位置检测模块160可跟踪眼睛对电子设备100的显示器150的相对姿势。即，位置检测模块160可实现眼睛跟踪和/或注视检测技术。在一个或多个实施方案中，视点可被视为用户的眼睛所位于处或附近的空间中的位置。用户眼睛的姿势和眼睛与电子设备的关系可使用前置摄像头110来确定，以捕获用户眼睛的图像。捕获用户眼睛的图像的摄像头可为传统摄像头，包括镜头叠堆和传感器，或者可为无镜头摄像头。根据一个或多个实施方案，眼睛的姿势和显示器之间的关系可基于一个或多个中间测量。例如，位置检测模块160可确定视点和前置摄像头110或电子设备的其他部件之间的关系。从那里，位置检测模块160可基于电子设备100的各种部件之间的已知空间关系来确定视点和显示器150之间的空间关系。另外，在一个或多个实施方案中，可使用传感器(例如，深度传感器)来确定视点和电子设备之间的距离，以及视点和电子设备之间的角位置和取向。

在一个或多个实施方案中，位置检测模块160可附加地或另选地利用来自传感器175的能够跟踪视点(诸如用户的眼睛)的移动和位置的其他传感器数据。根据一个或多个实施方案，位置检测模块160还可跟踪眼睛注视处的目标。可利用注视检测方法来识别真实环境中感兴趣的区域或对象。例如，位置检测模块160可确定用户正在注视的显示器150上的位置，并且识别与该位置相关联的真实环境中的对象或区域。

根据一个或多个实施方案，翘曲模块155可包括能够由处理器130执行以生成由后置摄像头120捕获的经翘曲的真实环境图像的指令。在一个或多个实施方案中，翘曲模块可例如通过后置摄像头120来获得真实环境的图像。翘曲模块155可基于由位置检测模块160确定的视点来生成经翘曲的真实环境视图，使得环境的图像从视点看起来基本上与真实环境邻接或无缝。换句话讲，在一个或多个实施方案中，图像可被翘曲，使得电子设备的显示器上的场景的图像从视点看起来基本上与围绕电子设备查看的场景邻接。例如，场景的第一部分可从显示器中的视点可见，并且可看起来基本上与围绕电子设备可见的场景的第二部分邻接。如果场景的视图被显示器和/或电子设备的边界从视点中断，则场景可看起来基本上邻接。

在一个或多个实施方案中，翘曲模块155通过基于摄像头本征后投影图像来使图像翘曲，以便获得针对3D环境的2D映射。后投影可基于目标深度。目标深度可为预先确定的，或者基于图像中的感兴趣区域或兴趣点来确定。例如，可基于感兴趣的对象的深度来选择深度。在一个或多个实施方案中，电子设备100的功能可用于选择深度。例如，在一个或多个实施方案中，可基于所检测到的对象来选择深度，例如，使用电子设备100的自动对焦操作。又如，翘曲模块155可利用传感器数据来检测真实环境的场景的场的深度。可利用传感器数据，以便基于立体方法、结构化光、飞行时间等来确定深度。立体透视方法可包括利用立体摄像头系统来确定视场中的深度，诸如通过立体估计。结构化光操作可涉及将图案投影到场景上并且基于投影图案的外观确定场景的深度。飞行时间操作可包括基于确定波浪行进到场景中的对象所花费的时间来确定距离。可确定或获得可用于确定深度的深度映射图。例如，可从感兴趣的特定点或区域的深度映射图来确定深度。根据一个或多个实施方案，后投影图像可包括识别四个图像拐角，其中来自摄像头的截头与所确定的深度相交。因此，基于所确定的深度，可识别空间中的四个点。所得平面可被确定为后投影图像。

在一个或多个实施方案中，翘曲模块155还基于视点和显示器之间所确定的关系来重新投影后投影图像。在一个或多个实施方案中，重新投影的图像显示在屏幕上，使得场景的图像匹配真实世界的“背景”场景。换句话讲，将图像翘曲使得由四个点限定的平面显示在显示器150上。因此，当从视点查看时，由电子设备隐藏的场景的部分在显示器中是可见的。场景的剩余部分可从视点从围绕电子设备的真实世界中的视点可见。又如，当从视点查看时，场景中的对象可被电子设备部分地混淆。对象的第一部分可从视点在真实环境中可见，并且对象的第二部分可在显示于显示器中的环境的图像中可见。

在一个或多个实施方案中，翘曲模块还可使图像翘曲以更好地匹配真实环境中的场景。例如，翘曲模块可对图像执行颜色校正，诸如执行白平衡功能，使得图像的着色更好地匹配真实环境中的着色。

图2以流程图形式示出了用于提供经翘曲的真实环境显示的方法。出于解释的目的，将在图1的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。另外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。

流程图在205处开始，其中翘曲模块155在真实环境中获得场景的图像。在一个或多个实施方案中，翘曲模块155可从后置摄像头120获得图像。在一个或多个实施方案中，翘曲模块155可从另一个源诸如外部摄像头或周边摄像头获得图像。图像可包括静止图像、视频流、一系列帧、实时图像等。

流程图在210处继续，其中翘曲模块155确定视点和设备之间的空间关系。在一个或多个实施方案中，空间关系从位置检测模块160获得。根据一个或多个实施方案，空间关系可基于视点的位置(诸如在用户的一只或两只眼睛处或附近的位置)和电子设备100的显示器150之间的关系。在一个或多个实施方案中，可例如基于用户的主眼或基于用户的两只眼睛之间的位置等来预先确定从中确定视点的眼睛。

根据一个或多个实施方案，视点可随时间推移而变化。例如，用户可相对于他们的面部移动电子设备。可例如用电子设备上的面向用户的传感器(诸如前置摄像头110)或来自电子设备中的传感器175的另一个传感器来跟踪视点。例如，用户的视点可基于对用户注视的检测，通过基于来自RGBD传感器数据的传感器数据执行头部或眼睛跟踪来确定。在一个或多个实施方案中，传感器数据可用于跟踪其他面部标志，诸如眼睛位置，以确定用户从设备的相对位置和用户的注视方向。又如，可使用仅RGB传感器(即，不捕获深度信息的RGB传感器)来跟踪头部位置、面部标志等。在一个或多个实施方案中，可使用其他装置(诸如飞行时间激光测距传感器)来确定用户的深度信息。深度也可通过由用户面部的前置摄像头所捕获的图像中的特征来推断，诸如基于用户的瞳孔间距离的用户眼睛之间的间距。根据一个或多个实施方案，关于用户的注视方向和用户的相对位置的数据可用于确定用户的视点。

流程图在215处继续，并且翘曲模块215基于视点和设备之间的空间关系连同摄像头的已知本征来使图像翘曲。在一个或多个实施方案中，翘曲模块215可基于捕获图像的摄像头的本征来后投影图像。然后，翘曲模块215可基于所确定的视点重新投影后投影图像。

流程图在220处继续，并且翘曲模块155显示经翘曲的图像。如上所述，翘曲模块155可基于单个确定的视点来显示单个经翘曲的图像。此外，例如，如果显示器150包括立体显示器，则翘曲模块155可显示两个经翘曲的图像，各自对应于来自用户眼睛中的每一者的视点。

在225处，确定关于是否检测到移动。在一个或多个实施方案中，确定关于是否检测到视点相对于电子设备的移动。如果在225处确定未检测到移动，则继续显示经翘曲的区域，如在220处所示。在一个或多个实施方案中，继续显示经翘曲的图像可包括基于由电子设备接收的更新图像数据来继续生成更新的经翘曲图像。换句话讲，如果未检测到视点和电子设备之间的移动，则图像数据可继续以相同的方式被翘曲。因此，例如，如果场景改变，或者场景与电子设备之间的关系变化，诸如如果用户平移电子设备，则可继续以相同或类似的方式来使图像翘曲。

返回至225，如果确定检测到移动，则流程图在210处继续，在该处确定视点和设备之间的新空间关系。因此，在一个或多个实施方案中，视点和设备之间的新空间关系可能需要以不同的方式来使图像翘曲，以看起来基本上与真实世界环境邻接。

现在参见图3，示出了根据一个或多个实施方案的用于使真实环境中的场景的图像翘曲以使得图像看起来基本上与来自视点的真实环境邻接或无缝的方法的流程图。在一个或多个实施方案中，基于视点和设备之间的空间关系以及设备的已知本征，各种动作作为使图像翘曲的一部分发生，如图2的215中所示。然而，各种动作可在图2内的其他位置中发生。出于解释的目的，将在图1中所述的各种部件的上下文中描述以下步骤。然而，应当理解，可由另选部件来执行各种动作。此外，可以不同的顺序执行各种动作。另外，可同时执行一些动作，并且可不需要一些动作，或可添加其他动作。

流程图在305处开始，并且翘曲模块155选择场景的深度作为目标深度。在一个或多个实施方案中，为了准确地变换(或重新投影)摄像头图像，可能需要来自图像中的每个像素的3D信息。然而，2D摄像头图像可能不再具有任何深度信息。因此，可针对图像中的每个像素选择单个深度。在一个或多个实施方案中，深度可基于场景中的主要对象的深度来选择，诸如个人或物体。在一个或多个实施方案中，深度可基于场景中用户可查看的位置。选择场景中的主要对象的深度可确保用户正在查看的主要对象具有大约正确的缩放和位置，以便保持电子设备的透明度错觉。在一个或多个实施方案中，可通过确定深度的任何方法来估计场景中的主要对象相对于电子设备的深度。例如，如果后置摄像头120实际上包括两个摄像头，则可使用来自一对面向场景的摄像头的立体估计来估计场景的深度。又如，可使用另一个传感器诸如飞行时间激光测距传感器或其他深度感测技术来确定场景的深度。

流程图在310处继续，并且翘曲模块基于摄像头的本征和所选择的深度来后投影图像。如图所示，在一个或多个实施方案中，后投影图像可包括各种动作。如图所示，在315处，后投影图像可包括基于摄像头本征和所选择的深度来识别四个图像拐角。在320处，四个图像拐角与由显示设备限定的平面相交，以获得2D图像变换。然后，在325处，基于2D图像变换将2D图像点映射到3D场景。

流程图在330处继续，其中位置检测模块160确定视点。例如，视点可为用户正从其查看场景的空间中的点。在一个或多个实施方案中，视点可为从其查看场景的三个空间中的点，并且可包括方向信息。例如，方向信息可识别用户在场景中或显示器上正在注视的方向处。如330中所示，在一个或多个实施方案中，确定视点可包括各种动作。在335处，位置检测模块160从面向用户的传感器捕获传感器数据。然后，在340处，位置检测模块160基于传感器数据来检测视点。

流程图在345处继续，其中翘曲模块基于用户的视点和所选择的深度来将图像重新投影到显示设备。流程图在350处结束，其中翘曲模块调节图像的颜色处理。在一个或多个实施方案中，如果翘曲模块155能够确定场景的深度(例如，如果后置摄像头120实际上为立体摄像头，或者如果传感器175包括提供深度信息的附加传感器)，则然后可将每个像素基于实际深度信息来重新投影，并且可比在305处选择单个深度看起来更准确。

根据一个或多个实施方案，如果后置摄像头120包括立体摄像头或多个摄像头，则各种摄像头可具有多个视点。因此，图3的各种步骤可针对每个摄像头再现。另外，根据一个或多个实施方案，图3的各种步骤中的每个可针对每只眼睛完成。因此，当确定视点和设备之间的空间关系时，可在210处确定每只眼睛的视点。另外，如果显示器150为立体显示器，则在220处可针对每只眼睛显示经翘曲的图像。

现在参见图4，示出了根据一个或多个实施方案的用于利用设备来呈现经翘曲的真实环境图像的示例设置的系统图。图4示出了用户410利用包括前置摄像头110、后置摄像头120的电子设备100。在一个或多个实施方案中，用户可从视点通过电子设备100的前置摄像头110来查看真实环境。在一个或多个实施方案中，如果用户要直接看真实环境405，则真实环境405的图像包括类似于用户的视场425的视场。

图5示出了根据一个或多个环境的用于使图像翘曲的增强现实设备的示例系统图。图5示出了实践实施方案的各种部分期间的三个时间点。在505处，示出了电子设备100的第一版本。所述电子设备100包括显示器150，其可在真实环境中显示出两个框535和540的预览图像530A。在505处，电子设备100捕获图像530A，包括两个框535和540。图像530A可通过后置摄像头120捕获。

在510处，在一个或多个实施方案中，位置检测模块可确定用户410的视点。在一个或多个实施方案中，可使用前置摄像头110或电子设备100上的一些其他传感器来检测视点。此外，在一个或多个实施方案中，翘曲模块155还将图像530A后投影到所选择的深度545。在一个或多个实施方案中，所选择的深度可使用设定的深度或基于场景中检测到的对象来确定。例如，深度可使用自动对焦或类似的功能来确定，以确定场景中感兴趣的特定点的深度。可通过使限定摄像头视图截头的四个点和由所选择的深度限定的平面相交来后投影图像。然后，翘曲模块基于用户410的视点和所选择的深度545将图像包重新投影到显示设备。

在515处，示例性流程图示出了从用户410的视点来看的电子设备100的更新的图像530B。如图所示，框535和540两者显示为如果显示设备不碍事时的样子，因为事实证明，框540在图像530B中仅部分显示，但是框的其余部分仍然可见，并且在真实环境中在邻近设备的视图中看起来是无缝的。根据一个或多个实施方案，如果图像中的对象以基本上相同的缩放和位置出现，则场景在图像和真实环境中看起来是无缝的，如同用户从相同视点而不是通过显示器看场景一样。在一个或多个实施方案中，如果图像中的环境从视点看起来基本上与真实环境邻接，则图像看起来是无缝的。例如，如果用户以与电子设备不存在时相同的缩放和距离通过电子设备查看真实环境，则图像可基本上与真实环境邻接。因此，围绕显示器或电子设备的任何帧可干扰真实环境的视图，但图像仍可被视为与背景真实环境无缝或基本上邻接。

现在参见图6，其呈现了根据一个或多个实施方案的示出翘曲方法的示例系统图。在600处，视点410处的用户通过电子设备100查看包括框535和540的场景。在600处，识别从摄像头到所确定的场景深度的截头的四个拐角。如上所述，深度可使用多种方法来确定，诸如对象检测技术、自动对焦、用户输入等。截头的四个拐角示出为602A、602B、602C和602D。然后可将由四个拐角602限定的平面后投影到电子设备100的显示器上。在一个或多个实施方案中，可基于摄像头和电子设备100的显示器之间的空间关系来后投影捕获在平面内的图像。在一个或多个实施方案中，摄像头和显示器之间的空间关系可例如由电子设备100来了解或编码，或者可以其他方式确定。

转到610，由四个拐角602限定的图像平面被重新投影到电子设备100的显示器上。在一个或多个实施方案中，重新投影是基于视点的，例如用户410的眼睛的位置和注视方向。因此，基于从视点到平面的截头，重新投影包括四个拐角604A、604B、604C和604D。在一个或多个实施方案中，重新投影图像生成用于在电子设备100中显示的图像。在一个或多个实施方案中，基于视点来重新投影图像表明，包括框535和540的场景可导致框535和540通过电子设备100以与它们在真实世界环境中出现的相同缩放和位置出现。例如，如果框540从视点的注视方向和位置被电子设备部分封闭，则框540的被封闭的一部分将如电子设备100不封闭图像的该部分一样出现在电子设备100的显示器中。另外，在一个或多个实施方案中，框540的封闭部分和未封闭部分可从该视点看起来基本上邻接。例如，除了电子设备100的围绕显示器的边之外，框540可看起来是邻接的。

现在参考图7，其示出了根据一个实施方案的例示性多功能设备700的简化功能框图。多功能电子设备700可包括处理器705、显示器710、用户界面715、图形硬件720、设备传感器725(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风730、一个或多个音频编解码器735、一个或多个扬声器740、通信电路745、数字图像捕获电路750(例如，包括摄像头系统)、一个或多个视频编解码器755(例如，支持数字图像捕获单元)、存储器760、存储设备765和通信总线770。多功能电子设备700可为例如数字摄像头或个人电子设备，诸如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。

处理器705可执行实施或控制由设备700执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理)。处理器705可例如驱动显示器710并可从用户界面715接收用户输入。用户界面715可允许用户与设备700交互。例如，用户界面715可采取多种形式，诸如按钮、小键盘、转盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。处理器705也可例如为片上系统，诸如存在于移动设备中的那些，并且包括专用图形处理单元(GPU)。处理器705可基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件720可为用于处理图形和/或辅助处理器705以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件720可包括可编程GPU。

图像捕获电路750可包括两个(或更多个)镜头组件780A和780B，其中每个镜头组件可具有单独的焦距。例如，相对于镜头组件780B的焦距，镜头组件780A可具有短焦距。每个镜头组件可具有单独的相关联传感器元件790。另选地，两个或更多个镜头组件可共用共同的传感器元件。图像捕获电路750可捕获静态图像和/或视频图像。通过以下设备可至少部分地处理来自图像捕获电路750的输出：一个或多个视频编解码器755和/或处理器705和/或图形硬件720、和/或结合在电路765内的专用图像处理单元或管道。这样捕获的图像可被存储在存储器760和/或存储装置765中。

传感器和摄像头电路系统750可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：一个或多个视频编解码器755和/或处理器705和/或图形硬件720和/或结合在电路750内的专用图像处理单元。这样捕获的图像可被存储在存储器760和/或存储装置765中。存储器760可包括由处理器705和图形硬件720用于执行设备功能的一个或多个不同类型的介质。例如，存储器760可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置765可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置765可包括一个或多个非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器760和存储装置765可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。在由例如处理器705执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。

根据一个或多个实施方案，基于摄像头的透明显示器可具有多种用途。例如，上述技术可用于图像稳定。即，用于使图像翘曲的翘曲功能也可用于稳定图像。在另一个实施方案中，基于摄像头的透明显示器可用于机器获知。例如，摄像头可捕获场景的图像并对场景和/或场景内的对象进行分类。在一个或多个实施方案中，通过跟踪用户眼睛正注视的对象，可识别应被分类的对象。

在一个或多个实施方案中，基于摄像头的透明显示器可用于在显示器上呈现虚拟信息，例如用于增强现实目的。例如，与特定位置相关联的数字信息可显示在通过显示器从特定视点感知的更准确的位置。例如，场景的图像可通过在经翘曲的图像中场景内的特定点处的附加文本或图像数据来增强。在一个或多个实施方案中，数字信息可与场景中的特定对象相关联。当对象落入经翘曲的图像内时(或者当该对象在显示器中可见时)，与该对象相关联的数字信息可与对象一起显示在经翘曲的图像中。在一个或多个实施方案中，在经翘曲的图像变化时，无论场景发生变化，还是由于视点或设备相对于场景的位置的变化而发生翘曲变化，数字信息也可变化。

本公开所公开的主题的范围应该参考所附权利要求书以及权利要求书的等同物的全部范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种用于呈现场景的图像的方法，包括：

通过电子设备的摄像头捕获场景的图像，其中所述电子设备包括所述摄像头和显示器，并且其中所述摄像头和所述显示器具有第一空间关系；

确定视点和所述电子设备的所述显示器之间的第二空间关系；

基于第一空间关系和第二空间关系来使所述图像翘曲，以获得所述场景的第一部分的图像；以及

在所述显示器上呈现经翘曲的图像，

其中，从所述视点来看，所述场景的第一部分的所述图像基本上与所述场景的在所述电子设备的边缘之外可见的第二部分邻接。

2.根据权利要求1所述的方法，其中使所述图像翘曲还包括：

基于所述摄像头的本征和所述场景中的深度来后投影所述图像；以及

基于第二空间关系来将所述图像重新投影到所述显示器。

3.根据权利要求2所述的方法，还包括：

使用选自包括下列的组中的至少一者来选择所述深度：自动对焦操作、立体估计、飞行时间操作和结构化光操作；以及

基于所选择的深度来后投影所述图像。

4.根据权利要求2所述的方法，其中后投影所述图像包括：

基于所述摄像头的所述本征和所述深度来识别四个图像拐角；以及

使所述四个图像拐角与由所述显示器限定的平面相交，以获得2D图像变换。

5.根据权利要求1所述的方法，其中使所述图像翘曲还包括：

识别所述场景中的对象；以及

使所述图像翘曲，使得所述对象的第一部分从所述视点来看在所述场景中可见，并且所述对象的第二部分的图像从所述视点来看在所述显示器上可见，并且其中第一部分和第二部分基本上对准。

6.根据权利要求1所述的方法，还包括：

检测所述电子设备的移动；

从所述电子设备获得所述场景的更新的图像；

确定更新的视点和所述电子设备的所述显示器之间的更新的空间关系；

至少部分地基于所述更新的空间关系来使所述更新的图像翘曲，以获得更新的经翘曲的图像；以及

在所述显示器上显示所述更新的经翘曲的图像。

7.一种计算机可读介质，包括用于呈现场景的图像的计算机可读代码，所述计算机可读代码能够由一个或多个处理器执行，以：

通过电子设备的摄像头捕获场景的图像，其中所述电子设备包括所述摄像头和显示器，并且其中所述摄像头和所述显示器具有第一空间关系；

确定视点和所述电子设备的所述显示器之间的第二空间关系；

基于第一空间关系和第二空间关系来使所述图像翘曲，以获得所述场景的第一部分的图像；以及

在所述显示器上呈现经翘曲的图像，

其中，从所述视点来看，所述场景的第一部分的所述图像基本上与所述场景的在所述电子设备的边缘之外可见的第二部分邻接。

8.根据权利要求7所述的计算机可读介质，其中用于使所述图像翘曲的所述计算机可读代码还包括用于以下项的计算机可读代码：

基于所述摄像头的本征和所述场景中的深度来后投影所述图像；以及

基于第二空间关系来将所述图像重新投影到所述显示器。

9.根据权利要求8所述的计算机可读介质，还包括计算机可读代码，以：

使用选自包括下列的组中的至少一者来选择所述深度：自动对焦操作、立体估计、飞行时间操作和结构化光操作；以及

基于所选择的深度来后投影所述图像。

10.根据权利要求8所述的计算机可读介质，其中用于后投影所述图像的所述计算机可读代码包括用于以下项的计算机可读代码：

基于所述摄像头的所述本征和所述深度来识别四个图像拐角；以及

使所述四个图像拐角与由所述显示器限定的平面相交，以获得2D图像变换。

11.根据权利要求7所述的计算机可读介质，其中用于使所述图像翘曲的所述计算机可读代码还包括用于对所述图像执行颜色校正的计算机可读代码。

12.根据权利要求11所述的计算机可读介质，其中用于对所述图像执行所述色彩校正的所述计算机可读代码包括用于对所述图像执行白平衡功能的计算机可读代码。

13.根据权利要求7所述的计算机可读介质，其中所述摄像头为后置摄像头，并且其中前置摄像头捕获包括用户的至少一部分的第二图像，并且其中基于第二图像来确定所述视点。

14.根据权利要求7所述的计算机可读介质，其中用于使所述图像翘曲的所述计算机可读代码还包括用于以下项的计算机可读代码：

识别所述场景中的对象；以及

使所述图像翘曲，使得所述对象的第一部分从所述视点来看在所述场景中可见，并且所述对象的第二部分的图像从所述视点来看在所述显示器上可见，并且其中第一部分和第二部分基本上对准。

15.根据权利要求7所述的计算机可读介质，还包括计算机可读代码，以：

检测所述电子设备的移动；

从所述电子设备获得所述场景的更新的图像；

确定更新的视点和所述电子设备的所述显示器之间的更新的空间关系；

至少部分地基于所述更新的空间关系来使所述更新的图像翘曲，以获得更新的经翘曲的图像；以及

在所述显示器上显示所述更新的经翘曲的图像。

16.一种用于呈现场景的图像的系统，包括：

一个或多个处理器；以及

一个或多个存储器设备，所述一个或多个存储器设备耦接至所述一个或多个处理器，并且包括能够由所述一个或多个处理器执行的计算机可读代码，以：

通过电子设备的摄像头捕获场景的图像，其中所述电子设备包括所述摄像头和显示器，并且其中所述摄像头和所述显示器具有第一空间关系；

确定视点和所述电子设备的所述显示器之间的第二空间关系；

基于第一空间关系和第二空间关系来使所述图像翘曲，以获得所述场景的第一部分的图像；以及

在所述显示器上呈现经翘曲的图像，

其中，从所述视点来看，所述场景的第一部分的所述图像基本上与所述场景的在所述电子设备的边缘之外可见的第二部分邻接。

17.根据权利要求16所述的系统，其中用于使所述图像翘曲的所述计算机可读代码还包括用于对所述图像执行颜色校正的计算机可读代码。

18.根据权利要求16所述的系统，其中所述摄像头为后置摄像头，并且其中前置摄像头捕获包括用户的至少一部分的第二图像，并且其中基于第二图像来确定所述视点。

19.根据权利要求16所述的系统，其中用于使所述图像翘曲的所述计算机可读代码还包括用于以下项的计算机可读代码：

识别所述场景中的对象；以及

使所述图像翘曲，使得所述对象的第一部分从所述视点来看在所述场景中可见，并且所述对象的第二部分的图像从所述视点来看在所述显示器上可见，并且其中第一部分和第二部分基本上对准。

20.根据权利要求16所述的系统，还包括计算机可读代码，以：

检测所述电子设备的移动；

从所述电子设备获得所述场景的更新的图像；

确定更新的视点和所述电子设备的所述显示器之间的更新的空间关系；

至少部分地基于所述更新的空间关系来使所述更新的图像翘曲，以获得更新的经翘曲的图像；以及

在所述显示器上显示所述更新的经翘曲的图像。

Images