CN102667855A - 用于确定相机姿态以及用于识别真实环境的对象的方法 - Google Patents

Abstract

一种用于确定相机（22，32）相对于真实环境（40）的姿态的方法，包括以下步骤：通过相机（22，32）记录真实环境的至少一个图像（50），其中所述图像包含真实对象（41）的至少一个部分；执行追踪方法，该追踪方法在真实对象包含在所述真实环境的所述图像（50）中时，评价关于与真实对象（41）相关联的特征和所述真实对象（41）的相应特性之间的对应关系，以便得出关于相机（22，32）的姿态的结论；确定环境状况的至少一个参数；以及根据所述至少一个参数来执行所述追踪方法。该方法还可类似地应用于用于在由相机拍摄的图像中识别真实环境的对象的方法。

Description

用于确定相机姿态以及用于识别真实环境的对象的方法

技术领域

本发明涉及用于确定相机相对于真实环境的姿态的方法，以及涉及用于在由相机拍摄的图像中识别真实环境的对象的方法。而且，本发明涉及用于提供数据模型的方法，该数据模型意图用于在用于确定相机相对于真实环境的真实目标的姿态的方法中或在用于识别真实环境的对象的方法中，与由相机拍摄的图像数据进行比较。

背景技术

增强现实（AR）是以现实覆盖虚拟数据并且由此便于数据与现实相关联的技术。在现有技术中已知有例如移动AR系统的应用。在过去的几年中，已证实高性能移动设备（例如，所谓的智能手机）适于AR应用。同时，这些设备具有相当大的彩色显示器、内置相机、良好的处理器以及诸如方位传感器和GPS的附加传感器。此外，经由无线电通信网络，可以估计设备的位置。在过去，存在各种在移动设备上利用AR实施的方案。首先，存在使用特定的光学标记，以确定设备的位置和方位。最近，还存在利用更加现代化设备的方位传感器系统和GPS的方法（[1,4,10,15]）。

[1]AR Wikitude.http://www.mobilizy.com/wikitude.php。

[4]在1997年关于可佩戴式计算机的第一国际研讨会的论文集中第74-81页由S.Feiner、B.MacIntyre、T.Hollerer和A.Webster的A touring machine：Prototyping 3dmobile augmented reality systems for exploring the urban environment。

[10]Sekai Camera.http://www.tonchidot.com/product-info.html。

[14]2008年第七届关于混合和增强现实的IEEE/ACM国际研讨会，2008年IEEE/ACM国际研讨会第187页-188页由Marko Heinrich,Bruce H.Thomas,Stefan Mueller的“AR Weather”，混合和增强现实。

[15]layar.com

出版商Springer柏林/海德尔于2006年4月在杂志《Machine Visionand Applications》出版的第17卷，第1号，第8页-第20页，书号为ISSN0932-8092(印刷)1432-1769（在线）。

然而，在这方面应该注意的是由于不安全的传感器数据，配准（registration），即覆盖，的精度值得改进。对此的方法是使用混合追踪，该混合追踪通过光学方法，例如根据GPS、罗盘以及重力传感器的组合来改善相机的初始姿态。常常使用图像数据的所谓“直方图均衡化”，以便减少对于变化的光线条件的易感性。

在现有技术中，已知用于确定相机相对于真实环境的姿态的光学追踪系统的初始化和在由相机拍摄的图像中真实对象的对象识别。然而，系统的可靠性有时会随着变化的环境条件而发生极大的改变。在这方面相机姿态是空间中的相机的位置和方位。可以将现实提供为任意形式的数据模型，例如作为描述现实或部分现实的几何特性的3D模型。

公开文献US2003/0025714描述了通过增强现实来可视化气象数据的系统。公开文献US2005/0231419A1描述了通过气象独立传感器来监视空域，并通过AR显示空域信息的AR系统。

发明内容

本发明的目的在于在用于确定相机相对于真实环境的姿态的方法中以及用于在由相机拍摄的图像中识别真实环境的对象的方法中，提高对于变化的环境条件的鲁棒性。

根据第一方面，本发明涉及用于确定相机相对于真实环境的姿态的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；例如在拍摄图像时，确定环境状况的至少一个参数；执行追踪方法，该追踪方法在真实对象包含在所述真实环境的所述图像中时，评价关于与所述真实对象相关联的特征和所述真实对象的相应特征之间的对应关系，以便获得关于相机的姿态的结论；以及根据所述至少一个参数来执行所述追踪方法。

根据本发明的另一方面，本发明涉及用于在由相机拍摄的图像中识别真实环境的对象的方法，所述方法包括以下步骤：通过相机拍摄真实环境的至少一个图像，所述图像包含真实对象的至少部分；执行图像识别方法，所述图像识别方法提供关于图像中的所述至少一个真实对象的识别的信息；例如在拍摄图像时，确定环境状况的至少一个参数；以及根据所述至少一个参数执行所述图像识别方法。

具体来说，可以以这一方式识别当前环境状况，并且动态地配置该系统。通过匹配配置的方式，提高了相对于变化的环境条件的鲁棒性。

根据本发明的实施例，所述环境状况的至少一个参数的确定使用以下信息项目中的至少一个或多个：某日的时间；某年的时间；天气，尤其是雨、云、太阳（太阳辐射）以及雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，特别是强烈运动；交通状况；位置；世界坐标系中的方位；图像直方图；温度；维护步骤。环境状况的至少一个参数尤其可以对于这些条件或状况中的一个或多个是特有的。

如在上文中以示例性方式指出地，各种环境条件对于前述的用于对象识别和姿态确定的方法，常常具有很大的影响。在识别这些条件后，从而能够做出反应。例如，一个反应可以是针对太阳的大多数位置，准备环境的数据模型，并且对于雨天和晴天也如此做。当期望在特定的位置执行识别或初始化时，可以例如通过某天/某年的时间以及在线天气信息的查询的方式，加载和利用合适的数据模型（其中太阳辐射的向量与所计算的太阳辐射的向量之间的角度尽可能小）。通常而言，由此存在描述至少部分环境条件的一个或多个测量、仿真或确定的参数。可以分别从配置用于对象识别和姿态确定的识别或初始化系统的一个或多个参数中确定或导出。

在本发明的实施例中，追踪方法使用至少一个根据至少一个参数进行初始化的光学追踪方法。

例如，通过具有一个、两个、三个、四个、五个或六个自由度的追踪方法，来确定相机的姿态。

在本发明的实施例中，追踪方法可以使用传感器类型不同的数个追踪传感器。例如，追踪方法包括根据至少一个参数对至少一个追踪传感器进行加权。

在本发明的实施例中，追踪方法也可以包括根据至少一个参数进行方法部分步骤的优先化（prioritization）。然而，在使用与由相机拍摄的图像的数据进行比较的数据模型的方法中，作为替换或与之组合，也可以考虑当前环境状况的至少一个参数来选择数据模型。在另一实施例中，使用至少一个数据模型与真实环境的图像中的真实对象的图像数据进行比较，其中所述至少一个参数对于数据模型的准备和/或使用具有影响。

例如，至少一个参数对于数据模型的种类，尤其是所谓特征探测器和描述符的准备具有影响。在另一实施例中，从记录有至少一个参数（环境状况）或由仿真准备的多个单独模型中提取数据模型，该数据模型包含在数个环境状况中出现的信息项目的交集。

本发明还涉及用于提供数据模型的方法，该数据模型意图用于在用于确定相机相对于真实环境的真实对象的姿态的方法中或用于识别真实环境的对象的方法中，与由相机拍摄的图像的数据进行比较。根据这样的方法，查明或仿真环境状况，并且确定所述环境状况的至少一个参数。而且，准备数据模型，该数据模型包含所述真实对象的基本描述，设定或仿真各种环境状况，并且对于不同的环境状况，根据相应的至少一个参数来提供相应匹配的数据模型（例如这可以作为对于当前参数的直接反应或者作为预备，例如，在预先仿真大多数的情况时发生）。

根据实施例，基本描述是环境的虚拟3D模型。

根据另一实施例，所准备的数据模型包括在数个不同环境状况中出现的信息项目的交集。

例如，当将虚拟信息混合在真实环境的景观中时，可以考虑例如经由因特网（“在线”）检索天气数据，以便相对于真实环境增加混合在虚拟信息中的真实度，并且从而提高关联性。存在在此可构想用于处理的各种的复杂度。例如，基于天气状况，可以分配与天气状况匹配的固定的照明模式或素材（例如纹理）。根据天气数据（诸如云、太阳辐射等）和/或其它数据（诸如，某日/某年的时间等），可以计算光线条件或投射的阴影（例如，通过本领域技术人员已知的光线追踪方法）。

本发明的附加的有利开发和实施例将在从属权利要求中指出。

附图说明

下文中将通过附图来更加详细地描述本发明，其中：

图1示出相对于真实环境的示例性系统设置的示意性配置的平面图，该示例性系统设置可以用于执行根据本发明的方法；

图2示出相对于真实环境的示例性系统设置的示意性配置的侧视图，该示例性系统设置可以用于执行根据本发明的方法；

图3示出用于确定相机姿态或用于对象识别的数据模型的示意性示例；

图4示出根据本发明的实施例的方法的示例性流程；

图5示出根据本发明的进一步实施例的方法的示例性流程；

图6示出根据本发明的进一步实施例的方法的示例性流程；

图7示出根据本发明的进一步实施例的方法的示例性流程；

图8示出根据本发明的进一步实施例的方法的示例性流程；

图9示出根据本发明的实施例的数据结构的示例性设置；

图10示出根据本发明的实施例的示例性参数向量；

图11示出根据本发明实施例的所拍摄的图像的差异的近似的示例性值以及可能的计算。

具体实施方式

图1示出相对于真实环境的示例性系统设置的示意性配置的平面图，该示例性系统设置可以用于执行根据本发明的方法。具体来说，图1示出了系统设置的各种可能性。与此结合，图2示出相对于真实环境的示例性系统设置的示意性配置的侧视图，该示例性系统设置可以用于执行根据本发明的方法。

在图1A的所示中，用户佩戴作为显示设备的头戴显示系统（“头戴显示器”，简称HMD），该头戴显示系统包括作为系统设置20的一部分的显示器21。该显示器21例如可以是通常已知的半透明数据眼镜（“光学透视显示器”），由计算机23提供的虚拟信息可以在半透明数据眼镜中混合。随后，在通过半透明数据眼镜21观看真实世界时，用户看到增加混合有虚拟信息的真实世界40的对象（诸如与真实世界相关的POI对象）。以这种方式，系统设置20构成了普遍已知的增强现实（AR）系统的第一实施例。

显示器21可以具有诸如旋转传感器的附加传感器24，和附加传感器24上安装的用于光学追踪的相机22。显示器21可以是半透明的，或可以由相机图像来提供现实图像。在采用半透明显示器21时，眼睛25与显示器21之间的校准是必要的。在这方面，具有各种记载在现有技术中的处理方法，并且对于本领域技术人员也是已知的。有利地是，在显示器21上或用户身体上的任何地方，或者也可以在计算机单元23中，还可以安装诸如GPS传感器（GPS：全球定位系统）的位置传感器，用以确定系统设置20在真实世界40中的地理位置（例如，根据经度和纬度）。

图1B的视图示出了例如可以在现代移动电话（所谓“智能手机”）中经常发现的另一示例性系统设置30。显示设备31（例如，以显示屏或显示器的形式）、计算机33、传感器34以及相机32构成了例如容纳在移动电话的共同外壳中的系统单元。可以使用传感器类型不同的数个追踪传感器。例如，可以组合使用和评价旋转传感器34-1和GPS传感器34-2（参见，图2）。

通过示出由相机32捕获的真实环境40的相机图像50的显示器31，来提供真实环境40的景象。对于增强现实的应用，可以在显示器31上显示该相机图像50，并且可以对该相机图像增加附加的虚拟信息（诸如与真实世界相关的POI对象）。以这种方式，系统设置30构成了普遍已知的增强现实（AR）系统的另一实施例。

基本上，本发明可以方便地应用于所有形式的AR。例如，无论是实施在具有半透明HMD的所谓光学透视模式中，还是实施在具有相机和显示屏的视频透视模式中。基本上，本发明也可以结合立体显示器来使用，其中视频透视方法有利地使用两个相机，每一个相机为每个眼睛记录一个视频流。在任何情况下，能够为每个眼睛单独计算虚拟3D信息的项目。

基本上，下文描述的不同部分的步骤的处理能够经由网络分配到各种计算机。因此，客户端/服务器架构或纯粹的基于客户端的解决方案是可行的（其中例如，将可供选择的各种数据模型固定地提供在服务器上）。例如，客户端可以将图像发送到服务器，服务器基于该图像并且基于环境状况的参数，，使用关于系统设置（参见，图1）的3D方位和3D位置或其相对于真实世界的部分（参见以下的姿态）以及对于视觉或能见度范围的客户端语句。可以由客户端部分地确定关于环境状况的参数（例如位置），并且可以由服务器部分地确定关于环境状况的参数（对于该位置的气象数据）。而且，客户端或服务器也可以包括数个计算单元,诸如数个CPU或诸如普遍已知的FPGA、ASIC、GPU或DSP的专门硬件组件。也存在相互交换例如相对于在该位置的环境状况产生的信息，或者在客户端产生环境数据的情况中相互交换信息的数个客户端。该信息的交换可以经由服务器进行，然而，也可以设想例如经由蓝牙或WLAN的直接连接而进行。

为了实现AR，空间中的相机姿态（位置和方位）是必需的。这可以通过各种不同的方式来实现。例如通过仅使用GPS和具有电子罗盘的方位传感器（例如安装在某些现代化移动电话中）能够确定在现实世界中的姿态。然而，姿态的不确定性会非常高。因此，也可以使用其它方法，诸如光学初始化和追踪，或者光学方法与GPS和方位传感器的结合。可以使用WLAN定位，或者RFID或光学标记也可以支持该定位过程。如上文中所述，在此也可以使用基于客户端/服务器的方法。然而，基本上，本发明并不仅限制于AR的使用。例如，还可以执行对象识别，并且随后在网页浏览器中启动网页或者启动应用程序。然而，也可以使用至少一个参数和照片，以便在诸如Flickr的照片站点上准确地定位图像，该图像也可以指示拍摄图像的地方。

本发明能够改善用于客户端的信息表示。然而，也能够用在远程情景中。在这种情况下，例如控制室中的维护专家在他的显示屏上可以看到经由数据网络传输的客户端的图像以及相应处理的信息。随后，专家可以对客户端发出指令或只是观察。在类似的情景中，可以设想某人观看具有根据本发明显示的交互式附加信息的捕获图像或视频素材，并且如果可能的话，能够通过类似于基于因特网的应用“谷歌街景”来导航。

此外，也可以将使用监视器、HMD或头顶显示器的本发明安装在或携载在车辆、飞机或船只中。

基本上，本发明可以用于融和所谓的感兴趣点。可以针对大量不同形式的信息设置感兴趣点（“POI”）。下文中给出的示例：可以使用GPS信息来表示多个地方的图像。可以自动提取来自因特网的信息。例如，这可以是具有地址或给出评级的网页的公司或餐馆网站。用户可以在特定的位置存放文本、图像或3D对象，并且可以将文本、图像或3D对象提供给其他人使用。可以针对地理信息检索诸如维基百科的信息网页，并且该网页可以作为POI用于访问。可以根据移动设备的用户的检索和浏览行为自动地产生POI。能够显示出其它的感兴趣地方，诸如地下交通或公交车站、医院、警察局、医生、房地产广告或健身俱乐部。

该系统也允许显示导航信息（例如，箭头）。

如图2中所示，现实可以以任意的形式呈现为数据模型，例如3D模型51，该3D模型51在该情况中限定出真实对象41的几何特性，或者将对象的点特征存储在3D点云中。因此，这样的数据模型通常可以描述现实或部分现实的几何特性。可以在用于确定相机姿态的追踪方法中或用于对象识别的方法中利用这样的数据模型。

例如，利用这样的数据模型，可以实施用于光学对象追踪的方法。在这种情况下，如本领域技术人员已知的，将诸如数据模型51的数据模型与由相机拍摄的包括真实对象41的图像的数据进行比较。

在现有技术中，已知在由相机拍摄的图像中的真实对象的对象识别以及用于确定相对于真实环境的相机姿态的光学追踪系统的初始化。具体来说，当真实对象包含在真实环境的图像中时，在此所使用的方法评价关于与真实对象相关联的特征和真实对象的相应特性之间的对应关系的信息，以获得关于相机姿态的结论。

然而，系统的可靠性有时会随着环境状况的改变而发生极大的变化。通过本发明，能够识别当前的环境状况并且动态地配置该系统。通过匹配配置的方式，提高了对于环境条件改变的鲁棒性。

根据本发明的一方面，将实施以下步骤：通过相机拍摄真实环境的至少一个图像；该图像包含真实对象的至少一部分；确定环境状况的至少一个参数；当真实对象包含在真实环境的图像中时，执行追踪方法，该追踪方法评价关于与真实对象相关联的特征和真实对象的相应特性之间的对应关系，以获得关于相机姿态的结论；以及根据该至少一个参数来执行追踪方法，尤其是根据该至少一个参数来找到对应关系。因此能够识别当前的环境状况，并且动态地配置该系统。通过匹配配置的方式，能够提高鲁棒性。

例如，追踪方法使用至少一个根据至少一个参数初始化的光学追踪方法。例如通过追踪方法采用一个、两个、三个、四个、五个或六个自由度来确定相机的姿态。预期用途例如是对象识别（例如，获得信息：“我在哪个对象的前面”），或者用于具有六自由度的增强现实的光学追踪系统的初始化。为了确定六自由度，现有技术中已知的可能方式在于生成2D-3D对应关系并且将其输入优化方法。此外，例如，当记录设备额外装配有生成深度信息的深度相机或第二相机时，也可以使用3D-3D对应关系。为了提供对应关系，可以从图像中识别特征，并且在数据模型中检索相同的特征。为了检索，可以使用所谓的特征描述符（例如SURF或SIFT）。SUFT表示加速鲁棒特征，SIFT表示尺度不变特征变换）。然而，当相对于其它光线条件而不是当前图像所识别的特征来产生数据模型的特征和其描述符时，这常常不起作用。

例如，追踪方法使用数个传感器类型不同的追踪传感器。随后，在追踪方法中，可以以所谓的传感器融合，根据至少一个参数，相对于其它追踪传感器，对追踪传感器中的一个或多个实施加权（例如，在恶劣条件的情况下增加了光学追踪的不确定性）。也可以根据至少一个参数在追踪方法中实施方法部分步骤的优先化。例如，在良好的条件下可以首先使用更快的方法（例如，SUFT），以及在恶劣条件的情况下首先使用更鲁棒的方法（例如，SIFT）。

不同的环境条件常常对该方法和许多特征有着很大的影响。因此在识别这些不同的环境条件时，可以由此针对该方法和许多特征做出反应。反应例如可以是对于太阳的大多数位置准备环境模型，并且对于雨天和晴天也如此做。当在特定的位置执行识别或初始化时，可以例如通过时间、日期/年和在线天气信息查询的方式，加载和使用合适的模型（其中在太阳辐射的向量和所计算的太阳辐射的向量之间的角度尽可能的小）。因此，存在描述环境条件的参数以及配置该识别或初始化系统的参数。

实施例使用以下项目信息中的一个或数个，来确定环境状况的至少一个参数：某日的时间；某年的时间；天气，尤其是雨、云、太阳和雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，并且特别是强烈运动；交通情况；位置；世界坐标系的方位；图像直方图；温度；维护步骤。因此，环境状况的至少一个参数对于这些条件或情况中的一个或多个尤其可以是特有的。在实施例中，至少一个参数并不（仅仅）是位置或并不（仅仅）是对于位置而特有的。在进一步的实施例中，至少一个参数并不（仅仅）是方位或并不（仅仅）是对于方位而特有的。在另一实施例中，至少一个参数并不（仅仅）是姿态或并不（仅仅）是对于姿态而特有的。

以下，存在根据本发明的进一步的示例和可能方式：

对于照明情况，还可以考虑月亮。在有月光的夜晚，可以使用特定的光学特征，在黑暗的夜晚，可以仅采用人造光源（例如，灯光广告）来工作，或者完全不尝试使用光学系统，而是仅使用例如GPS和罗盘。在下雪时（当前天气或最近几天的天气数据库，以及温度曲线或在线道路交通报道或在线雪崩报道），环境又有不同，并且将有利地加载相应的模型或停用该光学追踪。

根据年的时间，在某些区域可以得出关于树木枝叶的结论，并且可以加载不同的模型。除了某年的时间以外，还可以在计算中额外考虑整个一年的气候条件。在这个方面，海拔高度也可以起到作用。

基本上，不仅可以根据特定的环境状况来加载不同的数据模型，而且还能够对于优先化（在算法中初期或后期考虑）或组合模型中特定模型部分的加权（对于结果的强大的或弱小的影响）施加影响。在组合模型中，单个模型数据（诸如点云的多个点）被补充有关于环境状况的数据。根据特定的环境状况，因此能够移出、改变或者增加部分模型数据。例如在“冬天”的环境状况中将数据模型的特定点移出（即，不考虑），而在“夏天”的环境状况中则考虑它们。在图9中示出了对于该可能实现的可行的数据结构。该数据模型可以包含每个特征一个参数向量、诸如SURF描述符的描述符、和用于计算诸如地球坐标系中的3D位置的姿态的最优化信息，其中该参数向量描述该特征可以与哪些环境状况一起合理地使用。

相机拍摄图像的位置和方位常常还与所确定的环境条件有很大的关联性（当地天气，当地日期的时间等）。然而，例外是，识别过程会发生在全世界内（例如，可口可乐瓶的识别），并且其中客户端可以对特定环境的特性做出反应，而不管位置在哪里（例如，移动设备上的亮度传感器或相机图像的直方图）。直方图（一种关于图像的统计方式）例如可以允许提示环境照明的一般特性，并且可以停用或切换光学方法。方法的切换例如可以是代替使用角落特征而使用边缘特征，或者代替使用SURF而使用已知的SIFT。或者可以请求用户有益地干预和向系统提供用于识别的提示。

在对象受到维护的情况下，可以根据当前维护步骤或维护状态的知识，导出关于环境的进一步信息。例如对于特定步骤是否已经拆除电机。

甚至公共事件或交通情况的知识（根据经验或在线检索）也能够提供对于以下情况的提示：特定区域不能提供可靠的信息，因为它们处于不断的运动中（例如，人群或移动车辆）。

进一步的实施例包括根据环境状况的至少一个参数与追踪方法相对于已知环境状况的已知理想参数的距离测量的确定，来计算在确定相机姿态中的不确定性。通常来说，也可以以一个向量的形式组合关于环境状况的数个参数的一部分，并且产生具有记录或准备条件的相应向量的数据模型。可以根据向量的比较来导出提供给当前环境状况的数据模型的质量，并且因此可以选择具有最小偏差的数据模型，和/或可以根据差异导出用于识别的不确定性语句。在图10中示出这方面的示例：向量包含例如用于日期的时间、云的情况以及年的时间的三个字段。椭圆形示出在特定时间拍摄的情景的环境状况。图11示出近似的示例性值和情景之间差异的可能计算。在这方面，可以对各个参数加权，因为这些可以对于数据模型产生不同程度的影响。

可以对于每个数据模型，也可以对于比较信息的每一项（例如，SURF特征）或数据模型内的每个特征存储参数向量。在这个方面，不仅可以存储固定值，也可以存储该比较信息适和的参数范围。图8示出了附加信息的可能使用。例如，如步骤6.1和6.2中所述，可以通过根据参数向量距离的排序来加速比较，随后可以更加快速地发现所期望的数量的对。作为替换，可以将当前环境参数向量放置在图像中所发现的所有特征之前，并且随后可以启动由最近的邻近搜索选择性支持的匹配算法。

在本发明的实施例中，该至少一个参数对于关于模型数据的成功检索的最小需求具有影响，尤其是确定与真实对象相关联的多个特征和在真实环境的图像中的真实对象的相应特征，该相应特征已达到一致（至少“匹配”特征的数量）。在识别和初始化中，常常存在指出假设特征或整个对象从哪里检索的所指示的测量。例如，必须重新寻找或检索至少10个特征。在当前模型良好地适应环境时，例如，可以增加测量（例如必须重新寻找20个特征）。因此，在好的条件下，所谓“误报”（对象的错误识别；即由系统进行的对象假设识别证明是错误的）（例如，这会导致准确度的提高），然而，在恶劣条件的情况下，并不放弃可能的初始化机会。

在进一步的实施例中，环境状况的至少一个参数对于数据模型的准备和/或使用具有影响。具体来说，至少一个参数影响数据模型的准备类型，例如特征探测和特征描述符的准备。具体来说，存在不同的特征提取器和描述符。在好的环境条件下，例如，可以选择快速方法（例如，快速提取器+快速描述符），而在困难的条件情况下，可以使用更加复杂的方法（例如，SIFT）。

在另一实施例中，从多个单独的模型中提取数据模型，其中数据模型包含数个环境状况下信息的交集。图7中的流程图示出该过程的示例性实现方式。在步骤30.0中，加载各种现有的数据模型或之前由仿真产生的数据模型。之后（步骤31.0），执行模型之间的匹配。在这种情况下，常常检索一些比较数据，而另一些将一次也不会被检索。可以缓存检索的频率。在可选步骤32.0中，可以去除离群值，例如，当特征在数据模型的共同坐标系中的其位置处变化极大时。应当注意，数据模型基本上也可以由不同方法创建的异质性比较信息来构成（例如，SURF或SIFT或任何边缘模型或区域模型或考虑颜色的模型）。之后，可以组合经常检索的比较信息（步骤31.0），以形成新的地图。在这种情况下，也可以选择性地确定用于空间中例如每体积的比较信息的上限。随后，进行根据最强比较信息的排序。在这方面，可以通过仅优选非常稳健且缓慢的方法的加权操作来防止它。之后，可以存储该地图，以用于进一步的使用。

在另一实施例中，具有数个执行该方法的局部系统（尤其是数个客户端，诸如数个移动设备），并非每一个局部系统自身计算追踪情况，而是完成的情况信息对于所有的局部系统可用，有利地，甚至完成的识别或初始化模型对于局部系统可用。

例如，局部系统连续将关于情况的信息提供给所提供的服务器或对等处理。对等处理将发生在数个移动设备之间（例如，服务器与10号设备通信，10号设备与13号和17号设备邻近，并且随后，10号设备可以直接向这些设备请求信息）。另外，存在单独的设备将信息提供给服务器，并且，用户从服务器获得用于他的特定设备的信息。

在另一实施例中，将确定相机姿态用于计算相对于图像中包含的至少一个真实对象的深度信息，在显示设备中，当由被遮蔽的真实对象在情景中遮蔽叠置到真实环境上的虚拟信息时，深度信息用于融合用于遮蔽真实对象的遮蔽模型。

本发明的另一方面涉及在用于相对于真实对象确定相机的姿态的方法中或在用于识别真实环境的对象的方法中，用于准备数据模型的方法，该数据模型旨在分别与由相机拍摄的图像和其数据进行比较，其中确定或仿真环境状况，并且确定环境状况的至少一个参数，所准备的数据模型包含真实对象的基本描述，预设或仿真各种环境状况，并且根据相应的至少一个参数，可以将相应的匹配数据模型用于不同的环境状况。这可以作为对于当前参数的直接反应而发生，或作为预备，例如在预先仿真大部分情况时。因此，代替以巨大的花费提供不同情况的数个模型，一个构想包括提供中性（neutral）模型，并且通过环境效果的仿真，以动态地（或预先）匹配环境效果，并且采用相当少的花费。

例如，基本描述是环境的虚拟3D模型。例如，可以构想具有城市的3D模型。现在可以尝试通过已知的所谓3D渲染技术，来计算太阳的当前路径以及由此导致的环境模型。

例如，3D模型具有应用于其的纹理（texture），该纹理是之前从环境状况特定特性中释放的。在采集信息时，常常也能够记录阴影。可以尝试使用对于本领域技术人员已知的方法去消除这些。

在实施例中，采用不同的光线情况，将3D模型投影到图像平面上。

有利地，所准备的数据模型包含在数个不同（尽可能的多）环境状况中提供的信息的交集。也可想象产生大量不同环境模型（通过记录或仿真），并且从其中提取用于识别/初始化的特征。可以在环境模型中检查特定特征（例如，特定SURF特征）是否发生在尽可能多的不同模型中，并且随后将特别鲁棒的特征封装在尽可能多的情况下工作的模型中。也可以参照上文与图7相关的描述。

实施例将SLAM方法与当前环境状况的确定相结合，并且将所准备的数据模型与关于环境状况的信息一起存储。在所谓的同时定位与绘制地图（SLAM）中，在相机处于运动中或是立体相机的情况下，或还可以直接采用类似于3D方法（例如，深度相机），产生环境的地图（数据模型）（例如，SURF特征图和其在世界中的3D位置），并且确定相机的姿态。此外，在记录关于当前环境条件的数据或参数时（如上文所述），可以将这些数据用于产生相对于大量的不同环境条件的更加完整的世界模型集合。例如，系统可以用于在全面的数据已经可用的特定位置处开始，并且随后可以在此基础上进行。随后，系统学习相对于特定的条件的新范围，并且在将来也可以以此为基础来开始。

在以下中，将通过图4至图8中所示的流程图的方式并结合其它附图来更加详细地阐述本发明的多个方面和实施例。

图4首先涉及根据本发明的关于模型数据的使用的方法的实施例。在步骤1.0中，记录参数向量，该参数向量基本上包括关于环境状况的一个或多个参数（例如，通过经由中心服务器查询天气情况，通过一天/地方的日期/时间的方式计算太阳的位置）。在步骤2.0中，将包含记录位置的参数向量发送至服务器。在步骤3.0中，搜索用于该位置的追踪模型。从对于该位置可能的模型中，在步骤4.0中选择具有参数向量中的最小距离的模型。之后，在步骤5.0中加载相应的模型。在步骤6.0中，根据特定的应用，执行相机图像中的对象识别或者用于相机的姿态确定的追踪初始化。

在图5中，所执行的示例性方法用于根据用户数据准备数据模型。在步骤7.0中，在使用期间（同时初始化和绘制地图），“学习（learn）”新的模型数据。在步骤8.0中，将参数向量和新的地图（数据模型）发送至服务器。在步骤9.0中，存在数据的可选择性细化（所谓的“束调节”），其中新的数据存储有参数向量和位置。在步骤S10.0中，补充模型中的缺口（例如，未知区域的新覆盖或采用新的参数向量的新覆盖）。在步骤5.0中，随后另一客户端可以加载之前如通过步骤7.0至步骤10.0的方式描述的，由另一用户发送到服务器的相应数据模型。代替其它的客户端，也可以让准备数据模型的相同用户或相同设备例如在稍后的时刻分别加载数据模型。

图3示意性示出可以如何准备数据模型，以用于确定相机姿态的方法或用于对象识别的方法。可以从包含真实对象（参见，图2中的对象41）的基本描述的中性模型60开始。之后，设定或仿真各种环境状况，例如来自上方的太阳辐射。对于不同的环境状况，根据相应的至少一个参数，例如图3的匹配数据模型61和62来提供相应的匹配数据模型，该匹配数据模型61和62每一个均根据环境状况来考虑投射阴影。此外，能够有利地直接根据数据模型61和62准备略微压实器形状的数据模型，该数据模型由所准备的比较数据的集合构成，例如特征点云。数据模型62以示例性的方式示出对于所产生的数据模型的现实的接近度可以由附加措施进一步提高。因此，模型62不会由阴影投射造成的环境的附加已知对象的遮蔽而受损，而是也可以结合当前的云情况，例如通过当前的降雨雷达图像查询。

图6示出根据本发明另一实施例的方法的示例性流程。在步骤20.0中，记录真实环境的数据（具体地或如步骤7.0中），并且在这种情况下，有利地记录了环境状况的参数向量。对于特定的记录，可以有利地以HDR（所谓的“高动态范围”）进行记录。在步骤21.0中，尽可能地相对于特定参数实施数据模型的中性化（例如：去除阴影，亮度归一化等）。在步骤22.0中，针对环境条件的频谱产生参数向量。此外，在步骤23.0中，可以通过仿真（例如，光线追踪方法）产生相应的数据模型。在步骤24.0中，向根据图4的步骤4.0做出提供。

为了增加现实度并从而提高关联性，可以有利地在线查询天气数据。在这方面，存在可构想用于处理的各种复杂度。基于天气情况（例如，根据谷歌天气服务“主要多云”、“局部暴雨”、“局部降雨”），可以分配与天气情况相匹配的固定的照明模式或素材（例如，纹理）。然而，在最高复杂度中，也可以使用当前的云或雨卫星或雷达图像，以便动态地准备云层覆盖的近似模型，并且从其中计算出阴影投射以及可选的详细的光线条件（还参照图3）。如上文所述，这可以由服务器来实施，该服务器以特定位置的方式使数据对于客户端可用。对于距离的感知有帮助的是确定由于雾、雨或霾造成的能见度。这可以被自动实施（参见，出版商Springer柏林/海德尔于2006年4月在杂志《Machine Vision andApplications》出版的第17卷，第1号，第8页-第20页的“From video imagee.g.Automatic Fog Detection and Estimation of Visibility Distance throughuse of an Onboard Camera”，书号为ISSN 0932-8092(印刷)1432-1769（在线））或也可以通过当前的天气数据来查询。

除了其它已知技术之外，最简单的技术实现是在三维图形处理库（OpenGL）中设定雾调节。此外，可以基于位置、日期以及一天的时间，来分别计算太阳和月亮的位置，并且使用太阳和月亮的位置来调节光源。这对于阴影特别有效（参见图3），该阴影辅助人们更好地确定虚拟对象（例如POI）的位置。阴影可以是预先计算的纹理（有利地采用透明值），该预先计算的纹理根据太阳或月亮的位置，位于地平面上的POI下方，其中太阳或月亮与POI之间的直线与地平面交叉（如果并非如此，则属于例外）。如果太阳或月亮同时可见，则太阳用于计算。

然而，如现有技术已知的，也可以动态地计算阴影。这可以有利地包括POI的相互阴影。在提供环境的3D模型（例如，以用于遮蔽真实对象的遮蔽模型63的形式；所谓的“遮蔽几何形状”）时，这可以额外用于阴影情况的现实计算，因为它例如在POI上（还参见图3）投射阴影。通过由POI的环境的图像来丰富素材，可以进一步增加所融合的物质的真实度。对于本领域技术人员来说，使用所谓的环境地图是已知的。

根据相机的参数位置和方位，可以采用另一个重要步骤来增强数据模型的质量。通过加载遮蔽模型（所谓的“遮蔽几何形状”），可以确定比较数据对于相机是可见还是不可见，例如，在另一建筑物后面。可以存储深度模型，或者可以通过SLAM算法、立体相机或飞行时间相机动态产生深度模型。在这种情况下，每组比较数据（例如，SIFT特征）的深度信息的一项是足够的。在进一步的步骤中，产生用于在近范围中正确重叠的相机参数（这不必连续发生）。这些可以动态产生，例如，通过SLAM机构，或可以根据设备名称从服务器中检索，或可以存储在程序中。

根据系统的硬件能力，可以显示和计算一切。在系统硬件薄弱的情况下，也可以在部分服务器上进行正确素材表面的计算，或者可以在部分服务器上计算整个图像。采用强大的系统，现代的GPU（图像处理单元）可以承担大部分工作。对此，存在对于本领域技术人员已知的多种可能方式。

通过相对于真实环境，确定相机的位置和方位，可以计算关于至少一个包含在图像中的真实对象的深度信息，并且在由被遮蔽的真实对象在景观中遮蔽虚拟信息的情况中，深度信息可以用于在显示设备中，融合用于遮蔽真实对象的遮蔽模型。

Claims (24)

1.一种用于确定相机（22，32）相对于真实环境（40）的姿态的方法，所述方法包括以下步骤：

-通过相机（22，32）拍摄真实环境的至少一个图像（50），所述图像包含真实对象（41）的至少部分；

-确定环境状况的至少一个参数；

-执行追踪方法，所述追踪方法在所述真实对象包含在所述真实环境的所述图像（50）中时，评价关于所述真实对象（41）相关联的特征和所述真实对象（41）的相应特征之间的对应关系的信息，以获得关于所述相机（22，32）的所述姿态的结论；

-根据所述至少一个参数来执行所述追踪方法。

2.根据权利要求1所述的方法，其中：

所述追踪方法使用至少一个根据所述至少一个参数进行初始化的光学追踪方法。

3.根据权利要求1或2所述的方法，其中：

通过所述追踪方法，采用一个、两个、三个、四个、五个或六个自由度来确定所述相机（22，32）的所述姿态。

4.根据前述权利要求中任一项所述的方法，其中：

所述追踪方法使用传感器类型不同的数个追踪传感器（32，34-1，34-2）。

5.根据权利要求4所述的方法，其中：

所述追踪方法包括根据所述至少一个参数对至少一个所述追踪传感器（32，34-1，34-2）进行加权。

6.根据前述权利要求中任一项所述的方法，其中：

所述追踪方法包括根据所述至少一个参数对方法部分步骤进行优先化。

7.根据前述权利要求中任一项所述的方法，其中：

使用数据模型（51）与由所述相机拍摄的所述图像（50）的数据进行比较，考虑所述环境状况的所述至少一个参数来选择所述数据模型。

8.根据前述权利要求中任一项所述的方法，其中：

通过确定所述环境状况的所述至少一个参数与所述追踪方法相对于已知环境状况的已知理想参数的距离测量，计算在确定所述相机姿态中的不确定性。

9.一种用于在由相机拍摄的图像中识别真实环境的对象的方法，所述方法包括以下步骤：

-通过相机（22，32）拍摄真实环境的至少一个图像（50），所述图像包含真实对象（41）的至少部分；

-执行图像识别方法，所述图像识别方法提供关于所述图像（50）中的所述至少一个真实对象（41）的识别的信息；

-确定环境状况的至少一个参数；

-根据所述至少一个参数执行所述图像识别方法。

10.根据前述权利要求中任一项所述的方法，其中：

为了确定所述环境状况的所述至少一个参数，使用以下项目信息中的至少一个或多个：某日的时间；某年的时间；天气，尤其是雨、云、太阳和雾；月亮的位置；雪情；树木的枝叶；海拔高度；公共事件，尤其是强烈运动；交通状况；位置；世界坐标系中的方位；图像直方图；温度；维护步骤。

11.根据前述权利要求中任一项所述的方法，其中：

所述至少一个参数对于关于所述图像中的模型数据的成功检索的最低要求具有影响，尤其是确定与所述真实对象相关联的多个特征，所述多个特征与所述真实环境的图像中的所述真实对象的图像的相应特征相符合。

12.根据前述权利要求中任一项所述的方法，其中：

-使用数据模型（51，60）与所述真实环境的图像中的所述真实对象（41）的图像的数据进行比较，以及

-其中，所述至少一个参数对于所述数据模型的准备和/或使用具有影响。

13.根据权利要求12所述的方法，其中：

在所述数据模型内存储每数据模型一参数向量或每特征一参数向量。

14.根据权利要求12或13所述的方法，其中：

所述至少一个参数影响所述数据模型的准备的种类，尤其影响特征探测器和描述符的准备。

15.根据前述权利要求中任一项所述的方法，其中：

从多个单独模型中提取数据模型，所述数据模型包含在数个环境状况中出现的信息的交集。

16.根据前述权利要求中任一项所述的方法，其中：

数个局部系统分别执行所述方法；

其中，并非每个所述局部系统自身计算追踪状况，而是使已完成的状况信息对于所有局部系统可用，有利地，甚至使已完成的识别或初始化模型对于所述局部系统可用。

17.根据权利要求16所述的方法，其中：

所述局部系统将关于所述环境状况的信息提供给所提供的服务器，或提供给对等处理过程。

18.根据前述权利要求中任一项所述的方法，其中：

通过确定所述相机姿态，计算关于所述图像中包含的至少一个真实对象的深度信息，当叠加在所述真实环境上的虚拟信息在视野中被待遮蔽的所述真实对象遮蔽时，所述深度信息用于在显示设备中融入用于遮蔽真实对象的遮蔽模型。

19.一种用于提供数据模型（60）的方法，所述数据模型（60）意图用于在用于确定相机（22，32）相对于真实环境的真实对象（41）的姿态的方法中或用于识别真实环境的真实对象（41）的方法中，与由相机（22，32）拍摄的图像（50）的数据进行比较，其中：

-查明或仿真环境状况，并且确定所述环境状况的至少一个参数；

-准备数据模型（60），所述数据模型（60）包含所述真实对象的基本描述，设定或仿真各种环境状况，并且对于不同的环境状况，根据相应的至少一个参数来提供相应适合的数据模型（61）。

20.根据权利要求19所述的方法，其中：

所述基本描述是环境的虚拟3D模型。

21.根据权利要求20所述的方法，其中：

所述3D模型具有之前从环境状况特定特性中释放的应用于其的纹理。

22.根据权利要求20或21所述的方法，其中：

在不同的光线状况下，将所述3D模型投影到所述图像平面。

23.根据权利要求19至22中任一项所述的方法，其中：

所准备的数据模型包含在数个不同环境状况中出现的信息的交集。

24.根据权利要求19至23中任一项所述的方法，其中：

将SLAM方法与所述环境状况的查明进行组合，并且将所准备的数据模型与关于所述环境状况的信息一起存储。

Images