CN108833883A - 一种实时生成与显示2d/3d图像与影像的系统及方法 - Google Patents

Abstract

本发明涉及一种实时生成与显示2D/3D图像与影像的系统及方法，系统包括：光源供给装置，相机设备，图像处理与显示设备；光源供给装置用于发射多束激光信号照射至目标病理组织；目标病理组织对多束激光信号进行散射、反射产生可见光信号、近红外一区信号与近红外二区信号；各相机设备均处于目标病理组织的上方，用于捕捉可见光信号、近红外一区信号与近红外二区信号，形成2D/3D图像及影像信号，并发送至图像处理与显示设备；图像处理与显示设备与各相机设备相连接，用于接收2D/3D图像及影像信号，通过叠加、合成处理得到2D/3D图像及影像，并显示2D/3D图像及影像。采用上述系统或方法能实时生成并显示2D/3D图像及影像，方便诊断与治疗。

Description

一种实时生成与显示2D/3D图像与影像的系统及方法

技术领域

本申请涉及医学领域，具体涉及一种实时生成与显示2D/3D图像与影像的系统及方法。

背景技术

在医学领域中，肉眼观察是医护人员最直接和最基础的诊断并治疗病患的方法。人体的肉眼能够观察到的仅限于可见光波段的信息，而复杂多样的病理组织肉眼并不能观察到，所以医护人员则需要借助医疗影像设备对病理组织进行检查、诊断与治疗。因此，医疗影像设备变得尤为重要。

现有的医疗影像设备大多是利用光、电或声学效应等对机体组织进行成像。例如，近红外成像的原理是注入机体组织中的荧光物质，在特定波长激光的照射下激发出近红外荧光，然后由对应的成像设备进行捕捉、成像，并在医疗设备上进行显示以方便医生检查、诊断。常见的医学影像医疗设备有：X射线成像设备，CT机，近红外成像设备等。在现有技术中，当医护人员在通过医疗成像设备进行治疗时，由于不同光源的成像是在不同成像设备上分离显示的，并且成像与操作界面分离，这将导致现有技术中无法实时显示医生在诊断、治疗操作过程中的图像及影像。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种能实时生成与显示2D/3D图像与影像的系统及方法，为了能够解决无法实时显示医生诊断、治疗操作过程中的图像及影像的问题。

本申请提供一种能实时生成与显示2D/3D图像与影像的系统，包括：光源供给装置，相机设备，图像处理与显示设备；

所述光源供给装置用于发射多束激光信号照射至目标病理组织；

所述目标病理组织将所述多束激光信号经过散射、反射产生可见光信号，将所述多束激光信号经过激发产生近红外一区信号与近红外二区信号；

各所述相机设备均处于所述目标病理组织的上方，用于捕捉所述可见光信号、所述近红外一区信号与所述近红外二区信号并形成2D/3D图像及影像信号，并将所述2D/3D图像及影像信号发送至所述图像处理与显示设备；

所述图像处理与显示设备与各所述相机设备相连接，用于接收所述2D/3D图像及影像信号，通过叠加合成处理得到2D/3D图像及影像，并显示所述2D/3D图像及影像。

可选的，所述的实时生成与显示2D/3D图像与影像的系统还包括：增强现实驱动模块，增强现实硬件设备；

所述增强现实驱动设备与所述图像处理与显示设备相连接，用于接收所述图像处理与显示设备发送的2D/3D图像及影像，并驱动所述增强现实硬件设备；

所述增强现实硬件设备与所述增强现实驱动模块相连接，用于显示、叠加所述2D/3D图像及影像和现实实景得到增强现实2D/3D图像及影像并显示所述增强现实2D/3D图像及影像。

可选的，所述的实时生成与显示2D/3D图像与影像的系统，所述增强现实硬件设备包括：增强现实眼镜和/或增强现实显示器。

可选的，所述光源供给装置包括：光源矩阵设备，光交换矩阵设备，光发射设备；

所述光源矩阵设备用于发出多束激光信号；

所述光交换矩阵设备与所述光源矩阵设备相连接，用于接收所述多束激光信号，并发送所述多束激光信号至所述光发射设备；

所述光发射设备包括至少两个光发射头；

所述光发射设备与所述光交换矩阵设备相连接，用于接收所述多束激光信号并照射至目标病理组织。

可选的，所述相机设备包括：可见光相机子模块、近红外一区相机子模块和近红外二区相机子模块。

所述可见光相机子模块用于接收可见光信号并生成可见光信号；

所述近红外一区相机子模块用于接收近红外一区信号并生成近红外一区信号；

所述近红外二区相机子模块用于接收近红外二区信号并生成近红外二区信号。

可选的，所述图像处理与显示设备包括外源图像接口通过所述外源图像接口接收外部图像设备发送的外部2D/3D图像与影像。

本申请还提供一种实时生成与显示2D/3D图像与影像的方法，包括：

获取2D/3D图像及影像信号；所述2D/3D图像及影像信号由相机设备获取的可见光信号、近红外一区信号与近红外二区信号组成；

叠加、合成所述2D/3D图像及影像信号，生成2D/3D图像及影像；

显示所述2D/3D图像及影像。

可选的，所述的实时生成与显示2D/3D图像与影像的方法还包括：将所述2D/3D图像及影像发送给增强现实驱动模块，用于驱动增强现实设备。

可选的，所述的实时生成与显示2D/3D图像与影像的方法还包括：接收外部图像设备发送的外部2D/3D图像及影像信号。

可选的，所述的实时生成与显示2D/3D图像与影像的方法还包括：

集成和叠加所述外部2D/3D图像及影像信号与所述相机设备的2D/3D图像及影像信号，得到所述相机设备与所述外部图像设备相融合的2D/3D图像及影像。

本申请的一种实时生成与显示2D/3D图像与影像的方法，通过光源矩阵设备对光交换矩阵发出多束激光信号后，由光交换矩阵设备接收多束激光信号并将多束激光信号发送给光发射头，然后光发射头对目标病理组织进行照射，目标病理组织对多束激光信号进行散射、反射产生所需要的可见光信号，近红外一区信号与近红外二区信号并送入相机设备后，相机设备得到实时的2D/3D图像及影像信号并将2D/3D图像及影像信号送入图像处理与显示设备，图像处理与显示设备进行叠加和合成处理得到2D/3D图像及影像并显示，实现了实时生成并显示2D/3D图像及影像，方便诊断与治疗的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的实时生成与显示2D/3D图像与影像系统结构图；

图2为本申请一实施例提供的实时生成与显示2D/3D图像与影像方法流程图；

图3为本申请另一实施例提供的实时生成与显示2D/3D图像与影像的系统结构图。

图3中：1、光源矩阵设备；2、光交换矩阵设备；3、光发射设备；4、相机设备；5、手术悬臂；6、图像处理与显示设备；7、外源图像接口；8、增强现实驱动设备；9、增强现实眼镜。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1为本申请的实时生成与显示2D/3D图像与影像的系统实施例的结构示意图。如图1所示，本实施例的实时生成与显示2D/3D图像与影像的系统包括：光源供给装置110，相机设备114；图像处理与显示设备115；外部图像设备116；增强现实驱动设备117；增强现实硬件设备118。其中，光源供给装置110包括：光源矩阵设备111；光交换矩阵设备112；光发射设备113；

光源供给装置110用于发射多束光信号照射至目标病理组织，其中，光源矩阵设备111用于发出多束激光信号，光交换矩阵设备112接收所述多束激光信号并发送至所述光发射设备113，光源矩阵设备111输出端与光交换矩阵设备112输入端通过光纤连接；光发射设备113接收多束激光信号并照射至目标病理组织；光发射设备113输入端与光交换矩阵设备112输出端通过光纤连接；目标病理组织将多束激光信号经过散射、反射产生可见光信号，将多束激光信号经过激发产生近红外一区信号与近红外二区信号；相机设备114处于所述目标病理组织的上方，用于捕捉可见光信号、近红外一区信号与近红外二区信号并形成2D/3D图像及影像信号，并将2D/3D图像及影像信号发送至图像处理与显示设备115；相机设备114输出端与图像处理与显示设备115输入端通过数字电路连接或通过光纤连接；外部图像设备116通过外源图像接口与图像处理与显示设备115连接，用于通过所述外源图像接口发送外部2D/3D图像与影像至图像处理与显示设备115；图像处理与显示设备115与增强现实驱动设备117连接，用于接收所述图像处理与显示设备115发送的2D/3D图像及影像，并驱动所述增强现实硬件设备118；

增强现实驱动设备117增强现实硬件设备118连接，用于显示、叠加所述2D/3D图像及影像和现实实景，得到增强现实2D/3D图像及影像并显示所述增强现实2D/3D图像及影像。

其中，光源矩阵设备111为多个光源发生器按照需要组合成的一个多光源阵列。多光源阵列可以根据需要进行开或闭。本实施例中，所述光源矩阵设备111包含多个光发生器，既能够提供照明光源，也能够发出不同波段的激发光源，也可以提供用于治疗的激光。

例如，本实施例中，所述光源矩阵设备111为多个独立光源组成的矩阵式光源集合装置，各个独立光源既可为手术提供多路照明光源，亦可为手术提供多路不同类别、波段的激发光源，还可以为手术需要提供多路不同波段的治疗光源。光源矩阵设备111输出端与光交换矩阵设备112输入端通过光纤相连。

本实施例中，光交换矩阵设备112用于根据需求实现激光信号的多路输出，以使得激光信号的通路灵活可变。

在一个具体实现过程中，光交换矩阵设备112作为系统中光路控制与光路切换的装置，接受不同激光信号的输入，并可以经过内部光路处理单元将激光信号进行切换，以达到根据需要在不同光发射头输出不同激光信号的效果。在本实施例中，光交换矩阵设备112输入端与光源矩阵设备111输出端通过光纤连接，同时，光交换模块的输出端与手术悬臂上的光发射头通过光纤连接。

本实施例中，光发射设备113为多个光发射头组成。光发射设备113的光来自光交换矩阵设备112。多个光发射头可以发出不同类型，不同波段的激光和光，多个光发射头的方向和角度可以实时动态地进行调整。

在一个具体实现过程中，多个光发射头安装在手术悬臂上的不同空间位置上，以在输出可见光时能达到无影照明的效果的位置为准，同时，多个光发射头可以输出不同波段的激光信号用来照射处于AR显示区的目标病理组织。在本实施例中，多个光发射头能根据需要输出不同性质，不同波段的光线，即可以输出用于照明的可见光，也可以输出用于治疗的激光。多个光发射头与光交换矩阵输出端通过光纤进行相连。

在一个具体实现过程中，激光分为可见光与不可见光，不可见光又包括红外激光，即包括近红外一区光和近红外二区光。当光发射头输出可见光照射至目标病理组织时，可见光发生反射，散射的现象，这些反射、散射的可见光被手术悬臂上的相机设备114捕获。当光发射头输出近红外一区光和近红外二区光照射至目标病理组织时，这些近红外一区光和近红外二区光将会被激发产生荧光，被激发产生的荧光也被手术悬臂上的相机设备114捕获。

本实施例中，多个相机设备114安装在手术悬臂的不同空间位置上，相机设备114上安装有不同的透镜片还有不同的滤镜片，用来捕获不同类型，不同波段的光信号。相机设备114上包括多种成像单元，

具体地，相机设备114包括：可见光相机子模块、近红外一区相机子模块和近红外二区相机子模块，以及根据其他需要安装的能够捕捉不同波段的其他光的相机设备114。可见光相机子模块包括可见光成像单元，近红外一区相机子模块包括近红外一区成像单元与近红外二区成像单元。

在需要进行成像时，手术悬臂通过转动带动不同位置处的相机设备114捕获不同的空间点的可见光信号、近红外一区信号与近红外二区信号并形成2D/3D图像及影像信号，同时，两个或者两个以上同类型的相机设备114可以得到三维图像。比如，两个或两个以上可见光相机设备114可以形成稳定的三维可见光图像；两个或两个以上近红外一区相机设备114可以形成稳定的三维近红外一区图像；两个或两个以上近红外二区相机设备114可以形成稳定的三维近红外二区图像。

在一个具体实现过程中，相机设备114的输出端与图像处理与显示设备115以模拟信号电路连接，或者以数字信号电路连接，或者以光纤连接。

本实施例中，图像处理与显示设备115不仅与相机设备114进行连接，还通过外源图像接口与外部图像设备116相连，用来接收外部图像设备116发送的的外部2D/3D图像与影像，比如CT机、X光透视机、超声波机等外部系统输入的图像及影像信号。具体地，图像处理与显示设备115在接收到来自各个相机设备114的2D/3D图像及影像信号和外部图像设备116送来的外部2D/3D图像及影像信号后，进行叠加与合成处理，得到融合的2D/3D图像及影像，并进行显示。

在一个具体实现过程中，图像处理与显示设备115在叠加、合成处理与显示2D/3D图像及影像信号时，可以：

(1)调制解调处理相机设备114送来的2D/3D图像及影像信号，形成相机设备1142D/3D图像及影像，并显示；

(2)调制解调处理外部图像设备116送来的2D/3D图像及影像信号，形成外部图像设备1162D/3D图像及影像，并显示；

(3)集成和叠加相机设备114送来的2D/3D图像及影像信号，得到融合的相机设备1142D/3D图像及影像；

(4)集成和叠加相机设备114送来的2D/3D图像及影像信号与外部图像设备116送来的2D/3D图像及影像信号，得到相机设备114与外部图像设备116融合的2D/3D图像及影像。

在一个具体实现过程中，图像处理与显示设备115同时亦可以将2D/3D图像及影像通过外源图像接口传送给其他系统。

通过本实施例所述的系统，可以实现实时生成与显示2D/3D图像与影像的效果。

在上述系统的基础上本申请中还公开了另外一种实施例：

所述实时生成与显示2D/3D图像与影像的系统还包括：增强现实(AugmentedReality，AR)驱动设备117，AR硬件设备118；

图像处理显示设备与AR驱动设备117相连接，用于接收图像处理与显示设备115发送的2D/3D图像及影像，并驱动AR硬件设备118。

AR硬件设备117与AR驱动设备相连接，用于显示、叠加所述2D/3D图像及影像和现实实景得到增强现实2D/3D图像及影像并显示增强现实2D/3D图像及影像。

本实施例中，待测目标病理组织置于视野区域内，该视野区域也是在进行AR显示时的AR显示区，医护人员戴上AR眼镜后可以在AR眼镜中观察到2D/3D图像及影像与现实的目标病理组织叠加的图像与影像，可以实现增强现实的效果。具体地，医护人员可以选择不同的方式来进行辅助手术操作，比如：通过AR眼镜直接进行观察或者通过AR显示器进行显示。此外，由于图像处理与显示设备115也能通过外源图像接口传送给其他系统以发布实时的2D/3D图像及影像，所以，这些2D/3D图像及影像还可以通过远程同步的方式进行显示。

通过本实施例所述的系统，可以对现实实景进行渲染，实现2D/3D图像及影像与现实实景融合的增强现实的效果。

可选的，为了更全面的对应于本发明实施例提供的一种实时生成与显示2D/3D图像与影像的系统，本申请还提一种实时生成与显示2D/3D图像与影像的方法。

图2为本申请一实施例提供的实时生成与显示2D/3D图像与影像方法流程图。如图2所示，实时生成与显示2D/3D图像与影像的方法具体可以包括如下步骤：

步骤200、获取2D/3D图像及影像信号；所述2D/3D图像及影像信号由相机设备114获取的可见光信号、近红外一区信号与近红外二区信号组成；

步骤201、叠加、合成所述2D/3D图像及影像信号，生成2D/3D图像及影像；

步骤202、显示所述2D/3D图像及影像。

本实施例中，通过将获取的2D/3D图像与影像信号进行叠加、合成处理并显示，可以实现生成与显示2D/3D图像与影像的效果。

在上述方法的基础上本申请中还公开了另外一种实施例：

在获取2D/3D图像及影像信号的同时，还可以接收通过外源图像接口传来的外部图像设备的外部2D/3D图像及影像信号。

集成和叠加所述外部2D/3D图像及影像信号与所述相机2D/3D图像及影像信号，得到所述相机设备与所述外部图像设备相融合的2D/3D图像及影像。

更进一步地，在述方法的基础上本申请中还提供另外一种实施例：

在显示所述2D/3D图像及影像或融合的2D/3D图像及影像之后，将2D/3D图像及影像或融合的2D/3D图像及影像发送给AR驱动设备，并驱动AR硬件设备，例如：AR眼镜、AR显示器等。AR硬件设备用于将2D/3D图像与影像或融合的2D/3D图像及影像与现实实景进行叠加和渲染并显示出来。例如，操作者在AR眼镜中可以看到可见光下实际存在的病人的组织和在同一位置红外光下显示的肿瘤组织，这样手术操作变得十分直观。

图3为本申请另一实施例提供的实时生成与显示2D/3D图像与影像的系统结构图。如图3所示，实时生成与显示2D/3D图像与影像的结构具体如下：

光源矩阵设备1向光交换矩阵设备2发出多束激光信号，光源矩阵设备1与光交换矩阵设备2通过光纤连接；光交换矩阵设备2接收所述多束激光信号并发送至光发射设备3，光交换矩阵设备2与安装在手术悬臂5上的光发射设备3通过光纤连接；光发射设备3接收多束激光信号并照射至视野区域的目标病理组织；视野区域的目标病理组织将多束激光信号经过散射、反射产生可见光信号，将激光信号经过激发产生近红外一区信号与近红外二区信号；相机设备4捕捉所述可见光信号、近红外一区信号与近红外二区信号并形成2D/3D图像及影像信号，发送至图像处理与显示设备6；相机设备4与图像处理与显示设备6通过数字电路连接或通过光纤连接；外部图像设备通过外源图像接口7与图像处理与显示设备6连接；图像处理与显示设备6与AR驱动设备8相连接；AR驱动设备8与AR眼镜9相连接。

本实施例中，通过各个设备有序的连接，可以实时的生成与显示2D/3D图像与影像，方便手术诊断与治疗。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种实时生成与显示2D/3D图像与影像的系统，其特征在于，包括：光源供给装置，相机设备，图像处理与显示设备；

所述光源供给装置用于发射多束激光信号照射至目标病理组织；

所述目标病理组织将所述多束激光信号经过散射、反射产生可见光信号，将所述多束激光信号经过激发产生近红外一区信号与近红外二区信号；

各所述相机设备均处于所述目标病理组织的上方，用于捕捉所述可见光信号、所述近红外一区信号与所述近红外二区信号，形成2D/3D图像及影像信号，并将所述2D/3D图像及影像信号发送至所述图像处理与显示设备；

所述图像处理与显示设备与各所述相机设备相连接，用于接收所述2D/3D图像及影像信号，通过叠加合成处理得到2D/3D图像及影像，并显示所述2D/3D图像及影像。

2.根据权利要求1所述的实时生成与显示2D/3D图像与影像的系统，其特征在于，还包括：增强现实驱动设备，增强现实硬件设备；

所述增强现实驱动设备与所述图像处理与显示设备相连接，用于接收所述图像处理与显示设备发送的2D/3D图像及影像，并驱动所述增强现实硬件设备；

所述增强现实硬件设备与所述增强现实驱动设备相连接，用于显示、叠加所述2D/3D图像及影像和现实实景，得到增强现实2D/3D图像及影像并显示所述增强现实2D/3D图像及影像。

3.根据权利要求2所述的实时生成与显示2D/3D图像与影像的系统，其特征在于，所述增强现实硬件设备包括：增强现实眼镜和/或增强现实显示器。

4.根据权利要求1所述的实时生成与显示2D/3D图像与影像的系统，其特征在于，所述光源供给装置包括：光源矩阵设备，光交换矩阵设备，光发射设备；

所述光源矩阵设备用于发出多束激光信号；

所述光交换矩阵设备与所述光源矩阵设备相连接，用于接收所述多束激光信号，并发送所述多束激光信号至所述光发射设备；

所述光发射设备包括至少两个光发射头；

所述光发射设备与所述光交换矩阵设备相连接，用于接收所述多束激光信号并照射至目标病理组织。

5.根据权利要求1所述的实时生成与显示2D/3D图像与影像的系统，其特征在于，所述相机设备包括：可见光相机子模块、近红外一区相机子模块和近红外二区相机子模块。

所述可见光相机子模块用于接收可见光信号并生成可见光信号；

所述近红外一区相机子模块用于接收近红外一区信号并生成近红外一区信号；

所述近红外二区相机子模块用于接收近红外二区信号并生成近红外二区信号。

6.根据权利要求1所述的实时生成与显示2D/3D图像与影像的系统，其特征在于，所述图像处理与显示设备包括外源图像接口，通过所述外源图像接口接收外部图像设备发送的外部2D/3D图像与影像。

7.一种实时生成与显示2D/3D图像与影像的方法，其特征在于，所述方法应用于权利要求1-6任一项所述的实时生成与显示2D/3D图像与影像的系统，所述方法包括：

获取2D/3D图像及影像信号；所述2D/3D图像及影像信号由相机设备获取的可见光信号、近红外一区信号与近红外二区信号组成；

叠加、合成所述2D/3D图像及影像信号，生成2D/3D图像及影像；

显示所述2D/3D图像及影像。

8.根据权利要求7所述的实时生成与显示2D/3D图像与影像的方法，其特征在于，还包括：将所述2D/3D图像及影像发送给增强现实驱动模块。

9.根据权利要求7所述的实时生成与显示2D/3D图像与影像的方法，其特征在于，还包括：

接收外部图像设备发送的外部2D/3D图像及影像信号。

10.根据权利要求9所述的实时生成与显示2D/3D图像与影像的方法，其特征在于，还包括：

集成和叠加所述外部2D/3D图像及影像信号与所述相机设备的2D/3D图像及影像信号，得到所述相机设备与所述外部图像设备相融合的2D/3D图像及影像。