CN113891101A - 实时三维影像显示的直播方法 - Google Patents

Abstract

本发明公开一种实时三维影像显示的直播方法，其包括：对一实体进行取像，并获取实体的一三维影像；通过一三维直播演算模块，进行三维影像的图像处理；根据一用户终端的至少一视频选择条件，通过一人工智能学习模块，产生一视频调配组合；根据视频调配组合与直播系统的使用环境，对三维影像进行优化；以及优化后的三维影像，配合用户终端的视频调配组合，将对应的三维影像显示在用户终端中。

Description

实时三维影像显示的直播方法

技术领域

本发明涉及一种直播方法，特别涉及一种实时三维影像显示的直播方法。

背景技术

自从实时通信软件发明以来，经过许多年的发展及技术进步，从一开始的纯文本双方沟通、聊天，到现在已经进入到视频加文字的沟通聊天方式，渐渐成为现代人们生活的一部分，除了传统的实时通信功能以外，经过一段时间的发展，已经产生了许多的应用，如直播购物、网络实时会议、直播娱乐等等。实时通信的聊天方式在表情、自拍、滤镜的表达方式进化到“将一切都图片化、视频化”的社交趋势后，直播这个自我表达的新领域便顺势诞生了。

网络直播的购物方式特点在于现场直播，并经过后台很短的时间差距即可将产品介绍内容广播出去到网络上，所以用户终端或观看者可实时的看到产品介绍内容，并可以与主播进行实时的互动。如图1所示，其显示主播12通过移动装置的软件(APP)在网络上向用户终端11直播贩卖货品的示意图，这种交易与交流的方式，不同于传统的电视购物及网店购物，电视购物采用预录制再择时播放的方式，所以购物并不是实时的；而传统网店则是采用网上置放产品介绍图片的挂网，再配合网店经营者的实时服务完成产品交易。

直播的可视性及实时的互动方式，渐渐受到现代人们追捧，因此，将这种方式应用在网络购物方式上，可以大量的节省人们在外采购物品所耗费的时间，并且在购物的过程中，充满了娱乐的乐趣，也提高了购物的实时性。但是这种网络实时观看实时购物的方式，虽然有主持人或专业人员在直播现场介绍产品，购物者在远程的室内环境或移动的情境中观看显示屏幕上的2D产品显像而决定是否购物，由于不是在产品现场观看，通过用户终端的手机或智能型电视机所看到的2D产品介绍影像，会与实际的物品产生误差，等到消费者收到实物产品时候，发现与心理的期待有不小的差异。

直播聊天、娱乐、购物的方式之所以会受到人们的喜欢及流行，除了实时、生动画面的可看性，主播的气氛带动之外，观赏者还可以与主播进行互动或留言，显示屏幕上可以直接显示出观赏者及主播的文字互动结果，这种交互式的行为模式，可以很大的缩短双方的沟通成本，在直播购物的应用例子中，就可以缩短购物者及销售方的距离，并且这种方式也适合于手持移动装置，例如手机、平板计算机等等。所以直播可应用的平台范围相较于过去的各种实时通信软件、电视购物、平面式的网络购物更广泛也更直接，也打破了过去的平台之间的界线。

但是目前的这种直播系统10，如图1所示，仍然是依靠在传统的二维(2D)视频及影像显示技术基础上，因此，观众或购物的用户对于主播12的认识、以及对于直播购物的理解依然与真实世界存在很大的差异。举例来说，直播方或销售方在进行化妆品的说明场景，如图2所示，由于传统2D视频上所广播的影像20不具备深度的立体信息，销售方在直播现场已经涂抹了化妆品的颜色及形状，在远程的观看者却因为影像形成的限制，很难感受到直播现场光亮立体的色彩及光泽感，这对于产品的展示效果大大的打了折扣。这是因为这类的产品在展示时，没有具备深度信息的三维立体光影、及三维影像，无法表现出产品的完整特色。类似这样的应用例子，在目前的二维影像显示上，已经产生了很多限制。

故，如何通过设计的改良，来解决直播系统的平面显示限制，并可以提高交流以及沟通的效率，已成为该项事业想要解决的重要课题之一。

发明内容

本发明所要解决的技术问题在于，针对现有技术的不足提供一种可以显示三维影像的直播方法，且这种直播方法不会造成影像质量的降低或用户观看时的延迟问题产生。

为了解决上述的技术问题，本发明所采用的其中一技术方案提供一种实时三维影像显示的直播方法，其包括：对一实体进行取像，并获取实体的一三维影像；通过一三维直播演算模块，进行三维影像的图像处理；根据一用户终端的至少一视频选择条件，通过一人工智能学习模块，产生一视频调配组合；以及根据视频调配组合，对三维影像进行优化；以及优化后的三维影像，并配合用户终端的视频调配组合，将对应的三维影像显示在所述用户终端中。

本发明的其中一有益效果在于，本发明所提供的与直播方法，为减少数据的实时流量，采用影像的二维与三维并存，混合编辑的方法，这样观看者可以把焦点放置在需要关注的产品或人物身上，以观赏到最佳及最需要的三维影像，并且这种二维与三维影像并存的方式可以在用户接口上进行选择设置二维影像观赏，或三维影像观赏，即表示使用者可以随时变更需要观看的三维影像位置，可以设置在区域性，或全图三维显示。二维影像可以选择三维左右式影像中的左影像或右影像作为二维影像的显示图。另外，除了用户终端装置的立体显示方式外，主播端或云端后台的控制端，也可以放置立体显示设备，以提供主播端的立体显示预览，及与用户终端的互动立体显示。另外，还可以让用户终端或主播端通过三维直播影像的横向纵向控制装置选择横放或纵放的方式来进行三维直播显示。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。

附图说明

图1为现有直播系统的示意图。

图2为现有直播软件执行的示意图。

图3为本发明的实时三维影像显示功能的直播方法的步骤流程图。

图4A为本发明的三维影像的影像调整的示意图。

图4B为本发明的人工智能学习模块学习用户终端的使用习惯的示意图。

图5为本发明的实时三维影像显示功能的直播系统的系统方框图。

图6为本发明的三维直播演算模块的图像处理的示意图。

图7A为应用本发明的直播系统显示三维影像的示意图。

图7B为应用本发明的直播系统使主播与用户终端互动的示意图。

图8为本发明三维直播影像控制装置的方框图。

图9为本发明三维直播影像控制装置的影像二维与三维直播转换的判断步骤流程图。

【符号说明】

10：直播系统

11：用户终端

12：主播

APP：软件

20：影像

S301-S305：步骤

40：三维影像

50：直播系统

51：影像获取模块

52：三维直播演算模块

521：影像校正单元

522：影像分离单元

523：影像合成单元

524：影像修正单元

525：影像调配单元

526：影像管理单元

527：视频编码单元

53：直播系统服务器

54：人工智能学习模块

55：三维解码器

56：三维显示器

71：主播

72：移动装置

73：礼物

74：显示屏幕

75：用户终端

80：三维直播影像的横向纵向控制装置

81：方向检测器

82：控制接口

83：直播影像调整器

S901-S905：步骤

具体实施方式

以下是通过特定的具体实施例来说明本发明所公开有关“实时三维影像显示的直播方法”的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。

[本发明直播方法实施例]

图3显示本发明的实时三维影像显示的直播方法的步骤流程图，图4A为本发明的三维影像的影像调整的示意图，图4B为本发明的人工智能学习模块学习用户终端的使用习惯的示意图，图5为本发明的实时三维影像显示功能的直播系统的系统方框图。

如图3所示，并参考图5的组件标示，本发明实施例提供一种实时三维影像显示的直播方法包括下列步骤。在步骤S301中，对一实体进行取像，并获取实体的一三维影像，应用一影像获取模块51对主播进行摄影，影像获取模块51可以是三维影像机或二维影像机等，任何可以摄影的电子装置都可以本发明的影像获取模块51。

在本发明的优选实施例中，影像获取模块51为三维摄影机，要解决三维影像显示信息的不足，在本发明的优选实施例中利用了三维影像的拍摄及编制，在此所述的三维影像拍摄，是采用实时的内嵌式三维的双镜头摄影机获取三维影像。或者，在不同实施例中，可以应用二维摄影机，先取得主播的二维影像，再通过二维转三维的影像转换技术，将二维影像转换为三维影像，如何获取三维影像或如何将二维影像转换为三维影像的技术为本领域技术人员所熟知，在此不再赘述。为减少数据的实时流量，采用影像的二维与三维并存，混合编辑的方法，这样用户终端在观看时可以把焦点放置需要关注的产品或人物身上，以观赏到最佳及最需要的三维影像，并且这种二维与三维影像并存的方式，可以在用户接口上进行选择设置二维影像观赏，或三维影像观赏，即表示用户终端可以随时变更需要观看的三维影像位置，可以设置在区域性，或全图三维显示。另外，在此需要说明的是，三维影像所需传输的数据量大于二维影像所需传输的数据量，本发明通过在影像中同时包括三维的图像与二维的图像的方式，可以在影像播放时，传输相较于全图三维显示时较少的数据量，因此，可以维持直播时播放的顺畅度以及减少数据传输延迟(lag)的产生。

在步骤S302中，通过一三维直播演算模块52进行三维影像的图像处理。当本发明的影像获取模块51接收到三维影像40后，会进行图像处理，因为用户终端所使用的移动装置并不相同，且用户终端所在的位置或环境也不相同，不同的移动装置会有不同的数据传输速度，且所在位置不同，其数据传输的速度也不同，因此在三维影像进行优化的步骤中，对三维影像进行切割调整，并根据视频调配组合，通过人工智能学习模块54，对三维影像进行优化。

本发明的实时三维影像显示功能的直播方法会根据不同的数据传输速度调整影像。在现有的立体视觉技术上，都是将一整幅影像进行处理，因此往往产生至少二倍于二维影像的数据量，这样的数据传输量对于实时传输的直播系统产生了相当大的障碍，最常碰到的情况便是影像掉祯(frame)、马赛克或延迟严重，降低了使用的乐趣及耐心。因此，本发明对于影像进行了自动检测，并做前景、后景以及影像分割做适配效果外，如图4A所示，还进一步将三维影像40进行影像容错及校正，并检测与分离三维影像40中的多个物体。若物体为人，对物体进行影像柔和滤光、背景虚化、滤镜效果或美颜美肌等图像处理；若物体为物，对物体进行背景剥离、边缘强化、增强对比或影像放大等图像处理；若物体同为人与物，对影像进行颜色、美颜、图形边缘最适化的计算。背景剥离是将三维影像40中的背景从影像中分离出来，从而可以在后续的步骤中根据用户终端的使用习惯替换不同的背景。最后，输出优化经过图像处理后的三维影像40。

另外，在本发明的直播方法还包括对至少一用户终端进行取像以获取用户终端的三维影像，进而执行多人互动的一立体显示模式。本发明的直播方法除了可以三维显示外，还可以使用主播广播的一对多的显示模式，除了一般的一对一模式，还可以多人同时同步互动的立体显示模式，因此，本发明的直播方法除了可以提供直观性，还可以提高娱乐的乐趣，除了避免购物的错误以外，可以增进人类生活的愉悦感。

通过本发明的三维影像的图像处理，除了可以使用户终端一眼即可见到目标显示区域，同时对于网络带宽的数据装载量可以有效的减少，本发明的直播方法对于实时的直播系统还可以提高用户终端的视频体验感，不致产生视频卡顿现象。在本发明中，三维影像可通过一三维直播演算模块52来达到图像处理的目的。本发明三维影像的图像处理，对网络带宽的数据装载量可以有效减少的原因在于，局部的三维影像数据相较于传统的全图三维数据量小很多，加上数据压缩的技术，仅会比一般全图二维影像的数据多几个字节(bytes)～几千字节的数据。

在步骤S303中，根据一用户终端的至少一视频选择条件，通过一人工智能学习模块54，产生一视频调配组合。用户终端的至少一视频选择条件为用户终端对一直播系统的使用习惯，每个用户终端的使用习惯都不相同，本发明的直播方法通过一人工智能学习模块54，根据每个用户终端在使用本发明的直播软件时的使用习惯，显示用户终端最喜欢的播放模式。用户终端的习惯被人工智能学习模块54的学习模式所记录，下次用户终端在开启相同或类似画面，可以自动的显示用户终端习惯的区域或以全图的立体画面显示。

进一步来说，每个用户终端都会有个人的使用习惯，因此，当用户终端观看直播时，本发明的人工智能学习模块54会记录每个用户终端在观看直播时的使用习惯。举例来说，如图4B所示，当用户终端在观看直播时，人工智能学习模块54会记录用户终端的使用模式，例如，该用户终端喜欢发送哪种礼物，用户终端会针对那个特定的人、物或人与物进行二维影像与三维影像之间的切换。本发明的直播方法会记录每个用户终端在观看直播时的使用习惯，并在人工智能学习模块54中根据所记录的每个用户终端的观看直播的使用习惯，当该用户终端在下一次观看直播时，人工智能学习模块54会根据所记录的使用习惯，显示特定的直播画面给该用户终端，让该用户终端有较佳的直播观看的使用体验。

另外，在步骤S304中，根据视频调配组合与直播系统的使用环境，对三维影像进行优化。对三维影像进行优化可以是根据直播系统的使用环境，例如观众数量与网络速度等，对三维影像进行优化。另外，在本发明的直播方法中，在拍摄的人物或产品时，除了实时拍摄，也可以通过预先录制的后台背景实时加入，增加虚拟现实的使用场景，方便用户终端通过使用场景变更，来提高环境使用愉悦感。在本发明的直播方法中，除了针对每个用户终端提供不同的视频调配组合，产生优化后的三维影像外，还可以根据不同的用户终端选择不同的背景图案。而且，本发明的直播方法为避免错误或不恰当的影像或视频流放到终端，因此不论用户终端与主播进行聊天或交流，或欣赏主播的节目表演，或观看主播销售产品，在影像以相机实时摄入人体或物体以后，除了实时的影像三维编辑压缩外，都会在直播云端的后台上，经过人工智能的自动检查，或人工检查，检查完成后，才会根据用户终端的设定或需求，与后台系统的正确对应后，发送出相对应的码流(Data Streaming)到用户终端的手机或终端交互装置上，用户便可以看到该终端所设置及需求相对应的显示结果。

在步骤S305中，优化后的三维影像，并配合用户终端的至少一视频选择条件，将对应的三维影像显示在用户终端中。本发明的直播方法除了根据用户终端的设置，在后台端提供用户终端所需要的前述前景、后景的切割及显示设置以外，也会根据用户终端的设置及需求，将相对应的三维影像发送到用户终端的装置上。举例来说，用户终端进行了礼物的购买支付，直播系统便会根据用户终端购买的对应礼物，将该礼物的立体显示影像或视频，发送到主播的装置上，这样主播便可以在其装置的显示屏幕上，观看到对应的立体礼物的视频或影像。

通过本发明实时三维影像显示功能的直播方法，除了可以根据不同的数据传输速度可以调整影像的输出质量，还可以根据不同的用户终端提供不同的体验感受，让每个用户终端都获得较佳的观看体验或购物体验。

[本发明直播系统实施例]

图5显示本发明实时三维影像显示的直播系统的系统方框图。如图5所示，本发明的实时三维影像显示的直播系统50包括一影像获取模块51、一三维直播演算模块52、一直播系统服务器53、一人工智能学习模块54、一三维解码器55与一三维显示器56。

影像获取模块51可以是三维影像机或二维影像机等，任何可以摄影的电子装置都可以本发明的影像获取模块51。在本发明的优选实施例中，影像获取模块51为三维摄影机，要解决三维影像显示信息的不足，在本发明的优选实施例中利用了三维影像的拍摄及编制，在此所述的三维影像拍摄，是采用实时的内嵌式三维双镜头摄影机获取三维影像，这种内嵌于主播所使用装置内或用户终端的装置(例如智能手机、平板计算机等)内的摄影机，由于是内嵌式，所以相机是内置在电子装置上，两个三维摄影机通过接口，如移动工业处理器接口(Mobile Industry Process Interface，MIPI)、串行接口等，与手持装置端直接连接，再通过本发明的三维直播演算模块52及直播系统服务器53连接，实时发送三维影像及视频至用户终端。对于个人计算机端或手持装置，假如没有装设内嵌三维摄影机，可以采用外接式的单眼摄影机，或双眼立体相机，通过通用串行总线(USB)接口，或无线(WIFI)方式，与主机连接，当连接到本发明的直播系统后，便根据二维转三维或立体相机的处理方式或流程进行数据处理。

或者，在不同实施例中，可以应用二维摄影机，先取得主播的二维影像，再通过二维转三维的影像转换技术，将二维影像转换为三维影像，如何获取三维影像或如何将二维影像转换为三维影像的技术为本领域技术人员所熟知，在此不再赘述。影像获取模块51可以安装在主播以及用户终端的装置上，可以同时取得主播以及用户终端的三维影像，以便于进行后续的主播与至少一用户终端的一对一模式或一对多的立体显示模式。

三维直播演算模块52连接影像获取模块51，其用于接收三维影像，并对三维影像进行优化，三维直播演算模块52可以设置在主播或用户终端的直播软件中，或者三维直播演算模块52也可以安装在直播系统服务器53中，在此并不局限。进一步来说，如图6所示，并参考图5，三维直播演算模块52包括一影像校正单元521、一影像分离单元522、一影像合成单元523、一影像修正单元524、一影像调配单元525、一影像管理单元526以及一视频编码单元527。影像校正单元521连接影像获取模块51，接收三维影像，用于将所接收的三维影像做影像的校正，在获取三维影像或影像在进行二维转三维的过程中，都会产生些许的影像误差或影音不同步的问题，通过影像校正单元521修正三维影像在获取时或转换时所产生的错误。影像分离单元522连接影像校正单元521，针对校正后的三维影像中的前景、后景、人或物进行分割，从而可以对于三维影像中的任何人或物进行特定的图像处理，举例来说，将三维影像中的后景切割，从而可以在后续的图像处理中，在背景中加入特定的背景图案，或者，在特定的直播动作中，将特定的物或影像进行三维显示。

影像合成单元523连接影像分离单元522，分离后的三维影像，可以分别对于特定的图案、人或物进行图像处理，处理后的特定图案、人或物可以通过影像合成单元523进行结合，影像合成单元523并不只是将原本的三维影像还原，而是可以将个别立体化的图案、人或物与其他的二维影像结合，还可以通过影像合成单元523在背景中加入特定的背景图案。影像修正单元524连接影像调配单元525，影像修正单元524会根据不同图案的取像选择调整影像的视角，或者，影像修正单元524可以将三维影像中的礼物影像进行影像特效渲染效果，影像修正单元524也包括一般的影像边缘强化、影像转向、影像背景虚化、滤镜效果或影像区域放大等功能。

影像调配单元525连接影像修正单元524，影像调配单元525会根据不同的网速或移动装置的性能，调整三维影像的影像输出。举例来说，当网速较快，三维影像可以完整的输出，当网速较慢时，可以局部显示三维影像，其余的影像以二维显示。影像管理单元526连接影像调配单元525，将经过图像处理后的三维影像整合并输出，视频编码单元527连接影像管理单元526，通过视频编码单元527将三维影像转换为数据信号，进而可将具有三维影像的数据信号以有线或无线的方式传送至直播系统服务器53。

直播系统服务器53无线连接三维直播演算模块52，也可称之为直播系统云端，直播系统服务器53用于接收具有三维影像的数据信号，换句话说，每个主播所直播的内容都会传送至直播系统服务器53，然后再通过直播系统服务器53推播至用户终端的装置上。人工智能学习模块54连接直播系统服务器53，在本发明的优选实施例中，人工智能学习模块54可以设置在直播系统服务器53，或者在不同实施例中，人工智能学习模块54可以设置在不同的服务器或计算机主机上，然后再以无线或有线连接的方式连接直播系统服务器53，在此并不局限。每个用户终端的视屏选择条件或称使用习惯都会被人工智能学习模块54的学习模式所记录，并输出一视频调配组合。当下次用户终端开启相同或类似画面，人工智能学习模块54可根据视频选择条件自动输出视频调配组合，换句话说，显示用户终端所习惯的显示区域或以全图的立体画面显示。

因此，不论用户终端与主播进行聊天、交流，或欣赏主播的节目表演，或观看主播销售产品，在影像以相机实时摄入人体或物体以后，除了实时的影像三维编辑、压缩以外，都会在直播系统服务器53的后台上，经过人工智能学习模块54的自动检查，检查完成后，才会根据用户终端的设定或需求，与后台系统的正确对应后，发送出相对应的码流(DataStreaming)到用户终端的手机或终端交互装置上，用户终端便可以看到该终端所设置及需求相对应的显示结果。

三维解码器55连接直播系统服务器53，或者三维解码器55也可以安装在直播系统服务器53上，且连接人工智能学习模块54，通过三维解码器55可将三维影像进行编码以及译码，在本发明的直播系统50中，可以应用三维解码器55让主播可以跟多个用户终端进行互动的立体显示模式。直播系统50便会根据用户终端购买的对应礼物，如图7A所示，在主播71的移动装置72上，将礼物73的立体显示影像或视频显示出来，这样主播71便可以在其移动装置72的显示屏幕74上，观看到对应的立体礼物73的视频或影像。三维显示器56设置在主播以及用户终端的装置上，主播以及用户终端的装置以无线传输的方式接收从直播系统服务器53所推送的三维影像，并通过三维显示器56显示在主播以及用户终端的装置上。通过三维解码器55让本发明的直播系统50具有三维立体双向编解码技术，如图7B所示，在移动装置72上，除了主播71可以发送立体视频、图像，给用户终端75接收观看立体视频、图像以外，用户终端75也可以通过双向立体显像技术，对主播71发送立体图像或视频，使主播71也可以实时收到用户终端75的立体图像信息，可以快速的判断出用户终端75的需求，实现实时互动的目的。

另外，请参阅图6，在用户终端上，同样包括在主播端的三维影像的显示功能，在用户终端的装置上，同样包括本发明的直播系统50的功能，因为在观看直播时，用户终端也可以直播自己的影像给主播看，或者，用户终端也可以在接收到主播端的视频时，自动或手动切换二维与三维之间的转换。因此，当用户终端接收到二维或三维影像时，若接收到二维影像可转换为三维影像，用户终端的三维影像同样会通过影像校正单元521、影像分离单元522、影像合成单元523、影像修正单元524、影像调配单元525以及影像管理单元526等组件，将三维影像进行图像处理，让在用户终端的三维影像同样可以做全景三维影像的显示，或者可以针对特定的人、物或人与物做三维影像的显示，二维或三维影像的显示在客户终端上可以主动或手动的方式进行切换。如何通过三维直播演算模块52进行图像处理已于前面章节介绍过，因此，相关的图像处理细节在此不再赘述。

举例来说，当用户终端的数据传输速度不快，三维直播演算模块52会自动只显示部分的三维影像在用户终端的三维显示器56上，而不会显示全景的三维影像，或者，当网速过低时，三维直播演算模块52还会自动将三维影像切换至二维影像。另外，用户终端的三维影像除了可以自动切换外，三维影像也可以手动切换，用户终端可以手动指定特定的人、物或人与物做三维影像的显示。换句话说，本发明的三维影像并不局限于全图的三维影像，本发明的三维影像也可以是局部的三维影像，所谓局部的三维影像就是在影像中，特定的对象(人、物或人与物)以三维显示的方式呈现，其余的图像则以二维显示的方式呈现。通过这样的影像呈现方式，可以降低在直播时数据的传输量，并可以降低直播显示延迟的产生几率。

[本发明三维直播影像的横向或者纵向显示实施例]

另外，在本发明的优选实施例中，还可以在主播以及用户终端的装置上设置一三维直播影像的横向纵向控制装置80。因为用户终端使用的装置可能有使用纵向显示观赏或横向直播显示观赏的习惯，本发明也提供三维直播影像的横向纵向控制装置80，对于移动装置的显示方向设定，这个显示方向的设定可以在用户终端的APP软件上自动检测或人工设定，也适用在主播的显示终端及云端的监测显示上。因此，本发明的三维直播影像的横向纵向控制装置80包括一方向检测器81与一控制接口82。

在自动检测直播显示方向上，方向检测器81具备可以感测移动装置或手持装置内部的陀螺仪或方向传感器的信号，在主播或用户终端的装置便会根据终端装置回馈的方向信号，对于直播显示的方向进行调整。这个方向的调整会配合三维直播影像或视频经过转向后，进行三维直播影像的显示转换，这个显示转换包括屏幕显示的长、宽比或交织的配比(Interlace)的调整，以及软件按键与功能显示位置的调整，诸如此类跟3D立体直播显示相关的转向设置。前述的设定也包括了对于三维显示器56的直播显示功能设定。控制接口82设置在主播与用户终端的移动装置或手持装置上，进一步来说，控制接口82可以是控制器如一按键等，或者控制接口82也可以是一软件使用接口，其包括控制器的功能。主播或用户终端可以通过方向检测器81自动翻转屏幕直播显示，或者也可以通过控制接口82自行翻转屏幕直播显示，实现纵向直播显示观赏或横向直播显示观赏。

本发明的三维直播影像的横向纵向控制装置80具备有横向与纵向两方向皆可以显示三维直播影像的功能，且具备自动或人工转向检测及显示调整。对于只支持单方向的立体显示终端，本发明在三维直播影像的横向纵向控制装置80还包括一直播影像调整器83，直播影像调整器83连接方向检测器81，直播影像调整器83判断是否调整三维直播显示的步骤可以如图9所示，在步骤S901中，方向检测器81检测到移动装置的摆设方向改变，或者，在步骤S902中，用户通过控制接口82进行直播影像旋转，在步骤S903中，直播影像调整器83判断移动装置是否横向或纵向支持三维直播显示，若否，在步骤S904中，直播影像调整器83可以提醒用户终端，告知不支持转向后的立体显示，并通过直播影像调整器83变成二维的平面直播显示方式显示在用户终端的显示器上，直到用户终端再次转向到可以显示立体直播显示，用户终端便可以看到立体直播显示。反之，在步骤S905中，直播影像调整器83调整转向后的优化的三维直播影像。

[实施例的有益效果]

本发明的其中一有益效果在于，本发明所提供的直播系统与直播方法，为减少数据的实时流量，采用影像的二维与三维并存，混合编辑的方法，这样观看者可以把焦点放置需要关注的产品或人物身上，以观赏到最佳及最需要的三维影像，并且这种二维与三维影像并存的方式，可以在用户接口上进行选择设置二维影像观赏，或三维影像观赏，即表示使用者可以随时变更需要观看的三维影像位置，可以设置在区域性，或全图三维显示。二维影像可以选择三维左右式影像中的左影像或右影像作为二维影像的显示图。另外，除了用户终端装置的立体显示方式外，主播端或云端后台的控制端，也可以放置立体显示设备，以提供主播端的立体显示预览，及与用户终端的互动立体显示。另外，还可以让用户终端或主播端通过三维直播影像的横向纵向控制装置可以容易选择横放或纵放的方式来进行三维直播显示。

以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求内。

Claims (10)

1.一种实时三维影像显示的直播方法，其包括：

对一实体进行取像，并获取所述实体的一三维影像；

通过一三维直播演算模块，进行所述三维影像的图像处理；

根据一用户终端的至少一视频选择条件，通过一人工智能学习模块，产生一视频调配组合；

根据所述视频调配组合与所述用户终端的一使用环境，对所述三维影像进行优化；以及

优化后的所述三维影像，配合所述用户终端的至少一所述视频选择条件，将对应的所述三维影像显示在所述用户终端中；

其中，所述三维影像是全图三维影像或局部三维影像。

2.如权利要求1所述的实时三维影像显示的直播方法，其中，在对一实体进行取像的步骤中，先通过至少一镜头取得二维影像，再将所述二维影像通过一三维影像仿真模块转换为所述三维影像。

3.如权利要求1所述的实时三维影像显示的直播方法，其中，在对一实体进行取像的步骤中，直接通过多个镜头取得所述三维影像。

4.如权利要求1所述的实时三维影像显示的直播方法，其中，在进行所述三维影像的图像处理的步骤中，将所述三维影像进行影像容错及校正，并检测与分离所述三维影像中的多个物体。

5.如权利要求4所述的实时三维影像显示的直播方法，其中，若所述物体为人，对所述物体进行影像柔和滤光、背景虚化、滤镜效果或美颜美肌。

6.如权利要求4所述的实时三维影像显示的直播方法，其中，若所述物体为物，对所述物体进行背景剥离、边缘强化、增强对比或影像放大。

7.如权利要求1所述的实时三维影像显示的直播方法，其中，所述用户终端的至少一所述视频选择条件为所述用户终端对一直播系统的使用习惯。

8.如权利要求1所述的实时三维影像显示的直播方法，其中，在对所述三维影像进行优化的步骤中，根据所述直播系统的观众数量与网络速度，对所述三维影像进行优化。

9.如权利要求1所述的实时三维影像显示的直播方法，还包括：对至少一所述用户终端进行取像以获取所述用户终端的所述三维影像，进而执行多人互动的一立体显示模式。

10.如权利要求1所述的实时三维影像显示的直播方法，其中，在对所述三维影像进行优化的步骤中，对所述三维影像进行切割调整，并根据所述视频调配组合，通过所述人工智能学习模块，对所述三维影像进行优化。

Images