CN116762333A - 将电话会议参与者的图像与共享文档叠加 - Google Patents
将电话会议参与者的图像与共享文档叠加 Download PDFInfo
- Publication number
- CN116762333A CN116762333A CN202280008982.1A CN202280008982A CN116762333A CN 116762333 A CN116762333 A CN 116762333A CN 202280008982 A CN202280008982 A CN 202280008982A CN 116762333 A CN116762333 A CN 116762333A
- Authority
- CN
- China
- Prior art keywords
- document
- participant
- image
- teleconference
- client device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 28
- 238000012986 modification Methods 0.000 claims 2
- 230000004048 modification Effects 0.000 claims 2
- 238000007726 management method Methods 0.000 description 76
- 238000012549 training Methods 0.000 description 55
- 238000000605 extraction Methods 0.000 description 52
- 238000009877 rendering Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
提供了用于将电话会议参与者的图像与共享文档叠加的系统和方法。接收发起文档共享操作的请求以经由第二客户端设备上的第二图形用户界面(GUI)与电话会议的第二参与者共享经由与电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档。还接收对应于第一参与者在周围环境中的视图的图像数据。基于接收到的图像数据获得描绘第一参与者的图像。识别满足一个或多个图像放置标准的文档的一个或多个区域。提供文档和描绘第一参与者的图像以用于经由第二客户端设备上的第二GUI呈现。描绘第一参与者的图像呈现在文档的所识别的一个或多个区域中的区域处。
Description
技术领域
本公开的各方面和实施方式涉及将电话会议参与者的图像与共享文档叠加。
背景技术
基于视频或音频的电话会议讨论能够经由会议平台在多个参与者之间进行。会议平台包括允许多个客户端设备通过网络连接并且共享彼此的音频数据(例如,经由客户端设备的麦克风记录的用户的语音)和/或视频数据(例如,由客户端设备的相机捕捉的视频,或从客户端设备的屏幕图像捕捉的视频)以进行高效通信的工具。会议平台还能够包括允许电话会议的参与者与电话会议的其他参与者共享经由与该参与者相关联的客户端设备上的用户界面(UI)显示的文档的工具。
发明内容
以下概述是本公开的简化概述以便提供对本公开的一些方面的基本理解。本概述不是本公开的广泛综述。它既不旨在识别本公开的关键或重要元素,也不旨在描绘本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化的形式呈现本公开的一些概念,作为稍后呈现的更详细描述的序言。
在一些实施方式中,公开了一种用于将电话会议参与者的图像与共享文档叠加的系统和方法。在一种实施方式中,接收发起文档共享操作的请求,以经由第二客户端设备上的第二图形用户界面(GUI)与电话会议的第二参与者共享经由与电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档。还接收对应于第一参与者在周围环境中的视图的图像数据。基于接收到的图像数据获得描绘第一参与者的图像。识别满足一个或多个图像放置标准的文档的一个或多个区域。提供描绘第一参与者的文档和图像以用于经由第二客户端设备上的第二GUI呈现。描绘第一参与者的图像呈现在文档的所识别的一个或多个区域中的区域处。
在一些实施方式中,公开了另一种用于将电话会议参与者的图像与共享文档叠加的系统和方法。在一种实施方式中,经由第二客户端设备上的第二图形用户界面(GUI)与电话会议的第二参与者共享经由与电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档。接收经由第二GUI显示描绘电话会议的第一参与者的图像以及与第二参与者共享的文档的请求。接收对应于第一参与者在周围环境中的视图的图像数据。基于接收到的图像数据获得描绘第一参与者的图像。考虑到描绘第一参与者的图像,修改共享文档的一个或多个内容项的格式或方向中的至少一个。提供描绘第一参与者的图像以及经过修改的文档以用于经由第二客户端设备上的第二GUI呈现。
附图说明
从下面给出的详细描述以及从本公开的各个方面和实施方式的附图中,将更全面地理解本公开的各方面和实施方式,然而,这些描述和附图不应被视为将本公开限制于特定方面或实施方式,而是仅用于解释和理解。
图1示出了根据本公开的实施方式的示例系统架构。
图2是示出根据本公开的实施方式的示例会议平台和示例背景提取引擎的框图。
图3是示出根据本公开的实施方式的示例会议平台和示例图像叠加引擎的框图。
图4描绘了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加的示例方法的流程图。
图5A至图5C示出了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加以用于经由GUI呈现的示例。
图6A至图6C示出了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加以用于经由GUI呈现的另一示例。
图7描绘了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加的另一示例方法的流程图。
图8A至图8B示出了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加以用于经由GUI呈现的另一示例。
图9A至图9B示出了根据本公开的实施方式的将多个电话会议参与者的图像与共享文档叠加以用于经由GUI呈现的示例。
图10是示出根据本公开的实施方式的示例性计算机系统的框图。
具体实施方式
本公开的各方面涉及将电话会议参与者的图像与共享文档叠加。会议平台能够经由相应客户端设备在多个参与者之间实现基于视频或音频的电话会议讨论,该客户端设备通过网络连接并且在电话会议期间共享彼此的音频数据(例如,经由客户端设备的麦克风记录的用户的语音)和/或视频数据(例如,由客户端设备的相机捕捉的视频)。在一些情况下,会议平台能够使得大量客户端设备(例如,多达一百个或更多个客户端设备)能够经由电话会议进行连接。
实况电话会议(例如,视频电话会议)的参与者使用共享文档(例如,幻灯片演示文档、文字处理文档、网页文档等)与电话会议的其他参与者接涉可能是很常见的情况。例如,电话会议的演示者能够准备包括演示者计划在电话会议期间讨论的内容的文档。现有的会议平台使得演示者能够在演示者讨论共享文档中包括的内容时,经由相应客户端设备上的会议平台GUI,与电话的其他参与者共享经由与演示者相关联的客户端设备的GUI显示的文档。然而,这样的会议平台不能在同时经由在与其他参与者相关联的客户端设备上的会议平台GUI显示描绘演示者的图像的同时有效地显示共享文档的内容。例如,一些现有的会议平台可能不提供描绘电话会议演示者的图像以及经由会议平台GUI共享的文档,这阻止了演示者经由会议平台的视频特征有效地与参与者接涉。结果,电话会议参与者的注意力没有被长时间(或者根本没有)捕捉,并且在电话会议期间呈现共享文档可能给人的印象是非个人的或者机械的。其他现有的会议平台可以经由会议平台GUI的第一部分显示共享文档的内容,并且经由会议平台GUI的第二部分显示描绘演示者的图像。然而,假设演示者的图像显示在会议平台GUI中与共享文档的内容分开的部分,则参与者可能无法在消费共享文档提供的内容的同时关注或同时观察演示者提供的视觉提示或姿势。
与连接到电话会议平台的不同客户端设备相关联的硬件限制可能会阻止会议平台GUI同时或有效地显示共享文档的内容和演示者的图像这两者。现有的会议平台不提供能够考虑到与客户端设备相关联的一个或多个硬件限制来修改与电话会议的参与者相关联的客户端设备上的会议平台GUI的显示的机制。在说明性示例中,与电话会议的演示者相关联的客户端设备能够包括大显示屏。与电话会议的一些参与者相关联的客户端设备可以包括大显示屏,而与电话的其他参与者相关联的客户端设备能够包括小显示屏。现有的会议平台能够经由在每个客户端设备处的会议平台GUI提供相同的文档用于呈现,而不管在相应客户端设备处的显示屏的尺寸。因此,经由包括小显示屏的客户端设备访问电话会议的参与者可能不容易地消费由演示者共享的文档的所有内容。结果,演示者可能无法在电话会议期间有效地接涉这些参与者。
本公开的各方面通过提供用于将电话会议演示者的图像与经由与电话会议的参与者相关联的客户端设备上的会议平台GUI共享的文档分层的技术来解决上述和其他缺陷。与电话会议的演示者相关联的客户端设备能够向会议平台发送发起文档共享操作的请求,以经由与电话会议的参与者相关联的客户端设备上的GUI与电话会议的参与者共享经由客户端设备的GUI显示的文档。另外地或响应于接收到发起文档共享操作的请求,会议平台能够从与电话会议演示者相关联的客户端设备接收图像数据(例如,像素数据等)。图像数据能够对应于第一参与者在周围环境(例如,背景环境)中的视图。会议平台能够基于接收到的图像数据获得描绘演示者的图像。例如,接收到的图像数据能够包括与演示者相关联的第一组像素和与周围环境相关联的第二组像素。会议平台能够从接收到的图像数据中提取所识别的第一组像素,并且基于所提取的第一组像素来生成描绘第一参与者的图像。
在一些实施例中,会议平台能够识别满足一个或多个图像放置标准的文档的一个或多个区域。在一个示例中,如果文档的区域不包括任何内容或者不包括与演示相关的内容(例如,该区域包括公司徽标等),则文档的区域能够满足图像放置标准。在其他或类似实施例中,会议平台能够修改共享文档的一个或多个内容项的格式或方向以便容纳描绘演示者的图像。例如,如果幻灯片演示文档的幻灯片的标题的尺寸很大,并且占据了会议平台GUI中的大量空间,则会议平台能够减小标题的尺寸,或者能够将标题的一部分移动到幻灯片的另一个区域以便容纳描绘演示者的图像。会议平台能够提供文档和描绘演示者的图像,用于经由与会议参与者相关联的客户端设备上的会议GUI进行演示。描绘演示者的图像能够在先前被识别(或修改)以满足一个或多个图像放置标准的区域处被显示。
对传统技术的上述技术问题的技术解决方案可以包括将电话会议演示者的图像与经由与电话会议的参与者相关联的客户端设备上的会议平台GUI共享的文档叠加。在一些实施例中,会议平台可以识别满足用于呈现描绘电话会议演示者的图像的一个或多个放置标准的文档的一个或多个区域(例如,不包括内容的一个或多个区域等)。在其他或类似的实施例中,会议平台可以修改文档的一个或多个内容项以容纳描绘电话会议演示者的图像。因此,描绘电话会议演示者的图像被呈现在共享文档的不干扰(或最小程度地干扰)文档的现有内容的区域中。
对上述技术问题的另一种技术解决方案是,考虑到与客户端设备相关联的一个或多个硬件限制,修改经由特定客户端设备上的会议平台GUI对文档和描绘演示者的图像的呈现。会议平台能够获得指示与和电话会议参与者相关联的客户端设备相关联的一个或多个硬件限制(例如,图像分辨率限制、屏幕尺寸等)的数据。如果一个或多个硬件限制满足硬件限制标准(例如,低于阈值图像分辨率、阈值屏幕尺寸等),会议平台能够考虑到一个或多个硬件限制来修改文档和描绘演示者的图像的呈现。例如,会议平台能够经由会议平台GUI呈现文档中包括的第一部分内容以及描绘演示者的图像。响应于检测到演示者已经将演示的焦点转移到第二部分内容,会议平台能够更新在客户端设备处的会议平台GUI,以用描绘平台的图像来显示文档中包括的第二部分内容。
因此,技术效果可以包括改进电话会议演示者的图像和与电话会议的参与者共享的文档的呈现。通过提供在不干扰(或最小程度地干扰)共享文档的现有内容的区域中呈现电话会议演示者的图像的机制,所有重要的信息都以无障碍和方便的方式呈现给电话会议的参与者,同时模仿了面对面的会议体验,这使得演示者能够有效地与电话会议的参与者接涉。此外,通过考虑到与电话会议参与者相关联的客户端设备的硬件限制(例如,图像分辨率限制、显示屏尺寸等)来修改会议平台GUI,电话会议演示者图像和共享文档这两者都能够以与硬件限制兼容的格式呈现给参与者(例如,使得所有内容都显示在参与者设备的有限屏幕上)。因此,与客户端设备相关联的参与者能够消费文档中包括的所有内容以及描绘演示者的图像,并且电话会议的演示者能够经由经过修改的会议平台GUI有效地与参与者接涉。
图1图示了根据本公开的实施方式的示例系统架构100。系统架构100(本文也称为“系统”)包括客户端设备102A-N、数据存储110和会议平台120,每个都连接到网络108。在一些实施例中,系统100能够附加地包括预测系统112。预测系统112能够包括一个或多个服务器机器130-150,每个服务器连接到网络108。
在实施方式中,网络108能够包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)或广域网(WAN))、有线网络(例如,以太网)、无线网络(例如,802.11网络或Wi-Fi网络)、蜂窝网络(例如,长期演进(LTE)网络)、路由器、集线器、交换机、服务器计算机、和/或其组合。
在一些实施方式中,数据存储110是能够存储数据以及用于标记、组织和索引数据的数据结构的持久存储。根据本文描述的实施例,数据项能够包括音频数据和/或图像数据。根据本文描述的实施例,在其他或类似的实施例中,数据项能够对应于经由客户端设备102上的图形用户界面(GUI)显示的文档。数据存储110能够由一个或多个存储设备来托管,诸如主存储器、基于磁或光存储的盘、磁带或硬盘驱动器、NAS、SAN等等。在一些实施方式中,数据存储110能够是附接到网络的文件服务器,而在其他实施例中,数据存储110能够是某种其他类型的永久存储,诸如面向对象的数据库、关系数据库等,其可以由会议平台120或经由网络108耦合到会议平台120的一个或多个不同的机器来托管。
会议平台120能够使得客户端设备102A-N的用户能够经由电话会议(诸如视频电话会议或音频电话会议)彼此连接。电话会议指的是基于音频的电话和/或基于视频的电话,其中电话的参与者能够与多个附加的参与者连接。会议平台120能够允许用户加入和参与与平台的其他用户的视频电话会议和/或音频电话会议。尽管本公开的实施例涉及经由电话会议连接的多个参与者(例如,3个或更多),但是应当注意,本公开的实施例能够用经由电话会议连接的任何数量的参与者(例如,2个或更多)来实施。
客户端设备102A-N能够各自包括计算设备,诸如个人计算机(PC)、笔记本计算机、移动电话、智能手机、平板计算机、上网本计算机、联网电视等。在一些实施方式中,客户端设备102A-N也可以被称为“用户设备”。每个客户端设备102A-N能够包括网络浏览器和/或客户端应用(例如,移动应用或桌面应用)。在一些实施方式中,网络浏览器和/或客户端应用能够显示由会议平台120提供的用户界面(UI)以供用户访问会议平台120。例如,用户能够经由由会议平台120提供并且由网络浏览器或客户端应用呈现的UI加入和参与视频电话会议或音频电话会议。
每个客户端设备102A-N能够包括一个或多个视听组件,其能够生成要流传输到会议平台120的音频和/或图像数据。在一些实施方式中,视听组件能够包括被配置成捕捉图像并且生成与所捕捉的图像相关联的图像数据的设备(例如,相机)。例如,客户端设备102的相机能够在电话会议期间捕捉电话会议参与者在周围环境(例如,背景)中的图像。在附加的或可替选的实施方式中,视听组件能够包括设备(例如,麦克风)以捕捉表示用户语音的音频信号并且基于捕捉到的音频信号来生成音频数据(例如,音频文件)。视听组件能够包括向与特定客户端设备102A-N相关联的用户输出音频数据的另一设备(例如,扬声器)。
在一些实施方式中,会议平台120能够包括会议管理组件122。会议管理组件122被配置成管理会议平台120的多个用户之间的电话会议。在一些实施方式中,会议管理组件122能够向每个客户端设备提供GUI(本文称为会议平台GUI),以使得用户能够在电话会议期间彼此观看和收听。在一些实施例中,会议管理组件122还能够使用户能够共享经由与其他用户相关联的客户端设备上的GUI显示的文档(例如,幻灯片演示文档、文字处理文档、网页文档等)。例如,在电话会议期间,会议管理组件122能够接收与电话会议的其他参与者共享经由与电话会议的第一参与者相关联的第一客户端设备上的GUI显示的文档的请求。在一些实施例中,会议管理平台122能够修改与其他电话会议参与者相关联的客户端设备102处的会议平台GUI以显示共享文档的至少一部分。
在一些实施例中,会议管理组件122能够将描绘电话会议的参与者的图像与参与者共享的文档叠加,并且经由与其他参与者相关联的客户端设备上的会议平台GUI将共享文档与叠加图像呈现给其他参与者。例如,电话会议的参与者能够准备文档(例如,幻灯片演示文档)以呈现给电话会议的其他参与者。在一些实施例中,这样的参与者被称为演示者。会议管理组件122能够从与演示者相关联的客户端设备102接收请求以经由与其他电话会议参与者相关联的相应客户端设备102上的会议平台GUI与其他电话会议参与者共享文档。在一些实施例中,会议管理组件122还能够接收将描绘演示者的图像与共享文档叠加的附加请求。
响应于从与演示者相关联的客户端设备102接收到一个或多个请求,会议管理组件122能够获得描绘演示者的图像。如前所述,每个客户端设备102A-N的视听组件能够捕捉图像并且生成与捕捉到的图像相关联的图像数据。与演示者相关联的客户端设备102的相机能够捕捉演示者在周围环境中的图像并且生成与捕捉到的图像相关联的图像数据。在一些实施例中,会议管理组件122能够接收由与演示者相关联的客户端设备102生成的图像数据并且能够从接收到的图像数据中获得描绘演示者的图像。在一些实施例中,会议管理组件122能够向背景提取引擎124提供从与演示者相关联的客户端设备102接收的图像数据。在一些实施例中,背景提取引擎124能够被配置成解析图像数据并且识别对应于电话会议的参与者的图像数据部分和对应于参与者周围的环境的图像数据部分。例如,在一些实施例中,从与演示者相关联的客户端设备102接收的图像数据能够包括与演示者相关联的第一组像素和与周围环境相关联的第二组像素。背景提取引擎124能够解析接收到的图像数据以识别与演示者相关联的第一组像素并且能够从图像数据中提取第一组像素。根据下面描述的实施例,在其他或类似的实施例中,背景提取引擎124能够被配置成基于机器学习模型的一个或多个输出来识别对应于电话会议参与者的图像数据部分。会议管理组件122和/或背景提取引擎124能够基于提取的第一组像素来生成描绘演示者的图像。下面参照图2提供关于背景提取引擎124的进一步细节。
会议平台120还能够包括被配置成将描绘演示者的图像和与电话会议的参与者共享的文档叠加的图像叠加引擎126。在一些实施例中,图像叠加引擎126能够识别满足一个或多个图像放置标准的文档的一个或多个区域,并且能够使描绘演示者的图像被呈现在所识别的区域中的一个区域处。例如,如果文档的区域不包括任何内容(例如,是空白空间),则所述区域能够满足图像放置标准。图像叠加引擎126能够识别不包括任何内容的一个或多个区域并且能够选择所识别的一个或多个区域中的一个以包括描绘演示者的图像。在另一个示例中,图像叠加引擎126可能不识别满足图像放置标准的文档中的任何区域。在这样的实施例中,根据本文描述的实施例,图像叠加引擎126能够修改描绘演示者的图像的尺寸、形状和/或透明度并且能够使描绘演示者的经过修改的图像与文档叠加。参考图3提供关于图像叠加引擎126的进一步细节。
响应于图像叠加引擎126识别包括描绘演示者的图像(或经过修改的图像)的区域,会议管理组件122能够提供文档和描绘演示者的图像以用于经由与电话会议的其他参与者相关联的客户端设备上的会议平台GUI呈现。描绘演示者的图像能够被包括在由图像叠加引擎126识别的文档的区域处。在一些实施例中,会议管理组件122能够从与演示者相关联的客户端设备102接收请求以将描绘演示者的图像从所识别的区域移动到文档的另一区域。在这样的实施例中,会议管理组件122能够根据请求将描绘演示者的图像移动到文档的另一区域。在一些实施例中,文档的被请求区域能够包括一个或多个内容项。在一些实施例中,会议管理平台122能够考虑到图像来修改描绘演示者的图像和/或一个或多个内容项的格式或方向。本文提供了关于会议管理组件122修改描绘演示者的图像和/或文档的内容项的进一步细节。
如上所述,在一些实施例中,系统架构能够包括包含一个或多个服务器机器130-150的预测系统112。在一些实施例中,上述背景提取引擎124能够是预测系统112的一部分。在这样的实施例中,预测系统112能够被配置成训练图像提取模型,背景提取引擎124能够使用该图像提取模型来识别对应于电话会议参与者的图像部分和对应于电话会议参与者周围的环境的图像部分。在附加的或可替选的实施例中,预测系统112能够包括姿势检测引擎151。在这样的实施例中,预测系统112能够被配置成训练姿势检测模型,姿势检测引擎151能够使用该姿势检测模型来检测电话会议参与者在电话会议期间做出的姿势,并且生成对应于检测到的姿势的GUI元素以在与电话会议的其他参与者相关联的客户端设备102处的会议平台GUI处呈现。本文提供了关于图像提取模型和姿势检测模型的进一步细节。
预测系统112能够至少包括训练集生成器131、训练引擎141和一个或多个机器学习模型160A-N。在一些实施例中,预测系统112还能够包括背景提取引擎124和/或姿势检测引擎151,如上所述。服务器机器130能够包括能够生成训练数据(例如,训练输入集合和目标输出集合)以训练ML模型160A-N的训练集生成器131。对于图像提取模型,能够基于与由会议平台120托管的先前电话会议的参与者相关联的客户端设备的视听组件已经在先捕捉的图像来生成训练数据。例如,在先前的电话会议期间,与电话会议参与者相关联的客户端设备的视听组件(例如,相机)能够生成描绘电话会议参与者和该电话会议参与者周围的环境的图像。在一些实施例中,电话会议参与者能够提供描绘电话会议参与者的图像部分的指示(例如,经由客户端设备处的会议平台GUI)和/或描绘电话会议参与者周围的环境的图像部分的指示。客户端设备能够将所生成的图像以及由电话会议参与者提供的一个或多个指示发送到会议平台120(例如,经由网络108)。响应于接收到所生成的图像和一个或多个指示,会议管理组件122(或会议平台120的另一组件)能够将接收到的图像和指示作为训练数据存储在数据存储110中。
在其他或类似的实施例中,电话会议参与者可以不提供描绘电话会议参与者的图像部分的指示和/或描绘电话会议参与者周围的环境的图像部分的指示。在这样的实施例中,与电话会议参与者相关联的客户端设备102能够将所生成的图像发送到会议平台,并且会议管理组件122(或会议平台120的另一组件)能够将所生成的图像存储在数据存储110处。在一些实施例中,与会议平台120(或者经由网络108或另一网络连接到平台120的另一平台)的另一用户(例如,程序员、开发者、操作员等)相关联的客户端设备102能够从数据存储110获得所生成的图像。在这样的实施例中,其他用户能够提供描绘电话会议参与者的图像部分的指示和/或描绘电话会议参与者周围的环境的图像部分的指示。根据在先描述的实施例,与另一用户相关联的客户端设备102能够向会议平台120发送一个或多个指示。如上所述,会议管理组件122能够将一个或多个所提供的指示与图像一起作为训练数据存储在数据存储110中。
如上所述,在一些实施例中,由与电话会议参与者相关联的客户端设备102生成的图像能够描绘由会议平台120托管的先前电话会议期间的参与者的图像。在其他或类似的实施例中,由客户端设备102生成的图像能够描绘仅在将由会议平台120托管的电话会议之前的参与者的图像。例如,根据本文描述的实施例,电话会议参与者能够是电话会议的演示者,并且能够准备将在电话会议期间共享的一个或多个文档。在电话会议之前,电话会议演示者能够使与演示者相关联的客户端设备的视听组件(例如,相机)生成描绘电话会议之前的演示者的一个或多个图像。在一些实施例中,一个或多个所生成的图像能够描绘与演示者和/或演示者周围的环境相关联的条件,其预期在电话会议期间由客户端设备的视听组件捕捉。例如,所生成的图像能够描绘电话会议期间演示者的预期定位或方向、电话会议期间演示者的预期服装、电话会议期间演示者周围环境中包括的一个或多个物体的预期定位、电话会议期间与演示者和/或演示者周围环境相关联的预期照明条件等等。在一些实施例中,如前所述,与演示者相关联的客户端设备102能够将所生成的图像发送到会议平台120。在其他或类似的实施例中,如前所述,演示者能够经由客户端设备的GUI提供描绘演示者的一个或多个所生成的图像中的每一个的一部分的指示和/或描绘演示者周围的环境的一个或多个所生成的图像的一部分的指示。在这样的实施例中,如前所述,与演示者相关联的客户端设备102能够将一个或多个所生成的图像和一个或多个所提供的指示发送到会议平台120。如上所述,能够将一个或多个所生成的图像和一个或多个指示作为训练数据存储到数据存储110。
服务器机器130的训练集生成器131能够从数据存储110获得训练数据并且能够基于所获得的训练数据来生成训练集。训练集能够包括基于检索到的训练数据的训练输入的子集和目标输出。如上所述,训练输入的子集能够包括与描绘电话会议参与者的图像相关联的图像数据(即,在先前的电话会议期间或者在电话会议之前生成的)。训练集生成器131能够为训练输入子集的每一个来生成一个或多个目标输出。在一些实施例中,训练集生成器131能够基于与训练数据的每个图像相关联的一个或多个指示来确定对应于电话会议参与者的一组像素和对应于电话会议参与者周围的环境的一组像素。训练集的相应训练输入的目标输出能够至少对应于与电话会议参与者相关联的该组像素的指示。
服务器140能够包括训练引擎141。训练引擎141能够使用来自训练集生成器131的训练数据来训练机器学习模型160A-N。机器学习模型160A-N能够指由训练引擎141使用包括训练输入和对应目标输出(相应训练输入的正确答案)的训练数据创建的模型人工制品。训练引擎141能够在训练数据中找到将训练输入映射到目标输出(要预测的答案)的模式,并且提供捕捉这些模式的机器学习模型160A-N。机器学习模型160A-N能够由例如单级线性或非线性运算组成(例如,支持向量机(SVM或者可以是深度网络,即,由多级非线性运算组成的机器学习模型)。深度网络的示例是具有一个或多个隐藏层的神经网络,并且这种机器学习模型能够通过例如根据反向传播学习算法等调整神经网络的权重来训练。为了方便起见,本公开的剩余部分将把该实施方式称为神经网络,即使一些实施方式可能采用SVM或其他类型的学习机来代替神经网络或作为神经网络的补充。在一个方面,训练集由服务器机器130托管的训练集生成器131获得。
服务器150的背景提取引擎124能够提供与由与当前电话会议的参与者(例如,演示者)相关联的客户端设备102的视听组件(例如,相机)生成的一个或多个图像相关联的图像数据作为经过训练的机器学习模型160的输入以获得一个或多个输出。在一些实施例中,所提供的图像数据能够与如上所述在与用于训练机器学习模型160的一个或多个图像相关联的相同或类似条件下描绘电话会议演示者的图像相关联。模型160能够用于确定所提供的图像数据的每个像素对应于当前电话会议的参与者或电话会议参与者周围的环境的可能性。在一些实施例中,模型160的一个或多个输出能够包括指示图像数据的一个或多个像素对应于电话会议参与者(或电话会议参与者周围的环境)的置信度水平的数据。根据本文提供的实施例(例如,相对于图2),响应于确定与图像数据的一个或多个像素相关联的置信度水平满足置信度标准(例如,达到或超过置信度的阈值水平),背景提取引擎124能够确定一个或多个像素对应于电话会议参与者的视图,并且能够从所提供的图像数据中提取描绘电话会议参与者的图像。
如上所述,在一些实施例中,预测系统112能够被配置成训练姿势检测模型,姿势检测引擎151使用该姿势检测模型以检测会议平台120托管的电话会议期间电话会议参与者做出的姿势。在一些实施例中,训练集生成器131能够基于与会议平台120托管的先前电话会议的参与者相关联的客户端设备的视听组件已经在先捕捉的图像和/或视频数据来生成训练数据以训练姿势检测模型。例如,在先前的电话会议期间,与电话会议参与者相关联的客户端设备102的视听组件(例如,相机)能够生成描绘提供姿势的电话会议参与者(例如,用他或她的手、用诸如笔或激光指示器等物体)的视频。在一些实施例中,电话会议参与者能够提供(例如,在电话会议期间或之后)姿势是否指向经由客户端设备102的会议平台GUI呈现的文档中显示的一个或多个内容项的指示。在附加的或可替选的实施例中,电话会议参与者能够提供所呈现的文档的一个或多个内容项是所提供的姿势的焦点的另一指示。在一些实施例中,电话会议参与者能够经由客户端设备102处的会议平台GUI来提供与姿势和/或所呈现的文档的内容项相关联的一个或多个指示。根据在先描述的实施例,响应于经由会议平台GUI接收到一个或多个指示,客户端设备102能够将与所生成的视频相关联的视频数据和一个或多个指示发送到会议平台120。在一些实施例中,客户端设备102还能够发送在捕捉描绘姿势的视频时经由会议平台GUI呈现的文档的一个或多个部分。如上所述,会议管理组件122(或会议平台120的另一组件)能够将接收到的视频数据、一个或多个指示、和/或文档作为训练数据存储在数据存储110处。
如上所述,服务器机器130的训练集生成器131能够从数据存储110获得训练数据并且能够基于所获得的训练数据生成训练集。训练集能够包括基于所获得的训练数据的训练输入的子集和目标输出。训练输入的子集能够包括与描绘由电话会议参与者提供的姿势的视频相关联的视频数据。在一些实施例中,训练输入的子集还能够包括在捕捉描绘姿势的视频时经由会议平台GUI呈现的文档。训练集生成器131能够为训练输入子集中的每一个生成一个或多个目标输出。在一些实施例中,训练集生成器131能够基于与训练数据的相应视频数据相关联的一个或多个指示来确定由客户端设备102捕捉的视频中描绘的姿势是否是针对经由客户端设备102的会议平台GUI呈现的文档的一个或多个内容项做出的,并且能够基于该确定来生成目标输出。在其他或类似实施例中,训练集生成器131能够基于与相应视频相关联的一个或多个指示来确定作为姿势主题的文档的一个或多个内容项。训练集生成器131能够生成指示所确定的一个或多个内容项的附加目标输出。
根据在先描述的实施例,训练引擎141能够使用来自训练集生成器131的训练数据来训练机器学习模型160A-N。姿势检测引擎151能够提供与由与当前电话会议的参与者(例如,演示者)相关联的客户端设备的视听组件(例如,相机)生成的一个或多个视频相关联的视频数据作为经过训练的机器学习模型160的输入,以获得一个或多个输出。模型160能够确定在与视频数据相关联的视频中描绘的姿势被指向当前经由与当前电话会议的一个或多个参与者相关联的客户端设备的会议平台GUI显示的文档的一个或多个内容项的可能性。例如,模型160的一个或多个输出能够提供视频中描绘的姿势被指向文档中包括的相应内容项的置信度水平。响应于确定置信度水平超过阈值置信度水平,姿势检测引擎151能够确定电话会议的参与者可能正在对相应的内容项做姿势。姿势检测引擎151能够生成突出显示电话会议参与者做姿势的相应内容项的GUI元素(或者向与电话会议的一个或多个参与者相关联的客户端设备发送指令以生成GUI元素)。姿势检测引擎151能够更新与会议平台参与者相关联的每个客户端设备处的会议平台GUI以包括所生成的GUI元素。
在一些实施方式中,会议平台120和/或服务器机器130-150能够在可以用于使用户能够经由电话会议与其他用户连接的一个或多个计算设备(例如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、笔记本计算机、平板计算机、台式计算机等)、数据存储(例如,硬盘、存储器、数据库)、网络、软件组件和/或硬件组件上运行。在一些实施方式中,会议平台120的功能可以由不止一个机器提供。例如,在一些实施方式中,会议管理组件122、背景提取引擎124和图像叠加引擎126的功能可以由两个或更多个单独的服务器机器来提供。会议平台120还可以包括可以用于使用户能够经由电话会议与其他用户连接的网站(例如,网页)或应用后端软件。
应当注意,在一些其他实施方式中,服务器机器130、140和150或会议平台120的功能能够由较少数量的机器提供。例如,在一些实施方式中,服务器机器130和140能够集成到单个机器中,而在其他实施方式中,服务器机器130、140和150能够集成到多个机器中。此外,在一些实施方式中,服务器机器130、140和150中的一个或多个能够集成到会议平台120中。
一般而言,在其他实施方式中,如果适当的话,在实施方式中被描述为由会议平台120执行的功能也能够在客户端设备102A-N上执行。此外,归属于特定组件的功能性能够由一起操作的不同或多个组件来执行。会议平台120也能够作为通过适当的应用编程接口提供给其他系统或设备的服务来访问,因此不限于在网站中使用。
尽管根据会议平台120和参与视频和/或音频电话会议的会议平台120的用户来讨论本公开的实施方式,但是这些实施方式通常也能够应用于用户之间的任何类型的电话呼叫或电话会议。本公开的实施方式不限于向用户提供电话会议工具的内容共享平台。
在本公开的实施方式中,“用户”能够被表示为单个个体。然而,本公开的其他实施方式涵盖作为由一组用户和/或自动化源控制的实体的“用户”。例如,在社交网络中作为社区联合的一组个人用户可以被认为是“用户”。在另一示例中,自动化消费者能够是会议平台120的自动化摄取管道,诸如主题通道。
除了上面的描述之外,可以向用户提供控件,允许用户选择是否以及何时本文描述的系统、程序或特征能够收集用户信息(例如,关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息),以及是否从服务器向用户发送内容或通信。此外,在存储或使用某些数据之前,能够用一种或多种方式对该数据进行处理,以便去除个人身份信息。例如,能够处理用户的身份,从而不能确定用户的个人身份信息,或者能够在获得位置信息的情况下概括用户的地理位置(诸如到城市、邮政编码或州的级别),从而不能确定用户的特定位置。因此,用户能够控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
图2是图示根据本公开的实施方式的会议平台120和用于会议平台120的背景提取引擎124的框图。如相对于图1所描述的,会议平台120能够向客户端设备102的用户提供加入和参与视频和/或音频电话会议的工具。会议平台120能够包括会议管理组件122。同样如相对于图1所描述的,背景提取引擎124能够被配置成从对应于参与者在周围环境中的视图的图像中提取描绘电话会议的参与者(例如,演示者)的图像。在一些实施例中,背景提取引擎124能够被包括作为会议平台120的组件。在其他或类似的实施例中,背景提取引擎能够与会议平台120分离,如图2所示。例如,背景提取引擎124能够驻留在与和会议平台120相关联的一个或多个服务器机器分离的一个或多个服务器机器上。在另一示例中,背景提取引擎124能够经由一个或多个网络通信地耦合到多个平台(例如,会议平台120、内容共享平台、文档共享平台等)。在这样的示例中,根据本文描述的实施例,背景提取引擎124能够被配置成从图像数据中提取这样的平台的用户的图像。
在一些实施例中,背景提取引擎124能够至少包括提取组件220和图像生成组件222。如相对于图1所描述的,客户端设备102的视听组件能够捕捉图像并且生成与捕捉到的图像相关联的图像数据210。在一些实施例中,所生成的图像数据210能够包括两组或更多组像素,每组像素对应于捕捉到的图像中描绘的视图的不同部分。例如,第一组像素能够对应于与会议平台120托管的电话会议的参与者相关联的捕捉到的图像中描绘的视图的一部分。第二组像素能够对应于与参与者周围的环境相关联的视图的一部分,也称为参与者的背景。客户端设备102能够将与捕捉到的图像相关联的所生成的图像数据210发送到会议平台120(例如,在与会议平台120的一个或多个附加用户的电话会议期间)。响应于从客户端设备102接收到图像数据,会议平台120能够将接收到的图像数据210提供给背景提取引擎124。在一些实施例中,背景提取引擎124能够将接收到的图像数据210存储在与背景提取引擎124和/或会议平台120相关联的存储器(例如,数据存储110)中。
背景提取引擎124的提取组件220能够被配置成从由客户端设备102生成的图像数据210中获得描绘电话会议的参与者的图像(本文称为参与者图像212)。如上所述,图像数据能够包括对应于电话会议的参与者的视图的第一组像素和对应于参与者周围的环境的视图的第二组像素。在一些实施例中,提取组件220能够解析图像数据210以识别第一组像素和第二组像素。例如,在一些实施例中,电话会议的参与者能够提供对应于该参与者的所生成的图像的第一部分和对应于周围环境的所生成的图像的第二部分的指示(例如,通过使用会议平台GUI的元素来绘制参与者的轮廓)。提取组件220能够考虑到电话会议参与者提供的指示来识别与所生成的图像的第一部分相关联的第一组像素和与所生成的图像的第二部分相关联的第二组像素。在另一示例中,对应于电话会议参与者周围的环境的图像数据210的像素能够与不同于与对应于电话会议参与者的图像数据210的像素相关联的任何颜色的独特颜色相关联(例如,如果电话会议参与者正坐在或正站在绿色屏幕前)。提取组件220能够确定与独特颜色相关联的图像数据210的每个像素被包括在对应于周围环境的第二组像素中,并且与独特颜色不相关联的图像数据210的每个像素被包括在对应于电话会议参与者的第一组像素中。
在其他或类似的实施例中,提取组件220能够基于经过训练的图像提取模型234的输出来识别图像数据210的第一组像素和第二组像素。在一些实施例中,经过训练的图像提取模型234能够是经过训练来确定图像数据210的每个像素对应于电话会议参与者或电话会议参与者周围的环境的可能性的机器学习模型。在一些实施例中,根据相对于图1描述的实施例,经过训练的图像提取模型234能够由预测系统112训练。提取组件220能够将客户端设备102生成的图像数据210作为输入提供给经过训练的图像提取模型234,并且获得经过训练的图像提取模型234的一个或多个输出。在一些实施例中,一个或多个所获得的输出能够包括指示图像数据210的一个或多个像素对应于电话会议参与者(或电话会议参与者周围的环境)的置信度水平的数据。响应于确定与图像数据210的一个或多个像素相关联的置信度水平满足置信度标准(例如,达到或超过阈值置信度水平),提取组件220能够确定一个或多个像素被包括在对应于电话会议参与者的视图的第一组像素中。响应于确定与一个或多个像素相关联的置信度水平不满足置信度标准(例如,低于阈值置信度水平),提取组件220能够确定一个或多个像素被包括在对应于电话会议参与者周围的环境的视图的第二组像素中。
响应于从图像数据210中识别第一组像素,提取组件220能够提取第一组像素并且将所提取的像素232存储在数据存储110中。在一些实施例中,背景提取引擎124的图像生成组件222能够基于所提取的像素232生成参与者图像212。根据本文描述的实施例,响应于图像生成组件222生成参与者图像212,背景提取引擎124能够将所生成的参与者图像212发送到会议管理组件122以与共享文档叠加。
图3是图示根据本公开的实施方式的示例会议平台120和用于会议平台120的示例图像叠加引擎126的框图。如相对于图1所描述的,会议管理组件122能够使得电话会议参与者能够与电话会议的其他参与者共享经由与在电话会议参与者相关联的客户端设备上的GUI显示的文档。例如,电话会议的演示者能够准备幻灯片演示文档以便在电话会议期间与参与者共享。提供给与演示者相关联的客户端设备102的会议平台GUI能够包括一个或多个GUI元素,其使得演示者能够发起文档共享操作以与会议平台参与者共享文档。客户端设备102能够响应于检测到演示者已经接涉(例如,点击)了一个或多个GUI元素而向会议平台120发送请求以发起文档共享操作。
会议平台120的会议管理组件122能够从客户端设备102接收请求以发起文档共享操作。在一些实施例中,会议管理组件122还能够接收描绘要与电话会议的其他参与者共享的文档310(或文档的一部分)的图像。在其他或类似实施例中,会议管理组件122能够接收存储在与通信地耦合到会议平台120的文档共享平台相关联的数据存储中的文档310的标识符。在这样的实施例中,会议管理组件122能够从数据存储中检索文档310(例如,响应于确定演示者被允许从数据存储中存取文档310)。在一些实施例中,会议管理组件122还能够接收由客户端设备102生成的图像数据210。根据相对于图2描述的实施例,会议管理122能够基于接收到的图像数据210(例如,通过将图像数据210提供给背景提取引擎124)来获得描绘演示者的图像。
响应于接收到参与者图像212和共享文档310,会议管理组件122能够向图像叠加引擎126提供参与者图像212和共享文档310。如相对于图1所描述的,图像叠加引擎126能够被配置成将参与者图像212与共享文档310叠加。在一些实施例中,图像叠加引擎126能够被包括作为会议平台120的组件。在其他或类似的实施例中,图像叠加引擎126能够与会议平台120分离,如图2所示。例如,图像叠加引擎126能够驻留在与和会议平台120相关联的一个或多个服务器机器分离的一个或多个服务器机器上。
图像叠加引擎126能够至少包括文档区域标识符组件320、GUI布局组件322和叠加组件324。响应于图像叠加引擎126从会议管理组件122接收到共享文档310,文档区域标识符组件320能够识别满足与共享文档310相关联的一个或多个图像放置标准的共享文档310的一个或多个区域。一个或多个图像放置标准对应于与用于图像放置的共享文档310的目标区域相关联的一组特征。例如,如果共享文档310的区域不包括任何内容(例如,空白空间),则该区域能够满足图像放置标准。在一些实施例中,这样的区域被称为文档310的空白区域。在另一示例中,如果共享文档310的区域包括能够被修改以容纳演示者图像212的一个或多个内容项,则该区域能够满足另一图像放置标准。在一些实施例中,与共享文档310的目标区域相关联的该组特征能够由已经请求与电话会议的其他参与者(即,电话会议演示者)共享文档310的参与者来定义。在其他或类似的实施例中,该组特征能够考虑到在连接到会议平台120的一个或多个客户端设备102处为一个或多个电话会议收集的测试和/或运行时数据由会议平台120来确定。本文提供了与一个或多个图像放置标准相关联的进一步细节。
在一些实施例中,文档区域标识符组件320能够基于与文档相关联的元数据332和/或与参与者图像212相关联的元数据334来识别满足一个或多个图像放置标准的一个或多个区域。文档元数据332能够包括与共享文档310的一个或多个区域的特征相关联的数据。例如,在一些实施例中,客户端设备102能够发送描绘共享文档310的图像以及与电话会议的其他参与者共享文档310的请求。客户端设备102还能够包括文档元数据332,其包括与共享文档310的一个或多个区域相关联的像素数据。在一些实施例中,像素数据能够指示与描绘共享文档310的图像的一个或多个像素相关联的颜色。在一些实施例中,图像元数据334能够包括与参与者图像212的一个或多个部分的特征相关联的数据。例如,图像元数据334能够包括与参与者图像212的尺寸、参与者图像212的形状相关联的数据,和/或与参与者图像212的一个或多个部分相关联的像素数据。
文档区域标识符组件320能够考虑到文档元数据332和/或图像元数据334来识别满足一个或多个图像放置标准的区域。在一些实施例中,文档区域标识符组件320能够基于图像元数据334来确定参与者图像212的尺寸和/或参与者图像212的形状。文档区域标识符组件320还能够考虑到参与者图像212的所确定的尺寸和/或形状来确定与参与者212相关联的图像边界。在一些实施例中,所确定的图像边界能够对应于与共享文档310的区域处的参与者图像212相关联的最大和/或最小尺寸。所确定的图像边界还能够对应于与共享文档310的区域处的参与者图像212相关联的目标形状。例如,文档区域标识符组件320能够考虑到参与者图像212的所确定的尺寸和/或形状来确定与参与者图像212相关联的目标形状对应于正方形。
在一些实施例中,文档区域标识符组件320能够解析文档元数据332中包括的像素数据以识别不包括任何内容的共享文档310中的区域。例如,文档区域标识符320能够基于文档元数据332来确定对应于共享文档310的文本内容项的像素与黑色相关联,并且对应于共享文档310的背景的像素与白色相关联。文档区域标识符320能够解析文档元数据332中包括的像素数据以确定包括与白色相关联的像素的共享文档310的区域(即,不包括任何文本内容项的区域)。响应于确定包括与白色相关联的像素的共享文档310的区域,文档区域标识符组件320能够确定每个相应区域的尺寸和/或形状是否对应于与参与者图像212相关联的尺寸和/或形状。例如,文档区域标识符组件320能够确定相应区域的尺寸是否等于或大于与参与者图像212相关联的尺寸。响应于确定共享文档310的相应区域的尺寸对应于与参与者图像212相关联的尺寸和/或形状,文档区域标识符能够确定相应区域满足一个或多个图像放置标准。
在一些实施例中,文档区域标识符组件320能够考虑到与参与者图像212相关联的像素数据来确定共享文档310的区域是否满足一个或多个图像放置标准。例如,在一些实施例中,与参与者图像212相关联的像素数据能够包括与参与者图像212的一个或多个像素相关联的颜色的指示。响应于识别共享文档310的区域对应于与参与者图像212相关联的尺寸和/或形状,文档区域标识符组件320能够确定与所识别区域的像素相关联的颜色是否对应于与参与者图像212的像素相关联的颜色。响应于确定与所识别区域的像素相关联的颜色不对应于与参与者图像212的像素相关联的颜色,文档区域标识符组件320能够确定满足一个或多个图像放置标准。响应于确定与参与者图像212的像素相关联的颜色对应于与参与者图像212的像素相关联的颜色,文档区域标识符组件320能够确定不满足一个或多个图像放置标准。
在一些实施例中,文档区域标识符组件320能够识别共享文档310的多个区域满足一个或多个图像放置标准。在这样的实施例中,文档区域标识符组件320能够确定用于呈现与共享文档310相关联的参与者图像212图像放置条件的区域。图像放置条件能够是与呈现参与者图像212以及共享文档310相关联的一组预定义的条件。在一些实施例中,图像放置条件能够由请求与电话会议的其他参与者共享文档310的参与者来定义。例如,在电话会议之前或期间,参与者能够提供(即,经由与参与者相关联的客户端设备的GUI)与其他电话会议参与者共享的每个文档的目标图像区域的指示。响应于确定目标图像区域对应于确定满足一个或多个图像放置标准的区域,文档区域标识符组件320能够选择用于放置参与者图像212的目标图像区域。
在一些实施例中,文档区域标识符组件320能够确定共享文档310中没有区域满足一个或多个图像放置标准。例如,文档区域标识符组件320能够确定共享文档310中没有空白区域对应于与参与者图像212相关联的尺寸和/或形状。在这样的示例中,文档区域标识符组件320能够确定参与者图像212的尺寸和/或形状是否能够被修改以与共享文档310一起呈现。例如,响应于确定共享文档310没有空白区域对应于与参与者图像212相关联的图像边界,文档区域标识符组件320能够考虑到与参与者图像212相关联的最大和/或最小尺寸来确定参与者图像212的尺寸和/或形状是否能够被修改以适配在共享文档310的空白区域内。响应于确定该尺寸和/或形状能够被修改(例如,能够使参与者图像212的尺寸更小)以适配在共享文档310的空白区域内,文档区域标识符组件320能够修改共享文档310的尺寸和/或形状,选择共享文档310的区域用于放置经过修改的参与者图像212。
在另一示例中,文档区域标识符组件320能够确定参与者图像212的尺寸不能被修改以适配在共享文档310的空白区域内。在这样的实施例中,文档区域标识符组件320能够确定参与者图像212是否能够被放置在共享文档310的任何区域的内容之上。例如,在一些实施例中,共享文档310的相应区域能够包括与电话会议的一个或多个参与者相关联的公司或实体的徽标。响应于确定共享文档310的相应区域对应于与参与者图像212相关联的图像边界,文档区域标识符组件320能够选择相应区域来放置参与者图像212。
在另一示例中,文档区域标识符组件320能够确定共享文档310的任何空白区域的像素都不与不同于与参与者图像212的像素相关联的颜色相关联。在这样的示例中,文档区域标识符组件320能够确定参与者图像212的一个或多个像素是否能够被修改成与不同于共享文档310的空白区域的像素的颜色相关联。例如,文档区域标识符组件320能够确定与参与者图像212的一个或多个像素相关联的色温能够被修改(例如,增加或减少)以使得参与者图像212的像素与不同的颜色相关联。在一些实施例中,通过修改与参与者图像212的一个或多个像素相关联的色温,与参与者图像212的一个或多个像素相关联的颜色能够不同于与共享文档310的空白区域的像素相关联的颜色。响应于修改与参与者图像212的一个或多个像素相关联的色温,文档区域标识符组件320能够选择共享文档310的空白区域来放置经过修改的参与者图像212。
在又一示例中,文档区域标识符组件320能够确定与参与者图像212的像素相关联的尺寸、形状和/或颜色不能被修改以适配在共享文档310的空白区域内。在这样的示例中,文档区域标识符组件320能够识别共享文档310的的区域对应于参与者图像212的图像边界并且包括比共享文档310的其他区域更少数量的内容项。在一些实施例中,文档区域标识符组件320能够附加地修改参与者图像212的透明度,使得参与者图像212呈现在所识别的区域处的同时,电话会议的其他参与者可以检测到在所识别的区域处的内容项。
如上所述,在一些实施例中,发起文档共享操作的请求能够包括存储在与文档共享平台相关联的数据存储中的文档310的标识符,该文档共享平台通信地耦合到会议平台120。在这样的实施例中,如上所述,文档区域标识符组件320能够基于与存储的文档和/或图像元数据334相关联的元数据332来识别区域。例如,在这样的实施例中,文档元数据332能够包括与文档310中包括的一个或多个内容项相关联的元数据。与一个或多个内容项相关联的元数据能够包括与一个或多个内容项相关联的样式的指示(例如,粗体样式、斜体样式、下划线样式等)、与一个或多个内容项相关联的格式(例如,内容项的尺寸)、和/或文档310内的一个或多个内容项的方向(即,内容项相对于文档310的一个或多个其他内容项的定位)。根据在先描述的实施例,文档区域标识符组件320能够确定文档310的任何区域是否对应于与参与者图像212相关联的尺寸和/或形状。响应于确定文档310中没有区域对应于与参与者图像212相关联的尺寸和/或形状,文档区域标识符组件320能够确定文档310的任何区域是否包括能够被修改以便适应参与者图像212的一个或多个内容项。例如,文档310的内容项能够对应于与幻灯片演示文档的幻灯片相关联的标题。文档区域标识符组件320能够基于文档元数据332获得与标题相关联的样式、格式和/或方向。响应于获得与标题相关联的样式、格式和/或方向,文档区域标识符组件320能够确定与标题相关联的尺寸、格式和/或方向是否能够被修改以适应参与者图像212。响应于确定例如标题的格式能够被修改以适应参与者图像212,文档区域标识符能够修改标题以适应参与者图像212,并且能够选择与经过修改的标题相关联的区域来呈现参与者图像212。
响应于文档区域标识符组件320识别共享文档310的区域用于呈现参与者图像212,叠加组件322能够叠加参与者图像212以在所识别的区域处呈现。在一些实施例中,叠加组件322能够在共享文档310的所识别的区域处生成参与者图像212的渲染并且能够将该渲染发送到会议平台120。根据本文描述的实施例,响应于从叠加组件322接收到该渲染,会议管理组件122能够将该渲染发送到与电话会议的参与者相关联的每个客户端设备102。在其他或类似的实施例中,叠加组件322能够生成用于在文档310的所识别的区域处渲染参与者图像212的一个或多个指令,并且能够将所生成的指令发送到会议平台120。在一些实施例中,会议管理组件122能够施行接收到的指令以在文档310的所识别的区域处生成参与者图像212的渲染。在其他或类似的实施例中,会议管理组件122能够将接收到的指令(带有或不带有参与者图像212和/或共享文档310)发送到与电话会议的参与者相关联的每个客户端设备102,并且客户端设备102能够施行这些指令以在文档310的所识别的区域处生成参与者图像212的渲染。
如上所述,图像叠加引擎126还能够包括GUI布局组件322。GUI布局组件324能够被配置成考虑到与客户端设备102相关联的一个或多个硬件限制来修改共享文档310在相应客户端设备102处的呈现。在说明性示例中,电话会议的演示者能够与客户端设备102A相关联并且电话会议的参与者能够与客户端设备102B相关联。客户端设备102A能够包括比客户端设备102B的显示屏更大的显示屏。例如,客户端设备102A能够是台式计算设备,而客户端设备102B能够是移动计算设备。在这种情况下,与在客户端设备102B处显示共享文档310以及参与者图像212的相关联的一个或多个硬件限制能够不同于与客户端设备102A相关联的客户端设备的硬件限制。在一些实施例中,GUI布局组件324能够获得与在客户端设备102B处显示共享文档310以及参与者图像212相关联的一个或多个硬件限制(例如,通过从客户端设备102B请求硬件限制,在来自客户端设备102B的加入由会议平台120托管的电话会议的请求中,等等),并且能够将所获得的硬件限制作为硬件限制数据336存储在数据存储110处。响应于确定一个或多个硬件限制满足硬件限制标准,GUI布局组件324能够确定修改共享文档310在客户端设备102B处的呈现。在一些实施例中,GUI布局组件324能够响应于确定与客户端设备102B相关联的显示屏尺寸低于阈值屏幕尺寸,确定客户端设备102B的硬件限制满足硬件限制标准。在其他或类似实施例中,GUI布局组件324能够响应于确定与客户端设备102B相关联的显示分辨率低于阈值显示分辨率,确定客户端设备102B的硬件限制满足硬件限制标准。
在一些实施例中,GUI布局组件324能够通过识别在共享文档310处的内容的两个或更多个独特部分来修改共享文档310在客户端设备102B处的呈现。例如,GUI布局组件324能够确定共享文档310包括包含一个或多个文本内容项的第一部分内容和包含一个或多个图像内容项的第二部分内容。在一些实施例中,响应于识别在共享文档310处的第一和第二部分内容,GUI布局组件324能够向叠加组件322发送指令以在第二部分内容之上显示参与者图像212,同时还在文档310的另一区域处显示第一部分内容。在电话会议期间,GUI布局组件324能够检测到电话会议的演示者已经将焦点从第一部分内容转移到第二部分内容(即,被参与者图像212遮挡的)。例如,GUI布局组件324能够检测到演示者已经移动了会议平台GUI的GUI元素(例如,鼠标、光标等)来突出在显示文档310的第一部分内容处的一个或多个内容项。响应于检测到演示者已经将焦点转移到第二部分内容,GUI布局组件324能够更新会议平台GUI以在包括第一部分内容的文档310的区域处显示参与者图像212,同时显示文档310的第二部分内容。根据本文描述的实施例,在一些实施例中,GUI布局组件324能够通过生成使得叠加组件324在第一部分内容上显示参与者图像212的指令来更新会议平台GUI。
在其他或类似的实施例中,GUI布局组件324能够生成包括在共享文档310处的一个或多个所识别的独特部分内容的新文档338。例如,GUI布局组件324能够选择包括第一部分内容的区域以与参与者图像212一起显示。GUI布局组件324还能够生成文档338,该文档338包括一个或多个与共享文档310类似的设计特征(例如,样式、格式、方向、背景等)。文档338还能够包括共享文档310中包含的第二部分内容。在一些实施例中,文档338还能够包括空白空间(例如,对应于包括在共享文档310处的第一部分内容的区域)。在电话会议期间,叠加组件324能够在对应于第二部分内容的共享文档310的区域处呈现参与者图像212。响应于GUI布局组件324检测到演示者已经将焦点转移到第二部分内容,GUI布局组件324能够更新会议平台GUI以显示包括第二部分内容的所生成的文档338。叠加组件324还能够在包括空白空间的所生成的文档338的区域(例如,对应于包括共享文档310处的第一部分内容的区域)处呈现参与者图像212。相对于图6A至图6C提供了关于文档338的生成的进一步细节和示例。
图4描绘了根据本公开的实施方式的用于提供共享文档和电话会议参与者的图像以用于经由GUI呈现的示例方法400的流程图。方法400能够由包括硬件(电路、专用逻辑等)、软件(例如,在处理设备上运行的指令)或其组合的处理逻辑来执行。在一个实施方式中,方法400的一些或所有操作能够由图1的系统100的一个或多个组件来执行。
在框410处,处理逻辑能够接收请求以与一个或多个第二参与者共享与电话会议的第一参与者相关联的文档。在一些实施例中,处理逻辑能够接收请求以从与电话会议的第一参与者相关联的客户端设备接收共享文档。图5A描绘了根据本公开的实施方式的与电话会议的第一参与者(例如,演示者)相关联的客户端设备上的示例GUI 500。在一些实施例中,GUI 500能够包括至少第一部分510和第二部分530。GUI 500的第一部分510能够包括一个或多个GUI元素,该一个或多个GUI元素使得会议平台120的一个或多个用户(例如,演示者、参与者A-N等)能够加入并参与电话会议。GUI 500的第二部分530能够显示将由电话会议的演示者与电话会议的一个或多个参与者(例如,参与者A-N)共享的文档532(例如,幻灯片演示文档、word文档、网页文档等)。在一些实施例中,GUI 500的第一部分510的一个或多个元素对应于由会议管理组件122提供的会议平台GUI的GUI元素,如上所述。在其他或类似的实施例中,GUI 500的第一部分510和第二部分530这两者的元素对应于会议平台GUI的元素。
在一些实施例中,GUI 500的第一部分510能够包括第一区部512和第二区部518,该第一区部和第二区部都被配置成输出在与电话会议的每个参与者相关联的客户端设备102处捕捉的视频数据。例如,第一区部512能够显示由与视频电话会议的演示者相关联的客户端设备捕捉的图像数据。第二区部518能够显示由与电话会议的参与者相关联的客户端设备捕捉的图像数据。在其他或类似的实施例中,第一部分510能够包括一个或多个区部,该一个或多个区部被配置成以不同于图5A所示的其他方向显示与会议平台120的用户相关联的图像数据。例如,部分510能够包括显示由电话会议的演示者的客户端设备捕捉的图像数据而不显示由电话会议的其他参与者的客户端设备捕捉的视频数据的单个区部。在一些实施例中,在第一部分510的第一区部512和/或第二区部518处显示的图像数据能够对应于用户(例如,演示者、参与者A-N)在周围环境中的视图。如图5A所示,部分510的第一区部512能够显示对应于演示者514在周围环境516中的视图的图像数据。在一些实施例中,部分510的第二区部512也能够显示对应于参与者A-N在相应周围环境(未示出)中的视图的图像数据。
GUI 500的第一部分510还能够包括一个或多个GUI元素,该一个或多个GUI元素使得电话会议的演示者能够与电话会议的参与者共享在第二部分530处显示的文档522。例如,第一部分510能够包括按钮520,该按钮使得演示者能够与参与者A-N共享在第二部分530处显示的文档522。演示者能够通过接涉(例如,点击)按钮520来发起与参与者A-N共享文档522的操作。响应于检测到演示者已经接涉了按钮520,与演示者相关联的客户端设备能够检测到要发起的与参与者A-N共享文档532的操作。根据在先描述的实施例,客户端设备能够向会议管理组件122发送请求以发起文档共享操作。应当注意,演示者能够根据其他技术发起与参与者A-N共享文档522的操作。例如,响应于检测到文档522已经从客户端设备的本地存储器中被检索到并被显示在GUI 500的第二部分530处,与演示者相关联的客户端设备的设置能够使得共享文档522的操作被发起。
回头参考图4,在框412处,处理逻辑能够接收对应于第一参与者(例如,演示者)在周围环境中的视图的图像数据。如上所述,与第一参与者相关联的客户端设备的视听组件能够被配置成捕捉第一参与者的图像并且生成与捕捉到的图像相关联的图像数据。根据一些实施例,所生成的图像数据能够显示在GUI 500的第一部分510的第一区部512处。响应于检测到演示者已经接涉了GUI 500的按钮520,与第一参与者相关联的客户端设备能够将在GUI 500的第一部分510的第一区部512处显示的所生成的图像数据发送到会议管理组件122。与第一参与者相关联的客户端设备能够与发起文档共享操作的请求一起或单独地发送所生成的图像数据。
在框414处,处理逻辑能够基于接收到的图像数据来获得描绘第一参与者的图像。在一些实施例中,响应于会议管理组件122接收到所生成的图像数据,会议管理组件122能够将接收到的图像数据提供给背景提取引擎124。如前所述,背景提取引擎124能够通过提取对应于电话会议演示者的一组像素并且基于所提取的该组像素生成描绘电话会议演示者的图像来获得描绘电话会议演示者的图像。在一些实施例中,根据在先描述的实施例,背景提取引擎124能够基于经过训练的图像提取模型的输出来识别对应于电话会议演示者的该组像素。
在框416处,处理逻辑能够识别满足一个或多个图像放置标准的文档(例如,文档522)的一个或多个区域。如前所述,在一些实施例中,会议管理组件122能够从与电话会议演示者相关联的客户端设备接收要与电话会议的参与者A-N共享的文档522的图像。在其他或类似的实施例中,文档522能够存储在与通信地耦合到会议平台120的文档共享平台相关联的数据存储中。在这样的实施例中,会议管理组件122能够在与文档共享平台相关联的数据存储处接收文档522的标识符。根据在先描述的实施例,会议管理组件122能够从与文档共享平台相关联的数据存储中检索文档522(或文档522的一部分)。如前所述,响应于获得要与参与者A-N共享的文档522的至少一部分(或文档522的图像),会议管理组件122能够将文档522提供给图像叠加引擎126。如上所述,图像叠加引擎126能够识别满足一个或多个图像放置标准的文档522的一个或多个区域。例如,图像叠加引擎126能够识别对应于与电话会议演示者的图像相关联的图像边界的文档522的一个或多个空白区域。在另一示例中,图像叠加引擎126能够识别包括能够被修改以适应电话会议演示者的图像的内容项的文档522的一个或多个区域。
在框418处,处理逻辑能够提供文档和描绘第一参与者的图像以用于经由与第二参与者相关联的客户端设备上的GUI呈现。如上所述,响应于识别满足一个或多个图像放置标准的文档522的一个或多个区域,图像叠加引擎126能够将电话会议演示者的图像叠加在所识别的区域之一处,如上所述。例如,图像叠加引擎126能够生成描绘电话会议演示者的图像和文档522的渲染并且将所生成的渲染提供给会议管理组件122。根据在先描述的实施例,会议管理组件122能够将所生成的渲染提供给与会议平台120的一个或多个用户(例如,演示者、参与者A-N)相关联的客户端设备。响应于接收到所生成的渲染,与电话会议的相应参与者(例如,参与者A)相关联的客户端设备能够更新GUI以显示描绘电话会议演示者的图像和文档522的渲染。在其他或类似的实施例中,图像叠加引擎126能够生成指令以渲染描绘电话会议演示者的图像和文档522。根据在先描述的实施例,会议管理组件122和/或与电话会议的相应参与者相关联的客户端设备能够施行指令来生成渲染。
图5B描绘了根据本公开的实施方式的显示描绘电话会议演示者的图像和文档522的渲染的示例GUI 550。在一些实施例中,GUI 550能够经由与电话会议的参与者(例如,参与者A)相关联的客户端设备来显示。在其他或类似的实施例中,GUI 550能够经由与电话会议的演示者相关联的客户端设备来显示。如图5B所示,GUI 550描绘了文档532和在文档532的区域554处描绘电话会议演示者的图像552。在一些实施例中,响应于确定区域554满足一个或多个图像放置标准(例如,包括对应于与图像552相关联的图像边界的空白空间),图像叠加引擎126能够选择区域554以包括图像552。电话会议的演示者能够通过强调文档532的一个或多个内容项(例如,通过物理地指向一个或多个内容项)来接涉参与者A-N,同时在区域554处呈现图像552。在一些实施例中,GUI 550能够附加地显示由与电话会议的参与者(例如,参与者A-N)相关联的一个或多个客户端设备捕捉的图像数据,如上所述。
如上所述,在一些实施例中,GUI 550能够经由与电话会议的演示者相关联的客户端设备来显示。在这样的实施例中,在一些实施例中,电话会议演示者能够与GUI 550的一个或多个元素接涉以修改图像552和文档532的呈现。在说明性示例中,电话会议演示者能够请求将图像552从文档532的区域554移动到文档532的另一区域(例如,通过点击图像552并将图像552拖动到文档532的另一区域,通过按压连接到客户端设备的键盘上的一个或多个按钮)。响应于检测到电话会议演示者已经请求将图像552移动到文档532的另一区域,会议管理组件122能够根据接收到的请求,在与电话会议的演示者和每个参与者相关联的每个客户端设备处更新GUI 550。图5C描绘了根据本公开的实施方式的示例更新后的GUI550。如图5C所示,描绘电话会议演示者的图像552已经从GUI 550的区域554移动到GUI 550的区域556。在一些实施例中,区域556能够与不同于区域554的特征相关联。例如,区域556的尺寸能够小于区域554的尺寸。在这样的实施例中,会议管理组件122(或图像叠加引擎126)能够修改图像552的尺寸和/或形状以适配在区域556内(例如,考虑到与图像552相关联的图像边界)。
在一些实施例中,考虑到与图像552相关联的图像边界,会议管理组件122不能修改图像552的尺寸和/或形状以适配在区域556内。在这样的实施例中,会议管理组件122能够根据来自电话会议演示者的请求将图像552移动到区域556。然而,在一些实施例中,图像552的至少一部分能够与文档532的一个或多个内容项重叠。在这种情况下,会议管理组件122能够修改图像552的透明度,使得电话会议的参与者A-N能够检测文档532的与图像552重叠的内容项。
图6A至图6C图示了根据本公开的实施方式的将电话会议参与者的图像与共享文档叠加以用于经由GUI呈现的另一示例。图6A描绘了与电话会议的第一参与者(例如,演示者)相关联的客户端设备上的另一示例GUI 600。在一些实施例中,GUI 600能够对应于相对于图5A描述的GUI 500,除了在GUI 600的第二部分630处显示的文档632能够包括比在GUI500的第二部分530处显示的文档532中包括的一个或多个附加内容项。如前所述,电话会议演示者能够发起操作以与电话会议的参与者A-N共享文档632(例如,通过接涉按钮620)。
响应于接收到请求以发起文档共享操作,会议管理组件122能够将由与电话会议演示者相关联的客户端设备生成的图像数据和/或文档632(或文档632的一部分)发送到图像叠加引擎126。在一些实施例中,与电话会议的参与者(例如,参与者A)相关联的客户端设备可能受到与和电话会议演示者相关联的客户端设备的硬件限制不同的硬件限制(例如,显示器尺寸、显示器分辨率等)。在这样的实施例中,例如,响应于确定与参与者A相关联的客户端设备的硬件限制满足硬件限制条件,图像叠加引擎126能够确定修改文档632和描绘电话会议演示者的图像的呈现。例如,图像叠加引擎126能够确定显示文档632的第一部分内容(例如,与文档632的数据点1-5相关联的一个或多个文本内容项)以及在包括文档632的第二部分内容(例如,文档632的一个图像内容项)的区域处显示描绘电话会议演示者的图像。在另一示例中,如前所述,图像叠加引擎126能够生成包括文档632的第二部分内容的附加文档。在这样的示例中,图像叠加引擎126能够确定在与文档632的第二部分内容相关联的区域处显示文档632的第一部分内容以及描绘电话会议演示者的图像。
图6B描绘了根据本公开的实施方式的显示描绘电话会议演示者的图像和文档632的渲染的示例GUI 650。在一些实施例中,GUI 650能够经由与电话会议的参与者(例如,参与者A)相关联的客户端设备来显示。在其他或类似的实施例中,GUI 650能够经由与电话会议的演示者相关联的客户端设备来显示。如图6B所示,GUI 650在文档632的第一区域654中显示文档632的第一部分中包括的内容,并且在文档632的第二区域656处显示描绘电话会议演示者的图像652。在一些实施例中,区域654与文档632中包括的第二部分内容(例如,图6A所示的文档632中包括的图形)相关联。根据在先描述的实施例,GUI 650能够在与图形内容项相关联的区域656处显示图像652。在一些实施例中,会议管理组件122(或图像叠加引擎126)能够检测到电话会议演示者已经将焦点转移到文档632中包括的第二部分内容。例如,会议管理组件122能够检测到电话会议演示者已经将与该演示者相关联的客户端设备上的GUI处的GUI元素(例如,鼠标)从包括第一部分内容的文档632的区域654移动到包括第二部分内容的区域656。在这样的实施例中,会议管理组件122(或图像叠加引擎126)能够更新GUI 650以显示文档632的第二部分内容。
图6C描绘了根据本公开的实施方式的示例更新后的GUI 650。在一些实施例中,更新后的GUI 650显示具有区域656处的图像622的文档632。在其他或类似的实施例中,更新后的GUI 650显示由图像叠加引擎126生成的文档,该文档包括文档632中包括的第二部分内容。在这样的实施例中,根据在先描述的实施例,更新后的GUI 650能够在文档632的区域654处显示图像622。
图7描绘了根据本公开的实施方式的用于提供共享文档和电话会议参与者的图像以用于经由GUI呈现的另一示例方法700的流程图。方法400能够由包括硬件(电路、专用逻辑等)、软件(例如,在处理设备上运行的指令)或其组合的处理逻辑来执行。在一个实施方式中,方法700的一些或所有操作能够由图1的系统100的一个或多个组件来执行。
在框710处,处理逻辑能够经由第二客户端设备上的第二GUI与电话会议的第二参与者共享经由与电话会议的第一参与者(例如,演示者)相关联的第一客户端设备上的第一GUI显示的文档。图8A描绘了根据本公开的实施方式的显示与电话会议的一个或多个参与者(例如,参与者A-N)共享的文档812的示例GUI 800。在一些实施例中,GUI 800能够经由与电话会议的参与者(例如,参与者A)相关联的客户端设备来显示。在其他或类似的实施例中,GUI 800能够经由与电话会议的演示者相关联的客户端设备来显示。根据在先描述的实施例,在一些实施例中,电话会议的演示者能够通过接涉GUI元素(例如,按钮820)来与电话会议的参与者共享文档812。在一些实施例中,文档812能够存储在与通信地耦合到会议平台120的文档共享平台相关联的数据存储中。
回头参考图7,在框712处,处理逻辑能够接收请求以显示描绘第一参与者的图像以及与第二参与者共享的文档。在一些实施例中,处理逻辑能够响应于电话会议演示者接涉GUI元素800的特定GUI元素(未示出)而接收该请求。在框714处,处理逻辑能够接收对应于第一参与者在周围环境中的视图的图像数据。根据在先描述的实施例,与电话会议演示者相关联的客户端设备能够生成对应于演示者在周围环境中的视图的图像数据。根据在先描述的实施例,会议管理组件122能够从与电话会议演示者相关联的客户端设备接收所生成的图像数据。
在框716处,处理逻辑能够基于接收到的图像数据获得描绘第一参与者的图像。如前所述,会议管理组件122能够将接收到的图像数据提供给背景提取引擎124。根据在先描述的实施例,背景提取引擎124能够生成描绘第一参与者的图像。在框718处,考虑到描绘第一参与者的图像,处理逻辑能够修改共享文档的一个或多个内容项的格式和/或方向。如上所述,文档812能够存储在与通信地耦合到会议平台120的文档共享平台相关联的数据存储中。如前所述,内容管理组件122能够从数据存储中检索文档812。在一些实施例中,图像叠加引擎126能够识别包括能够考虑到描绘电话会议演示者的图像来修改的一个或多个内容项的文档812的区域。例如,图像叠加引擎126能够识别包括标题内容项的文档812的区域814。图像叠加引擎126能够确定区域814的标题内容项的格式和/或方向能够被修改(例如,考虑到与文档812相关联的元数据)以适应描绘电话会议演示者的图像。在其他示例中,图像叠加引擎126能够确定一个或多个文本内容项的格式和/或方向能够附加地或可替选地被修改以适应描绘电话会议演示者的图像。
在框720处,处理逻辑能够提供描绘第一参与者的图像以及经过修改的文档以用于经由第二客户端设备上的第二GUI呈现。图8B描绘了根据本公开的实施方式的更新后的GUI 800。如上所述,根据在先描述的实施例,图像叠加引擎126能够修改在区域814和/或区域816处的一个或多个内容项的格式和/或方向。根据在先描述的实施例,会议管理组件122能够经由更新后的GUI 800呈现经过修改的文档812。如图8B所示,文档812的区域814中的标题内容项的格式从文档812的中心部分的对齐修改为文档812的左手部分的对齐。同样如图8B所示,文档812的区域816中的一个或多个文本项的尺寸已经被减小,并且区域814中的一个或多个文本项的方向已经被修改以适应描绘会议演示者的图像822。
图9A至图9B图示了根据本公开的实施方式将多个电话会议参与者的图像与共享文档叠加以用于经由GUI 900呈现的示例。如上所述,根据在先描述的实施例,描绘电话会议演示者的图像910能够经由会议平台GUI被显示在文档的特定区域912处。在一些实施例中,电话会议演示者能够邀请电话会议的附加的参与者与电话会议演示者一起演示共享文档(或文档的一部分)。例如,与电话会议演示者相关联的客户端设备能够向与附加的参与者相关联的客户端设备发送请求以与电话会议演示者一起演示共享文档。响应于检测到附加的电话会议演示者已经接涉了指示接受请求的GUI元素,会议管理组件122能够发起显示描绘电话会议的附加的参与者的图像以及描绘电话会议的演示者的图像的渲染的过程。
在一个示例中,会议管理组件122能够接收由与附加的参与者相关联的客户端设备的视听组件(例如,相机)生成的图像数据。根据在先描述的实施例,会议管理组件122能够获得描绘附加的参与者的图像。在一些实施例中,会议管理组件122能够识别满足一个或多个图像放置标准的共享文档的区域。在一些实施例中,会议管理组件122能够识别满足相对于描绘附加的参与者的图像的一个或多个图像放置标准的区域。在其他或类似的实施例中,会议管理组件122能够识别满足相对于描绘电话会议演示者和附加的参与者这两者的图像的一个或多个图像放置标准的区域。响应于识别满足一个或多个图像放置标准的区域,会议管理组件122能够为电话会议的每个参与者更新客户端设备上的GUI 900以在所识别的区域处显示附加的参与者(和/或电话会议演示者)。如图9A所示,区域916能够被识别为满足一个或多个图像放置标准的区域。这样,描绘附加的参与者的图像914能够显示在区域916处。在一些实施例中,会议管理组件122可以不识别满足相对于描绘电话会议演示者的图像910和/或描绘附加的参与者的图像914的图像放置标准的共享文档的区域。在这样的实施例中,根据上述实施例,会议管理组件122能够修改共享文档的一个或多个内容项的格式和/或方向以适应描绘电话会议演示者的图像和描绘附加的参与者的图像。
在附加的或可替选的实施例中,电话会议演示者和/或附加的参与者能够邀请另一个电话会议参与者代替电话会议演示者来演示共享文档(或共享文档的一部分)。在这样的实施例中,如上所述,会议管理组件122能够获得描绘其他电话会议参与者的图像。在一些实施例中,会议管理组件122能够从GUI 900中移除描绘电话会议演示者的图像910并且用描绘其他电话会议参与者的图像来替代被移除的图像910,如图9B所示。根据在先描述的实施例,在其他或类似的实施例中,会议管理组件122能够识别满足一个或多个图像放置标准的共享文档的另一个区域并且在所识别的区域处显示描绘其他电话会议参与者的图像918。在一些实施例中,如前所述,会议管理组件122能够修改共享文档的一个或多个内容项的格式和/或方向以适应图像914和/或图像918。
图10是图示根据本公开的实施方式的示例性计算机系统1000的框图。计算机系统1000能够对应于相对于图1描述的会议平台120和/或客户端设备102A-N。计算机系统1000能够在端点服务器网络环境中作为服务器或端点机器运行,或者在对等(或分布式)网络环境中作为对等机器运行。机器能够是电视机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、服务器、网络路由器、交换机或网桥,或者能够施行指定该机器要采取的动作的一组指令(顺序的或以其他方式)的任何机器。此外,虽然仅图示了单个机器,但是术语“机器”也应当被理解为包括单独或联合施行一组(或多组)指令以执行本文讨论的任何一种或多种方法的任何机器集合。
示例计算机系统1000包括处理设备(处理器)1002、主存储器1004(例如,只读存储器(ROM)、闪存、动态随机存取存储器(DRAM),诸如同步DRAM(SDRAM)、双倍数据速率(DDRSDRAM)或DRAM(RDRAM)等)、静态存储器1006(例如,闪存、静态随机存取存储器(SRAM)等)以及数据存储设备1018,其经由总线1040相互通信。
处理器(处理设备)1002代表一个或多个通用处理设备,诸如微处理器、中央处理单元等。更具体地,处理器1002能够是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器,或者实施其他指令集的处理器或者实施指令集组合的处理器。处理器1002还能够是一个或多个专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理器1002被配置成施行指令1005(例如,用于预测频道编排收视率)以执行本文讨论的操作。
计算机系统1000还能够包括网络接口设备1008。计算机系统1000还能够包括视频显示单元1010(例如,液晶显示器(LCD)或阴极射线管(CRT))、输入设备1012(例如,键盘和字母数字键盘、运动感测输入设备、触摸屏)、光标控制设备1014(例如,鼠标)和信号生成设备1020(例如,扬声器)。
数据存储设备1018能够包括非暂时性机器可读存储介质1024(也称为计算机可读存储介质),其上存储有一组或多组指令1005(例如,用于将描绘电话会议演示者的图像与共享文档叠加),这些指令体现了本文所述的任何一种或多种方法或功能。在计算机系统1000施行指令期间,指令也能够完全或至少部分地驻留在主存储器1004和/或处理器1002内,主存储器1004和处理器1002也构成机器可读存储介质。这些指令还能够经由网络接口设备1008在网络1030上发送或接收。
在一种实施方式中,指令1005包括用于将描绘电话会议参与者的图像与共享文档叠加的指令。虽然计算机可读存储介质1024(机器可读存储介质)在示例性实施方式中被示为单个介质,但是术语“计算机可读存储介质”和“机器可读存储介质”应当被理解为包括存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”和“机器可读存储介质”还应被理解为包括能够存储、编码或携带一组由机器施行的指令并使机器执行本公开的任何一种或多种方法的任何介质。术语“计算机可读存储介质”和“机器可读存储介质”应相应地包括但不限于固态存储器、光学介质和磁性介质。
在整个说明书中,对“一个实施方式”、“一个实施例”、“实施方式”或“实施例”的引用意味着结合该实施方式和/或实施例描述的特定特征、结构或特性被包括在至少一个实施方式和/或实施例中。因此,在整个说明书的不同地方出现的短语“在一个实施方式中”或“在实施方式中”能够但不一定是指同一实施方式,这取决于环境。此外,特定的特征、结构或特性能够在一个或多个实施方式中以任何合适的方式组合。
就详细描述或权利要求中使用的术语“包括”、“包含”、“具有”、“含有”及其变体以及其他类似词语而言,这些术语旨在以类似于作为开放过渡词的术语“包含”的方式包含,而不排除任何另外的或其他元素。
如在本申请中所使用的,术语“组件”、“模块”、“系统”等通常旨在指代计算机相关的实体,或者是硬件(例如,电路)、软件、硬件和软件的组合,或者是与具有一个或多个特定功能性的操作机器相关的实体。例如,组件能够是但不限于运行在处理器(例如,数字信号处理器)上的进程、处理器、对象、可执行程序、执行线程、程序和/或计算机。举例来说,运行在控制器上的应用程序和控制器都能够是组件。一个或多个组件能够驻留在进程和/或执行线程中,并且组件能够位于一台计算机上和/或分布在两台或多台计算机之间。此外,“设备”能够以专门设计的硬件的形式出现;通过在其上施行使硬件能够执行特定功能(例如,生成兴趣点和/或描述符)的软件而专门化的通用硬件;计算机可读介质上的软件;或它们的组合。
已经针对几个组件和/或块之间的交互描述了前述系统、电路、模块等。可以理解,这样的系统、电路、组件、块等能够包括那些组件或指定的子组件、一些指定的组件或子组件和/或附加的组件,并且根据前述的各种排列和组合。子组件也能够被实施为通信地耦合到其他组件的组件,而不是被包括在父组件内(分层的)。附加地,应当注意,一个或多个组件能够被组合成提供聚集功能性的单个组件,或者被划分成几个单独的子组件,并且能够提供诸如管理层之类的任何一个或多个中间层来通信地耦合到这些子组件,以便提供集成的功能性。本文描述的任何组件也能够与本文未具体描述但本领域技术人员已知的一个或多个其他组件相互作用。
此外,词语“示例”或“示例性的”在本文中用于表示用作示例、实例或说明。本文描述为“示例性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利。相反,词语“示例”或“示例性”的使用旨在以具体的方式呈现概念。如本申请中所使用的,术语“或”旨在表示包含性的“或”,而不是排他性的“或”。也就是说,除非另有说明或从上下文中清楚,“X采用A或B”意在表示任何自然的包含性排列。也就是说,如果X采用A;X采用B;或者X同时采用A和B,那么在任何前述情况下都满足“X采用A或B”。此外,在本申请和所附权利要求中使用的冠词“一(a)”和“一个(an)”通常应被解释为表示“一个或多个”,除非另有说明或从上下文中清楚地指向单数形式。
最后,本文描述的实施方式包括收集描述用户和/或用户活动的数据。在一个实施方式中,仅在用户同意收集这种数据时才收集这种数据。在一些实施方式中,提示用户明确允许数据收集。此外,用户能够决定参加或不参加这种数据收集活动。在一个实施方式中,在执行任何分析以获得任何统计模式之前,收集的数据被匿名化,使得不能从收集的数据中确定用户的身份。
Claims (20)
1.一种方法,包括:
接收发起文档共享操作的请求,以经由第二客户端设备上的第二图形用户界面GUI与电话会议的第二参与者共享经由与所述电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档;
接收对应于所述第一参与者在周围环境中的视图的图像数据;
基于所接收到的图像数据获得描绘所述第一参与者的图像;
识别满足一个或多个图像放置标准的所述文档的一个或多个区域;以及
提供所述文档和描绘所述第一参与者的所述图像以经由所述第二客户端设备上的所述第二GUI呈现,其中,描绘所述第一参与者的所述图像呈现在所述文档的所识别的一个或多个区域中的一个区域处。
2.根据权利要求1所述的方法,其中,所接收到的图像数据包括与所述电话会议的所述第一参与者相关联的第一组像素和与所述周围环境相关联的第二组像素,并且其中,基于所接收到的图像数据获得描绘所述第一参与者的图像包括:
从所接收到的图像数据中提取所识别的第一组像素;以及
基于所提取的第一组像素来生成描绘所述第一参与者的所述图像。
3.根据权利要求1所述的方法,其中,识别满足所述图像放置标准的所述文档的所述一个或多个区域包括:
检测不包括任何内容的所述文档的区域;以及
确定所检测到的区域满足所述图像放置标准。
4.根据权利要求1所述的方法,其中,识别满足所述图像放置标准的所述文档的所述一个或多个区域包括:
获得与所述文档的多个区域相关联的像素数据;以及
基于所获得的像素数据,选择与颜色不同于与描绘所述第一参与者的所述图像的一个或多个像素相关联的颜色的一个或多个像素相关联的区域。
5.根据权利要求1所述的方法,还包括:
获得指示与所述第二客户端设备相关联的一个或多个硬件限制的数据;
响应于确定所述一个或多个硬件限制满足硬件限制标准,识别所述文档的第一部分中包括的第一内容和所述文档的第二部分中包括的第二内容;以及
生成包括所述文档的所述第二部分中包括的所述第二内容的附加文档。
6.根据权利要求5所述的方法,其中,经由所述第二客户端设备的所述第二GUI呈现所述文档和描绘所述第一参与者的所述图像包括:
与描绘所述第一参与者的所述图像一起呈现所述文档的所述第一部分中包括的所识别的第一内容,而不呈现所述文档的所述第二部分中包括的所识别的第二内容。
7.根据权利要求6所述的方法,还包括:
从所述第一客户端设备接收指示所述第一参与者正在转移到所述文档的所述第二部分中包括的所述第二内容的通知;以及
更新所述第二客户端设备的所述第二GUI以呈现包括所述第二内容和描绘所述第一参与者的所述图像的所述附加文档。
8.根据权利要求1所述的方法,还包括:
接收附加请求以将描绘所述第一参与者的所述图像从所述文档的所述一个或多个区域移动到所述文档的附加区域;以及
在所述文档的所述附加区域处呈现描绘所述第一参与者的所述图像。
9.根据权利要求8所述的方法,还包括:
确定所述文档的所述附加区域包括内容;以及
修改描绘所述第一参与者的所述图像的尺寸、形状或透明度中的至少一个,
其中,描绘所述第一参与者的经过修改的图像被呈现在所述文档的所述附加区域处。
10.一种系统,包括:
存储器设备;以及
耦合到所述存储器设备的处理设备,所述处理设备执行操作,包括:
经由第二客户端设备上的第二图形用户界面GUI与电话会议的第二参与者共享经由与所述电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档;
接收请求以经由所述第二GUI显示描绘所述电话会议的所述第一参与者的图像以及与所述第二参与者共享的所述文档;
接收对应于所述第一参与者在周围环境中的视图的图像数据;
基于所接收到的图像数据获得描绘所述第一参与者的图像;
考虑到描绘所述第一参与者的所述图像,修改所共享的文档的一个或多个内容项的格式或方向中的至少一个;以及
提供描绘所述第一参与者的图像以及经过修改的文档,以用于经由所述第二客户端设备上的所述第二GUI呈现。
11.根据权利要求10所述的系统,其中,所接收到的图像数据包括与所述电话会议的所述第一参与者相关联的第一组像素和与所述周围环境相关联的第二组像素,并且其中,基于所接收到的图像数据获得描绘所述第一参与者的图像包括:
从所接收到的图像数据中提取所识别的第一组像素;以及
基于所提取的第一组像素来生成描绘所述第一参与者的所述图像。
12.根据权利要求10所述的系统,其中,考虑到描绘所述第一参与者的所述图像来修改所共享的文档的所述一个或多个内容项的所述格式或所述方向中的至少一个包括:
识别比所述文档的其他区域包括更少数量内容的所述文档的区域,其中,所识别的区域包括所述一个或多个内容项;以及
考虑到与所共享的文档相关联的一个或多个修改规则,确定能够应用于所述一个或多个内容项的一个或多个修改。
13.根据权利要求10所述的系统,其中,所共享的文档对应于存储在与通信地耦合到托管所述电话会议的会议平台的文档共享平台相关联的数据存储中的文档。
14.根据权利要求10所述的系统,其中,所述操作还包括:
获得指示与所述第二客户端设备相关联的一个或多个硬件限制的数据;
响应于确定所述一个或多个硬件限制满足硬件限制标准,识别所述经过修改的文档的第一部分中包括的第一内容和所述经过修改的文档的第二部分中包括的第二内容;以及
生成包括所述经过修改的文档的所述第二部分中包括的所述第二内容的附加文档。
15.根据权利要求14所述的系统,其中,经由所述第二客户端设备的所述第二GUI来呈现所述经过修改的文档和描绘所述第一参与者的所述图像包括:
与描绘所述第一参与者的所述图像一起呈现所述经过修改的文档的所述第一部分中包括的所识别的第一内容,而不呈现所述经过修改的文档的所述第二部分中包括的所识别的第二内容。
16.根据权利要求15所述的系统,其中,所述操作还包括:
从所述第一客户端设备接收指示所述第一参与者正在转移到所述文档的所述第二部分中包括的所述第二内容的通知;以及
更新所述第二设备的所述第二GUI以呈现包括所述第二内容和描绘所述第一参与者的所述图像的所述附加文档。
17.一种非暂时性计算机可读存储介质,包括用于服务器的指令,所述指令在由处理设备施行时使所述处理设备执行操作,所述操作包括:
接收发起文档共享操作的请求以经由第二客户端设备上的第二图形用户界面GUI与电话会议的第二参与者共享经由与所述电话会议的第一参与者相关联的第一客户端设备上的第一GUI显示的文档;
接收对应于所述第一参与者在周围环境中的视图的图像数据;
基于所接收到的图像数据获得描绘所述第一参与者的图像;
识别满足一个或多个图像放置标准的所述文档的一个或多个区域;以及
提供所述文档和描绘所述第一参与者的所述图像以用于经由所述第二客户端设备上的所述第二GUI呈现,其中,描绘所述第一参与者的所述图像被呈现在所述文档的所识别的一个或多个区域中的一个区域处。
18.根据权利要求17所述的非暂时性计算机可读存储介质,其中,所接收到的图像数据包括与所述电话会议的所述第一参与者相关联的第一组像素和与所述周围环境相关联的第二组像素,并且其中,基于所接收到的图像数据获得描绘所述第一参与者的图像包括:
从所接收到的图像数据中提取所识别的第一组像素;以及
基于所提取的第一组像素来生成描绘所述第一参与者的所述图像。
19.根据权利要求17所述的非暂时性计算机可读存储介质,其中,识别满足所述图像放置标准的所述文档的所述一个或多个区域包括:
检测不包括任何内容的所述文档的区域;以及
确定检测到的区域满足所述图像放置标准。
20.根据权利要求17所述的非暂时性计算机可读存储介质,其中,识别满足所述图像放置标准的所述文档的所述一个或多个区域包括:
获得与所述文档的多个区域相关联的像素数据;以及
基于所获得的像素数据,选择与颜色不同于与描绘所述第一参与者的所述图像的一个或多个像素相关联的颜色的一个或多个像素相关联的区域。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/192,509 | 2021-05-24 | ||
US17/549,708 | 2021-12-13 | ||
US17/549,708 US20220374190A1 (en) | 2021-05-24 | 2021-12-13 | Overlaying an image of a conference call participant with a shared document |
PCT/US2022/030779 WO2022251257A1 (en) | 2021-05-24 | 2022-05-24 | Overlaying an image of a conference call participant with a shared document |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116762333A true CN116762333A (zh) | 2023-09-15 |
Family
ID=87953845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280008982.1A Pending CN116762333A (zh) | 2021-05-24 | 2022-05-24 | 将电话会议参与者的图像与共享文档叠加 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116762333A (zh) |
-
2022
- 2022-05-24 CN CN202280008982.1A patent/CN116762333A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9179096B2 (en) | Systems and methods for real-time efficient navigation of video streams | |
US10996839B2 (en) | Providing consistent interaction models in communication sessions | |
US11087068B2 (en) | Systems and methods for bringing document interactions into the online conversation stream | |
US10139917B1 (en) | Gesture-initiated actions in videoconferences | |
EP3195601B1 (en) | Method of providing visual sound image and electronic device implementing the same | |
US20160042249A1 (en) | Event-based image classification and scoring | |
KR101686830B1 (ko) | 온라인 소셜 네트워크 상의 이미지를 위한 태그 제안 | |
US9715751B2 (en) | Zooming to faces depicted in images | |
CN112584086A (zh) | 视频会议中的实时视频变换 | |
US20230208894A1 (en) | Integrating a video feed with shared documents during a conference call discussion | |
US20170109339A1 (en) | Application program activation method, user terminal, and server | |
WO2019020061A1 (zh) | 视频台词处理方法、客户端、服务器及存储介质 | |
US11164418B2 (en) | Impromptu community streamer | |
US10732806B2 (en) | Incorporating user content within a communication session interface | |
US20180268049A1 (en) | Providing a heat map overlay representative of user preferences relating to rendered content | |
US20220374190A1 (en) | Overlaying an image of a conference call participant with a shared document | |
CN116762333A (zh) | 将电话会议参与者的图像与共享文档叠加 | |
US20240184503A1 (en) | Overlaying an image of a conference call participant with a shared document | |
US20220327748A1 (en) | Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry | |
US20180300301A1 (en) | Enhanced inking capabilities for content creation applications | |
US11303464B2 (en) | Associating content items with images captured of meeting content | |
US20240380800A1 (en) | Virtual whiteboard for real-time collaboration in a user interface of a video conference system | |
US20240380859A1 (en) | Generating a composite video stream having digital content and a participant video for real-time presentation in a user interface of a video conference system | |
US20220147739A1 (en) | Video annotating method, client, server, and system | |
US20240212240A1 (en) | Integrating overlaid content into displayed data via processing circuitry by detecting the presence of a reference patch in a file |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |