Nothing Special   »   [go: up one dir, main page]

CN114900644A - 一种视频会议中云台相机的预置位远程操作方法及系统 - Google Patents

一种视频会议中云台相机的预置位远程操作方法及系统 Download PDF

Info

Publication number
CN114900644A
CN114900644A CN202210822308.9A CN202210822308A CN114900644A CN 114900644 A CN114900644 A CN 114900644A CN 202210822308 A CN202210822308 A CN 202210822308A CN 114900644 A CN114900644 A CN 114900644A
Authority
CN
China
Prior art keywords
groups
multiple groups
traversing
video conference
participants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210822308.9A
Other languages
English (en)
Other versions
CN114900644B (zh
Inventor
陈贤斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Omnipotent Digital Technology Co ltd
Original Assignee
Hangzhou Omnipotent Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Omnipotent Digital Technology Co ltd filed Critical Hangzhou Omnipotent Digital Technology Co ltd
Priority to CN202210822308.9A priority Critical patent/CN114900644B/zh
Publication of CN114900644A publication Critical patent/CN114900644A/zh
Application granted granted Critical
Publication of CN114900644B publication Critical patent/CN114900644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种视频会议中云台相机的预置位远程操作方法及系统,涉及人工智能领域,方法包括:遍历多个应用端构建视频会议云台相机控制阵列采集参会人员图像特征确定多组运动目标;遍历多组运动目标存储多组预置位编码;遍历多个应用端构建声音传感器控制阵列采集参会人员语音特征信息确定多组寻向因子参数;将寻向因子参数和预置位编码关联得多组关联结果;当声音传感器监测多组寻向因子参数中一个或多个寻向因子参数时通过多组关联结果调取对应预置位编码的运动目标;确定运动目标区域面积;满足面积阈值获取多组图像序列进行视频会议控制。解决了现有技术中视频会议中的云台相机自动化程度较低导致存在影响视频会议效率的技术问题。

Description

一种视频会议中云台相机的预置位远程操作方法及系统
技术领域
本发明涉及人工智能相关技术领域,具体涉及一种视频会议中云台相机的预置位远程操作方法及系统。
背景技术
随着通信技术的不断进步,视频会议已经逐渐成为各类组织的主要会议形式之一,而视频会议的人像显示功能依赖于云台相机进行图像序列采集实现。为了提高视频会议的效率以及智能性,如何提高视频会议各个环节的自动化程度目前的研究趋势,在这之中,提高云台相机的智能性成为首当其冲的重要研究任务。
目前用于视频会议中的云台相机,主要是通过设定在多个参与方的预设位置,然后对多方进行图像采集实现视频显示,而在这之中,需要进行预置位信息记录等操作时,则需要人为的发出指令进行调整调用,自动化程度较低,影响了视频会议的效率。
现有技术中用于视频会议中的云台相机由于自动化程度比较低,导致存在影响视频会议效率的技术问题。
发明内容
本申请通过提供了一种视频会议中云台相机的预置位远程操作方法及系统,解决了现有技术中用于视频会议中的云台相机由于自动化程度比较低,导致存在影响视频会议效率的技术问题。
鉴于上述问题,本申请提供了一种视频会议中云台相机的预置位远程操作方法及系统。
第一方面,本申请提供了一种视频会议中云台相机的预置位远程操作方法,其中,所述方法应用于一视频会议中云台相机的预置位远程操作系统,所述系统包括一控制终端和多个应用端,任意一所述应用端至少和一声音传感器、一云台相机通信连接,所述方法包括:遍历多个应用端构建视频会议云台相机控制阵列,根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标;遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;当所述声音传感器监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
另一方面,本申请提供了一种视频会议中云台相机的预置位远程操作系统,其中,所述系统包括一控制终端和多个应用端,任意一所述应用端至少和一声音传感器、一云台相机通信连接,所述系统包括:运动目标确定模块,用于遍历多个应用端构建视频会议云台相机控制阵列,根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标;预置位编码确定模块,用于遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;寻向因子确定模块,用于遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;信息关联模块,用于遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;信息调用模块,用于当所述声音传感器监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;运动目标追踪模块,用于遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;判断执行模块,用于判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了通过参与方的多个应用端构建用于视频会议的云台相机控制阵列;通过云台相机控制阵列控制云台相机采集各个参与方的参会人员的图像特征信息,确定多组运动目标;根据多组运动目标在云台相机控制阵列中存储相应的多组预置位编码;通过声音传感器采集各个应用端的参会人员语音特征信息,确定每个参会人员的寻向因子参数;将寻向因子参数和预置位编码一一关联,确定关联结果;通过声音传感器监测寻向因子参数,并根据关联结果调取对应的预置位编码对应的运动目标;对运动目标进行追踪,当运动目标区域面积是否满足面积阈值,则根据该位置的图像序列进行视屏会议控制的技术方案,通过分别采集参会人员的图像特征,构建云台相机的预置位数据,再采集参会人员语音特征并和预置位数据进行关联,开会时实时监测参会人员语音特征,并根据关联结果实现视频会议自动化追踪,实现了提高云台相机在视频会议中的智能化,进而提高视频会议效率的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种视频会议中云台相机的预置位远程操作方法流程示意图;
图2为本申请实施例提供了一种视频会议中云台相机的预置位远程操作方法中多组运动目标的确定流程示意图;
图3为本申请实施例提供了一种视频会议中云台相机的预置位远程操作系统结构示意图。
附图标记说明:控制终端001,应用端002,声音传感器003,云台相机004,运动目标确定模块11,预置位编码确定模块12,寻向因子确定模块13,信息关联模块14,信息调用模块15,运动目标追踪模块16,判断执行模块17。
具体实施方式
本申请实施例通过提供了一种视频会议中云台相机的预置位远程操作方法及系统,解决了现有技术中用于视频会议中的云台相机由于自动化程度比较低,导致存在影响视频会议效率的技术问题。通过分别采集参会人员的图像特征,构建云台相机的预置位数据,再采集参会人员语音特征并和预置位数据进行关联,开会时实时监测参会人员语音特征,并根据关联结果实现视频会议自动化追踪,实现了提高云台相机在视频会议中的智能化,进而提高视频会议效率的技术效果。
申请概述
云台相机指的是安装、固定手机、相机、摄像机的支撑设备,云台相机用于视频会议的图像序列采集中可保证显示图像的稳定性。预置位是云台相机用于对某些重要位置进行标识,记忆该位置不同时刻的图像序列,后步可快速追踪的方式。现有技术中的云台相机在应用于视频会议中时,预置位的切换显示控制通常需要人为的操作切换,自动化程度较低,进而导致存在影响视频会议效率的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请实施例提供了一种视频会议中云台相机的预置位远程操作方法及系统。由于采用了通过参与方的多个应用端构建用于视频会议的云台相机控制阵列;通过云台相机控制阵列控制云台相机采集各个参与方的参会人员的图像特征信息,确定多组运动目标;根据多组运动目标在云台相机控制阵列中存储相应的多组预置位编码;通过声音传感器采集各个应用端的参会人员语音特征信息,确定每个参会人员的寻向因子参数;将寻向因子参数和预置位编码一一关联,确定关联结果;通过声音传感器监测寻向因子参数,并根据关联结果调取对应的预置位编码对应的运动目标;对运动目标进行追踪,当运动目标区域面积是否满足面积阈值,则根据该位置的图像序列进行视屏会议控制的技术方案,通过分别采集参会人员的图像特征,构建云台相机的预置位数据,再采集参会人员语音特征并和预置位数据进行关联,开会时实时监测参会人员语音特征,并根据关联结果实现视频显示自动化追踪,实现了提高云台相机在视频会议中的智能化,进而提高视频会议效率的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种视频会议中云台相机的预置位远程操作方法,其中,所述方法应用于一视频会议中云台相机的预置位远程操作系统,所述系统包括一控制终端和多个应用端,任意一所述应用端至少和一声音传感器、一云台相机通信连接,所述方法包括步骤:
具体而言,视频会议中云台相机的预置位远程操作系统为用于实现一种视频会议中云台相机的预置位远程操作方法的软件系统;控制终端是视频会议中云台相机的预置位远程操作系统用于处理数据和发出指令的远程终端;应用端部署于各个会议参与方的和控制终端通信连接的用于数据处理和数据传输的端口,一个会议参与方优选的部署一个应用端;声音传感器为用于对会议参与方进行语音特征监测的装置;云台相机为用于对会议参与方进行图像采集显示的装置,二者在任意一个应用端至少部署一组。通过声音传感器和云台相机采集参会人员状态信息,并通过应用端传输至控制终端,控制终端依赖于本申请实施例公开的一种视频会议中云台相机的预置位远程操作方法对声音传感器和云台相机采集的信息进行处理,实现云台相机在视频会议中的智能化控制。
S100:遍历多个应用端构建视频会议云台相机控制阵列,根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标;
具体而言,视频会议云台相机控制阵列指的是根据多个应用端中的云台相机构建的对多个应用端的云台相机进行控制的虚拟功能模块,优选的视频会议云台相机控制阵列中任意一行的多个云台相机属于相同应用端,任意一个应用端至少包括一个云台相机;任意一列的多个云台相机属于不同应用端。通过视频会议云台相机控制阵列可控制不同应用端的云台相机采集其监控区域相应位置的图像序列,并上传至视频会议显示界面进行视频会议控制。
参会人员图像特征信息指的是多个应用端所属的视频会议参与方的参会人员对应的图像特征数据,示例性地如:人像颜色特征信息和人像几何特征信息(五官)等人物特征数据;运动目标指的是根据参会人员的图像特征数据构建的表征云台相机需要进行追踪监控的目标;多组运动目标中任意一组运动目标对应于相同的应用端,即属于相同参与方。通过对云台相机需要进行追踪监控的目标进行确定,为后步进行视频会议控制提供信息反馈基础。
多组运动目标的详细确定过程如下:
进一步的,如图2所示,基于所述根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标,步骤S100包括步骤:
S110:遍历所述视频会议云台相机控制阵列依次调用所述云台相机对所述参会人员进行图像采集,获取多组图像采集结果;
S120:遍历所述多组图像采集结果对所述参会人员进行编号,生成多组编号结果;
S130:基于所述多组图像采集结果遍历所述多组编号结果依次对所述参会人员进行特征提取,生成多组人物特征信息;
S140:将所述多组编号结果和所述多组人物特征信息关联存储为所述多组运动目标。
具体而言,多组图像采集结果指的是通过视频会议云台相机控制阵列依次调用云台相机对参会人员进行图像采集得到的人物图像集合,任意一组图像采集结果对应于视频会议云台相机控制阵列中任意一行的多个云台相机,二者对应于相同的应用端。多组编号结果指的是根据多组图像采集结果对视频会议参会人员依次编号得到结果,优选的方式为以任意一应用端的参会人员开始编号,对图像采集结果中的人像进行编号,优选的以1,2,…,x形式编号,直到全部的参会人员编号完成时停止,全部参会人员的编号具有唯一性,而相同应用端的参会人员存储为一组编号,具有编号后,即可将参会人员在应用端的入座位置、身份信息等和编号进行绑定,便于后步快速调用。
多组人物特征信息指的是根据多组编号结果对多组图像采集结果中的相应编号参会人员进行人物特征提取,人物特征信息包括但不限于:人物颜色特征和人物几何特征(五官,肢体等);提取后相同应用端的存储为一组,并且和多组编号结果以及多组图像采集结果一一对应。将多组编号结果和多组人物特征信息关联存储为多组运动目标,便于后步根据编号直接调用对应的人物特征信息,也可以根据人物特征信息确定对应的编号,进而确定参会人员的身份信息、位置等,即可实现视频会议的控制。
人物特征的提取过程,举较优的实施例如下:
更进一步的,基于所述多组图像采集结果遍历所述多组编号结果依次对所述参会人员进行特征提取,生成多组人物特征信息,步骤S130还包括步骤:
S131:对任意一个所述参会人员的所述图像采集结果根据颜色特征进行一级区域分割,生成一级区域分割结果,其中,所述一级区域分割结果包括基于颜色特征的区域分布概率队列;
S132:遍历所述基于颜色特征的区域分布概率队列根据几何特征对所述一级区域分割结果进行二级分割,生成二级区域分割结果,其中,所述二级区域分割结果包括基于几何特征的区域分布概率队列;
S133:将所述基于颜色特征的区域分布概率队列和所述基于几何特征的区域分布概率队列添加进所述多组人物特征信息。
具体而言,以下为针对任意一个编号的人物图像处理的过程:颜色特征表征采集图像的颜色类型、涉及范围和颜色深度等特征数据,图像不同的区域具有不同的颜色特征;一级区域分割结果指的是根据颜色特征的差异性对任意一个人物图像进行分割后的结果;基于颜色特征的区域分布概率队列指的是不同的颜色类型、涉及范围和颜色深度等颜色特征数据在相应的人物图像中的分布位置概率数据,基于颜色特征的区域分布概率可用不同的颜色特征在人物图像中的分布位置的面积占比表征,不同的颜色特征具有不同的区域分布概率,不同位置的颜色特征具有不同的区域分布概率;而不同参会人员具有不同的基于颜色特征的区域分布概率队列,可实现参会人员之间的差异化识别。
几何特征表征采集图像的人物的五官及肢体的尺寸、形状特征数据;二级区域分割结果指的是在一级区域分割结果的基础上根据几何特征对任意一个人物图像进行再分割;基于几何特征的区域分布概率队列指的是人物的五官及肢体的尺寸、形状特征数据的在不同位置的出现概率,可选的使用几何特征在不同位置的面积占比表征。
将基于颜色特征的区域分布概率队列和基于几何特征的区域分布概率队列添加进多组人物特征信息,通过几何特征和颜色特征可对参会人员进行差异化表征,不同的人物具有不同的人物特征信息,只有同时满足了基于颜色特征的区域分布概率队列和基于几何特征的区域分布概率队列,才能确定人物编号,而几何特征和颜色特征都可以通过云台相机进行采集,为后步运动目标追踪提供了信息参考基础。
S200:遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;
具体而言,多组预置位编码指的是对多组运动目标在述视频会议云台相机控制阵列中存储相应的预置位编码信息,便于后步可以快速追踪对应的运动目标,实现视频会议控制。预置位是云台相机用于对某些重要位置进行标识,记忆该位置不同时刻的图像序列,后步可快速追踪的方式,其中,预置位编码的编码方式可以是任意一种常规编码手段。通过对多组运动目标进行预置位编码,可实现对多组运动目标追踪、状态记录及调用。
S300:遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;
进一步的,基于所述遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数,步骤S300包括步骤:
S310:遍历所述声音传感器控制阵列对所述参会人员进行语音信号采集,生成多组语音信号采集结果;
S320:遍历所述多组语音信号采集结果对所述参会人员依次进行特征提取,生成多组语音特征信息;
S330:将所述多组语音特征信息设为所述多组寻向因子参数。
具体而言,通过预置位编码对运动目标进行追踪,状态记录及调用的过程举优选实施例如下:多组寻向因子参数表征启动对运动目标进行追踪的信号数据,优选的使用参会人员语音特征信息作为征启动对运动目标进行追踪的敏感信号,多组寻向因子参数中的任意一组对应于相同应用端的参会人员,其确定方式优选的如下:
多组语音信号采集结果指的是通过声音传感器控制阵列对参会人员进行语音信号采集之后得到语音数据集;多组语音特征信息指的是对遍历多组语音信号采集结果对参会人员依次进行特征提取后,得到的表征参会人员语音差异性的特征信息,优选的为:声强、响度、音高、基音周期、音色特征等用于语音识别的语音特征信息,语音特征提取方式可选的通过神经网络等机器学习手段提取,由于语音识别在当下已经发展相对成熟,诸如各种语音助手层出不穷,于此不多加赘述。进而将可表征参会人员身份信息的多组语音特征信息设为多组寻向因子参数。
将多组语音特征信息设为多组寻向因子参数,可用于后步对参会人员的身份识别,及不同的参会人员在前述具有不同的编号,当识别出对应的语音数据时,即确定该参会人员在发言,调用云台相机进行转向相应编号对应的预置位编码对应的参会人员采集该参会人员的图像序列,且同时显示该参会人员之前时刻的状态记录数据,便于视频会议的智能回溯。
S400:遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;
具体而言,多组关联结果指的是表征多组寻向因子参数和多组预置位编码之间的关联关系,当声音传感器识别到寻向因子参数时,即可根据关联结果快速调用预置位编码,对相应的预置位对应编号的参会人员进行图像序列采集,记录当下状态,便于后步快速回溯。
多组关联结果的确定方式以如下优选实施例举例:
进一步的,基于所述遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果,步骤S400包括步骤:
S410:将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建语音检测模型;
更进一步的,基于所述将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建语音检测模型,步骤S410还包括步骤:
S411:将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建第一决策树;
S412:从所述第一决策树中提取输出准确率不满足预设准确率的第一训练数据,判断所述第一训练数据的数据量是否满足预设数据量;
S413:若不满足,根据所述第一训练数据,构建第二决策树;
S414:重复迭代,直到第M训练数据的数据量满足所述预设数据量,将所述第一决策树,所述第二决策树直到第M决策树合并,获取所述语音检测模型。
具体而言,语音检测模型指的是用于根据寻向因子参数对参会人员进行身份识别的智能化模型,语音检测模型优选的基于梯度下降决策森林构建,所谓梯度下降即为构建多棵决策树,多棵决策树构建顺序有先后之别,在后决策树的训练数据使用在先决策树的输出准确率不满足预设准确率的训练数据,直到输出准确率不满足预设准确率的训练数据的数据量满足预设数据量时停止训练,将全部决策树合并,生成梯度下降决策森林模型,则得到输出准确率较高的智能化模型。上述的第一决策树直到第M决策树即为通过梯度下降决策森林构建的多棵决策树,将其合并,则生成语音检测模型,任意一棵决策树的构建过程优选的通过有监督学习训练而成。
S420:基于所述语音检测模型,生成编号映射关系;
S430:根据所述多组编号结果和所述多组预置位编码,构建编码映射关系;
S440:根据所述编号映射关系和所述编码映射关系,将所述寻向因子参数和所述预置位编码一一关联,获取所述多组关联结果。
具体而言,编号映射关系指的是根据语音检测模型,确定的寻向因子参数到人物编号的数据映射关系;编码映射关系指的是表征编号结果和预置位编码之间的关系;由此则可依据编号映射关系和编码映射关系,确定“寻向因子参数-(语音检测模型)-编号结果-预置位编码”的关联关系,记为关联结果。即可依据关联结果实时监测寻向因子参数的状态,进而实现预置位的自动化转换。
S500:当所述声音传感器监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;
S600:遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;
S700:判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
具体而言,当声音传感器监测到多组寻向因子参数中一个或多个寻向因子参数时,通过多组关联结果,调取对应的预置位编码对应的运动目标,对运动目标进行目标追踪,确定一个或多个运动目标区域面积,即依据的预置位编码追踪对应的运动目标,判断其运动目标区域面积是否满足面积阈值(预先设定的面积值),当满足,则表征运动目标区域面积可完全记录相应运动目标的状态,则获取相应的图像序列记录当前的状态,并可选的同时在视频上显示该运动目标其它时刻的会议状态,若是具有多个运动目标,则优选的分屏显示,提高了云台相机在视频会议过程中的智能性。
目标追踪的过程举如下优选实施例:
进一步的,基于所述遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积,步骤S600包括步骤:
S610:调取所述云台相机对所述参会人员进行会议图像采集,生成会议图像采集结果;
S620:对所述会议图像采集结果进行特征提取,获取会议图像特征信息,其中,所述会议图像特征信息包括颜色特征信息和几何特征信息;
S630:判断所述颜色特征信息是否满足所述基于颜色特征的区域分布概率队列,且所述几何特征信息是否满足所述基于几何特征的区域分布概率队列;
S640:若同时满足,将所述会议图像采集结果确定为所述运动目标;
S650:根据所述运动目标,获取所述运动目标区域面积,添加进所述一个或多个运动目标区域面积。
具体而言,会议图像采集结果指的是实时会议的过程中调用云台相机对参会人员进行会议图像采集的结果;会议图像特征信息指的是包含颜色特征和几何特征在内的实时图像特征信息;判断颜色特征信息是否满足基于颜色特征的区域分布概率队列,且几何特征信息是否满足基于几何特征的区域分布概率队列,若是同时满足,则说明会议图像采集结果确定为运动目标,则追踪完成,并将运动目标占据的区域面积作为运动目标区域面积,这是由于可能基于颜色特征的区域分布概率队列和基于几何特征的区域分布概率队列为部分满足,则并无法完全记录参会人员状态数据,因此需要再根据整体的运动目标区域面积进行判断,提高目标追踪的准确性。
综上所述,本申请实施例所提供的一种视频会议中云台相机的预置位远程操作方法及系统具有如下技术效果:
1.由于采用了通过参与方的多个应用端构建用于视频会议的云台相机控制阵列;通过云台相机控制阵列控制云台相机采集各个参与方的参会人员的图像特征信息,确定多组运动目标;根据多组运动目标在云台相机控制阵列中存储相应的多组预置位编码;通过声音传感器采集各个应用端的参会人员语音特征信息,确定每个参会人员的寻向因子参数;将寻向因子参数和预置位编码一一关联,确定关联结果;通过声音传感器监测寻向因子参数,并根据关联结果调取对应的预置位编码对应的运动目标;对运动目标进行追踪,当运动目标区域面积是否满足面积阈值,则根据该位置的图像序列进行视屏会议控制的技术方案,通过分别采集参会人员的图像特征,构建云台相机的预置位数据,再采集参会人员语音特征并和预置位数据进行关联,开会时实时监测参会人员语音特征,并根据关联结果实现视频会议自动化追踪,实现了提高云台相机在视频会议中的智能化,进而提高视频会议效率的技术效果。
实施例二
基于与前述实施例中一种视频会议中云台相机的预置位远程操作方法相同的发明构思,如图3所示,本申请实施例提供了一种视频会议中云台相机的预置位远程操作系统,其中,所述系统包括一控制终端001和多个应用端002,任意一所述应用端002至少和一声音传感器003、一云台相机004通信连接,所述系统包括:
运动目标确定模块11,用于遍历多个应用端002构建视频会议云台相机004控制阵列,根据所述视频会议云台相机004控制阵列采集参会人员图像特征信息,确定多组运动目标;
预置位编码确定模块12,用于遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;
寻向因子确定模块13,用于遍历所述多个应用端002构建声音传感器003控制阵列,根据所述声音传感器003控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;
信息关联模块14,用于遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;
信息调用模块15,用于当所述声音传感器004监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;
运动目标追踪模块16,用于遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;
判断执行模块17,用于判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
进一步的,所述运动目标确定模块11执行步骤包括:
遍历所述视频会议云台相机控制阵列依次调用所述云台相机对所述参会人员进行图像采集,获取多组图像采集结果;
遍历所述多组图像采集结果对所述参会人员进行编号,生成多组编号结果;
基于所述多组图像采集结果遍历所述多组编号结果依次对所述参会人员进行特征提取,生成多组人物特征信息;
将所述多组编号结果和所述多组人物特征信息关联存储为所述多组运动目标。
更进一步的,所述运动目标确定模块11执行步骤还包括:
对任意一个所述参会人员的所述图像采集结果根据颜色特征进行一级区域分割,生成一级区域分割结果,其中,所述一级区域分割结果包括基于颜色特征的区域分布概率队列;
遍历所述基于颜色特征的区域分布概率队列根据几何特征对所述一级区域分割结果进行二级分割,生成二级区域分割结果,其中,所述二级区域分割结果包括基于几何特征的区域分布概率队列;
将所述基于颜色特征的区域分布概率队列和所述基于几何特征的区域分布概率队列添加进所述多组人物特征信息。
进一步的,所述寻向因子确定模块13执行步骤包括:
遍历所述声音传感器控制阵列对所述参会人员进行语音信号采集,生成多组语音信号采集结果;
遍历所述多组语音信号采集结果对所述参会人员依次进行特征提取,生成多组语音特征信息;
将所述多组语音特征信息设为所述多组寻向因子参数。
进一步的,所述信息关联模块14执行步骤包括:
将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建语音检测模型;
基于所述语音检测模型,生成编号映射关系;
根据所述多组编号结果和所述多组预置位编码,构建编码映射关系;
根据所述编号映射关系和所述编码映射关系,将所述寻向因子参数和所述预置位编码一一关联,获取所述多组关联结果。
更进一步的,所述信息关联模块14执行步骤还包括:
将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建第一决策树;
从所述第一决策树中提取输出准确率不满足预设准确率的第一训练数据,判断所述第一训练数据的数据量是否满足预设数据量;
若不满足,根据所述第一训练数据,构建第二决策树;
重复迭代,直到第M训练数据的数据量满足所述预设数据量,将所述第一决策树,所述第二决策树直到第M决策树合并,获取所述语音检测模型。
进一步的,所述运动目标追踪模块16执行步骤包括:
调取所述云台相机对所述参会人员进行会议图像采集,生成会议图像采集结果;
对所述会议图像采集结果进行特征提取,获取会议图像特征信息,其中,所述会议图像特征信息包括颜色特征信息和几何特征信息;
判断所述颜色特征信息是否满足所述基于颜色特征的区域分布概率队列,且所述几何特征信息是否满足所述基于几何特征的区域分布概率队列;
若同时满足,将所述会议图像采集结果确定为所述运动目标;
根据所述运动目标,获取所述运动目标区域面积,添加进所述一个或多个运动目标区域面积。
综上所述,本申请实施例通过人物图像特征设定预置位编码,并使用语音特征作为预置位启动的寻向因子参数,使用关联结果将寻向因子参数和预置位编码关联,通过远程控制终端控制,实现了视频会议中的云台相机的智能化控制以及预置位状态的记录,提高了视频会议的云台相机的智能化操作。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,和/或指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种视频会议中云台相机的预置位远程操作方法,其特征在于,所述方法应用于一视频会议中云台相机的预置位远程操作系统,所述系统包括一控制终端和多个应用端,任意一所述应用端至少和一声音传感器、一云台相机通信连接,所述方法包括:
遍历多个应用端构建视频会议云台相机控制阵列,根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标;
遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;
遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;
遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;
当所述声音传感器监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;
遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;
判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
2.如权利要求1所述的方法,其特征在于,所述根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标,包括:
遍历所述视频会议云台相机控制阵列依次调用所述云台相机对所述参会人员进行图像采集,获取多组图像采集结果;
遍历所述多组图像采集结果对所述参会人员进行编号,生成多组编号结果;
基于所述多组图像采集结果遍历所述多组编号结果依次对所述参会人员进行特征提取,生成多组人物特征信息;
将所述多组编号结果和所述多组人物特征信息关联存储为所述多组运动目标。
3.如权利要求2所述的方法,其特征在于,所述基于所述多组图像采集结果遍历所述多组编号结果依次对所述参会人员进行特征提取,生成多组人物特征信息,包括:
对任意一个所述参会人员的所述图像采集结果根据颜色特征进行一级区域分割,生成一级区域分割结果,其中,所述一级区域分割结果包括基于颜色特征的区域分布概率队列;
遍历所述基于颜色特征的区域分布概率队列根据几何特征对所述一级区域分割结果进行二级分割,生成二级区域分割结果,其中,所述二级区域分割结果包括基于几何特征的区域分布概率队列;
将所述基于颜色特征的区域分布概率队列和所述基于几何特征的区域分布概率队列添加进所述多组人物特征信息。
4.如权利要求1所述的方法,其特征在于,所述遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数,包括:
遍历所述声音传感器控制阵列对所述参会人员进行语音信号采集,生成多组语音信号采集结果;
遍历所述多组语音信号采集结果对所述参会人员依次进行特征提取,生成多组语音特征信息;
将所述多组语音特征信息设为所述多组寻向因子参数。
5.如权利要求2所述的方法,其特征在于,所述遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果,包括:
将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建语音检测模型;
基于所述语音检测模型,生成编号映射关系;
根据所述多组编号结果和所述多组预置位编码,构建编码映射关系;
根据所述编号映射关系和所述编码映射关系,将所述寻向因子参数和所述预置位编码一一关联,获取所述多组关联结果。
6.如权利要求5所述的方法,其特征在于,所述将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建语音检测模型,包括:
将所述多组寻向因子参数作为输入训练数据,将所述多组编号结果作为输出训练数据,构建第一决策树;
从所述第一决策树中提取输出准确率不满足预设准确率的第一训练数据,判断所述第一训练数据的数据量是否满足预设数据量;
若不满足,根据所述第一训练数据,构建第二决策树;
重复迭代,直到第M训练数据的数据量满足所述预设数据量,将所述第一决策树,所述第二决策树直到第M决策树合并,获取所述语音检测模型。
7.如权利要求3所述的方法,其特征在于,所述遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积,包括:
调取所述云台相机对所述参会人员进行会议图像采集,生成会议图像采集结果;
对所述会议图像采集结果进行特征提取,获取会议图像特征信息,其中,所述会议图像特征信息包括颜色特征信息和几何特征信息;
判断所述颜色特征信息是否满足所述基于颜色特征的区域分布概率队列,且所述几何特征信息是否满足所述基于几何特征的区域分布概率队列;
若同时满足,将所述会议图像采集结果确定为所述运动目标;
根据所述运动目标,获取所述运动目标区域面积,添加进所述一个或多个运动目标区域面积。
8.一种视频会议中云台相机的预置位远程操作系统,其特征在于,所述系统包括一控制终端和多个应用端,任意一所述应用端至少和一声音传感器、一云台相机通信连接,所述系统包括:
运动目标确定模块,用于遍历多个应用端构建视频会议云台相机控制阵列,根据所述视频会议云台相机控制阵列采集参会人员图像特征信息,确定多组运动目标;
预置位编码确定模块,用于遍历所述多组运动目标,在所述视频会议云台相机控制阵列中存储多组预置位编码;
寻向因子确定模块,用于遍历所述多个应用端构建声音传感器控制阵列,根据所述声音传感器控制阵列采集所述参会人员语音特征信息,确定多组寻向因子参数;
信息关联模块,用于遍历所述多组寻向因子参数和所述多组预置位编码,将所述寻向因子参数和所述预置位编码一一关联,获取多组关联结果;
信息调用模块,用于当所述声音传感器监测到所述多组寻向因子参数中一个或多个所述寻向因子参数时,通过所述多组关联结果,调取对应的所述预置位编码对应的所述运动目标;
运动目标追踪模块,用于遍历所述运动目标进行目标追踪,确定一个或多个运动目标区域面积;
判断执行模块,用于判断所述一个或多个运动目标区域面积是否满足面积阈值,若满足,获取多组图像序列进行视频会议控制。
CN202210822308.9A 2022-07-13 2022-07-13 一种视频会议中云台相机的预置位远程操作方法及系统 Active CN114900644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210822308.9A CN114900644B (zh) 2022-07-13 2022-07-13 一种视频会议中云台相机的预置位远程操作方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210822308.9A CN114900644B (zh) 2022-07-13 2022-07-13 一种视频会议中云台相机的预置位远程操作方法及系统

Publications (2)

Publication Number Publication Date
CN114900644A true CN114900644A (zh) 2022-08-12
CN114900644B CN114900644B (zh) 2022-10-21

Family

ID=82729924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210822308.9A Active CN114900644B (zh) 2022-07-13 2022-07-13 一种视频会议中云台相机的预置位远程操作方法及系统

Country Status (1)

Country Link
CN (1) CN114900644B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991808A (zh) * 2023-09-27 2023-11-03 南通话时代信息科技有限公司 用于企业会议的数据智能存储方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252660A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 撮影システム及び撮影制御方法
US20190313057A1 (en) * 2018-04-04 2019-10-10 Dejun Jiang Method and device for controlling camera shooting, smart device and computer storage medium
CN111263106A (zh) * 2020-02-25 2020-06-09 厦门亿联网络技术股份有限公司 一种视频会议的画面追踪方法及装置
CN112801608A (zh) * 2021-01-15 2021-05-14 招明香 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台
CN112927682A (zh) * 2021-04-16 2021-06-08 西安交通大学 一种基于深度神经网络声学模型的语音识别方法及系统
CN114245065A (zh) * 2021-12-20 2022-03-25 深圳市音络科技有限公司 用于会议系统的定位跟踪方法、系统及电子设备
CN114449202A (zh) * 2021-12-31 2022-05-06 江铃汽车股份有限公司 一种视频会议摄像头控制方法、装置、及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252660A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 撮影システム及び撮影制御方法
US20190313057A1 (en) * 2018-04-04 2019-10-10 Dejun Jiang Method and device for controlling camera shooting, smart device and computer storage medium
CN111263106A (zh) * 2020-02-25 2020-06-09 厦门亿联网络技术股份有限公司 一种视频会议的画面追踪方法及装置
CN112801608A (zh) * 2021-01-15 2021-05-14 招明香 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台
CN112927682A (zh) * 2021-04-16 2021-06-08 西安交通大学 一种基于深度神经网络声学模型的语音识别方法及系统
CN114245065A (zh) * 2021-12-20 2022-03-25 深圳市音络科技有限公司 用于会议系统的定位跟踪方法、系统及电子设备
CN114449202A (zh) * 2021-12-31 2022-05-06 江铃汽车股份有限公司 一种视频会议摄像头控制方法、装置、及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991808A (zh) * 2023-09-27 2023-11-03 南通话时代信息科技有限公司 用于企业会议的数据智能存储方法及装置
CN116991808B (zh) * 2023-09-27 2023-12-08 南通话时代信息科技有限公司 用于企业会议的数据智能存储方法及装置

Also Published As

Publication number Publication date
CN114900644B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112183166B (zh) 确定训练样本的方法、装置和电子设备
CN111401246B (zh) 一种烟雾浓度检测方法、装置、设备及存储介质
CN111340879B (zh) 基于上采样的影像定位系统及其方法
CN114900644B (zh) 一种视频会议中云台相机的预置位远程操作方法及系统
CN112601022B (zh) 一种基于网络摄像机的现场监控系统和方法
CN110188179B (zh) 语音定向识别交互方法、装置、设备及介质
CN115480923B (zh) 一种多模态的智慧教室边缘计算控制系统
CN114721403B (zh) 基于OpenCV的自动驾驶控制方法、装置及存储介质
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
CN111125290A (zh) 一种基于河长制的智能巡河方法、装置及存储介质
CN108765466A (zh) 一种基于网络摄像头的智能视频监控系统及方法
CN116403141A (zh) 一种烟火检测方法、系统及存储介质
CN115527106A (zh) 基于量化鱼类识别神经网络模型的成像识别方法及装置
CN110400119A (zh) 基于人工智能的面试方法、装置、计算机设备和存储介质
CN114373195A (zh) 光照场景自适应的手掌防伪方法、装置、设备和存储介质
CN112925470A (zh) 交互式电子白板的触摸控制方法、系统和可读介质
CN113113128A (zh) 基于vr、算法和5g技术的医疗手术辅助系统以及方法
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN112601021B (zh) 一种网络摄像机监控视频的处理方法及系统
CN116824369A (zh) 基于边缘计算与yolov7-tiny的荔枝病害实时检测系统及其方法
CN116246200A (zh) 一种基于视觉识别的屏显信息偷拍检测方法及系统
CN112720501B (zh) 一种基于机器视觉技术的机械臂定位台球抓取方法及系统
CN115988165A (zh) 一种会议视频数据处理方法、系统、会议终端及介质
CN112843670A (zh) 智能棋牌信息提示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant