Nothing Special   »   [go: up one dir, main page]

CN110225377A - 一种视频植入方法及装置、设备、介质、系统 - Google Patents

一种视频植入方法及装置、设备、介质、系统 Download PDF

Info

Publication number
CN110225377A
CN110225377A CN201910528675.6A CN201910528675A CN110225377A CN 110225377 A CN110225377 A CN 110225377A CN 201910528675 A CN201910528675 A CN 201910528675A CN 110225377 A CN110225377 A CN 110225377A
Authority
CN
China
Prior art keywords
video
implanted
implantation
default mark
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910528675.6A
Other languages
English (en)
Inventor
姬晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingpu Technology Co Ltd
Original Assignee
Beijing Yingpu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingpu Technology Co Ltd filed Critical Beijing Yingpu Technology Co Ltd
Priority to CN201910528675.6A priority Critical patent/CN110225377A/zh
Publication of CN110225377A publication Critical patent/CN110225377A/zh
Priority to PCT/CN2019/108435 priority patent/WO2020252976A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频植入方法及装置、设备、介质、系统，该视频植入方法，包括：获取待植入视频与设于待植入位置的预设标识；将所述预设标识与标准标识比较，确定对应的位姿变换关系；根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。本发明提供的视频植入方式能够利用在待植入位置设置的预设标识与标准标识的位姿变换关系确定待植入视频如何植入到植入位置，从而能够简单方便地对视频中的广告进行植入和更换，实现更加丰富的视频植入方式，利于各种变换场景的视频植入场景。

Description

一种视频植入方法及装置、设备、介质、系统
技术领域
本发明实施例涉及视频处理技术领域，具体涉及一种视频植入方法及装置、设备、介质、系统。
背景技术
现有技术中视频植入广告得借鉴强大的后期跟踪与合成才能完成高品质的植入效果，要在短时间里完成大批量镜头的植入合成又要借助大量的人力资源，且一端后期完成编码输出成片上传后，植入的信息不能更改。
因此，需要一种视频植入方案，能够简单方便地对视频中的广告进行植入和更换，实现更加丰富的视频植入方式，利于各种变换场景的视频植入场景，是本领域技术人员亟待解决的技术问题。
发明内容
为此，本发明实施例提供一种视频植入方法及装置、设备、介质、系统，能够简单方便地对视频中的广告进行植入和更换，实现更加丰富的视频植入方式，利于各种变换场景的视频植入场景。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明提供一种视频植入方法，包括：
获取待植入视频与设于待植入位置的预设标识；
将所述预设标识与标准标识比较，确定对应的位姿变换关系；
根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
优选地，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述预设标识的第一朝向与所述标准标识的第二朝向；
比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
将所述变化角度确定为位姿变换关系。
优选地，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
将所述尺寸变换关系确定为位姿变换关系。
优选地，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述标预设标识相对于所述标准标识的透视关系；
将所述透视关系确定为位姿变换关系。
优选地，
所述根据所述位姿变换关系，将所述待植入视频植入所述待植入位置，包括：
根据所述位姿变换关系，对待植入视频进行调整；
将调整后的待植入视频待植入位置。
优选地，
所述获取待植入视频与设于待植入位置的预设标识，包括：
获取待植入位置的预设标识的身份识别码；
根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
优选地，
在所述获取待植入视频与设于待植入位置的预设标识之后，还包括：
识别所述预设标识的植入方式编码；
选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
优选地，
所述植入方式，包括：植入遮罩类型和/或视频合成方式。
第二方面，本发明提供一种视频植入装置，包括：
视频标识获取模块，用于获取待植入视频与设于待植入位置的预设标识；
位姿关系确定模块，用于将所述预设标识与标准标识比较，确定对应的位姿变换关系；
视频植入模块，用于根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
优选地，
所述位姿关系确定模块，包括：
朝向获取单元，用于获取所述预设标识的第一朝向与所述标准标识的第二朝向；
朝向比较单元，用于比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
朝向位姿关系确定单元，用于将所述变化角度确定为位姿变换关系。
优选地，
所述位姿关系确定模块，包括：
尺寸获取单元，用于获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
尺寸关系比较单元，用于比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
尺寸位姿确定单元，用于将所述尺寸变换关系确定为位姿变换关系。
优选地，
所述位姿关系确定模块，包括：
透视关系获取单元，用于获取所述标预设标识相对于所述标准标识的透视关系；
透视位姿确定单元，用于将所述透视关系确定为位姿变换关系。
优选地，
所述视频植入模块，包括：
视频调整单元，用于根据所述位姿变换关系，对待植入视频进行调整；
视频植入单元，用于将调整后的待植入视频待植入位置。
优选地，
所述视频标识获取模块，包括：
预设标识身份获取单元，用于获取待植入位置的预设标识的身份识别码；
待植入视频选择单元，用于根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
优选地，
还包括：
植入方式识别模块，用于识别所述预设标识的植入方式编码；
植入方式选择模块，用于选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
第三方面，本发明提供一种视频植入设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述第一方面任一种所述视频植入方法的步骤。
第四方面，别发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一种所述视频植入方法的步骤。
第五方面，本发明提供一种视频植入系统，包括：待植入视频库装置、目标视频库装置、如上述第二方面任一种所述的视频植入装置；
所述待植入视频库装置，用于存储待植入视频；
所述目标视频库装置，用于存储目标视频，所述目标视频的待植入位置设有预设标识；
所述视频植入装置，用于：
在所述待植入视频库装置获取待植入视频；
在所述目标视频库装置获取设于待植入位置的预设标识；
将所述预设标识与标准标识比较，确定对应的位姿变换关系；
根据所述位姿变换关系，将所述待植入视频植入所述目标视频的待植入位置。
第六方面，本发明提供一种预设标识，应用于如上述第一方面任一种所述的视频植入方法，包括：
矩形识别框，位于所述矩形识别框内的朝向标志、身份识别码标志。
优选地，
所述矩形识别框，包括：毗邻的黑色外框与红色内框。
优选地，
所述朝向标识为位于所述矩形识别框内侧呈等腰直角三定点排布的三个矩形点标识；
所述身份识别码标志位设置三个所述矩形点标识内部的颜色标识组合。
本发明提供一种视频植入方法，包括：获取待植入视频与设于待植入位置的预设标识；将所述预设标识与标准标识比较，确定对应的位姿变换关系；根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。本发明提供的视频植入方式能够利用在待植入位置设置的预设标识与标准标识的位姿变换关系确定待植入视频如何植入到植入位置，从而能够简单方便地对视频中的广告进行植入和更换，实现更加丰富的视频植入方式，利于各种变换场景的视频植入场景。
本发明提供的一种视频植入方法及装置、设备、介质、系统都具有上述的有益效果，在此不再一一赘述。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明一种具体实施方式提供的一种视频植入方法的流程图；
图2为本发明一种具体实施方式提供的一种视频植入方法的朝向关系确定流程图；
图3为本发明一种具体实施方式提供的一种视频植入方法的尺寸关系确定流程图；
图4为本发明一种具体实施方式提供的一种视频植入方法的透视关系确定流程图；
图5为本发明一种具体实施方式提供的一种视频植入方法的获取待植入视频流程图；
图6为本发明一种具体实施方式提供的一种视频植入方法的植入方式选择流程图；
图7为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；
图8为本发明又一具体实施方式所提供的一种视频植入装置的一种位姿关系确定模块组成示意图；
图9为本发明又一具体实施方式所提供的一种视频植入装置的一种位姿关系确定模块组成示意图；
图10为本发明又一具体实施方式所提供的一种视频植入装置的又一种位姿关系确定模块组成示意图；
图11为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；
图12为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；
图13为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；
图14为本发明一种具体实施方式中所提供的一种视频植入设备的结构示意图；
图15为本发明一种具体实施方式中所提供的一种计算机可读存储介质的结构示意图；
图16为本发明一种具体实施方式所提供的一种视频植入系统的组成示意图；
图17为本发明又一种具体实施方式所提供的一种预设标识的示意图；
图18为一种具体实施方式中预设标识的朝向与图像的朝向对应关系图；
图19为一种具体实施方式中预设标识与图像的尺寸对应关系图；
图20为一种具体实施方式中预设标识与图像的透视对应关系图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1、图2、图3、图4、图5、图6，图1为本发明一种具体实施方式提供的一种视频植入方法的流程图；图2为本发明一种具体实施方式提供的一种视频植入方法的朝向关系确定流程图；图3为本发明一种具体实施方式提供的一种视频植入方法的尺寸关系确定流程图；图4为本发明一种具体实施方式提供的一种视频植入方法的透视关系确定流程图；图5为本发明一种具体实施方式提供的一种视频植入方法的获取待植入视频流程图；图6为本发明一种具体实施方式提供的一种视频植入方法的植入方式选择流程图。
在本发明一种根据题实施方式中，本发明实施例提供一种视频植入方法，包括：
步骤S11：获取待植入视频与设于待植入位置的预设标识；
步骤S12：将所述预设标识与标准标识比较，确定对应的位姿变换关系；
步骤S13：根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
在本发明实施例中，首先需要获取待植入的视频，和待植入位置的预设标识，例如，当需要将一条广告视频作为待植入视频植入到电视剧中时，这时广告视频作为待植入视频，电视剧作为目标视频，而可以预先在电视剧的想要添加广告视频的位置作为待植入位置，为了对这个位置进行标识，可以在该待植入位置添加预设标识，从而实现了一种获取待植入视频与设于待植入位置的预设标识的情况，当然待植入位置也可以一幅图片的某个特定位置，这里对待植入位置到底位于视频或是图片还是其他的广告屏幕牌上，不做限制。
在获取到预设标识后，可以将该预设标识与标准标识作比较，得到位姿变换关系，也就是说，对于一个原始的标准标识，该预设标识在设置时为了显示的效果，可能对预设标识做了方向、尺寸、透视关系等一些列的调整，这时可以通过预设标识和标准标识的比较来确定具体做了什么样的调整，也及时得到了一个位姿变换关系，这里的位姿指的是位置、姿态等一系列的能够引起视觉效果的因素。
而在确定位姿变换关系后，可以将待植入的视频做与该位置变换关系对应的调整，例如，如果位姿变换关系中的尺寸如果增大的比例为2倍，那么可以相应地将待植入视频的尺寸增大相同的比例，或者，为了适应某种具体的观看视频的角度，位姿变换关系中包含朝向的变化，那么也可以将该视频做相同的朝向变化，从而简单方便地对视频中的广告进行植入和更换，实现更加丰富的视频植入方式，利于各种变换场景的视频植入场景。
具体地，在一种具体实施方式中，位姿变换关系可以包括变化角度，为了将所述预设标识与标准标识比较，确定对应的位姿变换关系，可以具体实施以下步骤：
步骤S21：获取所述预设标识的第一朝向与所述标准标识的第二朝向；
步骤S22：比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
步骤S23：将所述变化角度确定为位姿变换关系。
也就是说，可以根据预设标识中的朝向标志，获取识别到该预设标识的第一朝向，而标准标识的第二朝向一般是确定的，可以规定为垂直向下或其他的方向，作为一个基准参考。如果识别出第二朝向逆时针旋转90°得到第一朝向，那么就得到了变化的角度，可以将该变化角度确定为位姿变化关系。
进一步地，位姿变换关系也可以包括尺寸变换关系，也就是说标准标识的尺寸与预设尺寸的标识并不一样，具体地，为了将所述预设标识与标准标识比较，确定对应的位姿变换关系，可以进行一下步骤：
步骤S31：获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
步骤S32：比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
步骤S33：将所述尺寸变换关系确定为位姿变换关系。
值得说明的是，一般地，在进行尺寸变换关系的确定之前，如果预设标识，同时也有朝向的变化，那么可以先将预设标识和标准标识的朝向调整统一之后，再进行尺寸的比例关系确定，才能得到正确的尺寸变换关系。而且，在实际植入时，为了避免待植入视屏能够覆盖不住待植入位置的标识，可以将所述尺寸变换关系进行预设比例的增大，例如可以增大3％、5％等比例。
在一种实施例中，还可以将透视关系作为一种位姿变换关系，具体地，为了将所述预设标识与标准标识比较，确定对应的位姿变换关系，可以具体地进行一下步骤：
步骤S41：获取所述标预设标识相对于所述标准标识的透视关系；
步骤S41：将所述透视关系确定为位姿变换关系。
"透视"一词原于拉丁文"perspclre"(看透)，最初研究透视是采取通过一块透明的平面去看景物的方法，将所见景物准确描画在这块平面上，即成该景物的透视图。后遂将在平面画幅上根据一定原理，用线条来显示物体的空间位置、轮廓和投影的科学称为透视学。本实施例中，如果待植入位置并非正对着视频的显示画面，那么为了更好地让待植入视频融入待植入位置，那么可以将待植入的视频做一些透视关系的视觉调整，例如可以将视频的整体画面轮廓进行视觉透视调整。
在上述具体实施方式的基础上，本具体实施方式中，为了根据所述位姿变换关系，将所述待植入视频植入所述待植入位置，可以首先根据所述位姿变换关系，对待植入视频进行调整；然后将调整后的待植入视频待植入位置。
进一步地，为了获取待植入视频与设于待植入位置的预设标识，可以实施以下步骤：
步骤S51：获取待植入位置的预设标识的身份识别码；
步骤S51：根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
更进一步地，为了获取待植入视频植入待植入位置的植入方式可以在所述获取待植入视频与设于待植入位置的预设标识之后，进行以下步骤：
步骤S61：识别所述预设标识的植入方式编码；
步骤S62：选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
也就是说，在预设标识中，包括有植入方式的编码信息，在获取到该植入方式编码后，可以采用对应的植入方式将待植入视频植入到待植入位置中去。具体的植入方式，可以包括：植入遮罩类型和/或视频合成方式，等。
请参考图7、图8、图9、图10、图11、图12、图13，图7为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；图8为本发明又一具体实施方式所提供的一种视频植入装置的一种位姿关系确定模块组成示意图；图9为本发明又一具体实施方式所提供的一种视频植入装置的一种位姿关系确定模块组成示意图；图10为本发明又一具体实施方式所提供的一种视频植入装置的又一种位姿关系确定模块组成示意图；图11为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；图12为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图；图13为本发明又一具体实施方式所提供的一种视频植入装置的组成示意图。
在本发明又一具体实施方式中，本发明实施例提供一种视频植入装置 700，包括：
视频标识获取模块710，用于获取待植入视频与设于待植入位置的预设标识；
位姿关系确定模块720，用于将所述预设标识与标准标识比较，确定对应的位姿变换关系；
视频植入模块730，用于根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
优选地，
所述位姿关系确定模块720，包括：
朝向获取单元721，用于获取所述预设标识的第一朝向与所述标准标识的第二朝向；
朝向比较单元722，用于比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
朝向位姿关系确定单元723，用于将所述变化角度确定为位姿变换关系。
优选地，
所述位姿关系确定模块720，包括：
尺寸获取单元724，用于获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
尺寸关系比较单元725，用于比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
尺寸位姿确定单元726，用于将所述尺寸变换关系确定为位姿变换关系。
优选地，
所述位姿关系确定模块720，包括：
透视关系获取单元727，用于获取所述标预设标识相对于所述标准标识的透视关系；
透视位姿确定单元728，用于将所述透视关系确定为位姿变换关系。
优选地，
所述视频植入模块730，包括：
视频调整单元731，用于根据所述位姿变换关系，对待植入视频进行调整；
视频植入单元732，用于将调整后的待植入视频待植入位置。
优选地，
所述视频标识获取模块710，包括：
预设标识身份获取单元711，用于获取待植入位置的预设标识的身份识别码；
待植入视频选择单元712，用于根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
优选地，
视频植入装置700，还包括：
植入方式识别模块740，用于识别所述预设标识的植入方式编码；
植入方式选择模块750，用于选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
请参考图14、图15，图14为本发明一种具体实施方式中所提供的一种视频植入设备的结构示意图；图15为本发明一种具体实施方式中所提供的一种计算机可读存储介质的结构示意图。
本发明实施例提供视频植入设备1400，包括：
存储器1410，用于存储计算机程序；
处理器1420，用于执行所述计算机程序时实现如上述第一方面所述任一种视频植入方法的步骤。该计算机程序存储于存储器1410中的用于程序代码存储的空间中，该计算机程序有处理器1420执行时实现任一种本发明实施例中的方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种具体实施方式所述任一种视频植入方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
请参考图16，图16为本发明一种具体实施方式所提供的一种视频植入系统的组成示意图。
第五方面，本发明提供一种视频植入系统，包括：待植入视频库装置 1610、目标视频库装置1620、如上述第上述任一种具体实施方式中所述的视频植入装置1630；
所述待植入视频库装置1610，用于存储待植入视频；
所述目标视频库装置1620，用于存储目标视频，所述目标视频的待植入位置设有预设标识；
所述视频植入装置1630，用于：
在所述待植入视频库装置1610获取待植入视频；
在所述目标视频库装置1620获取设于待植入位置的预设标识；
将所述预设标识与标准标识比较，确定对应的位姿变换关系；
根据所述位姿变换关系，将所述待植入视频植入所述目标视频的待植入位置。
请参考图17、图18、图19、图20，图17为本发明又一种具体实施方式所提供的一种预设标识的示意图；图18为一种具体实施方式中预设标识的朝向与图像的朝向对应关系图；图19为一种具体实施方式中预设标识与图像的尺寸对应关系图；图20为一种具体实施方式中预设标识与图像的透视对应关系图。
在本发明又一具体实施方式中，本发明实施例提供一种预设标识，应用于如上述任一具体实施方式中的视频植入方法，包括：
矩形识别框1710，位于所述矩形识别框内的朝向标志1720、身份识别码标志1730。
优选地，
所述矩形识别框1710，包括：毗邻的黑色外框1711与红色内框1712。
优选地，
所述朝向标识1720为位于所述矩形识别框内侧呈等腰直角三定点排布的三个矩形点标识；
所述身份识别码标志1730位设置三个所述矩形点标识内部的颜色标识组合。
当身份识别码标志被识别，也就是当颜色被识别并进行排列组合的时候，就可以赋予了命令信息，命令的信息直接决定植入的动作，比如产品的种类，植入的遮罩类型，合成的方式等。
上述的三个矩形点表示内部可以设置回字形空间用于填充颜色，易于被识别，具体地，可以使用4种颜色的排列组合，(在非单色组合的情况下)能产生约上千组命令行，用于植入的，当大量的植入要求被接入的时候，4色组合命令能轻松应对！(非单色组合例如：蓝红绿组合：也可以是 蓝绿红 蓝绿绿 蓝红红 蓝红蓝 蓝绿蓝 蓝蓝蓝 蓝蓝红 蓝蓝绿……)，当然，也可以使用更多的颜色组合，当颜色被识别并进行排列组合的时候，就赋予了命令信息，命令的信息直接决定植入的动作。也就是说，颜色的组合对应了产品的种类、植入的遮罩类型、合成的方式等。
对于矩形识别框1710，红色部分为识别的矩形边界，植入的图片以矩形的边界进行填充，红色外面的黑色边界是为了给矩形边界更加明确的识别效果，当光线及环境复杂变化的时候，都能获得一种比较明确的识别。
当然，本发明中的预设识别标识也可以采用其他的标识形状，或者是一幅概念画作，主要是利用编程语言去解释执行动。预设标识和标准标识的设计力求简单明了，越简单的符号当距离越远，像素越低的时候，形状越容易被计算机识别，比如说一个正方形形和一只鹰。当像素很小的时候，鹰可能已经看不清了，但是正方形依然可以被计算机识别，而用于计算，并保证识别精度。
在本发明的又一具体实施方式中，具体可以使用python2.7，opencv2.4，pyqt4，等工具实现视频植入的目的，使用的文件说明如下： track_core.py包括所有跟踪的函数，track_test07.py为主程序，使用pyqt写的简单的播放器，opencv读取视频帧，使用track_core中的函数转为填充过图片的帧，然后显示在ui上；在python环境没有问题的情况下，运行python track_test07.py即可执行。
具体如何识别预设标识，过程如下：
1.将预设标识的帧转为灰度图；
具体利用该表达式：gray＝cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) 来实现；
2.将预设标识的帧进行一些模糊处理，来去除一些小颗粒产生的影响；
具体使用该表达式：blurred＝cv2.blur(gray,(blur_size,blur_size))来实现；
然而，这个模糊的值比较小，可能看不明显；
3.对预设标识进行阈值处理；
为了查找轮廓的图像只能使用二值图；给定一个黑值100和白值200，整张图片中数值小于100的就会变为0，大于100的就会变为200；具体使用以下语句对图像进行处理：
(_,thresh)＝cv2.threshold(blurred,black_point,white_point,cv2.THRESH_BINARY)；
4.查找预设标识的轮廓；
具体可以使用以下代码实现预设标识的轮廓查找：
(contours,hierarchy)＝cv2.findContours(thresh.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)；
跟踪使用的图为一个黑色边框中间有三个跟踪点，黑色边框的作用是消除背景颜色多变的影响。
5.判断跟踪点；
track_core代码中129-144行为查找轮廓中的跟踪点；
跟踪点可以看成为一个黑色的矩形中间有一个白色的矩形，中间又有一个黑色的矩形，根据这种特定的关系，从所有轮廓中找到特定的一个轮廓，这个就是跟踪点；
每一个跟踪点的父轮廓就是要替换的区域的轮廓，所以可以根据父轮廓将所有跟踪点进行打组，这样得到每个需要替换的区域的轮廓和里面的跟踪点；同时进行的还有将原始帧中心点的颜色记录进去，以及三个跟踪点的中心点坐标。
6.计算方向，计算最终的四点坐标；
根据三个点的坐标，可以计算出第四个点的坐标，并且将这四个点根据之前三个点的角度进行排序，参考sort_points函数。
最终得到的是一个有顺序的四个点的列表，最后的对应关系是第一个点对应填充图片的左下角，按照顺时针以此类推。
7.根据中心点颜色组合编码信息判断使用哪张图片填充，并执行相应的遮罩类型，以及相应的合成动作命令。
用来跟踪的图片中心为颜色填充的区域，根据颜色RGB三个通道的比例判断使用哪张图片进行填充(目前都是使用一张图片填充，当然，也可以使用视频或多张图片进行填充)。
也就是说，识别图片中的颜色编码作为预设标识的身份识别编码，进而选择与该身份识别编码对应的图片进行填充，当然也可以填充视频，并执行相关的合成动作，让元素更好的融入画面。
8.填充图片或视频；
根据之前得到的填充区域的轮廓四点坐标，使用 cv2.getPerspectiveTransform和cv2.warpPerspective函数将图片进行透视变换；
根据四点坐标得到轮廓的mask，首先将原始帧的这个mask的区域填充为黑色，然后使用cv2.add函数将原始帧和透视变换后的图片相加得到最终的帧；由于跟踪效果，为了将原始帧的黑色边框完全遮住，会将填充的图片进行一些放。
以上为实现本发明中预设标识的一种识别方式，当然，还有其他的识别方式，本发明对具体的识别方式不做限定。虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (20)

1.一种视频植入方法，其特征在于，包括：
获取待植入视频与设于待植入位置的预设标识；
将所述预设标识与标准标识比较，确定对应的位姿变换关系；
根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
2.根据权利要求1所述的视频植入方法，其特征在于，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述预设标识的第一朝向与所述标准标识的第二朝向；
比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
将所述变化角度确定为位姿变换关系。
3.根据权利要求1所述的视频植入方法，其特征在于，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
将所述尺寸变换关系确定为位姿变换关系。
4.根据权利要求1所述的视频植入方法，其特征在于，
所述将所述预设标识与标准标识比较，确定对应的位姿变换关系，包括：
获取所述标预设标识相对于所述标准标识的透视关系；
将所述透视关系确定为位姿变换关系。
5.根据权利要求1至4任一项所述的视频植入方法，其特征在于，
所述根据所述位姿变换关系，将所述待植入视频植入所述待植入位置，包括：
根据所述位姿变换关系，对待植入视频进行调整；
将调整后的待植入视频待植入位置。
6.根据权利要求1至4任一项所述的视频植入方法，其特征在于，
所述获取待植入视频与设于待植入位置的预设标识，包括：
获取待植入位置的预设标识的身份识别码；
根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
7.根据权利要求1至4任一项所述的视频植入方法，其特征在于，
在所述获取待植入视频与设于待植入位置的预设标识之后，还包括：
识别所述预设标识的植入方式编码；
选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
8.一种视频植入装置，其特征在于，包括：
视频标识获取模块，用于获取待植入视频与设于待植入位置的预设标识；
位姿关系确定模块，用于将所述预设标识与标准标识比较，确定对应的位姿变换关系；
视频植入模块，用于根据所述位姿变换关系，将所述待植入视频植入所述待植入位置。
9.根据权利要求8所述的视频植入装置，其特征在于，
所述位姿关系确定模块，包括：
朝向获取单元，用于获取所述预设标识的第一朝向与所述标准标识的第二朝向；
朝向比较单元，用于比较所述第一朝向与所述第二朝向，得到第二朝向往第一朝向变换的变化角度；
朝向位姿关系确定单元，用于将所述变化角度确定为位姿变换关系。
10.根据权利要求8所述的视频植入方法，其特征在于，
所述位姿关系确定模块，包括：
尺寸获取单元，用于获取所述预设标识的第一尺寸与所述标准标识的第二尺寸；
尺寸关系比较单元，用于比较所述第一尺寸与所述第二尺寸，得到尺寸变换关系；
尺寸位姿确定单元，用于将所述尺寸变换关系确定为位姿变换关系。
11.根据权利要求8所述的视频植入装置，其特征在于，
所述位姿关系确定模块，包括：
透视关系获取单元，用于获取所述标预设标识相对于所述标准标识的透视关系；
透视位姿确定单元，用于将所述透视关系确定为位姿变换关系。
12.根据权利要求8至11任一项所述的视频植入装置，其特征在于，
所述视频植入模块，包括：
视频调整单元，用于根据所述位姿变换关系，对待植入视频进行调整；
视频植入单元，用于将调整后的待植入视频待植入位置。
13.根据权利要求8至11任一项所述的视频植入装置，其特征在于，
所述视频标识获取模块，包括：
预设标识身份获取单元，用于获取待植入位置的预设标识的身份识别码；
待植入视频选择单元，用于根据所述身份识别码，在视频库中选择与所述身份识别码对应的待植入位置对应的视频，作为与所述预设标志对应的待植入视频。
14.根据权利要求8至11任一项所述的视频植入装置，其特征在于，
还包括：
植入方式识别模块，用于识别所述预设标识的植入方式编码；
植入方式选择模块，用于选择与所述植入方式编码对应的植入方式，以便将所述待植入视频植入所述待植入位置时，利用所述植入方式。
15.一种视频植入设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述视频植入方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频植入方法的步骤。
17.一种视频植入系统，其特征在于，包括：待植入视频库装置、目标视频库装置、如权利要求8至14任一项所述的视频植入装置；
所述待植入视频库装置，用于存储待植入视频；
所述目标视频库装置，用于存储目标视频，所述目标视频的待植入位置设有预设标识；
所述视频植入装置，用于：
在所述待植入视频库装置获取待植入视频；
在所述目标视频库装置获取设于待植入位置的预设标识；
将所述预设标识与标准标识比较，确定对应的位姿变换关系；
根据所述位姿变换关系，将所述待植入视频植入所述目标视频的待植入位置。
18.一种预设标识，应用于如权利要求1至7任一项所述的视频植入方法，其特征在于，包括：
矩形识别框，位于所述矩形识别框内的朝向标志、身份识别码标志。
19.根据权利要求18所述的预设标志，其特征在于，
所述矩形识别框，包括：毗邻的黑色外框与红色内框。
20.根据权利要求18所述的预设标志，其特征在于，
所述朝向标识为位于所述矩形识别框内侧呈等腰直角三定点排布的三个矩形点标识；
所述身份识别码标志位设置三个所述矩形点标识内部的颜色标识组合。
CN201910528675.6A 2019-06-18 2019-06-18 一种视频植入方法及装置、设备、介质、系统 Pending CN110225377A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910528675.6A CN110225377A (zh) 2019-06-18 2019-06-18 一种视频植入方法及装置、设备、介质、系统
PCT/CN2019/108435 WO2020252976A1 (zh) 2019-06-18 2019-09-27 一种视频植入方法及装置、设备、介质、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910528675.6A CN110225377A (zh) 2019-06-18 2019-06-18 一种视频植入方法及装置、设备、介质、系统

Publications (1)

Publication Number Publication Date
CN110225377A true CN110225377A (zh) 2019-09-10

Family

ID=67817620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910528675.6A Pending CN110225377A (zh) 2019-06-18 2019-06-18 一种视频植入方法及装置、设备、介质、系统

Country Status (2)

Country Link
CN (1) CN110225377A (zh)
WO (1) WO2020252976A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020252976A1 (zh) * 2019-06-18 2020-12-24 北京影谱科技股份有限公司 一种视频植入方法及装置、设备、介质、系统
CN116939294A (zh) * 2023-09-17 2023-10-24 世优（北京）科技有限公司 视频植入方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974126A (zh) * 2014-05-15 2014-08-06 北京奇艺世纪科技有限公司 一种在视频中植入广告的方法及装置
CN104170392A (zh) * 2013-11-21 2014-11-26 华为技术有限公司 一种文件中植入广告的方法、装置、系统及终端
CN104735465A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
US20180122506A1 (en) * 2015-03-26 2018-05-03 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
CN109033795A (zh) * 2018-07-24 2018-12-18 青岛海信移动通信技术股份有限公司 一种对含有摄像头的终端进行解锁的方法和终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060111970A1 (en) * 2004-11-24 2006-05-25 Microsoft Corporation System and method for selling on-line and off-line advertising in content delivered to a display screen
CN105141987B (zh) * 2015-08-14 2019-04-05 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN106982380A (zh) * 2017-04-20 2017-07-25 上海极链网络科技有限公司 互联网视频内虚拟互动广告的植入方法
CN109168034B (zh) * 2018-08-28 2020-04-28 百度在线网络技术（北京）有限公司 商品信息显示方法、装置、电子设备和可读存储介质
CN110225377A (zh) * 2019-06-18 2019-09-10 北京影谱科技股份有限公司 一种视频植入方法及装置、设备、介质、系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170392A (zh) * 2013-11-21 2014-11-26 华为技术有限公司 一种文件中植入广告的方法、装置、系统及终端
CN103974126A (zh) * 2014-05-15 2014-08-06 北京奇艺世纪科技有限公司 一种在视频中植入广告的方法及装置
US20180122506A1 (en) * 2015-03-26 2018-05-03 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
CN104735465A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
CN109033795A (zh) * 2018-07-24 2018-12-18 青岛海信移动通信技术股份有限公司 一种对含有摄像头的终端进行解锁的方法和终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020252976A1 (zh) * 2019-06-18 2020-12-24 北京影谱科技股份有限公司 一种视频植入方法及装置、设备、介质、系统
CN116939294A (zh) * 2023-09-17 2023-10-24 世优（北京）科技有限公司 视频植入方法、装置、存储介质及电子设备
CN116939294B (zh) * 2023-09-17 2024-03-05 世优（北京）科技有限公司 视频植入方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2020252976A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
Rana et al. Deep tone mapping operator for high dynamic range images
US11475247B2 (en) System and method for adaptive generation using feedback from a trained model
KR102134405B1 (ko) 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN109345556B (zh) 用于混合现实的神经网络前景分离
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
JP7389116B2 (ja) 深層ニューラルネットワーク姿勢推定システム
CN113012081B (zh) 图像处理方法、装置和电子系统
CN110650368A (zh) 视频处理方法、装置和电子设备
Yang et al. Single image haze removal via region detection network
CN110100252A (zh) 用于确定内容捕获设备的设置的技术
CN109325532A (zh) 一种小样本下扩充数据集的图像处理方法
CN110796080A (zh) 一种基于生成对抗网络的多姿态行人图像合成算法
CN112200035B (zh) 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法
CN106255990A (zh) 用于相机阵列的图像重对焦
US20230021533A1 (en) Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device
Scheck et al. Learning from theodore: A synthetic omnidirectional top-view indoor dataset for deep transfer learning
CN109803172A (zh) 一种直播视频的处理方法、装置及电子设备
CN110225377A (zh) 一种视频植入方法及装置、设备、介质、系统
Yang et al. Training with augmented data: Gan-based flame-burning image synthesis for fire segmentation in warehouse
US20220076437A1 (en) Method for Emulating Defocus of Sharp Rendered Images
Zhang et al. Multi-scale feature adaptive fusion model for real-time detection in complex citrus orchard environments
CN111968191A (zh) 使用梳状神经网络架构的自动图像合成
Lamer et al. Computer vision based object recognition principles in education
CN113989460A (zh) 用于增强现实场景的实时天空替换特效控制方法及装置
CN114331927A (zh) 一种图像处理方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910