Nothing Special   »   [go: up one dir, main page]

JP2023070068A - 動画結合方法、装置、電子機器および記憶媒体 - Google Patents

動画結合方法、装置、電子機器および記憶媒体 Download PDF

Info

Publication number
JP2023070068A
JP2023070068A JP2022152697A JP2022152697A JP2023070068A JP 2023070068 A JP2023070068 A JP 2023070068A JP 2022152697 A JP2022152697 A JP 2022152697A JP 2022152697 A JP2022152697 A JP 2022152697A JP 2023070068 A JP2023070068 A JP 2023070068A
Authority
JP
Japan
Prior art keywords
image
frame
video
frames
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022152697A
Other languages
English (en)
Inventor
天舒 胡
Tianshu Hu
漢奇 郭
Hanqi Guo
鈞宇 韓
Junyu Han
智濱 洪
Zhibin Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023070068A publication Critical patent/JP2023070068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/038—Cross-faders therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】本開示は、動画結合方法、装置、電子機器および記憶媒体を提供し、人工知能の技術分野に関し、特に、深層学習およびコンピュータビジョンの技術分野に関する。【解決手段】具体的な実現形態として、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に中間フレームを１つ差し込み、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択し、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。本願の実施例は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもできる。【選択図】図１

Description

本開示は、人工知能の技術分野に関し、更に、深層学習およびコンピュータビジョンの技術分野に関し、特に、動画結合方法、装置、電子機器および記憶媒体に関する。
人々が娯楽やレジャーをますます重視することに伴い、映画、ショート動画といった動画メディアは、人々の生活と密に繋がっているため、社会にもますます多くの動画作成のニーズが出る。これらの動画コンテンツを撮影して作成する過程において、複数のショットを撮影した後、これらのショットをクリップして結合（Ｓｔｉｔｃｈｉｎｇ）する必要のあることが多い。
本開示は、動画結合方法、装置、電子機器および記憶媒体を提供する。
態様１において、本願は、
第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことと、
後ろから前への順および前から後ろへの順に従って、前記第１動画および前記第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することと、
前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることとを含む、
動画結合方法を提供する。
態様２において、本願は、
フレーム差込モジュールと、選択モジュールと、結合モジュールとを備え、
前記フレーム差込モジュールは、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことに用いられ、
前記選択モジュールは、後ろから前への順および前から後ろへの順に従って、前記第１動画および前記第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することに用いられ、
前記結合モジュールは、前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる、
動画結合装置を提供する。
態様３において、本願の実施例は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するためのメモリとを備える電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサは、本願のいずれかの実施例に記載の動画結合方法を実現する、
電子機器を提供する。
態様４において、本願の実施例は、
コンピュータプログラムが記憶された記憶媒体であって、
該プログラムがプロセッサにより実行されると、本願のいずれかの実施例に記載の動画結合方法を実現する、
記憶媒体を提供する。
態様５において、
コンピュータデバイスにより実行されると、本願のいずれかの実施例に記載の動画結合方法を実現する、
コンピュータプログラムを提供する。
本願の技術によれば、従来技術における人工ＰＳにより動画結合を実現するために多大の労力がかかり、速度が遅く、時間がかかり、且つ高価でコストが高いという技術的問題を解決し、本願に係る技術案は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもできる。
本開示に記載された内容は、本開示の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本開示の範囲を限定するものでもないことが理解されるべきである。本開示の他の特徴は、以下の明細書により容易に理解することができる。
図面は本形態をより良く理解するためのものであり、本開示を限定するものではない。
本願の実施例に係る動画結合方法の第１フローチャートである。 本願の実施例に係る動画結合方法の第２フローチャートである。 本願の実施例に係る動画結合方法の第１原理模式図である。 本願の実施例に係る動画結合方法の第３フローチャートである。 本願の実施例に係る動画結合方法の第２原理模式図である。 本願の実施例に係る動画結合装置の構造模式図である。 本願の実施例の動画結合方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら本開示の例示的な実施例について説明する。ここで、理解の便宜上、本開示の実施例に係る様々な細かい内容まで含まれているが、例示的なものに過ぎないと理解すべきである。従って、当業者であれば理解するであろうが、本開示の範囲および主旨から逸脱しない限り、ここで説明する実施例に対して様々な変更や修正を行うことができる。同様に、以下の説明において、公知されている機能および構造の説明は、明確且つ簡潔にするために省略している。
図１は、本願の実施例に係る動画結合方法の第１フローチャートであり、該方法は、動画結合装置または電子機器により実行でき、該装置または電子機器は、ソフトウェアおよび／またはハードウェアの方式で実現でき、該装置または電子機器は、ネットワーク通信機能を持つ任意のスマートデバイスに集積され得る。図１に示すように、動画結合方法は、以下のステップを含んでもよい。
Ｓ１０１において、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込む。
本ステップにおいて、電子機器は、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことができる。具体的には、電子機器は、第１動画の最後の画像フレームおよび第２動画の１番目の画像フレームを、予め構築された画像モデルに入力し、該画像モデルにより画像フレームを１つ出力し、それを第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間の中間フレームとする。
Ｓ１０２において、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択する。
本ステップにおいて、電子機器は、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することができる。例えば、第１動画が動画Ａで、第２動画が動画Ｂであると仮定し、Ｌの値が５である場合、電子機器は、後ろから前への順に従って動画Ａから５つの画像フレームを選択することができ、それぞれＡ＿Ｎ－４、Ａ＿Ｎ－３、Ａ＿Ｎ－２、Ａ＿Ｎ－１およびＡ＿Ｎであり、それと同時に、動画Ｂで前から後ろへの順に５つの画像フレームを選択することもでき、それぞれＢ＿１、Ｂ＿２、Ｂ＿３、Ｂ＿４およびＢ＿５である。
Ｓ１０３において、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。
本ステップにおいて、電子機器は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とすることができる。具体的には、電子機器は、まず、第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第１動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むとともに、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと中間フレームとの間に、第２動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込み、また、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画と中間フレームとの間の候補遷移フレーム、および第２動画と中間フレームとの間の候補遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とすることができる。
従来の動画結合技術において、複数のショットを結合した後、合成した動画は、結合箇所にホッピングが１つあることが多く、特に、人物のいるショットの場合、カメラの位置が動かなくても、人自身の姿勢の動きにより、２つのショット間の滑らかな遷移も不可能となる。更に、従来の動画結合技術は、人工ＰＳにより実現されることが多く、多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高い。本願の実施例に係る動画結合方法は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもできる。
本願の実施例に係る動画結合方法は、まず、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込み、その後、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択し、また、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。つまり、本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを滑らかに連結し、非常に著しいホッピング痕の発生を回避することができる。一方、従来の動画結合方法において、人工ＰＳにより実現することが多く、多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高い。本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づいて動画結合を実現するという技術手段を採用するため、従来技術における人工ＰＳにより動画結合を実現するために多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高いという技術的問題を克服し、本願に係る技術案は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもでき、且つ、本願の実施例の技術案は、簡単に実現でき、普及しやすく、適用範囲が広い。
図２は、本願の実施例に係る動画結合方法の第２フローチャートである。上記技術案に基づいて更に最適化して拡張し、上記各好ましい実施形態と組み合わせることができる。図２に示すように、動画結合方法は、以下のステップを含んでもよい。
Ｓ２０１において、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込む。
Ｓ２０２において、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択する。
Ｓ２０３において、第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第１動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込む。
本ステップにおいて、電子機器は、第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第１動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことができる。例えば、第１動画が動画Ａで、第２動画が動画Ｂであると仮定し、Ｌの値が５である場合、電子機器は、後ろから前への順に従って動画Ａから５つの画像フレームを選択することができ、それぞれＡ＿Ｎ－４、Ａ＿Ｎ－３、Ａ＿Ｎ－２、Ａ＿Ｎ－１およびＡ＿Ｎであり、それと同時に、動画Ｂで前から後ろへの順に５つの画像フレームを選択することもでき、それぞれＢ＿１、Ｂ＿２、Ｂ＿３、Ｂ＿４およびＢ＿５である。本ステップにおいて、電子機器は、中間フレームとＡ＿Ｎ－１との間、中間フレームとＡ＿Ｎ－２との間、中間フレームとＡ＿Ｎ－３との間に、第１動画と中間フレームとの間の候補遷移フレームとして３つの画像フレームをそれぞれ差し込むことができる。
Ｓ２０４において、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと中間フレームとの間に、第２動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込む。
本ステップにおいて、電子機器は、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと中間フレームとの間に、第２動画と中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことができる。例えば、第１動画が動画Ａで、第２動画が動画Ｂであると仮定し、Ｌの値が５である場合、電子機器は、後ろから前への順に従って動画Ａから５つの画像フレームを選択することができ、それぞれＡ＿Ｎ－４、Ａ＿Ｎ－３、Ａ＿Ｎ－２、Ａ＿Ｎ－１およびＡ＿Ｎであり、それと同時に、動画Ｂで前から後ろへの順に５つの画像フレームを選択することもでき、それぞれＢ＿１、Ｂ＿２、Ｂ＿３、Ｂ＿４およびＢ＿５である。本ステップにおいて、電子機器は、中間フレームとＢ＿２、中間フレームとＢ＿３、中間フレームとＢ＿４の間に、第２動画と中間フレームとの間の候補遷移フレームとして３つの画像フレームをそれぞれ差し込むことができる。
Ｓ２０５において、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画と中間フレームとの間の候補遷移フレーム、および第２動画と中間フレームとの間の候補遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。
本ステップにおいて、電子機器は、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画と中間フレームとの間の候補遷移フレーム、および第２動画と中間フレームとの間の候補遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とすることができる。具体的には、電子機器は、まず、第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとし、その後、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとし、また、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレーム、および第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とすることができる。好ましくは、電子機器は、第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと中間フレームとの間のＬ－２個の画像フレームから、１番目の画像フレームないしＬ－２番目の画像フレームをそれぞれ選択して、第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることができる。それと同時に、電子機器は、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間のＬ－２個の画像フレームから、Ｌ－２番目の画像フレームないし１番目の画像フレームをそれぞれ選択して、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることもできる。
図３は、本願の実施例に係る動画結合方法の第１原理模式図である。図３に示すように、第１動画が動画Ａで、第２動画が動画Ｂであると仮定し、Ｌの値が５である場合、電子機器は、後ろから前への順に従って動画Ａから５つの画像フレームを選択することができ、それぞれＡ＿Ｎ－４（図においてＮ－４と示される）、Ａ＿Ｎ－３（図においてＮ－３と示される）、Ａ＿Ｎ－２（図においてＮ－２と示される）、Ａ＿Ｎ－１（図においてＮ－１と示される）およびＡ＿Ｎ（図においてＮと示される）であり、それと同時に、動画Ｂで前から後ろへの順に５つの画像フレームを選択することもでき、それぞれＢ＿１（図において１と示される）、Ｂ＿２（図において２と示される）、Ｂ＿３（図において３と示される）、Ｂ＿４（図において４と示される）およびＢ＿５（図において５と示される）である。その後、電子機器は、中間フレームと画像フレームＮ－１、中間フレームと画像フレームＮ－２、中間フレームと画像フレームＮ－３の間に、第１動画と中間フレームとの間の候補遷移フレームとして３つの画像フレームをそれぞれ差し込む。具体的には、中間フレームと画像フレームＮ－１との間に差し込まれた３つの画像フレームは、Ａ＿Ｎ－１＿１、Ａ＿Ｎ－１＿２、Ａ＿Ｎ－１＿３と表すことができ、中間フレームと画像フレームＮ－２との間に差し込まれた３つの画像フレームは、Ａ＿Ｎ－２＿１、Ａ＿Ｎ－２＿２、Ａ＿Ｎ－２＿３と表すことができ、中間フレームと画像フレームＮ－３との間に差し込まれた３つの画像フレームは、Ａ＿Ｎ－３＿１、Ａ＿Ｎ－３＿２、Ａ＿Ｎ－３＿３と表すことができる。それと同時に、電子機器は、中間フレームと画像フレーム２との間、中間フレームと画像フレーム３、中間フレームと画像フレーム４との間に、第２動画と中間フレームとの間の候補遷移フレームとして３つの画像フレームをそれぞれ差し込むことができる。具体的には、中間フレームと画像フレーム２との間に差し込まれた３つの画像フレームは、Ｂ＿２＿３、Ｂ＿２＿２、Ｂ＿２＿１と表すことができ、中間フレームと画像フレーム３との間に差し込まれた３つの画像フレームは、Ｂ＿３＿３、Ｂ＿３＿２、Ｂ＿３＿１と表すことができ、中間フレームと画像フレーム４との間に差し込まれた３つの画像フレームは、Ｂ＿４＿３、Ｂ＿４＿２、Ｂ＿４＿１と表すことができる。続いて、Ａ＿Ｎ－３＿１、Ａ＿Ｎ－２＿２、Ａ＿Ｎ－１＿３を、それぞれＮ－３、Ｎ－２、Ｎ－１に対応するターゲット遷移フレームとし、Ｂ＿２＿３、Ｂ＿３＿２、Ｂ＿４＿１を、それぞれ画像フレーム２、画像フレーム３、画像フレーム４に対応するターゲット遷移フレームとし、最後に、Ｎ－４、Ａ＿Ｎ－３＿１、Ａ＿Ｎ－２＿２、Ａ＿Ｎ－１＿３、中間フレーム、Ｂ＿２＿３、Ｂ＿３＿２、Ｂ＿４＿１、画像フレーム４を連結し、動画Ａと動画Ｂとを結合した後のターゲット動画を取得する。
本願の実施例に係る動画結合方法は、まず、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込み、その後、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択し、また、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。つまり、本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを滑らかに連結し、非常に著しいホッピング痕の発生を回避することができる。一方、従来の動画結合方法において、人工ＰＳにより実現することが多く、多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高い。本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づいて動画結合を実現するという技術手段を採用するため、従来技術における人工ＰＳにより動画結合を実現するために多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高いという技術的問題を克服し、本願に係る技術案は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもでき、且つ、本願の実施例の技術案は、簡単に実現でき、普及しやすく、適用範囲が広い。
図４は、本願の実施例に係る動画結合方法の第３フローチャートである。上記技術案に基づいて更に最適化して拡張し、上記各好ましい実施形態と組み合わせることができる。図４に示すように、動画結合方法は、以下のステップを含んでもよい。
Ｓ４０１において、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込む。
Ｓ４０２において、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択する。
Ｓ４０３において、第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第１動画と中間フレームとの間の候補遷移フレームとしてＭ個の画像フレームをそれぞれ差し込む。
本ステップにおいて、電子機器は、第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第１動画と中間フレームとの間の候補遷移フレームとしてＭ個の画像フレームをそれぞれ差し込むことができる。例えば、電子機器は、中間フレームと画像フレームＮ－１、中間フレームと画像フレームＮ－２、中間フレームと画像フレームＮ－３の間に、第１動画と中間フレームとの間の候補遷移フレームとして９つの画像フレームをそれぞれ差し込むとともに、中間フレームと画像フレーム２、中間フレームと画像フレーム３、中間フレームと画像フレーム４の間に、第２動画と中間フレームとの間の候補遷移フレームとして９つの画像フレームをそれぞれ差し込むことができる。
Ｓ４０４において、第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと中間フレームとの間に、第２動画と中間フレームとの間の候補遷移フレームとしてＭ個（Ｍは１よりも大きい自然数である）の画像フレームをそれぞれ差し込む。
Ｓ４０５において、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画と中間フレームとの間の候補遷移フレーム、および第２動画と中間フレームとの間の候補遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。
本ステップにおいて、電子機器は、第１動画の後ろからＬ番目の画像フレーム、中間フレーム、第２動画のＬ番目の画像フレーム、第１動画と中間フレームとの間の候補遷移フレーム、および第２動画と中間フレームとの間の候補遷移フレームに基づき、第１動画と第２動画とを結合してターゲット動画とすることができる。具体的には、本願は、ｓｉｇｍｏｉｄ、ｃｏｓｉｎｅのようないくつかの非線形関数に基づいて非線形のサンプリングを行い、遷移曲線をより滑らかにすることができる。
図５は、本願の実施例に係る動画結合方法の第２原理模式図である。図５に示すように、第１動画が動画Ａで、第２動画が動画Ｂであると仮定し、Ｌの値が５である場合、電子機器は、後ろから前への順に従って動画Ａから５つの画像フレームを選択することができ、それぞれＡ＿Ｎ－４（図においてＮ－４と示される）、Ａ＿Ｎ－３（図においてＮ－３と示される）、Ａ＿Ｎ－２（図においてＮ－２と示される）、Ａ＿Ｎ－１（図においてＮ－１と示される）およびＡ＿Ｎ（図においてＮと示される）であり、それと同時に、動画Ｂで前から後ろへの順に５つの画像フレームを選択することもでき、それぞれＢ＿１（図において１と示される）、Ｂ＿２（図において２と示される）、Ｂ＿３（図において３と示される）、Ｂ＿４（図において４と示される）およびＢ＿５（図において５）である。本願は、ｓｉｇｍｏｉｄ、ｃｏｓｉｎｅのようないくつかの非線形関数に基づいて非線形のサンプリングを行うことができ、結合後の再生順序はＡ＿Ｎ－４、Ａ＿Ｎ－３＿２、Ａ＿Ｎ－２＿４、Ａ＿Ｎ－１＿７、中間フレーム、Ｂ＿２＿７、Ｂ＿３＿４、Ｂ＿４＿２、Ｂ＿５である。
本願の実施例に係る動画結合方法は、まず、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込み、その後、後ろから前への順および前から後ろへの順に従って、第１動画および第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択し、また、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを結合してターゲット動画とする。つまり、本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づき、第１動画と第２動画とを滑らかに連結し、非常に著しいホッピング痕の発生を回避することができる。一方、従来の動画結合方法において、人工ＰＳにより実現することが多く、多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高い。本願は、中間フレーム、第１動画におけるＬ個の画像フレーム、および第２動画におけるＬ個の画像フレームに基づいて動画結合を実現するという技術手段を採用するため、従来技術における人工ＰＳにより動画結合を実現するために多大の労力がかかる必要があり、速度が遅く、時間がかかり、且つ高価でコストが高いという技術的問題を克服し、本願に係る技術案は、動画間の滑らかな遷移を実現することができ、動画の結合の難しさを大きく低減することができるとともに、結合速度を高め、コストを低減することもでき、且つ、本願の実施例の技術案は、簡単に実現でき、普及しやすく、適用範囲が広い。
図６は、本願の実施例に係る動画結合装置の構造模式図である。図６に示すように、前記装置６００は、フレーム差込モジュール６０１と、選択モジュール６０２と、結合モジュール６０３とを備える。
前記フレーム差込モジュール６０１は、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことに用いられる。
前記選択モジュール６０２は、後ろから前への順および前から後ろへの順に従って、前記第１動画および前記第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することに用いられる。
前記結合モジュール６０３は、前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる。
更に、前記結合モジュール６０３は、具体的に、前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込み、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込み、前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる。
更に、前記結合モジュール６０３は、具体的に、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとし、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとし、前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレーム、および前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる。
更に、前記結合モジュール６０３は、具体的に、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、１番目の画像フレームないしＬ－２番目の画像フレームをそれぞれ選択して前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることに用いられる。
更に、前記結合モジュール６０３は、具体的に、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、Ｌ－２番目の画像フレームないし１番目の画像フレームをそれぞれ選択して前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることに用いられる。
更に、前記結合モジュール６０３は、具体的に、前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＭ個の画像フレームをそれぞれ差し込み、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＭ個（Ｍは１よりも大きい自然数である）の画像フレームをそれぞれ差し込み、前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる。
上記動画結合装置は、本願のいずれかの実施例に係る方法を実行することができ、方法の実行に対応する機能モジュールおよび有益な効果を備える。本実施例で詳しく説明されていない技術詳細は、本発明のいずれかの実施例に係る動画結合方法を参照することができる。
本開示の技術案に係るユーザの個人情報の収集、記憶、および使用等は、いずれも関連法律法規の規定に該当し、公序良俗に反していない。
本開示の実施例によれば、本開示は、電子機器、可読記憶媒体およびコンピュータプログラム製品を更に提供する。
図７は、本開示の実施例を実施可能な例示的な電子機器７００の模式的なブロック図を示す。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話機、スマートフォン、ウェアラブル機器および他の類似する計算装置のような様々な形式の移動装置を表すこともできる。本開示に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本開示に記載および／または要求される本開示の実現を限定するものではない。
図７に示すように、機器７００は、計算ユニット７０１を備え、読み出し専用メモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム、または記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づき、様々な適当な動作および処理を実行することができる。ＲＡＭ ７０３には、機器７００の操作に必要な様々なプログラムおよびデータが記憶されてもよい。計算ユニット７０１、ＲＯＭ ７０２およびＲＡＭ ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。
機器７００における複数のコンポーネントはＩ／Ｏインタフェース７０５に接続され、キーボード、マウス等のような入力ユニット７０６と、各種のディスプレイ、スピーカ等のような出力ユニット７０７と、磁気ディスク、光ディスク等のような記憶ユニット７０８と、ネットワークカード、モデム、無線通信送受信機等のような通信ユニット７０９とを備える。通信ユニット７０９は、機器７００がインターネットのようなコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。
計算ユニット７０１は、処理および計算能力を有する汎用および／または専用の処理アセンブリであってもよい。計算ユニット７０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）コンピューティングチップ、各種の機械学習モデルアルゴリズムを実行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラ、マイクロコントローラ等を含んでもよいが、これらに限定されない。計算ユニット７０１は、上記様々な方法および処理、例えば、動画結合方法を実行する。例えば、いくつかの実施例において、動画結合方法は、コンピュータソフトウェアプログラムとして実現でき、有形的に記憶ユニット７０８のような機器可読媒体に含まれている。いくつかの実施例において、コンピュータプログラムの一部または全ては、ＲＯＭ ７０２および／または通信ユニット７０９を介して機器７００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ ７０３にロードされて計算ユニット７０１により実行されると、上記動画結合方法の１つまたは複数のステップを実行することができる。あるいは、他の実施例において、計算ユニット７０１は、他の任意の適当な方式（例えば、ファームウェアを介して）により、動画結合方法を実行するように構成され得る。
本開示に記載されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準パーツ（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらの様々な実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせでコードできる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供でき、これにより、プログラムコードがプロセッサまたはコントローラにより実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実施される。プログラムコードは、完全に機器で実行されてもよいし、一部が機器で実行されてもよいし、独立したソフトウェアパッケージとして一部が機器で実行されて一部がリモート機器で実行されてもよいし、完全にリモート機器またはサーバで実行されてもよい。
本開示の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用ディスク（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。
ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよびポインティング装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するために使用できる。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。
ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワーク、およびインターネットを含む。
コンピューティングシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。サーバはクラウドサーバであってもよいし、分散システムのサーバであってもよいし、ブロックチェーンを組み合わせたサーバであってもよい。
上記に示す様々な形式のフローを用い、ステップを並べ替え、追加または削除することができることを理解すべきである。例えば、本開示に記載された各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本開示に開示された技術案の所望する結果を達成できる限り、本開示はここで限定しない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本開示の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本開示の保護範囲内に含まれているべきである。

Claims (15)

  1. 第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことと、
    後ろから前への順および前から後ろへの順に従って、前記第１動画および前記第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することと、
    前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることと、を含む、
    動画結合方法。
  2. 前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることは、
    前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることと、を含む、
    請求項１に記載の方法。
  3. 前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることは、
    前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレーム、および前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることと、を含む、
    請求項２に記載の方法。
  4. 前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第１動画の後ろからＬ－２番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることは、
    前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、１番目の画像フレームないしＬ－２番目の画像フレームをそれぞれ選択して、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることを含む、
    請求項３に記載の方法。
  5. 前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることは、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、Ｌ－２番目の画像フレームないし１番目の画像フレームをそれぞれ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることを含む、
    請求項３に記載の方法。
  6. 前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることは、
    前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＭ個の画像フレームをそれぞれ差し込むことと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＭ個（Ｍは１よりも大きい自然数である）の画像フレームをそれぞれ差し込むことと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることと、を含む、
    請求項１に記載の方法。
  7. フレーム差込モジュールと、選択モジュールと、結合モジュールとを備え、
    前記フレーム差込モジュールは、第１動画の最後の画像フレームと第２動画の１番目の画像フレームとの間に、中間フレームを１つ差し込むことに用いられ、
    前記選択モジュールは、後ろから前への順および前から後ろへの順に従って、前記第１動画および前記第２動画からそれぞれＬ個（Ｌは１よりも大きい自然数である）の画像フレームを順次選択することに用いられ、
    前記結合モジュールは、前記中間フレーム、前記第１動画におけるＬ個の画像フレーム、および前記第２動画におけるＬ個の画像フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることに用いられる、
    動画結合装置。
  8. 前記結合モジュールは、
    前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの間の各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＬ－２個の画像フレームをそれぞれ差し込むことと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることとに用いられる、
    請求項７に記載の装置。
  9. 前記結合モジュールは、
    前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、画像フレームをそれぞれ１つ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレーム、および前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることとに用いられる、
    請求項８に記載の装置。
  10. 前記結合モジュールは、
    前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、１番目の画像フレームないしＬ－２番目の画像フレームをそれぞれ選択して、前記第１動画の後ろからＬ－１番目の画像フレームから、後ろから２番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることに用いられる、
    請求項９に記載の装置。
  11. 前記結合モジュールは、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間のＬ－２個の画像フレームから、Ｌ－２番目の画像フレームないし１番目の画像フレームをそれぞれ選択して、前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームに対応するターゲット遷移フレームとすることに用いられる、
    請求項９に記載の装置。
  12. 前記結合モジュールは、
    前記第１動画の後ろから２番目の画像フレームから、後ろからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第１動画と前記中間フレームとの間の候補遷移フレームとしてＭ個の画像フレームをそれぞれ差し込むことと、
    前記第２動画の２番目の画像フレームからＬ－１番目の画像フレームまでの各画像フレームと前記中間フレームとの間に、前記第２動画と前記中間フレームとの間の候補遷移フレームとしてＭ個（Ｍは１よりも大きい自然数である）の画像フレームをそれぞれ差し込むことと、
    前記第１動画の後ろからＬ番目の画像フレーム、前記中間フレーム、前記第２動画のＬ番目の画像フレーム、前記第１動画と前記中間フレームとの間の候補遷移フレーム、および前記第２動画と前記中間フレームとの間の候補遷移フレームに基づき、前記第１動画と前記第２動画とを結合してターゲット動画とすることとに用いられる、
    請求項７に記載の装置。
  13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備える電子機器であって、
    前記メモリに、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
    前記命令は、前記少なくとも１つのプロセッサが請求項１から６のいずれか１項に記載の方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
    電子機器。
  14. コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、請求項１から６のいずれか１項に記載の方法をコンピュータに実行させることに用いられる、
    非一時的なコンピュータ可読記憶媒体。
  15. プロセッサにより実行されると、請求項１から６のいずれか１項に記載の動画結合方法を実現する、
    コンピュータプログラム。
JP2022152697A 2021-11-08 2022-09-26 動画結合方法、装置、電子機器および記憶媒体 Pending JP2023070068A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111315996.1A CN114125324B (zh) 2021-11-08 2021-11-08 一种视频拼接方法、装置、电子设备及存储介质
CN202111315996.1 2021-11-08

Publications (1)

Publication Number Publication Date
JP2023070068A true JP2023070068A (ja) 2023-05-18

Family

ID=80377591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022152697A Pending JP2023070068A (ja) 2021-11-08 2022-09-26 動画結合方法、装置、電子機器および記憶媒体

Country Status (4)

Country Link
US (1) US20230145443A1 (ja)
EP (1) EP4177887A1 (ja)
JP (1) JP2023070068A (ja)
CN (1) CN114125324B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679605B (zh) * 2022-03-25 2023-07-18 腾讯科技（深圳）有限公司 视频过渡方法、装置、计算机设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
JP2005268991A (ja) * 2004-03-17 2005-09-29 Seiko Epson Corp 画像処理装置、画像処理方法およびそのプログラム、記録媒体
JP2007184869A (ja) * 2006-01-10 2007-07-19 Fujifilm Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
US20150155009A1 (en) * 2013-12-03 2015-06-04 Nokia Corporation Method and apparatus for media capture device position estimate- assisted splicing of media
EP3013055A1 (en) * 2014-10-23 2016-04-27 Thomson Licensing Video frame set processing cost management method, apparatus and related computer program product
KR20180025797A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 영상 스트리밍 방법 및 이를 지원하는 전자 장치
CN111294644B (zh) * 2018-12-07 2021-06-25 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质
CN111385490B (zh) * 2018-12-28 2021-07-13 清华大学 视频拼接方法及装置
CN111640187B (zh) * 2020-04-20 2023-05-02 中国科学院计算技术研究所 一种基于插值过渡的视频拼接方法及系统
CN111970562A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN112200739B (zh) * 2020-09-30 2024-11-15 北京大米科技有限公司 一种视频处理的方法、装置、可读存储介质和电子设备
CN113542651B (zh) * 2021-05-28 2023-10-27 爱芯元智半导体(宁波)有限公司 模型训练方法、视频插帧方法及对应装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359712A (en) * 1991-05-06 1994-10-25 Apple Computer, Inc. Method and apparatus for transitioning between sequences of digital information
JP2005268991A (ja) * 2004-03-17 2005-09-29 Seiko Epson Corp 画像処理装置、画像処理方法およびそのプログラム、記録媒体
JP2007184869A (ja) * 2006-01-10 2007-07-19 Fujifilm Corp 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
CN114125324B (zh) 2024-02-06
CN114125324A (zh) 2022-03-01
EP4177887A1 (en) 2023-05-10
US20230145443A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN111654746B (zh) 视频的插帧方法、装置、电子设备和存储介质
CN113365110B (zh) 模型训练、视频插帧方法，装置，设备以及存储介质
CN111225236B (zh) 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN112102449B (zh) 虚拟人物的生成方法、展示方法及装置、设备和介质
CN113038237B (zh) 直播信息处理方法、装置、设备及存储介质
CN113453073B (zh) 一种图像渲染方法、装置、电子设备及存储介质
CN114339069B (zh) 视频处理方法、装置、电子设备及计算机存储介质
US11836836B2 (en) Methods and apparatuses for generating model and generating 3D animation, devices and storage mediums
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114693934A (zh) 语义分割模型的训练方法、视频语义分割方法及装置
CN113014937B (zh) 视频插帧方法、装置、设备以及存储介质
CN113365146A (zh) 用于处理视频的方法、装置、设备、介质和产品
JP2023070068A (ja) 動画結合方法、装置、電子機器および記憶媒体
CN114005063A (zh) 视频处理方法及装置
CN113327311B (zh) 基于虚拟角色的显示方法、装置、设备、存储介质
CN113240780B (zh) 生成动画的方法和装置
CN116074576A (zh) 视频生成方法、装置、电子设备和存储介质
CN113542802A (zh) 视频的转场方法和装置
CN114638919A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端
CN113836455A (zh) 特效渲染方法、装置、设备、存储介质及计算机程序产品
CN113691866B (zh) 视频处理方法、装置、电子设备和介质
CN117194696B (zh) 基于人工智能的内容生成方法、装置、设备和存储介质
CN112954423B (zh) 一种动画播放方法、装置及设备
CN114979471B (zh) 界面显示方法、装置、电子设备及计算机可读存储介质
CN116363331B (zh) 图像生成方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240521