JP2022176206A - Information processing device, moving image synthesis method and moving image synthesis program - Google Patents
Information processing device, moving image synthesis method and moving image synthesis program Download PDFInfo
- Publication number
- JP2022176206A JP2022176206A JP2022141578A JP2022141578A JP2022176206A JP 2022176206 A JP2022176206 A JP 2022176206A JP 2022141578 A JP2022141578 A JP 2022141578A JP 2022141578 A JP2022141578 A JP 2022141578A JP 2022176206 A JP2022176206 A JP 2022176206A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- singing
- video
- image
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 116
- 230000010365 information processing Effects 0.000 title claims abstract description 27
- 238000001308 synthesis method Methods 0.000 title abstract 2
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 114
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 51
- 239000000203 mixture Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000005034 decoration Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
Description
本発明は、情報処理装置、動画合成方法及び動画合成プログラムに関するものである。 The present invention relates to an information processing device, a moving image composition method, and a moving image composition program.
近年、コンピュータネットワークを介して携帯端末等の情報処理装置に配信されるウェブサイト（Ｗｅｂページ，Ｗｅｂサービス）やオンラインゲーム、アプリケーションソフトウェア（以下「アプリ」という。）等のオンラインサービスが広く普及している。 In recent years, online services such as websites (web pages, web services), online games, and application software (hereinafter referred to as "apps") delivered to information processing devices such as mobile terminals via computer networks have become widespread. there is
オンラインサービスの一つに、ユーザ自身が撮影した動画を投稿し、他のユーザによる当該動画の視聴を可能とする動画投稿サイトがある。この動画投稿サイトには、ユーザ自身による歌唱動画等のパフォーマンス動画の投稿も行われている。このため、ユーザはより良い自身の歌唱動画を投稿するために、投稿する歌唱動画の編集を行う場合がある。 As one of the online services, there is a video posting site where a user himself/herself can post a video shot and other users can watch the video. Performance videos such as singing videos are also posted by users themselves to this video posting site. Therefore, in order to post a better singing video of the user, the user may edit the singing video to be posted.
ここで、特許文献１には、カラオケ楽曲の演奏を中止した場合であっても、再度、当該カラオケ楽曲を最初から歌い直すことなく最終的な歌唱音声の録音データを得ることを目的とした演奏中止対応カラオケ録音システムが開示されている。
Here, in
この演奏中止対応カラオケ録音システムは、演奏が中止されたカラオケ楽曲の再演奏を指示する再演奏指示手段と、録音手段の機能により歌唱音声の録音が行われている任意のカラオケ楽曲について演奏が中止された場合に、少なくとも、当該カラオケ楽曲の楽曲と、録音済演奏範囲データと、中途録音データと、を紐付けして記録する録音情報記録手段と、カラオケ楽曲の再演奏が指示された場合には、録音済演奏範囲データに基づき、録音済演奏範囲については歌唱音声の録音を行わないように制御するものである。 This performance stop compatible karaoke recording system includes replay instruction means for instructing replay of a karaoke song whose performance has been stopped, and the function of the recording means to stop playing any karaoke song whose singing voice is being recorded. recording information recording means for recording at least the music of the karaoke music, the recorded performance range data, and the interim recording data in association with each other when the replay of the karaoke music is instructed; , based on the recorded performance range data, controls so that the singing voice is not recorded in the recorded performance range.
特許文献１に開示されているシステムでは、録音が途中で中止された時点以降の録音が追加で行われるものであり、ユーザは、追加録音を行うカラオケ楽曲のタイミングを自身で決定できない。このため、ユーザは、歌唱を失敗しても、失敗した部分の録音をやり直すことができない。さらに、特許文献１に開示されている演奏中止対応カラオケ録音システムでは、歌唱音声の録音を行うものの歌唱動画等のパフォーマンス動画を撮影するものではない。
In the system disclosed in
本発明は、このような事情に鑑みてなされたものであって、ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる、情報処理装置、動画合成方法及び動画合成プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances. An object of the present invention is to provide a method and a program for synthesizing moving images.
上記課題を解決するために、本発明の情報処理装置、動画合成方法及び動画合成プログラムは以下の手段を採用する。 In order to solve the above problems, the information processing apparatus, moving image composition method, and moving image composition program of the present invention employ the following means.
上記課題を解決するため、本発明の一態様である「情報処理装置」は、カメラで撮影した画像を動画として録画する情報処理装置であって、先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、前記カメラで前記第２動画を録画する録画制御手段と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、を備える。 In order to solve the above-described problems, an "information processing apparatus" according to one aspect of the present invention is an information processing apparatus that records an image captured by a camera as a moving image, and records a first moving image that has been previously recorded. determination means for determining a synthesis start position for starting synthesis of a second moving image to be recorded; recording control means for recording the second moving image by the camera; and a moving image synthesizing means for synthesizing the second moving image.
上記課題を解決するため、本発明の一態様である「動画合成方法」は、カメラで第１動画を録画する第１工程と、前記第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する第２工程と、前記カメラで前記第２動画を録画する第３工程と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する第４工程と、を有する。 In order to solve the above problems, a ``moving image composition method'' according to one aspect of the present invention includes: a first step of recording a first moving image with a camera; a second step of determining a synthesis start position for starting the synthesis, a third step of recording the second video with the camera, and combining the first video and the second video at the synthesis start position of the first video and a fourth step of synthesizing.
上記課題を解決するため、本発明の一態様である「動画合成プログラム」は、カメラで撮影した画像を動画として録画する情報処理装置が備えるコンピュータを、先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、前記カメラで前記第２動画を録画する録画制御手段と、前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、して機能させる。 In order to solve the above-described problems, a "moving image synthesizing program" according to one aspect of the present invention causes a computer included in an information processing device that records an image captured by a camera as a moving image to determining means for determining a composition start position for starting composition of a second moving image to be recorded later; recording control means for recording the second moving image by the camera; and the second moving image.
上記「情報処理装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「動画合成方法」が実行する処理ステップや「動画合成プログラム」の機能に加えてもよい。 Various technical limitations may be added to the above "information processing apparatus" as exemplified below. Also, technical limitations to the same effect may be added to the processing steps executed by the "moving image synthesizing method" and the functions of the "moving image synthesizing program".
前記第１動画の前記合成開始位置における画像である合成開始位置画像を、前記第２動画の録画開始時に画面に表示する画像表示制御手段を備える。 An image display control means is provided for displaying a synthesis start position image, which is an image at the synthesis start position of the first moving image, on a screen when recording of the second moving image is started.
前記画像表示制御手段は、前記第２動画を録画するために前記カメラで撮影されている画像に前記合成開始位置画像を重畳して前記画面に表示する。 The image display control means superimposes the composition start position image on the image taken by the camera for recording the second moving image and displays the image on the screen.
前記動画合成手段は、前記第１動画と前記第２動画との合成部分を目立たせないための画像処理を行う。 The moving image synthesizing means performs image processing for making the synthesized portion of the first moving image and the second moving image inconspicuous.
前記動画合成手段は、前記合成開始位置から所定期間の前記第１動画と前記第２動画とを重畳させて、前記第１動画と前記第２動画とを合成する。 The moving image synthesizing means superimposes the first moving image and the second moving image for a predetermined period from the synthesis start position to synthesize the first moving image and the second moving image.
前記第１動画及び前記第２動画は、楽曲が再生されながら録画される動画である。 The first moving image and the second moving image are moving images that are recorded while music is played back.
前記録画制御手段は、前記合成開始位置の前から前記楽曲の再生を開始し、再生した楽曲が前記合成開始位置に対応するタイミングに達すると前記第２動画の録画を開始する。 The recording control means starts reproducing the music from before the synthesis start position, and starts recording the second moving image when the reproduced music reaches a timing corresponding to the synthesis start position.
前記録画制御手段は、前記第２動画の録画開始前から前記楽曲の再生を開始すると共に、前記第２動画の録画開始のカウントダウンを行う。 The recording control means starts reproducing the music before recording of the second moving image is started, and counts down the start of recording of the second moving image.
前記合成開始位置として設定可能な位置は、前記楽曲の予め定められた位置である。 A position that can be set as the synthesis start position is a predetermined position of the music piece.
本発明によれば、ユーザがカメラを用いて動画の録画を行う場合に、ユーザが望ましいと感じる動画を容易に作成できる、という効果を有する。 ADVANTAGE OF THE INVENTION According to this invention, when a user records a moving image using a camera, it has the effect that the moving image which a user feels desirable can be produced easily.
以下に、本発明に係る情報処理装置、動画合成方法及び動画合成プログラムの一実施形態について、図面を参照して説明する。 An embodiment of an information processing apparatus, a moving image synthesizing method, and a moving image synthesizing program according to the present invention will be described below with reference to the drawings.
本実施形態ではパフォーマーが自身のパフォーマンスを携帯端末を用いて動画として記録してサーバへ送信することで動画投稿サイトにアップロードする。動画投稿サイトにアップロードされた動画（投稿動画）は、携帯端末を介して視聴可能とされる。なお、本実施形態では、パフォーマンスを歌唱とし、パフォーマーを歌唱ユーザとし、動画投稿サイトにアップロードされる動画を歌唱動画とする。また、動画投稿サイトにアップロードされた歌唱動画を視聴するユーザを視聴ユーザという。 In this embodiment, the performer records his or her own performance as a moving image using a portable terminal and transmits the moving image to a server, thereby uploading it to a moving image posting site. A moving image (posted moving image) uploaded to the moving image posting site can be viewed via a mobile terminal. In this embodiment, the performance is singing, the performer is the singing user, and the video uploaded to the video posting site is the singing video. A user who views a singing video uploaded to a video posting site is called a viewing user.
［１．カラオケシステムの構成］
図１は、本実施形態に係るカラオケシステム１の概略構成図である。カラオケシステム１は、通信回線２、複数の携帯端末３（携帯端末３Ａ，３Ｂ）、及びサーバ４を含んで構成される。
[1. Configuration of karaoke system]
FIG. 1 is a schematic configuration diagram of a
通信回線２は、コンピュータネットワークを形成するものであり、例えば、電気事業者によって提供される広域通信回線である。
The
携帯端末３は、例えば、スマートフォンやタブレット端末、ノートパソコン等の情報処理端末であり、オンラインサービスをユーザが利用するために用いられる。携帯端末３は、画像を表示するタッチパネルディスプレイ３ａ、音を出力するスピーカー３ｂ、音が入力されるマイクロフォン３ｃ、被写体を撮影するカメラ３ｄ、及びイヤホン（不図示）が接続されるイヤホン端子３e等を備える。なお、ここでいう撮影とは、カメラ３ｄが機能し、録画の有無にかかわりなく被写体がタッチパネルディスプレイ３ａに表示されている状態である。タッチパネルディスプレイ３ａは、例えばＬＣＤ（Liquid Crystal Display）及びタッチセンサを備える。ＬＣＤは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。以下の説明ではタッチパネルディスプレイ３ａを画面３ａともいう。
The
サーバ４は、通信回線２を介して、携帯端末３へオンラインサービスを提供する情報処理装置である。なお、図１の例では、歌唱ユーザは、携帯端末３Ａから自身の歌唱動画（歌唱動画データ）をサーバ４へ送信することで当該歌唱動画を動画投稿サイトにアップロードする。そして、視聴ユーザは、携帯端末３Ｂを用いて動画投稿サイトへアクセスし、当該歌唱動画を視聴する。なお、歌唱ユーザは、携帯端末３Ａを用いて動画投稿サイトへアクセスすることで、自身がアップロードした歌唱動画を視聴することも可能である。また、携帯端末３Ｂのユーザが歌唱ユーザとなり、歌唱動画を動画投稿サイトにアップロードすることも可能である。
The
［２．サーバの構成］
図２は、本実施形態に係るサーバ４の電気的構成を示すブロック図である。
[2. Server configuration]
FIG. 2 is a block diagram showing the electrical configuration of the
本実施形態に係るサーバ４は、サーバ４全体の動作を司る主制御部であるＣＰＵ（Central Processing Unit）２０、各種プログラム及び各種データ等が予め記憶されたＲＯＭ
（Read Only Memory）２２、ＣＰＵ２０による各種プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４、各種プログラム及び各種データを記憶する記憶手段としてのＨＤＤ（Hard Disk Drive）２６を備えている。
The
(Read Only Memory) 22, RAM (Random Access Memory) 24 used as a work area or the like when various programs are executed by the
ＨＤＤ２６は、携帯端末３Ａから送信された歌唱動画データ、すなわち動画投稿サイトにアップロードされた歌唱動画データや、歌唱ユーザが歌唱可能な楽曲を示す楽曲データ等を記憶する。なお、記憶手段は、ＨＤＤ２６に限らず、例えば、フラッシュメモリ等の半導体メモリ等の他の記憶媒体であってもよい。
The
さらに、サーバ４は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部２８、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ３０、通信回線２を介して携帯端末３等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行う外部インタフェース３２を備えている。
Further, the
これらＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、ＨＤＤ２６、操作入力部２８、モニタ３０、及び外部インタフェース３２は、システムバス３４を介して相互に電気的に接続されている。従って、ＣＰＵ２０は、ＲＯＭ２２、ＲＡＭ２４、及びＨＤＤ２６へのアクセス、操作入力部２８に対する操作状態の把握、モニタ３０に対する画像の表示、並びに外部インタフェース３２を介した他の情報処理装置等との各種データの送受信等を行なうことができる。
The
［３．携帯端末の電気的構成］
図３は、携帯端末３の電気的構成を示す機能ブロック図である。
[3. Electrical Configuration of Mobile Terminal]
FIG. 3 is a functional block diagram showing the electrical configuration of the
携帯端末３は、図１に示される構成に加え、主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、及び操作ボタン４８を備える。
The
主制御部４０は、例えば、ＣＰＵ、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、携帯端末３の全体の動作を制御する。
The
主記憶部４２は、例えば、ＲＡＭやＤＲＡＭ（Dynamic Random Access Memory）等で構成されており、主制御部４０による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。
The
補助記憶部４４は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部４０の処理に利用されるプログラム等を保存する。補助記憶部４４に記憶されるプログラムは、例えば、携帯端末３の基本的な機能を実現するためのＯＳ（Operating System）、各種ハードウェアを制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのプログラム等である。また、補助記憶部４４には、歌唱動画の撮影や投稿及び動画投稿サイトを視聴するためのアプリケーション
（以下「動画投稿視聴アプリ」という。）が予め記憶されている。
The
通信部４６は、例えばＮＩＣ（Network Interface Controller）であり、通信回線２に接続する機能を有する。なお、通信部４６は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。
The
操作ボタン４８は、携帯端末３の側面に設けられ、携帯端末３を起動又は停止させるための電源ボタンやスピーカー３ｂが出力する音のボリューム調整ボタン等である。
The
これら主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、操作ボタン４８、タッチパネルディスプレイ３ａ、スピーカー３ｂ、マイクロフォン３ｃ、カメラ３ｄ、及びイヤホン端子３ｅは、システムバス４９を介して相互に電気的に接続されている。従って、主制御部４０は、主記憶部４２及び補助記憶部４４へのアクセス、タッチパネルディスプレイ３ａに対する画像の表示、ユーザによるタッチパネルディスプレイ３ａや操作ボタン４８に対する操作状態の把握、マイクロフォン３ｃへの音の入力、スピーカー３ｂ又はイヤホン端子３ｅに接続されたイヤホンからの音の出力、カメラ３ｄに対する制御、及び通信部４６を介した各種通信網や他の情報処理装置へのアクセス等を行える。
The
［４．歌唱ユーザによる歌唱動画の撮影］
歌唱ユーザが、携帯端末３Ａを用いて歌唱動画を撮影する場合について説明する。
[4. Recording of singing videos by singing users]
A case where a singing user shoots a singing video using the
歌唱ユーザは、歌唱動画を撮影する場合、携帯端末３Ａに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末３Ａは複数の楽曲データを記憶したサーバ４にアクセスする。そして、歌唱ユーザは、動画投稿視聴アプリから自身で歌唱するための楽曲を任意に選択し、サーバ４から楽曲データを携帯端末３Ａへダウンロードする。そして、歌唱ユーザは、動画投稿視聴アプリを用いて任意のタイミングで楽曲を再生して歌唱を行う。動画投稿視聴アプリは、楽曲の再生を開始すると共に、カメラ３ｄによって動画の撮影を開始する。すなわち、歌唱動画は、携帯端末３Ａから楽曲が再生されながら携帯端末３Ａによって撮影された動画である。
A singing user activates a video posting viewing application on the
なお、楽曲データには、歌詞データも関連付けられており、楽曲データがサーバ４から携帯端末３Ａにダウンロードされる場合には関連付けられている歌詞データも携帯端末３Ａにダウンロードされる。なお、以下の説明において、楽曲データには歌詞データも含まれるものとする。
The song data is also associated with lyric data, and when the song data is downloaded from the
図４は、歌唱動画を撮影する場合における携帯端末３Ａの画面３ａにおける表示状態（以下「画面表示」という。）の一例である。
FIG. 4 is an example of a display state (hereinafter referred to as "screen display") on the
図４に示されるように画面３ａは、歌詞表示領域５０Ａ及び撮影画像表示領域５０Ｂに分けられる。歌詞表示領域５０Ａは、ユーザが歌唱する楽曲の歌詞を示す歌詞画像５２、楽曲の音程を示す音程画像５４、及び撮影の進行度合いを示す進行バー５６を含む。
As shown in FIG. 4, the
歌詞画像５２及び音程画像５４は、楽曲の進行に応じて更新される。本実施形態では、一例として、歌詞画像５２及び音程画像５４は数フレーズずつ更新して歌詞表示領域５０Ａに表示される。なお、歌詞画像５２と音程画像５４の更新タイミングは同じであってもよいし、異なってもよい。
The
歌詞画像５２は、一例として、歌詞を複数段（図４の例では２段）で表示し、歌唱ユーザが現在歌唱すべき歌詞を把握可能なように、上段の歌詞の色が楽曲の進行に合わせて左端から右端へ変化する。上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。
As an example, the
音程画像５４は、一例として、複数の音程バー５４Ａが音程の強弱に合わせて左右方向に階段状に表示される。そして、歌唱ユーザが現在歌唱すべき歌詞の音程を把握可能なように、楽曲の進行に合わせて音程バー５４Ａの色が左端から右端へ変化すると共にポインタ５４Ｂが左端から右端へ移動する。音程バー５４Ａの色の変化及びポインタ５４Ｂが右端に達すると、次の音程を示す音程画像５４が更新表示される。
In the
進行バー５６は、一例として、左端から右端までの長さが楽曲全体の長さを示す。楽曲の再生が開始すると楽曲の再生位置を示すポインタ５６Ａが左端から右端へ移動し、ポインタ５６Ａが右端に達すると楽曲の終了となる。なお、ポインタ５６Ａが通過した進行バー５６は、進行前の位置に比べて太く表示される。
As an example, the
歌唱動画の録画は、歌唱ユーザが楽曲を選択した後、画面３ａに表示される録画開始ボタン（不図示）をクリックしてから所定時間後（例えば１０秒後）に開始される。また、動画の録画開始と終了は、楽曲の開始と終了に一致してもよいが、これに限らず、楽曲の開始所定時間前（例えば５秒前）から動画の録画が開始してもよいし、楽曲の終了所定時間後（例えば５秒後）に動画の録画が終了してもよい。
Recording of the singing video is started after a predetermined time (for example, 10 seconds) after the singing user selects a song and clicks a recording start button (not shown) displayed on the
歌唱ユーザは、イヤホンをイヤホン端子３ｅに接続して再生される楽曲をイヤホンを用いて聴き、当該楽曲に合わせて歌唱する。携帯端末３Ａは、カメラ３ｄによって歌唱ユーザを撮影すると共に、マイクロフォン３ｃによって歌唱ユーザの歌唱を録音する。すなわち、マイクロフォン３ｃは再生される楽曲の音は取得しない。そして、携帯端末３Ａはマイクロフォン３ｃで取得した歌唱ユーザの歌声を録音し、歌唱データとする。
A singing user connects an earphone to the
なお、歌唱データは、フィルタリング処理によって人間の声の周波数帯域を抽出したものとされてもよい。このフィルタリング処理によって、歌唱ユーザの周辺環境に起因する雑音が歌唱データから取り除かれることになるので、録音される歌唱ユーザの歌声がより鮮明となる。 The singing data may be obtained by extracting the frequency band of human voice by filtering. This filtering process removes noise caused by the surrounding environment of the singing user from the singing data, so that the recorded singing voice of the singing user becomes clearer.
そして、動画投稿視聴アプリは、楽曲データ及び歌唱データに録画データを組み合わせることで、サーバ４へ送信可能な歌唱動画データとする。なお、ユーザは、一例として、歌唱動画データをサーバ４へ送信するタイミング、すなわち、動画投稿サイトへアップロードするタイミングとして下記の２種類のうち一つを選択できる。
Then, the moving image posting viewing application combines the song data and the singing data with the recorded data to create singing moving image data that can be transmitted to the
一つは、歌唱ユーザが歌唱しながらリアルタイムで歌唱動画データを動画投稿サイトへアップロードするライブ配信である。ライブ配信では、視聴ユーザは歌唱ユーザによる歌唱をリアルタイムで視聴することになる。もう一つは、楽曲の歌唱が完了した後に、歌唱ユーザが任意のタイミングで動画投稿サイトへ歌唱動画データをアップロードする非ライブ配信である。 One is live distribution in which a singing user sings and uploads singing video data to a video posting site in real time. In the live distribution, the viewing user will view the singing by the singing user in real time. The other is non-live distribution in which the singing user uploads the singing video data to the video posting site at any timing after the singing of the song is completed.
歌唱ユーザは、ライブ配信を行う場合には歌唱動画の録画前にライブ配信を行うための設定を行い、動画の録画開始と共に歌唱動画データが動画投稿サイトへアップロードされるようにする。なお、ライブ配信の場合には、歌唱動画データは携帯端末３Ａに記憶されることなく、動画投稿サイトへアップロードされてもよい。
When live distribution is to be performed, the singing user performs settings for live distribution before recording the singing video, so that the singing video data is uploaded to the video posting site at the same time as the recording of the video is started. In the case of live distribution, the singing video data may be uploaded to the video posting site without being stored in the
なお、ライブ配信を行う場合の設定として、視聴ユーザがライブ配信で当該歌唱動画を視聴可能とする第１ライブ配信設定、ライブ配信後でも視聴ユーザが当該歌唱動画を視聴可能とする第２ライブ配信設定の何れか歌唱ユーザが設定可能とされる。すなわち、第１ライブ配信設定では、ライブ配信が終了するとサーバ４から歌唱動画データが削除され、視聴ユーザはライブ配信の終了後にライブ配信された歌唱動画の視聴ができない。一方、第２ライブ配信では、ライブ配信が終了してもサーバ４が当該歌唱動画データを記憶し続けるので、視聴ユーザはライブ配信の終了後でも非ライブ配信として当該歌唱動画の視聴ができる。
In addition, as settings for live distribution, the first live distribution setting that allows the viewing user to view the singing video in the live distribution, and the second live distribution that allows the viewing user to view the singing video even after the live distribution Any of the settings can be set by the singing user. That is, in the first live distribution setting, when the live distribution ends, the singing video data is deleted from the
なお、非ライブ配信を行う場合には、歌唱動画データは携帯端末３Ａに一旦記憶され、歌唱ユーザが動画投稿視聴アプリを操作することで任意のタイミングで動画投稿サイトへ歌唱動画をアップロードする。
In the case of non-live distribution, the singing video data is temporarily stored in the
［５．視聴ユーザによる歌唱動画の視聴］
視聴ユーザが、携帯端末３Ｂを用いて歌唱動画を視聴する場合について説明する。
[5. Viewing of singing video by viewing user]
A case where the viewing user uses the
視聴ユーザは、歌唱動画を視聴する場合、携帯端末３Ｂに動画投稿視聴アプリを起動させる。動画投稿視聴アプリが起動すると、携帯端末３Ｂは複数の歌唱動画データを記憶したサーバ４、すなわち動画投稿サイトにアクセスする。そして、視聴ユーザは、動画投稿視聴アプリを介して視聴したい歌唱動画を選択して画面３ａに表示させる。なお、サーバ４による携帯端末３Ｂへの歌唱動画の配信手法は一例として、ストリーミング配信である。
When viewing a singing video, the viewing user activates the video posting viewing application on the
図５は、歌唱動画を視聴する場合における携帯端末３Ｂの画面表示の一例であり、ライブ配信が行われている場合の画面表示を示している。
FIG. 5 is an example of the screen display of the
画面３ａには、歌唱動画が表示されると共に、歌唱ユーザ表示領域５０Ｃ、歌詞表示領域５０Ｄ、コメント入力表示領域５０Ｅが設けられる。歌唱ユーザ表示領域５０Ｃ、歌詞表示領域５０Ｄ、コメント入力表示領域５０Ｅは、歌唱動画に重畳して表示されてもよい。
A singing video is displayed on the
歌唱ユーザ表示領域５０Ｃには、歌唱動画を投稿した歌唱ユーザのユーザ名、ライブ配信であるか否かの表示、歌唱している楽曲の名称が表示される。
The singing
歌詞表示領域５０Ｄには、歌唱動画の歌詞が表示される。なお、表示される歌詞は、一例として、複数フレーズずつであり、楽曲の進行に合わせて歌詞の色が左端から右端へ変化する。なお、歌詞表示領域５０Ｄは、一例として、歌詞を複数段で表示してもよい。この場合、上段の歌詞の色の変化が右端に達すると、下段の歌詞が上昇して上段に表示されると共に新たな歌詞が下段に表示され、楽曲の進行に合わせて再び上段の歌詞の色が左端から右端へ変化する。
The lyrics of the singing video are displayed in the
コメント入力表示領域５０Ｅには、コメントの入力欄が表示されると共に、歌唱動画を視聴している視聴ユーザのコメントがユーザ名と共に表示される。なお、一例として、視聴ユーザからのコメントが入力される毎にコメント入力表示領域５０Ｅの最上段に当該コメントが追加表示され、それまでに表示されていたコメントは下方に繰り下がる。そして、コメントがコメント入力表示領域５０Ｅに表示しきれなくなった場合には、コメント表示領域の右側にスクロールバー（不図示）が表示され、当該スクロールバーを視聴ユーザが操作することで、それまで画面３ａに表示されなかったコメントが表示される。
In the comment
さらに、画面３ａには、視聴ユーザが各種操作を行うための操作アイコン５８Ａ～５８Ｄが表示される。
Further, the
操作アイコン５８Ａは、視聴ユーザが視聴している歌唱動画に視聴ユーザが共感等した場合にクリックされるアイコンであり、当該歌唱動画に対する操作アイコン５８Ａのクリックの総数が操作アイコン５８Ａの上方に表示される。
The
操作アイコン５８Ｂは、画面３ａに表示されている歌唱動画をライブ配信している歌唱ユーザに対して視聴ユーザが対戦（以下「対戦歌唱」という。）を申し込む場合にクリックされるアイコンである。対戦歌唱は、異なる歌唱ユーザによる複数の歌唱動画（第１歌唱動画、第２歌唱動画）を視聴ユーザの携帯端末３Ｂの画面３ａに同時に表示し、歌唱動画が同じ楽曲を交互に歌唱するものである。すなわち、操作アイコン５８Ｂをクリックした視聴ユーザは、対戦歌唱を行う歌唱ユーザとなる。
The
操作アイコン５８Ｃは、動画投稿視聴アプリに対する各種設定を視聴ユーザが行う場合にクリックされるアイコンである。
The
操作アイコン５８Ｄは、画面３ａに表示されている歌唱動画に対して装飾画像を重畳させる場合に視聴ユーザによってクリックされるアイコンである。なお、本実施形態に係る装飾画像は、その種類により金額が決められており、視聴ユーザが課金により購入可能とされている。そして、視聴ユーザは、操作アイコン５８Ｄをクリックすることで、自身が視聴している歌唱動画に対して装飾画像を重畳させる。装飾画像が重畳された歌唱動画の歌唱ユーザは、重畳された装飾画像に応じた金銭を動画投稿サイトの運営者から受け取る。すなわち、視聴ユーザによる歌唱動画への装飾画像の重畳（表示指示）は、歌唱ユーザに対する、いわゆる投げ銭に相当する。
The
［６．動画合成機能］
本実施形態に係る動画投稿視聴アプリは、複数の歌唱動画を合成する動画合成機能を有する。動画合成機能は、先に録画した第１歌唱動画に対して、後に録画した第２歌唱動画を合成する機能である。なお、第１歌唱動画と第２歌唱動画で歌唱される楽曲は同じ楽曲である。
[6. Video compositing function]
The video posting viewing application according to the present embodiment has a video synthesizing function of synthesizing a plurality of singing videos. The moving image synthesis function is a function of synthesizing the second singing moving image recorded later with respect to the first singing moving image recorded previously. In addition, the music sung by the 1st singing animation and the 2nd singing animation is the same music.
［６－１．合成開始位置］
図６は、本実施形態に係る動画合成機能の内容を示す模式図である。本実施形態に係る動画合成機能は、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定し（図６（Ａ））、合成開始位置を決定した後にカメラ３ｄで第２歌唱動画を録画し（図６（Ｂ））、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成する（図６（Ｃ））。なお、合成開始位置や再生位置等で用いられる位置とは、例えば歌唱動画や楽曲の先頭からの経過時間などで表される。
[6-1. Synthesis start position]
FIG. 6 is a schematic diagram showing the details of the moving image synthesizing function according to this embodiment. The video synthesis function according to the present embodiment determines the synthesis start position at which synthesis of the second song video to be recorded later is started for the first song video recorded earlier (Fig. 6 (A)), and the synthesis start After determining the position, the
このような動画合成機能によって歌唱ユーザは、歌唱動画（第１歌唱動画）を録画したものの、その出来栄えが望ましくないと感じた場合に、望ましくないと感じた動画部分よりも前の位置を合成開始位置とし、合成開始位置から歌唱動画（第２歌唱動画）を撮影し直す。そして、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成することで、歌唱ユーザは、自身が望ましいと感じる歌唱動画を容易に作成可能となる。 With such a video synthesizing function, if the singing user has recorded a singing video (first singing video) and feels that the performance is not desirable, he/she starts synthesizing the position before the video part that he/she felt was undesirable. position, and the singing video (second singing video) is re-captured from the synthesis start position. Then, by synthesizing the first singing video and the second singing video at the synthesis start position of the first singing video, the singing user can easily create a singing video that the user finds desirable.
本実施形態に係る動画合成機能は、上述のように、第１歌唱動画に対する合成開始位置を決定した後に、第２歌唱動画の録画を開始する。このため、動画合成機能は、第１歌唱動画における合成開始位置に対応する楽曲の再生位置から第２歌唱動画の録画を開始する。従って、歌唱ユーザは、第２歌唱動画の録画において楽曲の歌唱を最初から行う必要はなく合成開始位置から行えばよいため、より簡易に歌唱動画の合成を行える。 As described above, the moving image synthesizing function according to the present embodiment starts recording the second singing moving image after determining the synthesis start position for the first singing moving image. Therefore, the video synthesizing function starts recording the second singing video from the playback position of the music corresponding to the synthesis start position in the first singing video. Therefore, when recording the second singing video, the singing user does not have to sing the song from the beginning, and can sing from the synthesis start position, so that the singing video can be synthesized more easily.
図７は、合成開始位置を決定する場合に歌唱ユーザが操作する携帯端末３Ａの画面３ａに表示される画像であり、画面３ａは再生制御領域５０Ｆ及び再生動画表示領域５０Ｇに分けられる。再生動画表示領域５０Ｇは、再生対象となる第１歌唱動画が表示される。再生制御領域５０Ｆは、第１歌唱動画の楽曲の歌詞を示す歌詞画像５２、楽曲の音程を示す音程画像５４、及び動画の再生位置を選択するためのスライドバー６０が表示される。
FIG. 7 shows an image displayed on the
スライドバー６０は、左端が第１歌唱動画の開始を示し、右端が第１歌唱動画の終了を示している。歌唱ユーザが、ポインタ６０Ａを左右に移動させると、当該移動に伴い画面３ａに表示される第１歌唱動画の再生位置が変化し、第１歌唱動画は一時停止の状態で画面３ａに表示される。また、ポインタ６０Ａの移動に伴い、歌詞画像５２及び音程画像５４も更新される。
The left end of the
そして、歌唱ユーザによって決定ボタン６２がクリックされると、再生動画表示領域５０Ｇに表示されている第１歌唱動画の再生位置が合成開始位置として決定される。
Then, when the
なお、合成開始位置として設定可能な位置は、楽曲の予め定められた位置とされてもよい。この予め定められた位置とは、例えば、歌詞のフレーズとフレーズとの境等、歌詞の途中からの歌い出しが容易な位置であり、複数個所が設定されている。換言すると、フレーズの途中等、途中からでは歌い出しが難しい位置は合成開始位置として歌唱ユーザは選択できない。なお、スライドバー６０や歌詞画像５２に、合成開始位置として設定可能な複数の位置が歌唱ユーザに認識できるように表示されてもよい。
Note that the position that can be set as the synthesis start position may be a predetermined position of the music. The predetermined position is a position such as a boundary between phrases of the lyrics, where it is easy to start singing from the middle of the lyrics, and a plurality of positions are set. In other words, the singing user cannot select a position where it is difficult to start singing from the middle of a phrase, etc., as the synthesis start position. A plurality of positions that can be set as synthesis start positions may be displayed on the
また、図７の例に限らず、画面３ａには第１歌唱動画を再生（一時停止解除）するためのボタンや、再生を停止するためのボタン、早送り又は早戻しするためのボタン、スロー再生するためのボタン等が表示されてもよい。
Further, not limited to the example of FIG. 7, the
［６－２．第２歌唱動画の録画］
動画合成機能は、合成開始位置が決定されると第２歌唱動画の録画を行う。
[6-2. Recording of second singing video]
The video synthesizing function records the second singing video when the synthesis start position is determined.
本実施形態に係る動画合成機能は、図８に示されるように、第１歌唱動画の合成開始位置における画像である合成開始位置画像６４（静止画像）を、第２歌唱動画の録画開始時に画面３ａに表示するガイド機能を有する。合成開始位置画像６４は、歌唱ユーザが画面３ａに表示されている画像が合成開始位置画像６４であると認識できるように、一例として薄く表示される。そして、動画合成機能は、図９に示されるように、第２歌唱動画の録画のためにカメラ３ｄで撮影されている画像（以下「現在撮影画像」という。）に合成開始位置画像６４を重畳して画面３ａに表示する。
As shown in FIG. 8, the video synthesis function according to the present embodiment displays a synthesis start position image 64 (still image), which is an image at the synthesis start position of the first singing video, on the screen at the start of recording of the second singing video. It has a guide function to display in 3a. As an example, the synthesis
このように、ガイド機能は、合成開始位置画像６４を画面３ａに表示することで第２歌唱動画の録画開始時に、歌唱ユーザに第１歌唱動画の合成開始位置における画像を必然的に確認させることとなる。従って、歌唱ユーザは、第２歌唱動画の録画開始時において、第１歌唱動画における合成開始位置と同様の画像構成やポーズ、表情とすることが可能となる。その結果、第１歌唱動画と第２歌唱動画との合成において違和感の小さい合成が可能となる。さらに、図９に示されるように、合成開始位置画像６４と現在撮影画像とを重畳することで、歌唱ユーザは、第２歌唱動画の録画開始時の画像を合成開始位置画像６４と同様とすることがより簡易にできる。
In this way, the guide function allows the singing user to inevitably check the image at the synthesis start position of the first singing video at the start of recording of the second singing video by displaying the synthesis
ガイド機能は、第１歌唱動画の合成開始位置における歌唱ユーザの画像と、第２歌唱動画の録画開始時における歌唱ユーザの画像との一致率などを検出する検出機能を備えてもよい。ガイド機能は、第１歌唱動画の合成開始位置における歌唱ユーザの画像と、第２歌唱動画の録画開始時における歌唱ユーザの画像との一致率が所定の閾値よりも低い場合にユーザに通知をする機能を備えてもよい。 The guide function may include a detection function for detecting a matching rate between the singing user's image at the synthesis start position of the first singing video and the singing user's image at the start of recording of the second singing video. The guide function notifies the user when the matching rate between the image of the singing user at the synthesis start position of the first singing video and the image of the singing user at the start of recording of the second singing video is lower than a predetermined threshold. It may have functions.
なお、図８，９の例では、画面３ａにおける再生動画表示領域５０Ｇ全体に合成開始位置画像６４が表示されているが、これに限らず、合成開始位置画像６４はウィンドウ表示されて再生動画表示領域５０Ｇの一部に重畳されてもよい。そして、ウィンドウ表示されている合成開始位置画像６４と現在撮影画像とが重畳して表示されてもよい。
In the examples of FIGS. 8 and 9, the composition
次に図１０を参照して、第２歌唱動画の録画について説明する。図１０は、合成開始位置画像６４の画面３ａへの表示タイミング、及び詳細を後述する第１歌唱動画と第２歌唱動画の重畳合成を示す模式図であり、斜線（ハッチング）で示されるバーは第２歌唱動画を録画する場合に、画面３ａに表示される画像を示す。
Next, with reference to FIG. 10, recording of the second singing video will be described. FIG. 10 is a schematic diagram showing the display timing of the synthesis
図１０に示されるように合成開始位置画像６４は、第２歌唱動画の録画開始前から静止画として画面３ａに表示され、第２歌唱動画の録画開始と共に画面３ａへの表示が停止される。
As shown in FIG. 10, the synthesis
そして、動画合成機能は、合成開始位置の前から楽曲の再生を開始し、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始する。本実施形態に係る動画合成機能は、一例として、合成開始位置の所定期間（例えば３０秒）前から楽曲の再生を開始する。これにより、歌唱ユーザは、余裕を持って第２歌唱動画の歌い出しと録画開始のタイミングとを合わせて第２歌唱動画の録画が可能となる。また、動画合成機能は、第２歌唱動画の録画開始前から楽曲の再生を開始すると共に、第２歌唱動画の録画開始のカウントダウン表示も行う（図９参照）。これにより、歌唱ユーザは、第２歌唱動画の歌い出しのタイミングを明確に認識できる。 Then, the moving image synthesizing function starts playing the music from before the synthesis start position, and starts recording the second singing movie when the played music reaches the timing corresponding to the synthesis start position. As an example, the moving image synthesizing function according to the present embodiment starts playing music from a predetermined period (for example, 30 seconds) before the synthesis start position. As a result, the singing user can record the second singing video by matching the timing of the start of singing of the second singing video with the timing of recording start with plenty of time. In addition, the moving image synthesizing function starts playing back the music before recording of the second singing moving image starts, and also displays a countdown for the start of recording of the second singing moving image (see FIG. 9). Thereby, the singing user can clearly recognize the timing of the beginning of singing of the second singing video.
さらに、図１０に示されるように、合成開始位置画像６４の表示が停止されて第２歌唱動画の録画が開始された後に、ガイド機能として、合成開始位置から所定期間だけ第１歌唱動画を画面３ａに重畳表示させてもよい。これにより、歌唱ユーザは、第１歌唱動画に合わせた画像構成やポーズ、表情としながら、第２歌唱動画の録画が可能となるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。なお、この所定期間は、一例として、詳細を後述する重畳合成期間であり、例えば５秒であるが、時間を基準単位とするのではなくフレーム数を基準に重畳合成期間が設定されてもよい。
Furthermore, as shown in FIG. 10, after the display of the synthesis
ここで、図１０を参照して、第２歌唱動画の録画の全体の流れを説明する。 Now, with reference to FIG. 10, the overall flow of recording the second singing video will be described.
歌唱ユーザの操作によって合成開始位置が決定されると、合成開始位置画像６４が画面３ａに表示されると共にカメラ３ｄによる撮影が開始され、合成開始位置画像６４と現在撮影画像とが重畳されて画面３ａに表示される。このとき、第１歌唱動画の楽曲と同じ楽曲データが、サーバ４から携帯端末３Ａへダウンロードされる。そして、歌唱ユーザが、第２歌唱動画の録画開始指示を携帯端末３Ａに入力すると、楽曲の再生と共に録画のカウントダウンが開始される。
When the synthesis start position is determined by the singing user's operation, a synthesis
録画カウントダウンが終了すると、第２歌唱動画の録画が開始されると共に合成開始位置画像６４の表示が停止される。そして、合成開始位置から所定期間（重畳合成期間）における第１歌唱動画が現在撮影画像に重畳して画面３ａに表示される。なお、録画される第２歌唱動画には、重畳されて表示される第１歌唱動画は含まれない。所定期間（重畳合成期間）が経過すると、重畳されている第１歌唱動画の表示は停止され、楽曲が終了するまで第２歌唱動画の録画が継続される。
When the recording countdown ends, the recording of the second singing video is started and the display of the synthesis
［６－３．第１歌唱動画と第２歌唱動画との合成］
動画合成機能は、第２歌唱動画の録画が終了すると、第１歌唱動画の合成開始位置で第１歌唱動画と録画した第２歌唱動画とを合成する。なお、以下の説明では、第１歌唱動画と第２歌唱動画を合成して得られた動画を合成歌唱動画という。
[6-3. Synthesis of first singing video and second singing video]
When the recording of the second singing video ends, the video synthesizing function synthesizes the first singing video and the recorded second singing video at the synthesis start position of the first singing video. In addition, in the following description, the moving image obtained by synthesize|combining a 1st singing moving image and a 2nd singing moving image is called a synthetic singing moving image.
動画合成機能は、第１歌唱動画と第２歌唱動画との合成部分を目立たせないための画像処理（以下「エフェクト処理」という。）を行ってもよい。エフェクト処理は、例えば、合成部分の前後所定期間（例えば前後５秒ずつ、又は前後５フレームずつ）である。図１１の例では、エフェクト処理として複数の所定画像（星画像）をランダムにちりばめているが、これに限らず、モザイク処理やぼかし処理等、他の画像処理が行われてもよい。 The moving image synthesizing function may perform image processing (hereinafter referred to as "effect processing") for making the synthesized portion of the first singing moving image and the second singing moving image inconspicuous. The effect processing is, for example, a predetermined period before and after the combined portion (for example, 5 seconds before and after, or 5 frames before and after). In the example of FIG. 11, a plurality of predetermined images (star images) are randomly interspersed as effect processing, but this is not the only option, and other image processing such as mosaic processing or blurring processing may be performed.
このエフェクト処理により、第１歌唱動画と第２歌唱動画との境が不明瞭になるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。 Since this effect process makes the boundary between the first singing video and the second singing video unclear, it is possible to synthesize the first singing video and the second singing video with less discomfort.
また、エフェクト処理として、合成部分の画像全体を瞬間的に所定色に置き換えてもよい。所定色とは、例えば白色や黒色であり、例えば所定色を白色（又は黒色）とすることで意図的に白飛び（又は黒飛び）を画面に生じさせることで、第１歌唱動画と第２歌唱動画との境が不明瞭になる。 Further, as effect processing, the entire image of the combined portion may be instantaneously replaced with a predetermined color. The predetermined color is, for example, white or black. The boundary with the singing video becomes unclear.
また、動画合成機能は、図１０に示されるように、合成開始位置から所定期間（上述した重畳合成期間）の第１歌唱動画と第２歌唱動画とを重畳させて、第１歌唱動画と第２歌唱動画とを合成（以下「重畳合成」という。）してもよい。この重畳合成は、いわゆるクロスディゾルブやオーバーラップといわれる画像処理であり、例えば、重畳させる第１歌唱動画を時間と共にフェードアウトさせる一方で、第２歌唱動画をフェードインさせてもよい。この重畳合成により、第１歌唱動画と第２歌唱動画との境が不明瞭になるため、より違和感の小さい第１歌唱動画と第２歌唱動画との合成が可能となる。 In addition, as shown in FIG. 10, the video synthesizing function superimposes the first singing video and the second singing video for a predetermined period (overlapping synthesis period described above) from the synthesis start position, 2 singing videos may be synthesized (hereinafter referred to as “superimposed synthesis”). This superimposition synthesis is image processing called so-called cross dissolve or overlap. For example, while the first singing video to be superimposed fades out over time, the second singing video may fade in. Since the boundary between the first singing video and the second singing video becomes unclear due to this superimposition synthesis, it is possible to synthesize the first singing video and the second singing video with less discomfort.
なお、本実施形態に係る動画合成機能は、録音されている歌声に関しては重畳合成を行わないが、これに限らず、歌声に関しても重畳合成を行ってもよい。 In addition, although the moving image synthesizing function according to the present embodiment does not perform superimposition synthesis for recorded singing voice, it is not limited to this, and superimposition synthesis may be performed for singing voice as well.
［７．動画合成機能の機能ブロック］
図１２は、本実施形態に係る動画合成機能に関する機能ブロック図である。携帯端末３が備える主制御部４０は、画像表示制御部７０、録画制御部７２、合成開始位置決定部７４、及び動画合成部７６を備える。主制御部４０が備える各機能によって実行される処理は、補助記憶部４４に記憶されているプログラムによって実現される。
[7. Functional block of video synthesis function]
FIG. 12 is a functional block diagram relating to the moving image synthesis function according to this embodiment. The
画像表示制御部７０は、画面３ａに対する画像の表示を制御するものであり、例えば、動画投稿視聴アプリが起動されてサーバ４から配信された動画を画面３ａに表示させたり、カメラ３ｄで撮影した画像を画面３ａに表示させる。なお、本実施形態に係る画像表示制御部７０は、第２歌唱動画を撮影する場合に、合成開始位置画像６４や、合成開始位置から所定期間の第１歌唱動画をカメラで撮影されている画像に重畳して画面３ａに表示させる。
The image
録画制御部７２は、カメラ３ｄで撮影された画像を録画する。なお、本実施形態に係る録画制御部７２は、動画投稿視聴アプリを起動することで携帯端末３Ａから楽曲を再生し、再生した楽曲の音と共に第１歌唱動画又は第２歌唱動画を録画する。さらに、録画制御部７２は、第２歌唱動画を録画する場合、合成開始位置の前から楽曲の再生を開始して第２歌唱動画の録画開始のカウントダウンを行い、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始する。
The
合成開始位置決定部７４は、歌唱ユーザによる携帯端末３Ａへの操作に基づいて、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定する。
Synthesis start
動画合成部７６は、第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成して合成歌唱動画とする。また、本実施形態に係る動画合成部７６は、第１歌唱動画と第２歌唱動画との合成部分を目立たせないための画像処理を行ったり、合成開始位置から所定期間（重畳合成期間）の第１歌唱動画と第２歌唱動画とを重畳させて、第１歌唱動画と第２歌唱動画とを合成する
The moving
［８．動画合成処理のフローチャート］
図１３は、携帯端末３が備える主制御部４０によって実行される動画合成処理の流れを示すフローチャートである。動画合成処理を実行するためのプログラム（動画投稿視聴アプリ）は補助記憶部４４の所定領域に予め記憶されている。
[8. Flowchart of video composition processing]
FIG. 13 is a flow chart showing the flow of moving image composition processing executed by the
まず、ステップＳ１００では、合成開始位置決定部７４が歌唱ユーザによる第１歌唱動画の選択を受け付ける。第１歌唱動画は、携帯端末３Ａの補助記憶部４４に記憶されている。なお、歌唱ユーザは、自身がアップロードした歌唱動画を動画投稿サイトからダウンロードし、それを第１歌唱動画としてもよい。
First, in step S100, the synthesis start
次のステップＳ１０２では、画像表示制御部７０が図７に示すように第１歌唱動画を画面３ａに表示し、合成開始位置決定部７４が歌唱ユーザによる画面３ａへの操作に基づいて合成開始位置を決定する。
In the next step S102, the image
次のステップＳ１０４では、録画制御部７２が第２歌唱動画の撮影開始指示の入力の有無を判定し、肯定判定の場合にはステップＳ１０６へ移行する。否定判定の場合は、第２歌唱動画の撮影開始指示が入力されるまで待ち状態となる。
In the next step S104, the
ステップＳ１０６では、画像表示制御部７０が合成開始位置画像６４及びカメラ３ｄによる撮影画像（現在撮影画像）を画面３ａに表示する。
In step S106, the image
次のステップＳ１０８では、録画制御部７２が第２歌唱動画の録画開始指示の入力の有無を判定し、肯定判定の場合にはステップＳ１１０へ移行する。否定判定の場合は、第２歌唱動画の録画開始指示が入力されるまで待ち状態となる。
In the next step S108, the
ステップＳ１１０では、録画制御部７２が合成開始位置の前から楽曲の再生を開始し、再生した楽曲が合成開始位置に対応するタイミングに達すると第２歌唱動画の録画を開始し、楽曲が終了すると第２歌唱動画の録画を終了する。録画された第２歌唱動画は、補助記憶部４４に記憶される。
In step S110, the
ステップＳ１１２では、動画合成部７６が第１歌唱動画の合成開始位置で第１歌唱動画と第２歌唱動画とを合成し、合成歌唱動画を生成する。なお、第１歌唱動画と第２歌唱動画の合成として重畳合成が行われてもよい。合成歌唱動画は、補助記憶部４４に記憶される。
In step S112, the moving
次のステップＳ１１４では、動画合成部７６が合成歌唱動画にエフェクト処理を行い、本動画合成処理を終了する。なお、実行されるエフェクト処理の種類は、歌唱ユーザによって予め設定されている。
In the next step S114, the moving
そして、歌唱ユーザは、このようにして生成された合成歌唱動画を動画投稿視聴アプリを介して動画投稿サイトにアップロードし、当該合成歌唱動画を視聴ユーザによる視聴が可能とする。なお、第１歌唱動画が動画投稿サイトにアップロードされている場合には、アップロードによって第１歌唱動画が合成歌唱動画に置き換えられてもよい。なお、生成された合成歌唱動画の完成度に歌唱ユーザが満足しない場合には、図１３に示される動画合成処理を再び最初から行い、合成歌唱動画の生成を再度行う。 Then, the singing user uploads the synthesized singing video generated in this way to the video posting site via the video posting viewing application, so that the viewing user can view the synthesized singing video. In addition, when the 1st singing animation is uploaded to the animation posting site, the 1st singing animation may be replaced with a synthetic singing animation by uploading. If the singing user is not satisfied with the degree of perfection of the generated synthetic singing video, the video synthesizing process shown in FIG. 13 is performed again from the beginning, and the synthetic singing video is generated again.
以上説明したように、カメラ３ｄで撮影した画像を動画として録画する携帯端末３Ａは、先に録画した第１歌唱動画に対して、後に録画する第２歌唱動画の合成を開始する合成開始位置を決定した後に、カメラ３ｄで第２歌唱動画を録画し、合成開始位置で第１歌唱動画と第２歌唱動画とを合成する。従って、携帯端末３Ａは、歌唱ユーザがカメラ３ｄを用いて動画の録画を行う場合に、歌唱ユーザが望ましいと感じる動画を容易に作成できる。
As described above, the
［９．他の実施形態］
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
[9. Other embodiments]
Although the present invention has been described using the above embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiments without departing from the gist of the invention, and forms with such changes or improvements are also included in the technical scope of the present invention. Also, the above embodiments may be combined as appropriate.
例えば、上記実施形態では、パフォーマンスを歌唱とし、動画投稿サイトにアップロードされる動画を歌唱動画とする形態について説明したが、本発明は、これに限定されるものではない。例えば、パフォーマンスをダンスとし、動画投稿サイトにアップロードされる動画をダンス動画とするように、パフォーマンスを歌唱以外としてもよい。 For example, in the above-described embodiment, the performance is a singing and the video uploaded to the video posting site is a singing video, but the present invention is not limited to this. For example, the performance may be other than singing, such that the performance is dance and the video uploaded to the video posting site is a dance video.
また、上記実施形態では、動画合成機能を携帯端末３Ａで実行する形態について説明したが、本発明は、これに限定されるものではない。例えば、動画合成機能の一部又は全部をサーバ４で実行してもよい。なお、動画合成機能の一部又は全部をサーバ４で実行する場合であっても、動画の撮影及び録画は携帯端末３Ａのカメラ３ｄによって行われる。
Further, in the above-described embodiment, a mode in which the
また、動画合成機能は、第１歌唱動画と第２歌唱動画とを合成して生成された合成歌唱動画を新たな第１歌唱動画とし、当該第１歌唱動画に新たな第２歌唱動画を合成して新たな合成歌唱動画を生成してもよい。 In addition, the video synthesis function uses the synthesized singing video generated by synthesizing the first singing video and the second singing video as a new first singing video, and synthesizes a new second singing video with the first singing video. may be used to generate a new synthesized singing video.
また、上記実施形態で説明した動画合成処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 Also, the flow of the moving image composition processing described in the above embodiment is also an example, and unnecessary steps may be deleted, new steps added, or the processing order changed without departing from the scope of the present invention. may
３ 携帯端末（情報処理装置）
３ａ 画面
３ｄ カメラ
６４ 合成開始位置画像
７０ 画像表示制御部（画像表示制御手段）
７２ 録画制御部（録画制御手段）
７４ 合成開始位置決定部（決定手段）
７６ 動画合成部（動画合成手段）
3 Mobile terminal (information processing device)
72 recording control unit (recording control means)
74 Synthesis start position determining unit (determining means)
76 moving image synthesizing unit (moving image synthesizing means)
Claims (11)
先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、
前記カメラで前記第２動画を録画する録画制御手段と、
前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、を備える情報処理装置。 An information processing device for recording an image captured by a camera as a moving image,
determining means for determining a synthesis start position at which synthesis of a second moving image to be recorded later is started with respect to the first moving image recorded earlier;
recording control means for recording the second video with the camera;
and a moving image synthesizing unit that synthesizes the first moving image and the second moving image at the synthesis start position of the first moving image.
前記第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する第２工程と、
前記カメラで前記第２動画を録画する第３工程と、
前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する第４工程と、を有する動画合成方法。 a first step of recording a first video with a camera;
a second step of determining a synthesis start position for starting synthesis of a second moving image to be recorded later with respect to the first moving image;
a third step of recording the second video with the camera;
and a fourth step of synthesizing the first moving image and the second moving image at the synthesis start position of the first moving image.
先に録画した第１動画に対して、後に録画する第２動画の合成を開始する合成開始位置を決定する決定手段と、
前記カメラで前記第２動画を録画する録画制御手段と、
前記第１動画の前記合成開始位置で前記第１動画と前記第２動画とを合成する動画合成手段と、して機能させるための動画合成プログラム。 A computer equipped with an information processing device that records images taken with a camera as a video,
determining means for determining a synthesis start position at which synthesis of a second moving image to be recorded later is started with respect to the first moving image recorded earlier;
recording control means for recording the second video with the camera;
A moving image synthesizing program for functioning as a moving image synthesizing means for synthesizing the first moving image and the second moving image at the synthesis start position of the first moving image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022141578A JP7364956B2 (en) | 2018-07-25 | 2022-09-06 | Information processing device, video compositing method, and video compositing program |
| JP2023163626A JP2023169373A (en) | 2018-07-25 | 2023-09-26 | Information processing device, moving image synthesis method and moving image synthesis program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018139736A JP7148788B2 (en) | 2018-07-25 | 2018-07-25 | Information processing device, moving picture composition method and moving picture composition program |
| JP2022141578A JP7364956B2 (en) | 2018-07-25 | 2022-09-06 | Information processing device, video compositing method, and video compositing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018139736A Division JP7148788B2 (en) | 2018-07-25 | 2018-07-25 | Information processing device, moving picture composition method and moving picture composition program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023163626A Division JP2023169373A (en) | 2018-07-25 | 2023-09-26 | Information processing device, moving image synthesis method and moving image synthesis program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022176206A true JP2022176206A (en) | 2022-11-25 |
| JP7364956B2 JP7364956B2 (en) | 2023-10-19 |
Family
ID=69580522
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018139736A Active JP7148788B2 (en) | 2018-07-25 | 2018-07-25 | Information processing device, moving picture composition method and moving picture composition program |
| JP2022141578A Active JP7364956B2 (en) | 2018-07-25 | 2022-09-06 | Information processing device, video compositing method, and video compositing program |
| JP2023163626A Pending JP2023169373A (en) | 2018-07-25 | 2023-09-26 | Information processing device, moving image synthesis method and moving image synthesis program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018139736A Active JP7148788B2 (en) | 2018-07-25 | 2018-07-25 | Information processing device, moving picture composition method and moving picture composition program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023163626A Pending JP2023169373A (en) | 2018-07-25 | 2023-09-26 | Information processing device, moving image synthesis method and moving image synthesis program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7148788B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7395536B2 (en) * | 2021-03-31 | 2023-12-11 | ブラザー工業株式会社 | Playback position indicating device and playback position indicating program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001069459A (en) * | 1999-06-22 | 2001-03-16 | Matsushita Electric Ind Co Ltd | Countdown voice generator and countdown voice generating system |
| JP2005293749A (en) * | 2004-04-01 | 2005-10-20 | Matsushita Electric Ind Co Ltd | Method and device for av data recording |
| JP2006079748A (en) * | 2004-09-10 | 2006-03-23 | Sony Corp | Reproducing device |
| JP2006261957A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Photographic device |
| JP2010178010A (en) * | 2009-01-29 | 2010-08-12 | Funai Electric Co Ltd | Moving image editor |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6073145B2 (en) | 2013-01-31 | 2017-02-01 | 株式会社第一興商 | SINGING VOICE DATA GENERATION DEVICE AND SINGING MOVIE DATA GENERATION DEVICE |
| JP2015154372A (en) | 2014-02-18 | 2015-08-24 | キヤノン株式会社 | Recording device and method |
| JP2016119600A (en) | 2014-12-22 | 2016-06-30 | オリンパス株式会社 | Editing device and editing method |
-
2018
- 2018-07-25 JP JP2018139736A patent/JP7148788B2/en active Active
-
2022
- 2022-09-06 JP JP2022141578A patent/JP7364956B2/en active Active
-
2023
- 2023-09-26 JP JP2023163626A patent/JP2023169373A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001069459A (en) * | 1999-06-22 | 2001-03-16 | Matsushita Electric Ind Co Ltd | Countdown voice generator and countdown voice generating system |
| JP2005293749A (en) * | 2004-04-01 | 2005-10-20 | Matsushita Electric Ind Co Ltd | Method and device for av data recording |
| JP2006079748A (en) * | 2004-09-10 | 2006-03-23 | Sony Corp | Reproducing device |
| JP2006261957A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Photographic device |
| JP2010178010A (en) * | 2009-01-29 | 2010-08-12 | Funai Electric Co Ltd | Moving image editor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020017325A (en) | 2020-01-30 |
| JP2023169373A (en) | 2023-11-29 |
| JP7148788B2 (en) | 2022-10-06 |
| JP7364956B2 (en) | 2023-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7513935B2 (en) | Information processing device, video distribution method, and video distribution program | |
| JP2023039952A (en) | Information processing apparatus, moving image distribution method, and moving image distribution program | |
| JP2023052125A (en) | Information processing apparatus, moving image distribution method, and moving image distribution program | |
| JP7364956B2 (en) | Information processing device, video compositing method, and video compositing program | |
| JP5739369B2 (en) | Karaoke equipment | |
| JP2024020565A (en) | Information processing device, information processing system, and information processing program | |
| CN113473224A (en) | Video processing method and device, electronic equipment and computer readable storage medium | |
| JP6196839B2 (en) | A communication karaoke system characterized by voice switching processing during communication duets | |
| JP2012208281A (en) | Karaoke machine | |
| JP6007098B2 (en) | Singing video generation system | |
| JP5794934B2 (en) | Collaboration song recording system | |
| JP3743321B2 (en) | Data editing method, information processing apparatus, server, data editing program, and recording medium | |
| JP6544147B2 (en) | Singing animation creation device and singing animation creation system | |
| JP6601615B2 (en) | Movie processing system, movie processing program, and portable terminal | |
| JP7311815B2 (en) | Information processing device, video distribution method, and video distribution program | |
| JP6063739B2 (en) | Singing video generation system | |
| JP5486538B2 (en) | Karaoke equipment | |
| JP4915403B2 (en) | Karaoke equipment, karaoke system, set-top box | |
| JP6375780B2 (en) | Karaoke device and karaoke program | |
| JP6198003B2 (en) | Karaoke device, karaoke system and karaoke program | |
| JP6051040B2 (en) | Singing video generation system | |
| JP2010039010A (en) | Karaoke device, karaoke system and set top box | |
| JP2016071089A (en) | Karaoke device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221004 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7364956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |