JP2021034986A

JP2021034986A - Processing apparatus, program and processing method

Info

Publication number: JP2021034986A
Application number: JP2019156366A
Authority: JP
Inventors: 誠五味; Makoto Gomi; 正造坂根; Shozo Sakane
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2021-03-01
Anticipated expiration: 2039-08-29
Also published as: JP7287188B2

Abstract

To enable realizing synchronous reproduction of recorded video using a general function possessed by a Web application.SOLUTION: A processing apparatus comprises: a first processing unit (reproduction pause function 2-1 through 2-N) that performs pause processing of reproduction just after starting reproduction by means of a reproduction instruction from first time information for first video information having a key frame and second video information having a key frame; and a second processing unit (reproduction restarting function 3) that performs restart processing of reproduction of the first video information and the second video information, on the basis of delay time information between second time information associated with the first video information at pause time and third time information associated with the second video information at pause time.SELECTED DRAWING: Figure 3

Description

本発明は、処理装置、プログラムおよび処理方法に関し、例えば、複数の録画映像を同時に再生する方法に関するものである。 The present invention relates to a processing device, a program, and a processing method, for example, a method of simultaneously playing back a plurality of recorded images.

監視カメラ等の録画映像を複数同時に再生するとき、各映像の時間が同期するように再生することが求められる。これを実現するために、例えば、映像データ中に含まれる「タイムコード」や、各フレームの「タイムスタンプ」にオフセット値を加減算することにより、映像間で共通の時間軸に従ったタイミングで映像データをディスプレイへ描画する（各映像の同期を合わせる）ことが行われている（特許文献１参照）。特許文献１の技術では、複数映像のタイミング制御をディスプレイ（モニタ）への描画の直前に実施している。 When a plurality of recorded images of a surveillance camera or the like are reproduced at the same time, it is required to reproduce the images so that the time of each image is synchronized. In order to achieve this, for example, by adding or subtracting an offset value to the "time code" included in the video data or the "time stamp" of each frame, the video can be viewed at a timing that follows a common time axis between the videos. Data is drawn on a display (synchronization of each video) (see Patent Document 1). In the technique of Patent Document 1, timing control of a plurality of images is performed immediately before drawing on a display (monitor).

一方、近年では、Web Browser（ウェブブラウザ）により各種サービスを提供する「Webアプリケーション」が発展している。Web Browserは、W3Cが定める HTML規格によるコンテンツを表示するソフトウェアであるが、HTML（HyperText Markup Language：ハイパーテキストマークアップ言語）規格では映像再生を提供する機能「HTML5 Video Element」が定められている（非特許文献１参照）。 On the other hand, in recent years, "Web applications" that provide various services by Web Browser have been developed. Web Browser is software that displays contents according to the HTML standard defined by W3C, but the HTML (HyperText Markup Language) standard defines the function "HTML5 Video Element" that provides video playback (HyperText Markup Language). See Non-Patent Document 1).

特開２０１２−２３９０４２号公報Japanese Unexamined Patent Publication No. 2012-239042

“HTML 5.2, W3C Recommendation, 4.7.10. The video element, 14 December 2017”，[online]，Ｗ３Ｃ，［令和１年６月２８日検索］，インターネット，＜https://www.w3.org/TR/html5/semantics-embedded-content.html#the-video-element＞“HTML 5.2, W3C Recommendation, 4.7.10. The video element, 14 December 2017”, [online], W3C, [Search on June 28, 1st year of Reiwa], Internet, <https://www.w3.org /TR/html5/semantics-embedded-content.html#the-video-element ＞

しかしながら、「HTML5 Video Element」の提供する機能には、映像データをディスプレイへ描画するタイミングを調整することを可能にする機能や、複数映像を同期させる機能は含まれていない。そのため、複数の録画映像を同期して再生する再生機能をWebアプリケーションとして提供しようとした場合、「タイムコード」や「タイムスタンプ」を用いた従来の方法を適用できないという問題があった。 However, the functions provided by "HTML5 Video Element" do not include a function that makes it possible to adjust the timing of drawing video data on the display and a function that synchronizes multiple videos. Therefore, when an attempt is made to provide a playback function for synchronizing and playing back a plurality of recorded videos as a Web application, there is a problem that the conventional method using a "time code" or a "time stamp" cannot be applied.

そして、再生指示のタイミングを同じにする（つまり、再生開始の位置（時刻）を指定して、同時に再生指示を行う）ことによって複数の録画映像を同期して再生することは、以下の理由により難しい。
第一に、映像データの取得、映像データのバッファリングおよび映像データのデコードにかかる時間は、各映像で異なる。そのため、同時に再生指示を行ったとしても、再生指示から映像の再生までに差が発生する。
第二に、映像データは、一般に数秒周期で含まれるキーフレームからのみデコードを開始できるという特徴があるのに対して、各録画映像におけるキーフレームの時刻が同じである保証が無い（つまり、キーフレームの位置が録画映像ごとに異なる）。したがって、特定の時刻からの映像データを取得しようとしても、録画映像ごとに異なる時刻からの映像データしか取得できない。そのため、異なる時刻から同じタイミングで各録画映像の再生が開始されることになり、仮に第一の要因によって再生指示から映像の再生までの差が発生しない場合であっても、複数の録画映像を同期して再生することができない。 Then, by making the timing of the playback instruction the same (that is, specifying the playback start position (time) and issuing the playback instruction at the same time), the plurality of recorded videos can be played back in synchronization for the following reasons. difficult.
First, the time required for acquiring video data, buffering video data, and decoding video data differs for each video. Therefore, even if the reproduction instruction is given at the same time, a difference occurs between the reproduction instruction and the reproduction of the video.
Secondly, while video data generally has the characteristic that decoding can be started only from keyframes contained in a cycle of several seconds, there is no guarantee that the keyframe time in each recorded video is the same (that is, the key). The position of the frame is different for each recorded video). Therefore, even if an attempt is made to acquire video data from a specific time, only video data from a different time can be acquired for each recorded video. Therefore, the playback of each recorded video is started from different times at the same timing, and even if there is no difference between the playback instruction and the playback of the video due to the first factor, a plurality of recorded videos can be played. Cannot play in sync.

さらに、ネットワークの遅延、ディスクＩ／Ｏ（ディスクInput／Output：ディスク入力／出力）やＣＰＵ（Central Processing Unit：中央処理装置）の負荷などの要因により、同期して再生されていた複数の録画映像にズレが発生する場合も想定される。 Furthermore, due to factors such as network delay, disk I / O (disk input / output) and CPU (Central Processing Unit) load, multiple recorded images that were being played back in synchronization. It is also assumed that there will be a gap.

本発明は、前記課題に鑑みてなされたものであり、Ｗｅｂアプリケーションが有する一般的な機能を用いて、録画映像の同期再生を実現することができる、処理装置、プログラムおよび処理方法を提供するものである。 The present invention has been made in view of the above problems, and provides a processing device, a program, and a processing method capable of realizing synchronous reproduction of recorded video by using general functions of a Web application. Is.

前記課題を解決するため、本発明に係る処理装置は、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、第１時刻情報からの再生の指示により再生した開始直後に、再生の一時停止の処理を行う、第１処理部と、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理部と、を有することを特徴とする。 In order to solve the above problems, the processing apparatus according to the present invention starts playing the first video information having keyframes and the second video information having keyframes according to the playback instruction from the first time information, immediately after the start. The first processing unit that processes the pause of playback, the second time information associated with the first video information at the time of suspension, and the second video information at the time of suspension are linked. It is characterized by having a second processing unit that performs processing for resuming reproduction of the first video information and the second video information based on the delay time information with which the third time information is attached. To do.

また、本発明に係る処理装置は、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、再生状態の同期のズレを検知した場合に、再生の一時停止の処理を行う、第３処理部と、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理部と、を有することを特徴とする。 Further, the processing device according to the present invention performs a process of pausing playback of the first video information having a key frame and the second video information having a key frame when a deviation in synchronization of the playback state is detected. The third processing unit, the second time information associated with the first video information when paused, and the third time information associated with the second video information when paused. It is characterized by having a second processing unit that performs processing for resuming reproduction of the first video information and the second video information based on the delay time information between them.

また、本発明に係るプログラムは、処理装置のコンピュータを、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、第１時刻情報からの再生の指示により再生した開始直後に、再生の一時停止の処理を行う、第１処理部、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理部、として機能させる。 Further, in the program according to the present invention, immediately after the start of reproducing the computer of the processing apparatus with respect to the first video information having keyframes and the second video information having keyframes according to the playback instruction from the first time information, The first processing unit that performs the process of pausing playback, the second time information associated with the first video information at the time of suspension, and the second video information at the time of suspension. It functions as a second processing unit that performs processing for resuming reproduction of the first video information and the second video information based on the delay time information between the third time information and the third time information.

また、本発明に係るプログラムは、処理装置のコンピュータを、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、再生状態の同期のズレを検知した場合に、再生の一時停止の処理を行う、第３処理部、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理部、として機能させる。 Further, the program according to the present invention suspends playback when the computer of the processing device detects a deviation in synchronization of the playback state of the first video information having keyframes and the second video information having keyframes. The third processing unit that performs the processing of, the second time information associated with the first video information when paused, and the third associated with the second video information when paused. It functions as a second processing unit that performs processing for resuming reproduction of the first video information and the second video information based on the delay time information between the time information and the time information.

また、本発明に係る処理方法は、処理装置の処理方法であって、前記処理装置は、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、第１時刻情報からの再生の指示により再生した開始直後に、再生の一時停止の処理を行う、第１処理ステップと、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理ステップと、を有することを特徴とする。 Further, the processing method according to the present invention is a processing method of a processing device, and the processing device reproduces the first video information having a key frame and the second video information having a key frame from the first time information. Immediately after the start of playback according to the instruction of, the first processing step of processing the pause of playback, the second time information associated with the first video information at the time of suspension, and the pause are performed. The second process of resuming the reproduction of the first video information and the second video information based on the delay time information with the third time information associated with the second video information at that time. It is characterized by having a step and.

また、本発明に係る処理方法は、処理装置の処理方法であって、前記処理装置は、キーフレームを有する第１映像情報およびキーフレームを有する第２映像情報について、再生状態の同期のズレを検知した場合に、再生の一時停止の処理を行う、第３処理ステップと、一時停止されたときの前記第１映像情報に紐づけられた第２時刻情報と、一時停止されたときの前記第２映像情報に紐づけられた第３時刻情報との間の遅延時間情報に基づいて、前記第１映像情報および前記第２映像情報の再生の再開の処理を行う、第２処理ステップと、を有することを特徴とする。 Further, the processing method according to the present invention is a processing method of a processing device, and the processing device causes a difference in synchronization of the playback state of the first video information having keyframes and the second video information having keyframes. A third processing step that processes playback pause when detected, a second time information associated with the first video information when paused, and the first time when paused. 2. Based on the delay time information with the third time information associated with the video information, the second processing step of resuming the reproduction of the first video information and the second video information is performed. It is characterized by having.

本発明によれば、Ｗｅｂアプリケーションが有する一般的な機能を用いて、録画映像の同期再生を実現することができる。 According to the present invention, synchronous playback of recorded video can be realized by using a general function of a Web application.

本発明の第１実施形態に係る動画再生システムの全体構成図である。It is an overall block diagram of the moving image reproduction system which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るクライアントに表示されるＷｅｂ画面の例示である。This is an example of a Web screen displayed on the client according to the first embodiment of the present invention. 本発明の第１実施形態に係るＷｅｂサーバのソフトウェア構成図である。It is a software configuration diagram of the Web server which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るＷｅｂサーバのソフトウェア処理のイメージ図である。It is an image diagram of the software processing of the Web server which concerns on 1st Embodiment of this invention. クライアントに表示される画面例である。This is an example of the screen displayed on the client. 本発明の第２実施形態に係る動画再生システムの全体構成図である。It is an overall block diagram of the moving image reproduction system which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係るＷｅｂサーバのソフトウェア構成図である。It is a software configuration diagram of the Web server which concerns on 2nd Embodiment of this invention. 本発明の第１，２実施形態に係る映像再生機能が持つべきＡＰＩの例示である。This is an example of an API that the video reproduction function according to the first and second embodiments of the present invention should have.

以下、本発明を実施するための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown to the extent that the present invention can be fully understood. Therefore, the present invention is not limited to the illustrated examples. Further, in the present embodiment, description may be omitted for configurations that are not directly related to the present invention and well-known configurations. In each figure, common components and similar components are designated by the same reference numerals, and duplicate description thereof will be omitted.

［第１実施形態］
≪第１実施形態に係る動画再生システムの構成≫
図１を参照して、第１実施形態に係る動画再生システム１００について説明する。図１は、第１実施形態に係る動画再生システム１００の全体構成図である。
動画再生システム１００は、Ｗｅｂアプリケーションを用いて動画を再生するシステムである。動画再生システム１００は、クライアント２００と、Ｗｅｂサーバ３００とで主に構成される。クライアント２００とＷｅｂサーバ３００とは、例えば、通信ネットワーク（インターネット）４００を介してデータの送受信可能に接続されている。 [First Embodiment]
<< Configuration of video playback system according to the first embodiment >>
The moving image reproduction system 100 according to the first embodiment will be described with reference to FIG. FIG. 1 is an overall configuration diagram of the moving image reproduction system 100 according to the first embodiment.
The moving image playback system 100 is a system for playing back a moving image using a Web application. The video playback system 100 is mainly composed of a client 200 and a Web server 300. The client 200 and the Web server 300 are connected so as to be able to send and receive data via, for example, a communication network (Internet) 400.

クライアント２００は、動画を表示する装置であり、例えば、パーソナルコンピュータ（ＰＣ：Personal Computer）、タブレット端末、スマートフォンなどである。クライアント２００では、Ｗｅｂブラウザ２１０が動作する。Ｗｅｂブラウザ２１０は、Ｗｅｂサーバ３００が提供するＷｅｂページを閲覧するためのアプリケーションソフトウェアである。Ｗｅｂページは、例えばＨＴＭＬ（Hyper Text Markup Language）を用いて作成されている。Ｗｅｂページには、個々の情報ファイル（ここでは、録画映像データ）が含まれている。Ｗｅｂブラウザ２１０が動作すると、クライアント２００のディスプレイにＷｅｂ画面２２０が表示される。 The client 200 is a device that displays a moving image, and is, for example, a personal computer (PC), a tablet terminal, a smartphone, or the like. On the client 200, the Web browser 210 operates. The Web browser 210 is application software for browsing a Web page provided by the Web server 300. Web pages are created using, for example, HTML (Hyper Text Markup Language). The Web page contains individual information files (here, recorded video data). When the Web browser 210 operates, the Web screen 220 is displayed on the display of the client 200.

Ｗｅｂサーバ３００は、動画を提供する装置であり、例えば、サーバコンピュータである。Ｗｅｂサーバ３００は、Ｗｅｂアプリケーション３１０を提供する。Ｗｅｂアプリケーション３１０は、インターネットなどのネットワークを介して提供するアプリケーションソフトウェアであり、ユーザは、Ｗｅｂアプリケーション３１０を、Ｗｅｂブラウザ２１０を用いてダウンロードして実行し、Ｗｅｂアプリケーション３１０を操作する。Ｗｅｂサーバ３００は、ユーザからの要求に応じてＷｅｂページを提供する。
なお、Ｗｅｂサーバ３００は、「処理装置」の一例であり、「処理装置」の一例は、Ｗｅｂサーバ３００に限るものではない。 The Web server 300 is a device that provides moving images, and is, for example, a server computer. The Web server 300 provides the Web application 310. The Web application 310 is application software provided via a network such as the Internet, and a user downloads and executes the Web application 310 using a Web browser 210 to operate the Web application 310. The Web server 300 provides a Web page in response to a request from the user.
The Web server 300 is an example of a "processing device", and an example of the "processing device" is not limited to the Web server 300.

Ｗｅｂサーバ３００は、データベース３２０を有している。データベース３２０には、録画映像群２１が格納されている。録画映像群２１は、関連する複数の録画映像データ２２−１〜２２−Ｎ（２≦Ｎ）によって構成されている。録画映像データ２２−１〜２２−Ｎは映像データである。録画映像データ２２−１〜２２−Ｎの関連性は特に限定されるものではなく、例えば、特定の場所や物を撮影した場合のように撮影時の条件によるものであってもよいし、撮影時の条件とは関係なく例えばＷｅｂサーバ３００の管理者によって事後的に対応付けが行われたものであってもよい。以下では、録画映像データ２２−１〜２２−Ｎを区別せずに説明する場合に「録画映像データ２２−ｉ（ここで、１≦ｉ≦Ｎ）」と呼ぶ場合がある。 The Web server 300 has a database 320. The recorded video group 21 is stored in the database 320. The recorded video group 21 is composed of a plurality of related recorded video data 22-1 to 22-N (2 ≦ N). The recorded video data 22-1 to 22-N are video data. The relevance of the recorded video data 22-1 to 22-N is not particularly limited, and may be due to shooting conditions such as when shooting a specific place or object, or shooting. Regardless of the time conditions, for example, the association may be performed ex post facto by the administrator of the Web server 300. In the following, when the recorded video data 22-1 to 22-N will be described without distinction, it may be referred to as "recorded video data 22-i (here, 1 ≦ i ≦ N)".

なお、録画映像データ２２−ｉは、「第１映像情報」および「第２映像情報」の一例であり、「第１映像情報」および「第２映像情報」の一例は、録画映像データ２２−ｉに限るものではない。 The recorded video data 22-i is an example of "first video information" and "second video information", and an example of "first video information" and "second video information" is recorded video data 22-. It is not limited to i.

本実施形態における録画映像データ２２−ｉは、同一店舗内に設置される複数の監視カメラの録画映像を想定する。つまり、録画映像データ２２−１〜２２−Ｎは、録画が撮影された絶対時刻（例えば、協定世界時「ＵＴＣ」）が存在しており、各録画映像の先頭からの相対時刻と、各録画映像に共通する絶対時刻との関係が「１：１」になっていることを想定している（つまり、各々の録画映像データ２２−ｉの相対時刻「０」に対応する絶対時刻が既知である）。そのため、本実施形態では、録画映像データ２２−ｉの再生位置を表現する場合、主に絶対時刻を用いることにする。なお、一般的には、再生位置を表現する場合、映像データの先頭を時刻「０」として、そこからの相対時刻を用いることが多い。 The recorded video data 22-i in the present embodiment assumes recorded video of a plurality of surveillance cameras installed in the same store. That is, the recorded video data 22-1 to 22-N has an absolute time when the recording was taken (for example, "UTC" in Coordinated Universal Time), and the relative time from the beginning of each recorded video and each recording. It is assumed that the relationship with the absolute time common to the video is "1: 1" (that is, the absolute time corresponding to the relative time "0" of each recorded video data 22-i is known. is there). Therefore, in the present embodiment, when expressing the reproduction position of the recorded video data 22-i, the absolute time is mainly used. In general, when expressing the playback position, the beginning of the video data is set to the time "0", and the relative time from that time is often used.

ユーザが録画映像群２１を再生するためのＷｅｂアプリケーション３１０のＵＲＬ（Uniform Resource Locator）を指定し、Ｗｅｂブラウザ２１０を介してＷｅｂサーバ３００へのリクエストを送信する場合を考える。その場合、例えば、図２に示すＷｅｂ画面２２０がクライアント２００のディスプレイに表示される。図２（ａ）、（ｂ）に示すＷｅｂ画面２２０は、録画映像群２１を表示するための画面である。Ｗｅｂ画面２２０は、例えば、操作エリア２２１と、録画映像群表示エリア２２２とを有する。 Consider a case where a user specifies a URL (Uniform Resource Locator) of a Web application 310 for playing back a recorded video group 21 and sends a request to a Web server 300 via a Web browser 210. In that case, for example, the Web screen 220 shown in FIG. 2 is displayed on the display of the client 200. The Web screen 220 shown in FIGS. 2A and 2B is a screen for displaying the recorded video group 21. The Web screen 220 has, for example, an operation area 221 and a recorded video group display area 222.

操作エリア２２１は、映像を視聴するためにユーザによって操作が行われる領域である。ここでの操作エリア２２１は、時刻指定欄２２１ａと、再生ボタン２２１ｂとを備える。
時刻指定欄２２１ａには、録画映像データ２２−ｉの再生を開始する時刻がユーザによって指定（入力）される。なお、時刻指定欄２２１ａは、日付やその他の情報がさらに指定（入力）できる構成であってもよい。
再生ボタン２２１ｂは、映像の再生を指示するボタンである。再生ボタン２２１ｂが選択されることによって、時刻指定欄２２１ａで指定された時刻に基づいた位置から録画映像データ２２−ｉが再生する。 The operation area 221 is an area where the user operates to view the video. The operation area 221 here includes a time designation field 221a and a play button 221b.
In the time designation field 221a, the time at which the playback of the recorded video data 22-i is started is designated (input) by the user. The time designation field 221a may be configured so that the date and other information can be further designated (input).
The playback button 221b is a button for instructing playback of the video. When the play button 221b is selected, the recorded video data 22-i is played back from the position based on the time specified in the time designation field 221a.

録画映像群表示エリア２２２は、複数の映像表示エリア２２２−ｉを備える。映像表示エリア２２２−ｉの数は、録画映像データ２２−ｉの数に対応しており、各々の映像表示エリア２２２−ｉでは、再生された録画映像データ２２−ｉが表示される。なお、各々の映像表示エリア２２２−ｉに表示される全ての録画映像データ２２−ｉは同期が取られている（つまり、時刻が一致している）。詳細は後述する。
ここで、録画映像群表示エリア２２２に表示される映像の数は、録画映像データ２２から、ユーザによって選択された数（複数）でもよい。
またここで、録画映像群表示エリア２２２に表示される映像の数は、ユーザによって選択された数であるとき、録画映像群表示エリア２２２に表示される映像の数は、録画映像データ２２の数と等しい数又は少ない数となる。
また、映像表示エリア２２２−１は、一例として店舗の内部から店舗の出口を撮像できるように設置された撮像装置（カメラ）を用いて撮像された映像である。図２（ｂ）における映像表示エリア２２２−１の２３１は、店舗の内部における店舗の出口となる箇所である。
また、映像表示エリア２２２−２は、一例として店舗の出入口の上部に設置された撮像装置（カメラ）を用いて撮像された映像である（ここで、店舗の出入口付近の上部は、撮像できるように透明の天井又は空間が配置されているものとする。）。図２（ｂ）における映像表示エリア２２２−２の２３１は、店舗の内部における店舗の出口となる箇所である。図２（ｂ）における映像表示エリア２２２−２の２３２は、店舗の外部における店舗の入口となる箇所である。
なお、図２（ｂ）における映像表示エリア２２２−１の２３１、映像表示エリア２２２−２の２３１及び２３２については、図２（ａ）、図５（ａ）〜（ｄ）において、記載を省略する。 The recorded video group display area 222 includes a plurality of video display areas 222-i. The number of the video display areas 222-i corresponds to the number of the recorded video data 22-i, and the reproduced recorded video data 22-i is displayed in each video display area 222-i. All the recorded video data 22-i displayed in each video display area 222-i are synchronized (that is, the times are the same). Details will be described later.
Here, the number of images displayed in the recorded image group display area 222 may be the number (plurality) selected by the user from the recorded image data 22.
Here, when the number of images displayed in the recorded image group display area 222 is the number selected by the user, the number of images displayed in the recorded image group display area 222 is the number of recorded image data 22. Is equal to or less than.
Further, the image display area 222-1 is an image captured by using an image pickup device (camera) installed so that the exit of the store can be imaged from the inside of the store as an example. 231 of the video display area 222-1 in FIG. 2B is a location inside the store that serves as the exit of the store.
Further, the image display area 222-2 is an image captured by using an image pickup device (camera) installed above the entrance / exit of the store as an example (here, the upper part near the entrance / exit of the store can be imaged. A transparent ceiling or space shall be placed in.) 231 of the video display area 222-2 in FIG. 2B is a location inside the store that serves as the exit of the store. 232 of the video display area 222-2 in FIG. 2B is a location that serves as an entrance to the store outside the store.
The video display area 222-1 231 and the video display area 222-2 231 and 232 in FIG. 2 (b) are omitted in FIGS. 2 (a) and 5 (a) to 5 (d). To do.

＜第１実施形態に係るＷｅｂサーバが備えるＷｅｂアプリケーションの構成＞
図３を参照して、第１実施形態に係るＷｅｂサーバ３００が備えるＷｅｂアプリケーション３１０のソフトウェア構成について説明する。ここでは、Ｗｅｂアプリケーション３１０が備える機能の中で、本発明に関係する映像の再生に関する機能の説明を行い、それ以外の機能については説明を省略する。
Ｗｅｂアプリケーション３１０は、再生開始機能１と、映像再生機能１１−１，・・，１１−Ｎと、再生一時停止機能２−１，・・，２−Ｎと、再生再開機能３と、時計機能４と、を有する。なお、「Ｎ」は２以上の自然数である。 <Structure of Web application provided in Web server according to the first embodiment>
The software configuration of the Web application 310 included in the Web server 300 according to the first embodiment will be described with reference to FIG. Here, among the functions provided in the Web application 310, the functions related to the reproduction of the video related to the present invention will be described, and the other functions will be omitted.
The Web application 310 includes a playback start function 1, a video playback function 11-1, ..., 11-N, a playback pause function 2-1, ..., 2-N, a playback restart function 3, and a clock function. 4 and. In addition, "N" is a natural number of 2 or more.

再生開始機能１、映像再生機能１１−１，・・，１１−Ｎ、再生一時停止機能２−１，・・，２−Ｎ、再生再開機能３、および時計機能４は、例えば、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や専用回路等により実現される。プログラム実行処理によりこれらの機能を実現する場合、Ｗｅｂサーバ３００内には、これらの機能を実現するためのプログラムが格納される。この実行処理用のプログラムは、コンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。 The playback start function 1, the video playback function 11-1, ..., 11-N, the playback pause function 2-1, ..., 2-N, the playback restart function 3, and the clock function 4 are, for example, a CPU (Central). It is realized by program execution processing by the Processing Unit) and a dedicated circuit. When these functions are realized by the program execution process, the programs for realizing these functions are stored in the Web server 300. The program for this execution process can be stored and provided on a computer-readable recording medium (eg, CD-ROM). The program can also be provided through a network such as the Internet.

映像再生機能１１−１，・・，１１−Ｎの数、および再生一時停止機能２−１，・・，２−Ｎの数は、録画映像データ２２−１，・・，２２−Ｎの数に対応している。以下では、映像再生機能１１−１〜１１−Ｎを区別せずに説明する場合に「映像再生機能１１−ｉ（ここで、１≦ｉ≦Ｎ）」と呼ぶ場合がある。また、再生一時停止機能２−１〜２−Ｎを区別せずに説明する場合に「再生一時停止機能２−ｉ（ここで、１≦ｉ≦Ｎ）」と呼ぶ場合がある。 The number of video playback functions 11-1, ..., 11-N and the number of playback pause functions 2-1, ..., 2-N are the number of recorded video data 22-1, ..., 22-N. It corresponds to. In the following, when the video reproduction functions 11-1 to 11-N are described without distinction, they may be referred to as "video reproduction function 11-i (here, 1 ≦ i ≦ N)". Further, when the reproduction pause function 2-1 to 2-N is described without distinction, it may be referred to as "reproduction pause function 2-i (here, 1 ≦ i ≦ N)".

再生開始機能１は、録画映像データ２２−ｉの再生の開始を制御する機能である。
再生開始機能１は、映像再生機能１１−ｉに対して、時刻tから再生開始するように指示を出す（PLAY(t)命令）。また、再生開始機能１は、再生一時停止機能２−ｉおよび再生再開機能３に対して、映像同期処理を開始したことの通知を出す（SYNC-START通知）。 The playback start function 1 is a function for controlling the start of playback of the recorded video data 22-i.
The playback start function 1 instructs the video playback function 11-i to start playback at time t (PLAY (t) command). Further, the playback start function 1 issues a notification to the playback pause function 2-i and the playback restart function 3 that the video synchronization process has started (SYNC-START notification).

映像再生機能１１−ｉは、録画映像データ２２−ｉの再生などを担当する機能である。映像再生機能１１−ｉは、HTML5規格での Video Element に対応するものである。映像再生機能１１−ｉが有するＡＰＩ（Application Programming Interface）を図８に例示する。映像再生機能１１−ｉは、再生一時停止機能２−ｉに対して、再生が開始されたことを通知する(PLAY-STARTED通知)。 The video reproduction function 11-i is a function in charge of reproducing the recorded video data 22-i. The video playback function 11-i corresponds to the Video Element in the HTML5 standard. An API (Application Programming Interface) included in the video reproduction function 11-i is illustrated in FIG. The video playback function 11-i notifies the playback pause function 2-i that playback has started (PLAY-STARTED notification).

再生一時停止機能２−ｉは、録画映像データ２２−ｉの再生を一時的に停止する機能である。再生一時停止機能２−ｉは、映像再生機能１１−ｉに対して、再生の開始直後に一時停止指示を出す（PAUSE命令)。ここでの「再生の開始直後」とは、Ｗｅｂサーバ３００が実現可能な範囲で最も早いタイミングであるのが望ましいが、それ以外のタイミングを除外するものではない。「再生の開始直後」は、例えば、少なくともＩフレームを再生したタイミングやＩフレームを含む所定数のフレームを再生したタイミングであってよく、映像を視聴するユーザが違和感を感じない程度に短い時間であるのが好ましい。 The playback pause function 2-i is a function for temporarily stopping the playback of the recorded video data 22-i. The playback pause function 2-i issues a pause instruction to the video playback function 11-i immediately after the start of playback (PAUSE command). Here, "immediately after the start of reproduction" is preferably the earliest timing within the feasible range of the Web server 300, but does not exclude other timings. "Immediately after the start of playback" may be, for example, at least the timing at which the I frame is played back or the timing at which a predetermined number of frames including the I frame are played back, and in a short time so that the user who watches the video does not feel uncomfortable. It is preferable to have it.

また、再生一時停止機能２−ｉは、映像再生機能１１−ｉに対して、現在の再生時刻t（ここでは、一時停止した時刻を想定）を得る指示を出す（GET-PLAYTIME命令）。また、再生一時停止機能２−ｉは、再生再開機能３に対して、再生時刻tで一時停止したことを通知する(PAUSED(t)通知)。 Further, the playback pause function 2-i gives an instruction to the video playback function 11-i to obtain the current playback time t (here, the paused time is assumed) (GET-PLAYTIME command). Further, the playback pause function 2-i notifies the playback restart function 3 that the playback has been paused at the playback time t (PAUSED (t) notification).

再生再開機能３は、録画映像データ２２−ｉの再生を一時停止の状態から再開する機能である。再生再開機能３は、映像再生機能１１−ｉに対して、一時停止からの再生再開指示を出す(RESUME命令)。また、再生再開機能３は、時計機能４に対して、時刻tから時計進行開始指示を出す(CLOCK-START(t)命令)。また、再生再開機能３は、時計機能４の時刻を参照する。時計機能４は、基準点（時刻）からの経過時間を計測する機能である。 The playback restart function 3 is a function of restarting the playback of the recorded video data 22-i from the paused state. The playback restart function 3 issues a playback restart instruction from the pause to the video playback function 11-i (RESUME command). Further, the playback restart function 3 issues a clock progress start instruction to the clock function 4 from the time t (CLOCK-START (t) command). Further, the playback restart function 3 refers to the time of the clock function 4. The clock function 4 is a function of measuring the elapsed time from the reference point (time).

≪第１実施形態に係るＷｅｂサーバが備えるＷｅｂアプリケーションの動作≫
図３を参照して、第１実施形態に係るＷｅｂサーバ３００が備えるＷｅｂアプリケーション３１０の動作について説明する。例えば、図２に示すＷｅｂ画面２２０を用いて、ユーザが録画映像データ２２−ｉの再生操作を行うことによって以下の処理が開始する。 << Operation of the Web application provided in the Web server according to the first embodiment >>
The operation of the Web application 310 included in the Web server 300 according to the first embodiment will be described with reference to FIG. For example, using the Web screen 220 shown in FIG. 2, the following processing is started when the user performs a playback operation of the recorded video data 22-i.

最初に、再生開始機能１は、再生一時停止機能２−ｉおよび再生再開機能３に対して、SYNC-START通知を出す（ステップＳ１）。次いで、再生開始機能１は、映像再生機能１１−ｉに対して、映像再生を絶対時刻Tから開始するようにPLAY(T)命令を出す（ステップＳ２）。 First, the playback start function 1 issues a SYNC-START notification to the playback pause function 2-i and the playback restart function 3 (step S1). Next, the playback start function 1 issues a PLAY (T) command to the video playback function 11-i so that the video playback starts from the absolute time T (step S2).

映像再生機能１１−ｉは、再生開始機能１からPLAY(T)命令を受けると、それぞれの録画映像データ２２−ｉの指定時刻Tからの再生を開始する（ステップＳ３）。ここで、映像の再生が開始できる位置（時刻）は、録画映像データ２２−ｉのキーフレーム位置に依存するため、実際の再生開始位置は、それぞれ録画映像データ２２−ｉの指定時刻T付近の絶対時刻T_i0から開始することになる。また、再生が開始されるまでには、データ取得・バッファリングが必要であり、これらの処理にかかる時間はそれぞれ異なるため、再生開始までにかかる時間にも差が発生することになる。
なお、指定時刻Tは、「第１時刻情報」の一例であり、「第１時刻情報」の一例は、指定時刻Tに限るものではない。 When the video playback function 11-i receives a PLAY (T) command from the playback start function 1, the video playback function 11-i starts playback of the recorded video data 22-i from the designated time T (step S3). Here, since the position (time) at which video playback can be started depends on the keyframe position of the recorded video data 22-i, the actual playback start position is near the designated time T of the recorded video data 22-i, respectively. It will start from the absolute time T _{i 0.} In addition, data acquisition and buffering are required before the start of playback, and the time required for these processes is different, so that the time required for the start of playback also differs.
The designated time T is an example of the "first time information", and the example of the "first time information" is not limited to the designated time T.

図４を参照して、PLAY(T)命令における映像再生の指定時刻Tと、キーフレーム位置に依存する再生可能開始時刻T_i0との関係を説明する。
図４では、説明を簡潔にするために録画映像Ａ，Ｂの二つの録画映像データを示している。ここでの録画映像Ａは、例えば録画映像データ２２−１であり、録画映像Ｂは、例えば録画映像データ２２−２である。録画映像Ａ，Ｂは、ＭＰＥＧ（Moving Picture Experts Group）ファイルを想定しており、ＧＯＰ（Group Of Picture）で構成されている。なお、図４におけるＧＯＰの後に付した括弧内の文字は、ＧＯＰを識別するための符号である。 With reference to FIG. 4, the relationship between the designated time T for video reproduction in the PLAY (T) command and the playable start time T _{i0 depending on the keyframe position will be described.}
In FIG. 4, two recorded video data of recorded video A and B are shown for the sake of brevity. The recorded video A here is, for example, recorded video data 22-1, and the recorded video B is, for example, recorded video data 22-2. The recorded images A and B are assumed to be MPEG (Moving Picture Experts Group) files, and are composed of GOP (Group Of Picture). The characters in parentheses after the GOP in FIG. 4 are symbols for identifying the GOP.

ＧＯＰは、映像ファイルを構成する一枚一枚の画像（フレーム）の集まりであり、ＧＯＰ内のフレームは「Ｉピクチャ」、「Ｐピクチャ」、「Ｂピクチャ」の何れかに振り分けて符号化されている。ＧＯＰは、例えば先頭に一つの「Ｉピクチャ」があり、その後ろに「Ｐピクチャ」や「Ｂピクチャ」が続く構造になっている。図４では、Ｉピクチャを太字の点線で表している。なお、Ｉピクチャは、「キーフレーム」の一例であり、「キーフレーム」の一例は、Ｉピクチャに限るものではない。 A GOP is a collection of individual images (frames) that make up a video file, and the frames in the GOP are divided into one of "I picture", "P picture", and "B picture" and encoded. ing. The GOP has a structure in which, for example, one "I picture" is at the beginning, followed by a "P picture" and a "B picture". In FIG. 4, the I picture is represented by a bold dotted line. The I picture is an example of a "key frame", and an example of a "key frame" is not limited to the I picture.

Ｉピクチャは、自画面内（一枚の画像（一枚のフレーム））の情報のみで圧縮することで、時間的に前後する他のフレームを参照しない完全に独立したフレームである。Ｐピクチャは、直前のフレームから変化した差分のみをデータとして記憶したフレームである。Ｂピクチャは、前後のフレームから変化した差分のみをデータとして記録したフレームである。このように、Ｉピクチャは独立したフレームなので単独での表示が可能であるが、ＰピクチャおよびＢピクチャは、参照するＩフレームなしには表示することができない。そのため、再生や編集時にはまずＩピクチャが再生される。 The I-picture is a completely independent frame that does not refer to other frames that are back and forth in time by compressing only the information in the own screen (one image (one frame)). The P picture is a frame in which only the difference changed from the immediately preceding frame is stored as data. The B picture is a frame in which only the difference changed from the previous and next frames is recorded as data. As described above, since the I picture is an independent frame, it can be displayed independently, but the P picture and the B picture cannot be displayed without the reference I frame. Therefore, the I picture is first reproduced at the time of reproduction or editing.

図４に示す場合に、再生を開始する指定時刻として「17:08:00」を指定して再生操作が行われたとする。時刻「17:08:00」は、録画映像ＡのＧＯＰ（Ａ４）の途中であり、また、録画映像ＢのＧＯＰ（Ｂ２）の途中であるので、時刻「17:08:00」から録画映像Ａ，Ｂを再生することができない。録画映像Ａを再生可能な時刻は、ＧＯＰ（Ａ５）のＩフレームがある時刻「17:08:10」である。また、録画Ｂを再生可能な時刻は、ＧＯＰ（Ｂ３）のＩフレームがある時刻「17:08:05」である。そのため、図４に示す例では、映像再生機能１１−１は、再生開始機能１からPLAY(T)命令を受けると、録画映像データ２２−１を時刻「17:08:10」から再生する。また、映像再生機能１１−２は、再生開始機能１からPLAY(T)命令を受けると、録画映像データ２２−２を時刻「17:08:05」から再生する。 In the case shown in FIG. 4, it is assumed that the playback operation is performed by designating "17:08:00" as the designated time to start playback. Since the time "17:08:00" is in the middle of the GOP (A4) of the recorded video A and the GOP (B2) of the recorded video B, the recorded video is recorded from the time "17:08:00". A and B cannot be reproduced. The time when the recorded video A can be played back is the time "17:08:10" when there is an I frame of GOP (A5). The time when the recording B can be played back is the time "17:08:05" when the I frame of the GOP (B3) is present. Therefore, in the example shown in FIG. 4, when the video reproduction function 11-1 receives the PLAY (T) command from the reproduction start function 1, the recorded video data 22-1 is reproduced from the time "17:08:10". Further, when the video reproduction function 11-2 receives the PLAY (T) command from the reproduction start function 1, the video reproduction function 11-2 reproduces the recorded video data 22-2 from the time "17:08:05".

これにより、図５（ａ）に示すように、例えば、映像表示エリア２２２−１には、録画映像データ２２−１の時刻「17:08:10」からの映像が表示される。ここでの映像は、店舗に顧客が来店して入口から入った直後の映像である。一方、映像表示エリア２２２−２には、録画映像データ２２−２の時刻「17:08:05」からの映像が表示される。ここでの映像は、店舗に顧客が来店する前（入口から入る前（顧客の映像無し））の映像である。 As a result, as shown in FIG. 5A, for example, in the video display area 222-1, the video from the time "17:08:10" of the recorded video data 22-1 is displayed. The video here is a video immediately after the customer visits the store and enters from the entrance. On the other hand, in the video display area 222-2, the video from the time "17:08:05" of the recorded video data 22-2 is displayed. The video here is a video before the customer visits the store (before entering from the entrance (no customer video)).

図３に戻って動作の説明を続ける。図３に示すように、映像再生機能１１−ｉでは、映像の再生が開始されると、再生一時停止機能２−ｉへPLAY-STARTED通知を出す（ステップＳ４）。再生一時停止機能２−ｉは、再生開始機能１からSYNC-START通知を受けると、映像再生機能１１−ｉからのPLAY-STARTED通知を待ち受ける状態となる。再生一時停止機能２−ｉは、映像再生機能１１−ｉからPLAY-STARTED通知を受けると、映像再生機能１１−ｉへPAUSE命令を出す（ステップＳ５）。また、再生一時停止機能２−ｉは、再生が一時停止した後、映像再生機能１１−ｉへGET-PLAYTIME命令を出し、現在の再生時刻T_iを得る（ステップＳ６）。そして、再生一時停止機能２−ｉは、再生再開機能３へPAUSED(T_i)通知を出す（ステップＳ７）。ここで、現在の再生時刻T_iは、再生を開始した時刻T_i0から僅かに進んだ時刻である。 Returning to FIG. 3, the description of the operation will be continued. As shown in FIG. 3, the video playback function 11-i issues a PLAY-STARTED notification to the playback pause function 2-i when the video playback is started (step S4). When the playback pause function 2-i receives the SYNC-START notification from the playback start function 1, the playback pause function 2-i is in a state of waiting for the PLAY-STARTED notification from the video playback function 11-i. When the playback pause function 2-i receives the PLAY-STARTED notification from the video playback function 11-i, the playback pause function 2-i issues a PAUSE command to the video playback function 11-i (step S5). Also, playback pause function 2-i, after stopping playback temporary issues a GET-PlayTime instruction to the video reproduction function 11-i, to obtain the current reproduction time T _i (step S6). Then, the playback pause function 2-i issues a PAUSED (T _i ) notification to the playback restart function 3 (step S7). Here, the current playback time T _i is a slightly advanced time from the time T _i0 that started the playback.

なお、第１実施形態に係る再生一時停止機能２−ｉは、「第１処理部」の一例であり、「第１処理部」の一例は、再生一時停止機能２−ｉに限るものではない。 The playback pause function 2-i according to the first embodiment is an example of the "first processing unit", and the example of the "first processing unit" is not limited to the playback pause function 2-i. ..

再生再開機能３は、再生開始機能１からSYNC-START通知を受けると、再生一時停止機能２−ｉからのPAUSED(T_i)通知を待ち受ける状態となる。しばらくすると、再生再開機能３は、全ての再生一時停止機能２−ｉからPAUSED(T_i)通知を受けることとなる（ステップＳ７）。通知された再生時刻T₁〜T_Nの中で、最も小さい絶対時刻をT_min、最も大きい絶対時刻をT_maxとする。次いで、再生再開機能３は、時計機能４に対してCLOCK-START(T_min)命令を出す（ステップＳ８）。 When the playback restart function 3 receives the SYNC-START notification from the playback start function 1, it is in a state of waiting for _{the PAUSED (T i) notification from the playback pause function 2-i.} After a while, the playback restart function 3 _{receives the PAUSED (T i} ) notification from all the playback pause functions 2-i (step S7). Of the notified playback times T _{1 to} T _N , the smallest absolute time is T _min and the largest absolute time is T _max . Next, the playback restart function 3 issues a CLOCK-START (T _min ) command to the clock function 4 (step S8).

なお、再生時刻T₁〜T_Nは、「第２時刻情報」および「第３時刻情報」の一例であり、「第２時刻情報」および「第３時刻情報」の一例は、再生時刻T₁〜T_Nに限るものではない。
また、再生再開機能３は、「第２処理部」の一例であり、「第２処理部」の一例は、再生再開機能３に限るものではない（例えば、「第２処理部」の他の一例は、再生再開機能３及び映像再生機能１１（１１−ｉ）からなる構成であり、当該構成に限るものではない）。 Note that the playback times T _{1 to} T _N are examples of "second time information" and "third time information", and examples of "second time information" and "third time information" are playback time T ₁ It is not limited to ~ T _N.
Further, the playback restart function 3 is an example of the "second processing unit", and the example of the "second processing unit" is not limited to the playback restart function 3 (for example, other "second processing unit"). One example is a configuration including a playback restart function 3 and a video playback function 11 (11-i), and is not limited to the configuration).

以降、再生再開機能３は、時計機能４の時刻Tを監視して、「T = T_i」を経過したタイミングで、映像再生機能１１−ｉに対して、RESUME命令を出す（ステップＳ９）。このとき、T_minを通知した再生一時停止機能２−ｉのインデックスを「Ｋ」とすれば、映像再生機能１１−Ｋに対するRESUME命令は、CLOCK-START(T_min)命令の直後に実行される。時計機能４の時刻Tが進行していき、「T = T_max」を経過すれば、すべての映像再生機能１１−ｉに対して、RESUME命令が出たことになり、再生開始に関する動作を終了する。 After that, the playback restart function 3 monitors the time T of the clock function 4, and issues a RESUME command to the video playback function 11-i at the timing _{when "T = Ti" has elapsed (step S9).} At this time, _{if the index of the playback pause function 2-i that notifies T min} is set to "K", the RESUME command for the video playback function 11-K is executed immediately after _{the CLOCK-START (T min) command.} .. When the time T of the clock function 4 advances and "T = T _max " elapses, it means that the RESUME command has been issued to all the video playback functions 11-i, and the operation related to the start of playback ends. To do.

時計機能４は、初期状態では、時間進行を停止している。時計機能４は、CLOCK-START(T_min)命令を受けると、T_minを初期値として時間進行を開始する。例えば、CLOCK-START(T_min)命令を受けてから実時間で５秒経過後に時計機能４の時刻を参照すると、絶対時刻(T_min+ 5秒)が得られる。 In the initial state, the clock function 4 has stopped the time progress. When the clock function 4 receives the CLOCK-START (T _min ) command, the clock function 4 starts the time progress with _{T min as the initial value.} For example, if the time of the clock function 4 is referred to after 5 seconds have elapsed in real time after receiving the CLOCK-START (T _min _{) instruction, the absolute time (T min} + 5 seconds) can be obtained.

図４を参照して、ここまでの動作を説明する。図４に示す場合では、映像再生機能１１−１は、録画映像Ａを時刻「17:08:10」から再生した直後（時刻T₁）に一時停止する。一方、映像再生機能１１−２は、録画映像Ｂを時刻「17:08:05」から再生した直後（時刻T₂）に一時停止する。ここで、録画映像Ａを一時停止した時刻T₁（例えば「17:08:10 ＋α₁」）に対して、録画映像Ｂを一時停止した時刻T₂（例えば「17:08:05 ＋α₂」）は小さい。そのため、録画映像Ｂを一時停止した時刻T₂が時刻T_minであり、録画映像Ａを一時停止した時刻T₁が時刻T_maxである。ここで、α_i は、再生が始まって一時停止するまでにかかった時間であり、ごく小さな時間である。 The operation up to this point will be described with reference to FIG. In the case shown in FIG. 4, the video playback function 11-1 pauses immediately after the recorded video A is played back from the time "17:08:10" (time T ₁ ). On the other hand, the video playback function 11-2 pauses immediately after the recorded video B is played back from the time "17:08:05" (time T ₂ ). _{Here, the time T 1} at which the recorded video A is paused (for example, "17:08:10 + α ₁ _{") is opposed to the time T 2} at which the recorded video B is paused (for example, "17:08:05 + α ₂ "). ) Is small. _{Therefore, the time T 2} at which the recorded video B is paused is the time T _min _{, and the time T 1} at which the recorded video A is paused is the time T _max . Here, α _i is the time taken from the start of playback to the pause, which is a very small time.

続いて、再生再開機能３は、時計機能４の時刻Tを監視して、「T = T₂」を経過したタイミングで（ここでは、一時停止した後すぐのタイミングで）、映像再生機能１１−２に対してRESUME命令を出す。これにより、映像再生機能１１−２は、録画映像Ｂの再生を再開し、図４の矢印Ｐで示すように、録画映像Ｂの時刻だけが進行していく。その結果、図５（ｂ）に示すように、映像表示エリア２２２−１に表示される録画映像データ２２−１の映像は、時刻「17:08:10」のままであるが、映像表示エリア２２２−２に表示される録画映像データ２２−２の映像は、時刻「17:08:05」から進行した時刻の映像である。なお、図５（ｂ）の映像表示エリア２２２−２に表示される映像は、時刻「17:08:07」ものであり、入口が開いた状態（店舗に顧客が入口から入る直前の状態）を示している。 Subsequently, the playback restart function 3 monitors the time T of the clock function 4, _{and at the timing when "T = T 2} " has elapsed (here, at the timing immediately after the pause), the video playback function 11- Issue a RESUME command for 2. As a result, the video reproduction function 11-2 resumes the reproduction of the recorded video B, and as shown by the arrow P in FIG. 4, only the time of the recorded video B advances. As a result, as shown in FIG. 5B, the video of the recorded video data 22-1 displayed in the video display area 222-1 remains at the time "17:08:10", but the video display area. The video of the recorded video data 22-2 displayed on 222-2 is a video of the time advanced from the time "17:08:05". The image displayed in the image display area 222-2 of FIG. 5B is at the time "17:08:07" and the entrance is open (the state immediately before the customer enters the store from the entrance). Is shown.

続けて、再生再開機能３は、時計機能４の絶対時刻Tを監視して、「T = T₁」を経過したタイミングで（ここでは、一時停止してから約５秒後）、映像再生機能１１−１に対してRESUME命令を出す。ここで、映像再生機能１１−１に対してRESUME命令を出すタイミングは、録画映像Ｂの再生が進行した結果、録画映像Ａを一時停止している時刻と録画映像Ｂを再生している時刻とが一致したときである（図５（ｃ）参照）。なお、図５（ｃ）の映像表示エリア２２２−２に表示される映像は、店舗に顧客が来店して入口から入った直後の映像である。 Subsequently, the playback restart function 3 monitors the absolute time T of the clock function 4, _{and at the timing when "T = T 1} " has elapsed (here, about 5 seconds after the pause), the video playback function Issue a RESUME command to 11-1. Here, the timing of issuing the RESUME command to the video playback function 11-1 is the time when the recorded video A is paused and the time when the recorded video B is being played as a result of the progress of the playback of the recorded video B. Are the same (see FIG. 5 (c)). The image displayed in the image display area 222-2 of FIG. 5C is an image immediately after the customer visits the store and enters from the entrance.

これにより、映像再生機能１１−１は、録画映像Ａの再生を再開し、図４の矢印Ｑで示すように、録画映像Ａ，Ｂの時刻が同期した状態で再生される。その結果、図５（ｄ）に示すように、映像表示エリア２２２−１に表示される録画映像Ａの映像と映像表示エリア２２２−２に表示される録画映像Ｂの映像とは同じ時刻のものとなる（ここで、映像表示エリア２２２−１に表示される録画映像Ａの映像の状態、映像表示エリア２２２−２に表示される録画映像Ｂの映像の状態は、店舗に顧客が入店中の映像の状態であることを示す）。 As a result, the video reproduction function 11-1 resumes the reproduction of the recorded video A, and is reproduced in a state where the times of the recorded images A and B are synchronized as shown by the arrow Q in FIG. As a result, as shown in FIG. 5D, the video of the recorded video A displayed in the video display area 222-1 and the video of the recorded video B displayed in the video display area 222-2 have the same time. (Here, the state of the video of the recorded video A displayed in the video display area 222-1 and the state of the video of the recorded video B displayed in the video display area 222-2 are such that the customer is entering the store. (Indicates that it is in the state of the image).

以上のように、第１実施形態に係るＷｅｂサーバ３００は、再生開始機能１が、全ての映像再生機能１１−ｉに対して、PLAY(T)命令を出すことにより、全ての映像再生機能１１−ｉで、録画映像データ２２−ｉの再生が開始される。このとき、再生が始まると同時に、映像再生機能１１−ｉから、再生一時停止機能２−ｉに対して、PLAY-STARTED通知が発生する。PLAY-STARTED通知を受けた再生一時停止機能２−ｉは、映像再生機能１１−ｉに対してPAUSE命令とGET-PLAYTIME命令を出し、再生の一時停止と、一時停止されたときの再生時刻 T_i を得る。そして、再生一時停止機能２−ｉは、再生再開機能３へPAUSED(T_i)通知を出す。 As described above, in the Web server 300 according to the first embodiment, the playback start function 1 issues a PLAY (T) command to all the video playback functions 11-i, so that all the video playback functions 11 At −i, the reproduction of the recorded video data 22−i is started. At this time, at the same time as the playback starts, the video playback function 11-i issues a PLAY-STARTED notification to the playback pause function 2-i. Upon receiving the PLAY-STARTED notification, the playback pause function 2-i issues a PAUSE command and a GET-PLAYTIME command to the video playback function 11-i to pause the playback and the playback time when the pause is stopped. get _i. Then, the playback pause function 2-i issues a PAUSED (T _i ) notification to the playback restart function 3.

再生再開機能３は、全ての再生一時停止機能２−ｉからのPAUSED(T_i)通知を待つが、全てのPAUSED(T_i)通知を受けた時点の映像再生機能１１−ｉの状態は「時刻 T_i で再生一時停止状態」となっている。再生再開機能３は、再生再開機能３が全てのPAUSED(t)通知を受けたタイミングで、時計機能４に対してCLOCK-START(T_min)命令を出し、以降、時計機能４の時刻T の進行に合わせて、T=T_i のタイミングで、映像再生機能１１−ｉに対してRESUME命令を出す。このため、映像再生機能１１−ｉに対してRESUME命令を出すタイミングは、CLOCK-START(T_min)命令を出すタイミングから T_i- T_min 後となる。 _{The playback restart function 3 waits for PAUSED (T i} ) notifications from all playback pause functions 2-i, but the state of the video playback function 11-i at the time when all PAUSED (T _{i) notifications are received is ".} Playback is paused at time T _i. _{The playback restart function 3 issues a CLOCK-START (T min} ) command to the clock function 4 at the timing when the playback restart function 3 receives all PAUSED (t) notifications, and thereafter, at the time T of the clock function 4. A RESUME command is issued to the video playback function 11-i at the timing of _{T = T i} according to the progress. Therefore, the timing of issuing the RESUME command to the video reproduction function 11-i is _{T i} --T _min after the timing of issuing _{the CLOCK-START (T min) command.}

映像再生機能１１−ｉは、RESUME命令を受けて、一時停止状態から、再生の再開をする。ここで、RESUME命令を実行するために掛かる時間を「ΔR_i」とする。一般的に、一時停止状態では、映像再生機能の内部のバッファリング等の再生状態は維持されており、再生再開の動作は比較的速やかに実行され、ΔR_iは小さな時間となる（例えば、0.1秒以下など）。 The video playback function 11-i receives the RESUME command and resumes playback from the paused state. _{Here, let "ΔR i} " be the time required to execute the RESUME instruction. Generally, in the paused state, the playback state such as buffering inside the video playback function is maintained, the playback restart operation is executed relatively quickly, and ΔR _i is a small time (for example, 0.1). Seconds or less).

ここで時刻 T_minを基準とした相対時刻 t_i を考えると、映像再生機能１１−ｉでは、以下の式（１）のタイミングから再生が再開されることとなる。
t_i = ((T_i - T_min) +ΔR_i) ・・・式（１）
一時停止していた再生時刻は T_iであるので、時刻 S における再生時刻は、以下の式（２）となり、映像再生機能１１−ｉの再生時刻として、T_iに依存しない値が得られる。
T_i + (S - t_i) = T_i+ (S - ((T_i - T_min) +ΔR_i)) = S + T_min- ΔR_i ・・・式（２）
ΔR_iは前述のとおり短い時間であるため、映像再生の同期が揃うこととなる。 Considering the relative time t _i with respect to the time T _min , the video reproduction function 11-i restarts the reproduction from the timing of the following equation (1).
t _i = ((T _i _{--T min} ) + ΔR _i ) ・・・ Equation (1)
Since the paused playback time is T _i , the playback time at time S is given by the following equation (2), and a value independent of _{T i can be obtained as the playback time of the video playback function 11-i.}
T _i + (S --t _i ) = T _i + (S-((T _i _{--T min} ) + ΔR _i )) = S + T _min --ΔR _i・・・ Equation (2)
Since ΔR _i is a short time as described above, the video reproduction is synchronized.

［第２実施形態］
≪第２実施形態に係る動画再生システムの構成≫
図６を参照して、第２実施形態に係る動画再生システム１００Ａについて説明する。図６は、第２実施形態に係る動画再生システム１００Ａの全体構成図である。
第２実施形態に係る動画再生システム１００Ａは、Ｗｅｂサーバ３００ＡのＷｅｂアプリケーション３１０Ａが第１実施形態と異なる。以下では、第１実施形態との相違点について説明する。 [Second Embodiment]
<< Configuration of video playback system according to the second embodiment >>
The moving image reproduction system 100A according to the second embodiment will be described with reference to FIG. FIG. 6 is an overall configuration diagram of the moving image reproduction system 100A according to the second embodiment.
In the moving image playback system 100A according to the second embodiment, the Web application 310A of the Web server 300A is different from the first embodiment. Hereinafter, the differences from the first embodiment will be described.

＜第２実施形態に係るＷｅｂサーバが備えるＷｅｂアプリケーションの構成＞
図７を参照して、第２実施形態に係るＷｅｂサーバ３００Ａが備えるＷｅｂアプリケーション３１０Ａのソフトウェア構成について説明する。ここでは、Ｗｅｂアプリケーション３１０Ａが備える機能の中で、本発明に関係する映像の再生に関する機能の説明を行い、それ以外の機能については説明を省略する。
Ｗｅｂアプリケーション３１０Ａは、同期ズレ監視機能５と、映像再生機能１１−１，・・，１１−Ｎ（映像再生機能１１−ｉ）と、再生一時停止機能２−１，・・，２−Ｎ（再生一時停止機能２−ｉ）と、再生再開機能３と、時計機能４と、を有する。同期ズレ監視機能５以外の機能は、第１実施形態と同様なので詳細な説明を省略する。 <Structure of Web application provided in Web server according to the second embodiment>
The software configuration of the Web application 310A included in the Web server 300A according to the second embodiment will be described with reference to FIG. 7. Here, among the functions provided in the Web application 310A, the functions related to the reproduction of the video related to the present invention will be described, and the other functions will be omitted.
The Web application 310A has a synchronization shift monitoring function 5, a video playback function 11-1, ..., 11-N (video playback function 11-i), and a playback pause function 2-1, ..., 2-N ( It has a playback pause function 2-i), a playback restart function 3, and a clock function 4. Since the functions other than the synchronization deviation monitoring function 5 are the same as those in the first embodiment, detailed description thereof will be omitted.

同期ズレ監視機能５、映像再生機能１１−１，・・，１１−Ｎ、再生一時停止機能２−１，・・，２−Ｎ、再生再開機能３、および時計機能４は、例えば、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や専用回路等により実現される。プログラム実行処理によりこれらの機能を実現する場合、Ｗｅｂサーバ３００Ａ内には、これらの機能を実現するためのプログラムが格納される。この実行処理用のプログラムは、コンピュータによる読み取り可能な記録媒体（例：ＣＤ−ＲＯＭ）に記憶して提供することができる。また、そのプログラムを、インターネットなどのネットワークを通して提供することもできる。 The synchronization shift monitoring function 5, the video playback function 11-1, 11-N, the playback pause function 2-1 and ..., 2-N, the playback restart function 3, and the clock function 4 are, for example, CPUs. It is realized by program execution processing by the Central Processing Unit) and a dedicated circuit. When these functions are realized by the program execution process, the programs for realizing these functions are stored in the Web server 300A. The program for this execution process can be stored and provided on a computer-readable recording medium (eg, CD-ROM). The program can also be provided through a network such as the Internet.

同期ズレ監視機能５は、映像再生機能１１−ｉの再生時刻等を監視しており、映像再生機能１１−ｉの再生状態の同期のズレを検知することができる。また、同期ズレ監視機能５は、再生一時停止機能２−ｉへ、同期合わせ命令を出す（SYNC命令）。また、同期ズレ監視機能５は、再生再開機能３へ、映像同期処理を開始したことの通知を出す（SYNC-START通知）。
なお、他の構成は、映像再生機能１１−ｉから再生一時停止機能２−ｉへのPLAY-STARTED通知を利用しないことを除いては、第１実施形態と同じである。 The synchronization deviation monitoring function 5 monitors the reproduction time and the like of the video reproduction function 11-i, and can detect the synchronization deviation of the reproduction state of the video reproduction function 11-i. Further, the synchronization deviation monitoring function 5 issues a synchronization adjustment command to the playback pause function 2-i (SYNC command). Further, the synchronization deviation monitoring function 5 notifies the playback restart function 3 that the video synchronization process has started (SYNC-START notification).
The other configuration is the same as that of the first embodiment except that the PLAY-STARTED notification from the video reproduction function 11-i to the reproduction pause function 2-i is not used.

≪第２実施形態に係るＷｅｂサーバが備えるＷｅｂアプリケーションの動作≫
図７を参照して、第２実施形態に係るＷｅｂサーバ３００Ａが備えるＷｅｂアプリケーション３１０Ａの動作について説明する。 << Operation of the Web application provided in the Web server according to the second embodiment >>
The operation of the Web application 310A included in the Web server 300A according to the second embodiment will be described with reference to FIG. 7.

まず、全ての映像再生機能１１−ｉは、再生状態にあるものとする。同期ズレ監視機能５は、映像再生機能１１−ｉの再生状態の同期ズレを監視している（ステップＴ１）。 First, it is assumed that all the video reproduction functions 11-i are in the reproduction state. The synchronization deviation monitoring function 5 monitors the synchronization deviation of the playback state of the video reproduction function 11-i (step T1).

同期ズレ監視機能５は、映像再生機能１１−ｉの再生状態の同期ズレを検出すると、再生再開機能３に対してSYNC-START通知を出し（ステップＴ２）、次いで、全ての再生一時停止機能２−ｉに対して、SYNC命令を出す（ステップＴ３）。
再生一時停止機能２−ｉは、SYNC命令を受けると、第１実施形態におけるPLAY-STARTED通知を受けたときと同じ動作を実施する。以降の動作は、第１実施形態と同様である。 When the synchronization shift monitoring function 5 detects the synchronization shift of the playback state of the video playback function 11-i, it issues a SYNC-START notification to the playback restart function 3 (step T2), and then all the playback pause functions 2 A SYNC instruction is issued for −i (step T3).
When the playback pause function 2-i receives the SYNC command, it performs the same operation as when the PLAY-STARTED notification in the first embodiment is received. Subsequent operations are the same as in the first embodiment.

なお、第２実施形態に係る再生一時停止機能２−ｉは、「第３処理部」の一例であり、「第３処理部」の一例は、再生一時停止機能２−ｉに限るものではない。 The playback pause function 2-i according to the second embodiment is an example of the "third processing unit", and the example of the "third processing unit" is not limited to the playback pause function 2-i. ..

以上説明した第２実施形態に係るＷｅｂサーバ３００Ａによっても、第１実施形態と略同等の効果を奏することができる。
つまり、再生一時停止機能２−ｉがSYNC命令を受けると、再生状態にある映像再生機能１１−ｉに対してPAUSE命令が出され、映像再生機能１１−ｉは再生を一時停止する。次いで、GET-PLAYTIME命令により再生時刻T_iを取得して、再生再開機能３へPAUSED(T_i)通知が発生する。以降、第１実施形態と同じ動きをし、その結果、映像の同期が揃った状態で再生状態が得られる。 The Web server 300A according to the second embodiment described above can also achieve substantially the same effect as that of the first embodiment.
That is, when the playback pause function 2-i receives the SYNC command, a PAUSE command is issued to the video playback function 11-i in the playback state, and the video playback function 11-i pauses the playback. Then, to get the playback time T _i by GET-PLAYTIME instruction, PAUSED (T _i) notification is generated to resume playback function 3. After that, the same movement as in the first embodiment is performed, and as a result, a playback state is obtained in a state where the images are synchronized.

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例は、例えば以下に示す通りである。 [Modification example]
Although the embodiments of the present invention have been described above, the present invention is not limited to this, and can be carried out within a range that does not change the gist of the claims. A modified example of the embodiment is as shown below, for example.

第１実施形態における再生一時停止機能２−ｉは、映像再生機能１１−ｉからPLAY-STARTED通知を受けて、GET-PLAYTIME命令により再生時刻 T_i を得ている。しかしながら、映像再生機能１１−ｉは、PLAY-STARTED通知の代わりに、再生時刻 T_i そのものを通知する機能を有していてもよい。 The playback pause function 2-i in the first embodiment receives a PLAY-STARTED notification from the video playback function 11- _i and obtains a playback time T i by a GET-PLAY TIME command. However, the video playback function 11-i, instead of PLAY-STARTED notification may have a function of notifying a playback time T _i itself.

また、第１，２実施形態では、図８に示すように、映像再生機能１１−ｉの実装として、HTML5 Video Element を実装することを想定していた。しかしながら、同様のＡＰＩを備えるならば他の映像再生機能の実装にも適用可能である。 Further, in the first and second embodiments, as shown in FIG. 8, it is assumed that the HTML5 Video Element is implemented as the implementation of the video reproduction function 11-i. However, if it has a similar API, it can be applied to the implementation of other video reproduction functions.

また、第１，２実施形態では、録画映像を単に一時停止するだけであったが、録画映像を一時停止させるとともに、何らかの情報を一時停止した録画映像とともに、または一時停止した録画映像に代えて表示させてもよい。例えば、複数の録画映像を同期するために一時停止させていることを説明するメッセージ（説明情報）は、映像再生機能１１（１１−ｉ）を用いて、一時停止している映像に重ねて表示させてもよい。これにより、録画映像を視聴するユーザは、録画映像が一時停止したことに違和感を感じることなく視聴することができる。なお、一時停止状態の録画映像を表示しないようにすることも可能である。 Further, in the first and second embodiments, the recorded video is simply paused, but the recorded video is paused and some information is paused together with the recorded video or in place of the paused recorded video. It may be displayed. For example, a message (explanatory information) explaining that a plurality of recorded videos are paused for synchronization is displayed overlaid on the paused video by using the video playback function 11 (11-i). You may let me. As a result, the user who watches the recorded video can watch the recorded video without feeling any discomfort when the recorded video is paused. It is also possible not to display the recorded video in the paused state.

また、第１，２実施形態では、複数の監視カメラによって同時に撮影した録画映像を想定したが、クライアント２００のＷｅｂブラウザ２１０に表示できる映像の種類はこれに限定されるものではない。Ｗｅｂブラウザ２１０に表示する映像は、例えば、スポーツの試合を撮影したものなどであってもよい。 Further, in the first and second embodiments, recorded images taken by a plurality of surveillance cameras at the same time are assumed, but the types of images that can be displayed on the Web browser 210 of the client 200 are not limited to this. The image displayed on the Web browser 210 may be, for example, a photograph of a sports game.

また、第１実施形態に係る再生開始直後における同期制御と、第２実施形態に係る同期再生のズレを検知した場合におけるズレを修正する制御とを組み合わせてもよい。 Further, the synchronous control immediately after the start of the reproduction according to the first embodiment and the control for correcting the deviation when the deviation of the synchronous reproduction according to the second embodiment is detected may be combined.

１再生開始機能
２−１，・・，２−Ｎ（２−ｉ）再生一時停止機能
３再生再開機能
４時計機能
５同期ズレ監視機能
１１−１，・・，１１−Ｎ（１１−ｉ）映像再生機能
２２−１，・・，２２−Ｎ（２２−ｉ）録画映像データ
１００，１００Ａ動画再生システム
２００クライアント
２１０Ｗｅｂブラウザ
３００，３００ＡＷｅｂサーバ
３１０，３１０ＡＷｅｂアプリケーション 1 Playback start function 2-1, ..., 2-N (2-i) Playback pause function 3 Playback restart function 4 Clock function 5 Synchronization shift monitoring function 11-1, ..., 11-N (11-i) Video playback function 22-1, ..., 22-N (22-i) Recorded video data 100, 100A Video playback system 200 Client 210 Web browser 300, 300A Web server 310, 310A Web application

Claims

It is a processing device
With respect to the first video information having a key frame and the second video information having a key frame, the first processing unit that performs the processing of pausing the playback immediately after the start of playback according to the playback instruction from the first time information.
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on the second processing unit, which performs the processing of resuming the reproduction of the first video information and the second video information.
A processing device characterized by having.

The second processing unit
The amount of time lag is calculated by subtracting the video information before the pause time from the video information after the pause time.
After the process of resuming the reproduction of the video information before the time of the pause is performed, the process of resuming the reproduction of the video information after the time of the pause is performed after the elapsed amount of the calculated time shift has elapsed. Do, do
The processing apparatus according to claim 1, wherein the processing apparatus is characterized in that.

The second processing unit
While the video information is paused after the time of the pause, the explanatory information indicating the reason why the video information is paused together with the video information or in place of the video information is displayed.
The processing apparatus according to claim 2, wherein the processing apparatus is characterized in that.

It is a processing device
With respect to the first video information having a key frame and the second video information having a key frame, when a synchronization deviation of the playback state is detected, the third processing unit that performs the processing of pausing the playback, and the third processing unit.
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on the second processing unit, which performs the processing of resuming the reproduction of the first video information and the second video information.
A processing device characterized by having.

The second processing unit
The amount of time lag is calculated by subtracting the video information before the pause time from the video information after the pause time.
After the process of resuming the reproduction of the video information before the time of the pause is performed, the process of resuming the reproduction of the video information after the time of the pause is performed after the elapsed amount of the calculated time shift has elapsed. Do, do
The processing apparatus according to claim 4, wherein the processing apparatus is characterized in that.

The second processing unit
While the video information is paused after the time of the pause, the explanatory information indicating the reason why the video information is paused together with the video information or in place of the video information is displayed.
The processing apparatus according to claim 5, wherein the processing apparatus is characterized in that.

The computer of the processing device,
The first processing unit, which performs a process of pausing the reproduction of the first video information having a key frame and the second video information having a key frame immediately after the start of reproduction according to the reproduction instruction from the first time information.
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on this, the second processing unit, which performs the process of resuming the reproduction of the first video information and the second video information.
A program to function as.

The computer of the processing device,
Regarding the first video information having a key frame and the second video information having a key frame, when a synchronization deviation of the playback state is detected, the third processing unit, which performs the processing of pausing the playback,
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on this, the second processing unit, which performs the process of resuming the reproduction of the first video information and the second video information.
A program to function as.

It is a processing method of the processing device.
The processing device is
With respect to the first video information having a key frame and the second video information having a key frame, a first processing step in which playback is paused immediately after the start of playback according to a playback instruction from the first time information.
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on the second processing step, which processes the resumption of reproduction of the first video information and the second video information,
A processing method characterized by having.

It is a processing method of the processing device.
The processing device is
With respect to the first video information having a key frame and the second video information having a key frame, when a synchronization deviation of the playback state is detected, the third processing step of performing the processing of pausing the playback, and
The delay time information between the second time information associated with the first video information at the time of suspension and the third time information associated with the second video information at the time of suspension. Based on the second processing step, which processes the resumption of reproduction of the first video information and the second video information,
A processing method characterized by having.