JP2009049797A - Image generating device, display device, image generating method, program, and recording medium with program recorded thereon - Google Patents
Image generating device, display device, image generating method, program, and recording medium with program recorded thereon Download PDFInfo
- Publication number
- JP2009049797A JP2009049797A JP2007215173A JP2007215173A JP2009049797A JP 2009049797 A JP2009049797 A JP 2009049797A JP 2007215173 A JP2007215173 A JP 2007215173A JP 2007215173 A JP2007215173 A JP 2007215173A JP 2009049797 A JP2009049797 A JP 2009049797A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- display
- image signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、例えば監視カメラが撮影した画像などの入力した画像信号を、複数の表示領域に分割してマルチ画面表示を行う場合に適用して好適な画像生成装置及び表示装置、画像生成方法、プログラム並びにプログラムを記録した記録媒体に関する。 The present invention can be applied to a case where an input image signal such as an image taken by a surveillance camera is divided into a plurality of display areas to perform multi-screen display, an image generation device and a display device, an image generation method, The present invention relates to a program and a recording medium on which the program is recorded.
従来、ビル等の建物の内部や駐車場等、監視を行いたい場所に監視カメラを設置して、監視カメラから送信される映像を確認することで、監視領域を監視することが行われている。監視領域の監視は、監視カメラとは離れた場所にある管理室等で行うのが一般的であり、監視カメラは、例えば管理室内に設置された制御装置にネットワークを介して接続してある。制御装置には記憶装置や表示装置を接続してあり、監視カメラから送信された映像は、制御装置を介して記憶装置に記録されるとともに、表示装置上に表示される。 Conventionally, monitoring areas have been monitored by installing surveillance cameras in places such as buildings and parking lots where parking is desired, and checking images transmitted from surveillance cameras. . The monitoring area is generally monitored in a management room or the like located away from the monitoring camera. The monitoring camera is connected to a control device installed in the management room via a network, for example. A storage device and a display device are connected to the control device, and an image transmitted from the surveillance camera is recorded on the storage device via the control device and displayed on the display device.
監視カメラが複数の箇所に設置されている場合には、複数の監視カメラからの映像が制御装置に送信されることになる。この場合は、複数の監視カメラからの映像を同時にモニタすることができるように、複数の映像を1つの画面上に分割表示したり、複数台の表示装置で構成されるマルチ画面上に表示したりすることも行われている。表示画面上に映像を表示する時間の間隔は、例えば1フレーム毎や10フレーム毎等に設定可能であり、所定のフレーム表示時間が経過した後には、次のフレームの映像が表示されるようになる。 When the surveillance cameras are installed at a plurality of locations, images from the plurality of surveillance cameras are transmitted to the control device. In this case, in order to be able to monitor images from multiple surveillance cameras at the same time, multiple images can be divided and displayed on a single screen or displayed on a multi-screen consisting of multiple display devices. It is also done. The time interval for displaying the video on the display screen can be set, for example, every frame or every 10 frames, and the video of the next frame is displayed after a predetermined frame display time elapses. Become.
ところが、ある特定の監視カメラから送信された映像に注目して、その時点で表示されている映像から時間的に前後する映像を確認したい場合等には、巻き戻しや早送り等の操作を行う必要があり、手間がかかるという問題があった。 However, if you pay attention to the video sent from a certain surveillance camera and want to check the video that is moving back and forth in time from the currently displayed video, you need to perform operations such as rewind and fast-forward. There was a problem that it took time and effort.
特許文献1には、1つの映像を構成する各フレームを抜き出して、抜き出した各フレームを、表示画面上の各分割領域に順番に貼り付けることについて開示してある。
特許文献1に記載のような手法を用いれば、複数台の表示装置又は複数の分割領域の集合体で形成されるマルチ画面において、映像の時間方向の変化が表現されるようになる。よって、映像中の特定の物体の動きも解析し易くなる。ところが、監視の対象が、駐車場に駐車された車等である場合には、このような手法では物体の変化を追えない場合がある。駐車場に車が駐車されている時間は1時間や2時間等となる場合がほとんどであり、この間に撮影された映像においては、物体に時間方向の変化が生じないためである。
If a technique as described in
このような長い時間間隔における変化を確認できるように、各表示画面に表示させるフレームのサンプリング間隔を長くとることも可能である。しかしこのような設定にすると、今度は車の動き終わりと動き出しといった短い時間軸において表現される情報が、マルチ画面上で表示されなくなってしまう可能性が出てくる。つまり、従来の手法では、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを一度に確認することができなかった。 It is also possible to increase the sampling interval of the frames displayed on each display screen so that the change at such a long time interval can be confirmed. However, with such a setting, there is a possibility that information expressed on a short time axis such as the end and start of movement of the car will not be displayed on the multi-screen. That is, with the conventional method, it is impossible to confirm the global information expressed with a long time interval and the detailed motion information expressed with a short time interval at a time.
本発明はかかる点に鑑みてなされたものであり、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを、一度に確認できるようにすることを目的とする。 The present invention has been made in view of such points, and is intended to enable confirmation of global information expressed in a long time interval and detailed movement information expressed in a short time interval at a time. Objective.
本発明は、入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させるための画像信号を生成する画像生成装置において、入力された画像信号を蓄積する記憶部と、記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部を備えた。そして、画像信号生成部で生成させる画像信号の読み出し開始フレームを、表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部とを備えた。 The present invention provides an image generation apparatus that generates an image signal for displaying an input moving image as a moving image in each of a plurality of display areas each including at least two columns and two rows. A storage unit for storing the image signal, and an image signal stored in the storage unit as an image signal for reading out a frame position that is different for each display area and displaying a moving image in each display area A generator was provided. Then, the readout start frame of the image signal to be generated by the image signal generation unit is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. And a control unit.
このようにしたことで、複数の各表示部においては所定の再生フレーム間隔で映像が表示されるとともに、少なくとも2つの列及び2つの行で構成されるマルチ画面上では、複数の表示部の配置の順番に応じて読み出し開始位置が遅延された、複数の映像が表示されるようになる。 By doing so, video is displayed at a predetermined playback frame interval on each of the plurality of display units, and the arrangement of the plurality of display units is arranged on a multi-screen composed of at least two columns and two rows. A plurality of videos with the readout start position delayed in accordance with the order of the images are displayed.
本発明によると、各表示部においては短い時間間隔で表現される細かい動きの情報を確認できると同時に、複数の表示部により構成されるマルチ画面上では、長い時間間隔で表現される大局的な情報を確認することができるようになる。 According to the present invention, it is possible to confirm detailed movement information expressed in a short time interval on each display unit, and at the same time, on a multi-screen configured by a plurality of display units, a global display expressed in a long time interval. You will be able to confirm the information.
以下、本発明の第1の実施の形態を、図1〜図5を参照して説明する。図1は、本実施の形態の例による監視システムの構成例を示す図である。図1に示した監視システム1は、駐車場等の監視領域を撮影するカメラ10と、表示装置D1〜D25と、カメラ10から送信された動画像を蓄積して、蓄積した動画像の画像信号を表示装置Dごとにタイミングをずらして読み出し、読み出した画像信号を各表示装置Dに出力する画像生成装置20とで構成される。カメラ10は図示せぬネットワーク等を介して画像生成装置20に接続してあり、画像生成装置20には表示装置D1〜D25を接続してある。図1においては、画像信号の流れを破線で示してあり、制御信号の流れを実線で示してある。なお、図1では表示装置D2〜D24の図示を省略してある。
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a diagram illustrating a configuration example of a monitoring system according to an example of the present embodiment. The
表示装置Dは、図3に示したように、縦方向に5行、横方向に5列のマトリクス状に配置してあり、25個の表示装置Dによって一つのマルチ画面を形成するようにしてある。そして画像生成装置20(図1参照)は、マルチ画面を構成する各表示装置D上に表示される映像が、マルチ画面の左端から上方向及び右側方向に進むにつれて徐々に遅延されるように、画像信号を読み出す際の読み出し開始フレームの位置を例えば90フレーム等の所定の間隔でずらしながら、1フレーム等の所定の再生フレーム間隔で画像信号を読み出して、各表示装置Dに出力する処理を行う。表示装置Dの配列や画像信号の再生間隔については後述する。 As shown in FIG. 3, the display device D is arranged in a matrix of 5 rows in the vertical direction and 5 columns in the horizontal direction, so that one multi-screen is formed by the 25 display devices D. is there. The image generating device 20 (see FIG. 1) is configured so that the video displayed on each display device D constituting the multi-screen is gradually delayed from the left end of the multi-screen toward the upper side and the right side. While reading the image signal, the position of the read start frame is shifted by a predetermined interval such as 90 frames, and the process of reading the image signal at a predetermined reproduction frame interval such as 1 frame and outputting it to each display device D is performed. . The arrangement of the display device D and the image signal reproduction interval will be described later.
なお、本例では表示装置Dを25個用いる構成を例に挙げているが、表示装置Dをその他の数で構成するようにしてもよい。また、表示装置Dを複数台用いるのではなく、一つの表示装置の画面を複数の領域に分割した分割領域により、マルチ画面を構成するようにしてもよい。又は、表示装置あるいは分割領域を縦方向の一列もしくは横方向の一列に配列した場合に適用してもよい。 In this example, a configuration using 25 display devices D is taken as an example, but the display devices D may be configured by other numbers. Further, instead of using a plurality of display devices D, a multi-screen may be configured by divided areas obtained by dividing the screen of one display device into a plurality of areas. Alternatively, the present invention may be applied when the display device or the divided areas are arranged in one column in the vertical direction or one column in the horizontal direction.
また、本例では画像信号を蓄積する記憶部21を画像生成装置20に備えさせた場合を例に挙げたが、各表示装置Dがそれぞれに記憶部21を備える構成に適用してもよい。
Further, in this example, the case where the
再び図1に戻って監視システム1の構成についての説明を続けると、画像生成装置20は、カメラ10から送信された画像信号を蓄積する記憶部21と、リモートコントローラとして構成された操作部22と、画像生成装置20の各部を制御する制御部23と、フレーム抽出部24と、OSD処理部25とを備える。記憶部21は、例えばHDD(Hard Disk Drive)やDVD(Digital Versatile Disc)ドライブ等で構成してあり、制御部23は、MPU(Micro Processing Unit)等で構成してある。フレーム抽出部24とOSD処理部25は、表示装置Dの数に対応させて設けるようにする。図1に示した例では、表示装置Dは25台としてあるため、フレーム抽出部24とOSD処理部25もそれぞれ25個必要となる。
Returning to FIG. 1 again, the description of the configuration of the
操作部22は、ユーザより、映像の再生開始や再生停止の指示、再生を開始するフレームの指定や、後述する画像信号の読み出し開始フレームの設定間隔や映像再生フレーム間隔等の入力を受け付けるインターフェース部であり、受け付けた操作入力に対応する操作信号を生成して制御部23に出力する。なお、本例では、操作部22としてリモートコントローラを用いた場合を例に挙げたが、これに限定されるものではなく、ジョイスティックや十字キー、キーボード等の他の装置を用いるようにしてもよい。
The
制御部23は、フレーム制御部23aを有しており、フレーム制御部23aは、表示装置Dの配列情報と、画像信号取得の読み出し開始フレームの設定間隔情報、映像再生のサンプリング間隔情報を基に、どの表示装置Dに、記憶部21に蓄積された画像信号のうちのどのフレームを出力するかを算出する。そして算出したフレームのフレーム番号をフレーム制御情報に含めて、生成したフレーム制御情報をフレーム抽出部24に出力する。またフレーム制御部23aは、表示装置D上で再生させる映像にフレーム番号を重畳するための、OSD(On Screen Display)制御情報も生成し、生成したOSD制御情報をOSD処理部25に出力する。
The control unit 23 includes a
フレーム抽出部24は、フレーム制御情報の中で指定されたフレームを記憶部21から読み出し、読み出したフレームをOSD処理部25に出力する。OSD処理部25は、フレーム抽出部31bから入力されたフレームに、フレーム制御部23aから入力されたOSD制御情報に含まれるフレーム番号を重畳して、フレーム番号を重畳したフレームを各表示装置D1〜D25に出力する。
The
このように構成された監視システム1において、カメラ10で撮影された画像信号はまず、画像生成装置20の記憶部21に蓄積される。そして、操作部22からの操作入力等によって再生が指示されたタイミングで、フレーム制御部23aによって、各表示装置Dに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて制御部23のフレーム抽出部24に出力される。
In the
フレーム抽出部24では、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、記憶部21から読み出す処理が行われる。フレーム抽出部24で読み出されたフレームは、OSD処理部25に出力される。OSD処理部25では、フレーム抽出部24から出力されたフレームに、OSD制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、OSD処理部25から表示装置D1〜D25に出力され、表示装置Dの図示せぬモニタ等に表示される。なお、本例では映像にOSD表示する情報としてフレーム番号を例に挙げたが、フレーム番号以外の他の情報をOSD表示させるようにしてもよい。又は、OSD表示を行わないようにしてもよい。
In the
なお、図1に示した構成では、画像生成装置20で、各表示装置Dに供給する画像信号を生成させる処理まで行って、それぞれの表示装置Dでは、供給される画像信号を入力させるだけの構成としたが、画像生成装置20として、画像信号の記憶とその記憶した画像信号の表示制御だけを行う構成として、各表示装置Dが記憶部21に記憶された画像信号を読み出す構成としてもよい。
In the configuration illustrated in FIG. 1, the image generation device 20 performs processing up to generation of an image signal to be supplied to each display device D, and each display device D simply inputs the supplied image signal. Although the configuration is such that the image generation device 20 performs only storage of the image signal and display control of the stored image signal, each display device D may read the image signal stored in the
この場合の監視装置1′の構成例を、図2に示してある。図2において図1に対応する箇所には同一の符号を付してある。図2に示した監視装置1′において、画像生成装置20′は、カメラ10から送信された画像信号を蓄積する記憶部21と、操作部22と、制御部23のみを備えた構成としてある。制御部23には、フレーム制御部23aも含まれる。フレーム制御部23aでは、図1に示した構成と同様に、フレーム制御情報とOSD制御情報を生成する処理を行う。そして、生成したフレーム制御情報とOSD制御情報各表示装置D1〜D25に出力する。
An example of the configuration of the monitoring device 1 'in this case is shown in FIG. In FIG. 2, portions corresponding to those in FIG. In the
そして、表示装置D1〜D25側に、フレーム抽出部31bとOSD処理部31dを備えさせてある。表示装置D1〜D25には、それぞれLCD(Liquid Crystal Display)等で構成された表示部32を設けてあり、この他に、画像生成装置20′から送信されたフレーム制御情報を、フレーム抽出部31bに出力するフレーム情報I/F部31aと、画像生成装置20′から送信されたOSD制御情報を、OSD処理部31dに出力するOSD制御情報I/F部31cとを備える。
A
フレーム抽出部31bは、フレーム制御情報の中で指定されたフレームを取得するための取得要求を、画像生成装置20に送信するとともに、画像生成装置20から送信されたフレームを受信する。そして、受信したフレームをOSD処理部31dに出力する。OSD処理部31dでは、OSD制御情報I/F部31cから送られたOSD制御情報に基づいて、フレーム抽出部31bから出力されたフレームにフレーム番号を重畳し、フレーム番号を重畳したフレームを表示部32に出力する。表示部32は、OSD処理部31dから送信されたフレームを表示する。
The
このように構成された監視システム1′において、カメラ10で撮影された画像信号はまず画像生成装置20の記憶部21に蓄積される。そして、操作部22からの操作入力等によって再生が指示されたタイミングで、フレーム制御部23aによって、各表示装置Dに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて表示装置D1〜D25のフレーム制御情報I/F部31aに出力され、フレーム制御情報I/F部31aによって受信されたフレーム制御情報は、フレーム抽出部31bに伝送される。
In the
フレーム抽出部31bでは、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、画像生成装置20の記憶部21から読み出す処理が行われる。そしてフレーム抽出部31bで読み出されたフレームは、OSD処理部31dに出力される。またOSD処理部31dには、画像生成装置20から送信されたOSD制御情報も、OSD制御情報I/F部31cを介して入力される。そしてOSD処理部31dによって、フレーム抽出部31bから出力されたフレームに、OSD制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、OSD処理部31dから表示部32に出力され、表示部32上に表示される。
In the
次に、図3を参照して、表示装置D1〜D25の配列についてと、画像生成装置20における画像信号の読み取り開始フレームの設定間隔について説明する。図3には、表示装置D1〜D25を5行×5列のマトリクス状に配置して、マルチ画面を構成した様子を示してある。マルチ画面の右上端には表示装置D1を配置してあり、表示装置D1の下には表示装置D2〜D5を縦一列に並べて配置してある。表示装置D1の左隣には表示部D6を配置してあり、表示装置D6の下には表示装置D7〜D10を縦一列に並べて配置してある。このような形態で、表示装置D25までを配置してあり、表示装置D25が、マルチ画面の左下端に位置するようにしてある。 Next, the arrangement of the display devices D1 to D25 and the setting interval of the image signal reading start frame in the image generation device 20 will be described with reference to FIG. FIG. 3 shows a state in which the display devices D1 to D25 are arranged in a matrix of 5 rows × 5 columns to constitute a multi-screen. A display device D1 is arranged at the upper right end of the multi-screen, and display devices D2 to D5 are arranged in a vertical line below the display device D1. The display unit D6 is arranged on the left side of the display device D1, and the display devices D7 to D10 are arranged in a vertical line below the display device D6. In this manner, the display device D25 is arranged, and the display device D25 is positioned at the lower left corner of the multi-screen.
各表示装置Dの右下方の領域に四角で囲って表現した数字は、表示装置Dに表示されているフレームのフレーム番号である。各表示装置D上では、映像が例えば60fps等の再生レートで表示されるため、表示されるフレーム番号は、時間の経過に伴って次々と新しいフレーム番号に書き換えられるようになる。つまり図3に示した図は、1フレーム表示時間における表示状態を示したものとなる。各表示装置D上での映像再生のサンプリング間隔も、操作部22(図1、図2参照)を通して設定可能としてあり、再生サンプリング間隔を例えば2と設定した場合には、画像信号が2フレームおきに間引かれて表示されるようになる。 A number expressed by enclosing a square in a lower right region of each display device D is a frame number of a frame displayed on the display device D. On each display device D, since the video is displayed at a playback rate of 60 fps, for example, the displayed frame numbers are successively rewritten to new frame numbers as time elapses. That is, the diagram shown in FIG. 3 shows a display state in one frame display time. The video playback sampling interval on each display device D can also be set through the operation unit 22 (see FIGS. 1 and 2). When the playback sampling interval is set to 2, for example, every two frames of the image signal. Will be displayed after being thinned out.
図3においては、右上端に配置された表示装置D1に表示されているフレーム番号は0であり、その下に配置された表示装置D2に表示されているフレーム番号は、90であることが示されている。そして、表示部D2の下に配置された表示装置D3に表示されているフレーム番号は180となっている。以降、配置位置が下方向に進むにつれて、再生映像におけるフレームの番号が、90フレームずつ大きくなっていることが示されている。 In FIG. 3, the frame number displayed on the display device D1 arranged at the upper right end is 0, and the frame number displayed on the display device D2 arranged below it is 90. Has been. The frame number displayed on the display device D3 arranged below the display unit D2 is 180. Thereafter, it is shown that the frame number in the reproduced video increases by 90 frames as the arrangement position progresses downward.
本例では、このような、行方向に隣り合う表示装置D間での読み出し開始フレームの設定間隔をKrとしてあり、この値は、各表示装置Dのフレーム抽出部31b(図2参照)が、画像生成装置20の記憶部21から画像信号を読み出す間隔によって決定するものである。読み出し開始フレームの設定間隔Krは、操作部22等を介してユーザが任意の値に設定可能としてある。つまり図3に示した例では、読み出し開始フレームの設定間隔Krは90に設定されていることになる。以下の説明においては、読み出し開始フレームの設定間隔Krを、変数Krとも称する。
In this example, the setting interval of the readout start frame between the display devices D adjacent in the row direction is Kr, and this value is determined by the
読み出し開始フレームの設定間隔Krは、マルチ画面の右端の列の最下段に配置された表示装置D5と、その左隣の列の最上段の表示装置D6との間にも、同じ値(90)が設定される。このため、表示装置D5にはフレーム番号360の映像が表示されているのに対して、表示装置D6には、360フレームから90フレーム先の、フレーム番号450の映像が表示されている。つまり、列方向に隣り合う表示装置D間での読み出し開始フレームの設定間隔Kcは、マルチ画面を構成する列の数をM列とした場合に、Kr×Mで求めることができる。
The read start frame setting interval Kr is the same value (90) between the display device D5 arranged at the lowermost row in the rightmost column of the multi-screen and the uppermost display device D6 in the next left column. Is set. For this reason, the image of
図3に示した例では列の数を5列としてあるため、読み出し開始フレームの設定間隔Kcは、Kr(90)×M(5)=450となる。このように構成してあるため、マルチ画面における表示装置Dの配置位置が上から下、そして右から左に進むにつれて、表示装置Dに表示される映像のフレーム番号は大きくなり、マルチ画面の左下端に配置された表示装置D25に一番大きなフレーム番号(2160)の映像が表示されるようになる。つまり、マルチ画面の左下端に配置された表示装置D25には、その時点での最新の映像が表示されるのに対して、右上端に配置された表示装置D1には、一番古い映像が表示されるようになる。 In the example shown in FIG. 3, since the number of columns is five, the read start frame setting interval Kc is Kr (90) × M (5) = 450. With this configuration, the frame number of the video displayed on the display device D increases as the position of the display device D on the multi-screen advances from top to bottom and from right to left. The video with the largest frame number (2160) is displayed on the display device D25 arranged at the end. In other words, the display device D25 arranged at the lower left corner of the multi-screen displays the latest video at that time, while the display device D1 arranged at the upper right corner displays the oldest video. It will be displayed.
次に、図4のフローチャートを参照して、ユーザにより映像の再生開始が指示されてから各表示装置Dに映像が表示されるまでの間の、画像生成装置20及び表示装置Dでの処理の例について説明する。図4における画像生成装置20と表示装置Dは、図2に示した構成であるものとする。図4において、画像生成装置20は、まず操作部22より映像再生開始を指示する操作信号の入力を受け付けると(ステップS1)、フレーム制御部23aによって、マルチ画面に表示させるフレームの範囲が算出される(ステップS2)。例えば図3に示したような5×5のマトリクスに、読み出し開始フレームの設定間隔Krを90として映像を表示する場合で、かつユーザにより指定された再生開始フレームの番号が0であった場合には、マルチ画面に表示させるフレームの終端フレームの番号は、90×(5×5−1)+0=2160と算出される。よって、1フレーム表示時間でマルチ画面に表示させるフレームは、フレーム番号0から2160までのフレームということになる。
Next, referring to the flowchart of FIG. 4, the processing of the image generation device 20 and the display device D from when the user gives an instruction to start playback of the video until the video is displayed on each display device D. An example will be described. The image generation device 20 and the display device D in FIG. 4 are assumed to have the configuration shown in FIG. In FIG. 4, when the image generation apparatus 20 first receives an input of an operation signal instructing start of video reproduction from the operation unit 22 (step S <b> 1), the
そしてステップS3では、ステップS2で算出したフレームの範囲に基づいて、各表示装置Dに表示させるフレームが算出され、算出したフレーム番号を含むフレーム制御情報及びOSD制御情報がOSD処理部31dによって生成される。そして、生成されたフレーム情報及びOSD制御情報が、OSD処理部31dから各表示装置Dに送信される(ステップS4)。ステップS4では、予め設定された各表示装置Dの配列情報を基に、まず、表示装置D1にはフレーム番号0、表示装置D2にはフレーム番号90、表示装置D3にはフレーム番号180のフレームといったように、各表示装置Dとそこに表示させるフレームとを対応づける処理が行われる。そして、フレーム制御情報とOSD制御情報とが、対応づけられた各表示装置Dに送信される。
In step S3, a frame to be displayed on each display device D is calculated based on the frame range calculated in step S2, and frame control information and OSD control information including the calculated frame number are generated by the
表示装置Dでは、画像生成装置20から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS11)、フレーム制御情報の中で指定されたフレーム番号に対応するフレームが、フレーム抽出部31bによって画像生成装置20の記憶部21から読み出され(ステップS12)、OSD処理部31dによって、ステップS12で読み出されたフレームに、OSD制御情報内で指定されたフレーム番号がOSD処理される(ステップS13)。そして、OSD処理されたフレームがOSD処理部31bから表示部32(図2参照)に出力され(ステップS14)、OSD処理されたフレームが表示部32上に表示される(ステップS15)。表示装置Dでの処理は、画像生成装置20からフレーム制御情報が送信されている間、継続して行われる。
When the display device D receives the frame control information and the OSD control information transmitted from the image generation device 20 (step S11), a frame corresponding to the frame number specified in the frame control information is received by the
画像生成装置20では、ステップS4でフレーム制御情報及びOSD制御情報を表示装置Dに送信した後は、再生の停止を指示する指令を受信したか否かの判断、又は、再生フレームが終了したかの判断を行う(ステップS5)。再生の停止指令を受信した場合、又は再生すべきフレームが無いと判断された場合には、再生を終了する(ステップS8)。再生の停止命令を受信しておらず、また再生すべきフレームもまだあると判断された場合には、次にフレーム制御部23aによって、表示装置Dに送信済みのフレーム番号にLフレーム分が追加され、Lフレームが追加された新たなフレーム番号を基に、フレーム制御情報及びOSD制御情報が更新される(ステップS6)。Lが例えば1に設定されている場合には、表示装置D1に送信したフレーム番号であれば、0に1を加算して得られる「1」が新しいフレーム番号となり、表示装置D2に送信したフレーム番号であれば、90に1を加算した「91」が新しいフレーム番号になる。ステップS6の処理は、マルチ画面を構成するすべての表示装置Dに対して行われる。
In the image generation device 20, after transmitting the frame control information and the OSD control information to the display device D in step S4, it is determined whether or not an instruction to stop the reproduction is received, or whether the reproduction frame is completed. (Step S5). If a reproduction stop command is received or if it is determined that there is no frame to be reproduced, the reproduction is terminated (step S8). If it is determined that no playback stop command has been received and there are still frames to be played back, the
次に、Lフレームの表示時間が経過したか否かの判断が行われ(ステップS7)、Lフレーム表示時間が経過するまでの時間は、そのままの状態で待機となる。Lフレームの表示時間が経過したと判断された場合にはステップS4に戻り、フレーム制御情報及びOSD制御情報が各表示装置Dに送信される。ここで送信されるフレーム制御情報とOSD制御情報は、ステップS6で更新された制御情報となる。画像生成装置20における上述した処理は、ステップS5で“Yes”が選択されるまでの間継続して行われる。 Next, it is determined whether or not the display time of the L frame has elapsed (step S7), and the time until the L frame display time elapses stands by as it is. If it is determined that the display time of the L frame has elapsed, the process returns to step S4, and the frame control information and the OSD control information are transmitted to each display device D. The frame control information and the OSD control information transmitted here are the control information updated in step S6. The above-described processing in the image generation apparatus 20 is continuously performed until “Yes” is selected in step S5.
なお、図4に示した処理では、画像生成装置20側で各表示装置Dに表示させるフレーム番号をLフレーム表示時間毎に更新し、その都度各表示装置Dに送信する場合を例に挙げたが、画像生成装置20から表示装置Dに対するフレーム制御情報の送信は最初の一度だけ行い、以降は、表示装置D側でLフレーム表示時間毎にフレーム番号の更新を行う構成としてもよい。この場合は、画像生成装置20から各表示装置Dに対して送信される最初のフレーム制御情報の中に、再生サンプリング間隔Lと読み出し開始フレームの設定間隔Krの情報も含めるようにする。例えば、表示装置D2(図3参照)に対しては、(表示装置D1に出力するフレーム+Kr)のフレームをLフレーム間隔で表示させるための制御情報を送り、表示装置D25に対しては、(表示装置D1に出力するフレーム+Kr×(25−1))のフレームをLフレーム間隔で表示させるための制御情報を送るようにする。 In the process shown in FIG. 4, the frame number to be displayed on each display device D on the image generation device 20 side is updated every L frame display time, and transmitted to each display device D each time as an example. However, the frame control information may be transmitted from the image generation device 20 to the display device D only once, and thereafter, the frame number may be updated every L frame display time on the display device D side. In this case, information on the reproduction sampling interval L and the read start frame setting interval Kr is included in the first frame control information transmitted from the image generation device 20 to each display device D. For example, for the display device D2 (see FIG. 3), control information for displaying the frame of (the frame to be output to the display device D1 + Kr) at L frame intervals is sent, and for the display device D25, ( The control information for displaying the frame + Kr × (25-1)) frame to be output to the display device D1 at intervals of L frames is sent.
図5には、マルチ画面に表示される各フレームが、時間経過に伴い遷移する様子の例を示してある。図5においては、各表示装置D上に表示される映像の図示を省略してある。図5(a)には、マルチ画面の右上端の表示装置D1にフレーム番号0の映像が表示され、左下端の表示装置D25にはフレーム番号2160の映像が表示されている様子を示してある。つまり、各表示装置D間での読み出し開始フレームの設定間隔Krは、90に設定してある。図5に示した例においては、再生サンプリング間隔Lは1に設定されているものとする。
FIG. 5 shows an example of how each frame displayed on the multi-screen transitions with time. In FIG. 5, illustration of images displayed on each display device D is omitted. FIG. 5A shows a state in which an image with
図5(a)に示した状態からLフレーム表示時間が経過すると、図4のフローチャートのステップS7でYesが選択されてステップS4に進む。そしてステップS4では、ステップS6で予め更新済みのフレーム制御情報及びOSD制御情報が、各表示装置Dに送信される。ステップS6においては、表示装置D1〜D25に送信済みの各フレーム番号にL(1)が加算されているため、表示装置D1に送信されるフレーム番号は90+1=91となり、表示装置25に送信されるフレーム番号は2160+1=2161となる。フレーム制御情報及びOSD制御情報を受信した各表示装置Dでは、受信したフレーム制御情報に記載されたフレーム番号のフレームを表示させる。よって、図5(a)からL(1)フレーム表示時間が経過した段階では、マルチ画面を構成する各表示装置Dに表示されるフレーム番号は、図5(b)のようになる。
When the L frame display time has elapsed from the state shown in FIG. 5A, Yes is selected in step S7 of the flowchart of FIG. 4 and the process proceeds to step S4. In step S4, the frame control information and OSD control information updated in advance in step S6 are transmitted to each display device D. In step S6, L (1) is added to each frame number already transmitted to the display devices D1 to D25, so that the frame number transmitted to the display device D1 is 90 + 1 = 91, and is transmitted to the
図5(b)では、表示装置D1にはフレーム番号1の映像が表示され、表示装置D2にはフレーム番号91の映像が表示され、表示装置D25にはフレーム番号2161の映像が表示されている。図5(b)においても、各表示装置D間での読み出し開始フレームの設定間隔Krは90であることが示されている。図5(b)に示した状態から90Lフレーム表示期間が経過した状態を、図5(c)に示してある。図5(c)では、表示装置D1にフレーム番号90の映像が表示され、表示装置D2にフレーム番号180の映像が表示され、表示装置D1にはフレーム番号2250の映像が表示されている。
In FIG. 5B, the video of
つまり、図5(c)に示したタイミングでは、表示装置D2に90フレーム表示時間前に表示されていたフレーム(フレーム番号90)が表示装置D1に表示されており、表示装置D3に90フレーム表示時間前に表示されていたフレーム(フレーム番号180)が表示装置D1に表示されている。そして、左下端に配置された表示装置D25には、その時点での最新のフレーム(フレーム番号2250)が表示されている。 That is, at the timing shown in FIG. 5C, the frame (frame number 90) that was displayed 90 frames before the display time on the display device D2 is displayed on the display device D1, and 90 frames are displayed on the display device D3. The frame (frame number 180) displayed before the time is displayed on the display device D1. The latest frame (frame number 2250) at that time is displayed on the display device D25 arranged at the lower left corner.
このような構成とすることにより、ユーザ(監視者)は、自分が注視している画面上で監視対象としての物体を見失った場合であっても、視線を上方向もしくは右方向に移動させることで、見失った物体を再度確認することができる。同様に、下方向もしくは左方向に視線を移動させることで、注視している画面上に表示されている映像より未来の映像を確認することができる。つまり、早送りや巻き戻し等の煩雑な操作等を行うことなく、視線を移動させるのみで、所望の時間軸の映像を見ることができるようになる。 With this configuration, the user (monitor) can move his / her line of sight upward or rightward even when he / she loses sight of an object to be monitored on the screen he / she is gazing at. Thus, the lost object can be confirmed again. Similarly, by moving the line of sight downward or leftward, a future image can be confirmed from the image displayed on the screen being watched. That is, it is possible to view an image of a desired time axis by simply moving the line of sight without performing complicated operations such as fast-forwarding and rewinding.
また、マトリクス状に配置した各表示装置に、再生のタイミングを所定の間隔でずらした映像を表示させているため、長い時間間隔で表現される大局的な情報を一度に取得することができるようになる。 In addition, since each display device arranged in a matrix displays a video whose reproduction timing is shifted at a predetermined interval, global information expressed at a long time interval can be acquired at a time. become.
また、各表示装置Dにおける映像の再生サンプリング間隔Lと、各表示装置D間での読み出し開始フレームの設定間隔Krという2つの異なる時間軸を、一つのマルチ画面上で表現しているため、Lフレーム間隔で表現される物体の細かな動き情報と、Krを基にマルチ画面全体で表現される大局的な情報とを、一度に確認することができるようになる。 In addition, since two different time axes of the video reproduction sampling interval L in each display device D and the read start frame setting interval Kr between the display devices D are expressed on one multi-screen, L Detailed movement information of the object expressed by the frame interval and global information expressed by the entire multi-screen based on Kr can be confirmed at a time.
さらに、各表示装置D間での読み出し開始フレームの設定間隔Krの大きさを調整することで、マルチ画面全体で一度に表現可能な時間の長さを調整することができるようになる。例えばKrを大きな値とすることで、マルチ画面全体で一度に表現可能な時間の間隔を長くとることができるようになる。これにより、監視する領域が駐車場等の、監視対象の物体に長い時間変化がないような状況であっても、長い時間における映像を、マルチ画面の一画面上に表現することができるようになる。 Furthermore, by adjusting the size of the setting interval Kr of the read start frame between the display devices D, it is possible to adjust the length of time that can be expressed at once on the entire multi-screen. For example, by setting Kr to a large value, the time interval that can be expressed at once on the entire multi-screen can be increased. As a result, even in a situation where the monitored area does not change for a long time, such as a parking lot, an image for a long time can be expressed on one screen of a multi-screen. Become.
なお、ここまで説明した実施の形態では、各表示装置D間での読み出し開始フレームの設定間隔を決める値として、変数Krと、変数Krにマルチ画面の列の数を乗算することで算出できる変数Kcとを用いた例を説明したが、変数Krと変数Kcとで、互いに相関しない別々の値を設定するようにしてもよい。変数Krと変数Kcの値は、ユーザから操作部22を介して値を入力させるようにしてもよく、監視領域における特定の物体の動きに基づいて自動的に算出するようにしてもよい。
In the embodiment described so far, the variable Kr and a variable that can be calculated by multiplying the variable Kr by the number of columns of the multi-screen are used as values for determining the setting interval of the read start frame between the display devices D. Although an example using Kc has been described, different values that are not correlated with each other may be set for the variable Kr and the variable Kc. The values of the variable Kr and the variable Kc may be input by the user via the
監視領域における物体の動きに基づいて、変数Krと変数Kcを自動的に算出する場合の例を、図6〜図8を参照して説明する。ここでは、監視領域が駐車場であり、駐車場における特定の車を監視対象とした場合を例に挙げる。図6には、監視対象の車が監視領域内にフレームインしてからフレームアウトするまでの間に起きたイベントを、フレーム中のタイムコード(秒)と対応させて示してある。監視対象の車(以下、物体とも称する)が監視領域内に存在している時間が3600秒である場合に、そのうち、車が監視領域内に進入開始してから進入を終えるまでの時間は、300秒時点から480秒時点までの180秒間であり、車が監視領域内から退去を開始してから退去終了までの時間が、3660秒時点から3900秒時点までの240秒間である場合の例が示されている。残りの3180秒間は、車が駐車場内で停止している滞在時間となる。 An example of automatically calculating the variable Kr and the variable Kc based on the movement of the object in the monitoring area will be described with reference to FIGS. Here, a case where the monitoring area is a parking lot and a specific vehicle in the parking lot is a monitoring target will be described as an example. FIG. 6 shows the events that occur between the time when the vehicle to be monitored is framed in the monitoring area and the time when the vehicle is out of the frame, corresponding to the time code (seconds) in the frame. When the monitored vehicle (hereinafter also referred to as an object) is in the monitoring area for 3600 seconds, the time from when the car starts to enter the monitoring area until the entry is finished is: An example of 180 seconds from the 300 second time point to the 480 second time point, and the time from the start of the car leaving the monitoring area to the end of the moving time is 240 seconds from the 3660 second time point to the 3900 second time point. It is shown. The remaining 3180 seconds is the staying time in which the car is stopped in the parking lot.
図6に示した例において、監視領域に車が存在している1時間の間に得た映像を、一つのマルチ画面上で表現するとなると、読み出し開始フレームの設定間隔Krの値を大きな値とする必要がある。ところが、変数Krを大きな値とすると、車の進入時や退去時のような非常に短い時間間隔で表現されるイベントは、映像としてサンプリングされなくなってしまう可能性がある。このような問題を解決するには、車の進入時や退去時などの、監視者が注視したい映像をより多く含む時間帯においてはフレームのサンプリング間隔を細かくし、車に動きのない滞在時間においてはフレームのサンプリング間隔を大きくとるようにすればよい。つまり、行方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるKrは、車の移動時間を基に算出し、列方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるKcは、車の滞在時間を基に算出するようにすることで、長い時間間隔での動きと短い時間間隔での動きとを一つのマルチ画面上に表現することができるようになる。 In the example shown in FIG. 6, if an image obtained during one hour when a vehicle is present in the monitoring area is expressed on one multi-screen, the value of the setting interval Kr of the read start frame is set to a large value. There is a need to. However, if the variable Kr is set to a large value, an event represented by a very short time interval such as when a car enters or leaves the vehicle may not be sampled as a video. In order to solve this problem, the frame sampling interval should be reduced in the time zone that includes more images that the observer wants to watch, such as when the car enters or leaves the vehicle, and the vehicle stays at a time when the vehicle does not move. The frame sampling interval may be set to be large. That is, Kr, which is the setting interval of the read start frame between the display devices adjacent in the row direction, is calculated based on the moving time of the car, and the read start frame is set between the display devices adjacent in the column direction. By calculating Kc, which is the interval, based on the staying time of the car, it is possible to express the movement at the long time interval and the movement at the short time interval on one multi-screen. .
図7には、この場合の画像表示装置20及び表示装置Dでの処理の例を、フローチャートで示してある。図7において、画像生成装置20はまず、ユーザからの再生の開始指令を受け取ると(ステップS21)、フレーム制御部23aによって、監視領域における物体の存在時間と動き時間とが算出される(ステップS22)。監視領域における物体の特定は、動体検知等のプログラムによって自動的に行われるものとする。物体の存在時間は、図6に示した例であれば3600秒であり、物体の移動時間は、進入時間の180秒と退去時間の240秒となる。
FIG. 7 is a flowchart showing an example of processing in the image display device 20 and the display device D in this case. In FIG. 7, when the image generation apparatus 20 first receives a reproduction start command from the user (step S21), the
次のステップS23では、フレーム制御部23aによって、物体の動き時間(物体が動いている時間)と表示装置Dの行数(M)との情報を基に、行方向に隣り合う各表示装置D間での読み出し開始フレームの設定間隔Krが算出される。ここでは説明を簡単にするため、フレーム単位ではなく秒単位で計算した場合を例に挙げる。
In the next step S23, each frame of the display devices D adjacent to each other in the row direction is determined by the
物体の動き時間としては進入時間と退去時間があるが、ここでは経過時間が長い方の時間を計算に用いるようにする。よって、図6に示した例では、進入時間ではなく退去時間(240秒)が採用される。また行数Nは、表示装置Dの配列を例えば図3に示した配列(M列×N行=5×5)とした場合には5となる。これらの情報を、変数Kr×(N列−1)=(物体の動き時間)の式に当てはめることにより、変数Krを求める。変数Kr×(5−1)=240を解くと、Krは60となる。 The movement time of the object includes an entry time and a departure time. Here, the longer elapsed time is used for the calculation. Therefore, in the example shown in FIG. 6, the leaving time (240 seconds) is adopted instead of the entering time. The number of rows N is 5 when the arrangement of the display device D is, for example, the arrangement shown in FIG. 3 (M columns × N rows = 5 × 5). The variable Kr is obtained by applying these pieces of information to the equation of variable Kr × (N column−1) = (object movement time). When the variable Kr × (5-1) = 240 is solved, Kr becomes 60.
次にステップS24では、物体の動き終わりのフレームの情報と、物体が存在する最終フレーム(物体がフレームアウトする直前フレーム)の情報と、マルチ画面を構成する列の数Mから、列方向に隣り合う各表示装置D間での読み出し開始フレームの設定間隔Kcが算出される。ここではMが5であることから、列間の間隔は4つあることになる。よって、4Kc={(物体がフレームアウトする時点の秒数(又はフレーム番号))−(物体の動き終わり時点での秒数(又はフレーム番号)}の計算式を解くことにより、変数Kcを求めることができる。物体が存在する最終フレームや物体の動き終わりのフレームは、プログラムにより自動的に算出してもよく、ユーザにフレーム番号や秒数等で指定させるようにしてもよい。 Next, in step S24, the information on the frame at the end of the movement of the object, the information on the last frame in which the object exists (the frame immediately before the object is framed out), and the number M of columns forming the multi-screen, are adjacent in the column direction. A read start frame setting interval Kc between the matching display devices D is calculated. Here, since M is 5, there are four intervals between columns. Therefore, the variable Kc is obtained by solving the calculation formula of 4Kc = {(seconds (or frame number) when the object is out of frame)-(seconds (or frame number) when the object ends)}. The last frame in which the object exists and the frame at the end of the movement of the object may be automatically calculated by a program, or the user may specify the frame number, the number of seconds, or the like.
図6に示した例では、物体が退去を完了した時点(物体が監視領域からフレームアウトした時点)の秒数は3900秒であり、物体が監視領域への進入を終えた(動きを止めた)時点での秒数は480秒である。よって、4Kc=(3900−480)の式が成り立ち、Kc=3420/4=855と算出される。そして図7のステップS25において、このようにして求めた変数KrとKcと、物体が存在する最終フレームの情報を基に、各表示装置Dに表示させるフレームのフレーム番号が算出される。 In the example shown in FIG. 6, the number of seconds at the time when the object has finished moving out (when the object is out of frame from the monitoring area) is 3900 seconds, and the object has finished entering the monitoring area (stopped movement). ) The number of seconds at the time is 480 seconds. Therefore, the equation 4Kc = (3900-480) is established, and Kc = 3420/4 = 855 is calculated. In step S25 of FIG. 7, the frame number of the frame to be displayed on each display device D is calculated based on the variables Kr and Kc thus obtained and the information of the last frame in which the object exists.
物体が退去を完了した時点での秒数は3900秒であるため、3900秒時点でのフレームが表示装置D25に割り当てられ、3900−Kr(=60)で求められるフレーム番号、つまりフレーム番号3840が、表示装置D25の上段に配置された表示装置D24に割り当てられる。また、表示装置D25の右隣に配置された表示装置D20には、3900−Kc(=855)で求められるフレーム番号3045が割り当てられる。ステップS25の処理は、すべての表示装置Dに対して行われる。そしてステップS25で求められたフレーム番号は、フレーム制御部23aによってフレーム制御情報とOSD制御情報に含められて、各表示装置Dに送信される(ステップS26)。
Since the number of seconds at the time when the object completes leaving is 3900 seconds, the frame at the time of 3900 seconds is assigned to the display device D25, and the frame number obtained by 3900-Kr (= 60), that is, the
表示装置Dでは、画像生成装置20から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS27)、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、フレーム抽出部31bによって、画像生成装置20の記憶部21から読み出される(ステップS28)。ここでのフレームの読み出しは、変数KrとKcに基づいて行われる。そして、フレーム抽出部31bが読み出したフレームに対して、OSD制御情報内で指定されたフレーム番号がOSD処理される(ステップS29)。そして、OSD処理されたフレームが、OSD処理部31dから表示部32に出力され(ステップS30)、表示部32上に映像が表示される(ステップS31)。
In the display device D, when the frame control information and the OSD control information transmitted from the image generation device 20 are received (step S27), a frame corresponding to the frame number specified in the frame control information is received by the
図8には、図7のフローチャートに示した処理を行った場合の、マルチ画面での映像の表示例を示してある。図8においては、表示装置Dの右端にはフレーム番号ではなく秒数を示してあるため、四角ではなく括弧で囲んで示してある。実際の表示では、フレーム番号が表示されるものとする。また、図8及び図9においては説明を分かりやすくするため、物体の動き時間における映像を表示したフレームを、太線で囲んで表示してある。 FIG. 8 shows an example of displaying a video on a multi-screen when the processing shown in the flowchart of FIG. 7 is performed. In FIG. 8, the right end of the display device D indicates the number of seconds instead of the frame number, and is therefore enclosed in parentheses instead of a square. In the actual display, it is assumed that the frame number is displayed. Further, in FIGS. 8 and 9, for easy understanding of the description, a frame displaying an image during the movement time of the object is displayed surrounded by a thick line.
マルチ画面の一番左下端の表示装置D25には、物体が監視領域からフレームアウトする直前のフレーム(3900秒時点でのフレーム)が表示されている。また、表示装置D25が配置されている列M1においては、再下段の表示装置D25から最上段の表示装置D21までの間で、Kr(60)秒毎に映像が遅延されて表示されていることが示されている。表示装置D21には、3900−(60×4)=3660秒時点でのフレームが表示されている。3900秒は、物体が退去を終える時点での秒数であり、3660秒は、物体が退去を開始した時点での秒数である。つまり、マルチ画面の左端の一列M1の間に、車が退去を開始してから退去が完了する(監視領域からフレームアウトする)までの時間における映像が、60秒間隔で表現されていることになる。 On the display device D25 at the lower left end of the multi-screen, a frame (frame at 3900 seconds) immediately before the object is framed out of the monitoring area is displayed. In the column M1 where the display device D25 is arranged, the video is delayed and displayed every Kr (60) seconds between the lower display device D25 and the uppermost display device D21. It is shown. On the display device D21, a frame at the time of 3900− (60 × 4) = 3660 seconds is displayed. 3900 seconds is the number of seconds when the object finishes moving out, and 3660 seconds is the number of seconds when the object starts moving out. That is, during the first row M1 on the left end of the multi-screen, the images in the time from when the car starts moving out until the moving out is completed (out of frame from the monitoring area) are expressed at 60 second intervals. Become.
また、マルチ画面右端の一列である列M5においても、車が進入を開始した(監視領域にフレームインした)時間から進入を終えた時間までの180秒間の映像が、60秒間隔で表現されている。つまり、列M5の上から2段目に配置された表示装置D2に、車が進入を開始した300秒時点でのフレームが表示されており、列M5の再下段の表示装置D5に、車が進入を終えた480秒時点でのフレームが表示されている。 Also in row M5, which is one row on the right end of the multi-screen, images of 180 seconds from the time when the vehicle starts entering (framed into the monitoring area) to the time when the entry is finished are expressed at intervals of 60 seconds. Yes. That is, the frame at the time point of 300 seconds when the vehicle started entering is displayed on the display device D2 arranged in the second row from the top of the row M5, and the vehicle is displayed on the display device D5 in the lower row of the row M5. A frame at the time of 480 seconds after entering is displayed.
また、車の停止時間を基に、列方向に隣接する各表示装置D間での読み出し開始フレームの設定間隔Kcを算出してあるため、列M1から列M5においては、映像が855秒(=Kc)間隔で表現されている。Kcをこのように大きな値に設定してあることで、3600秒という長い時間における映像を、マルチ画面の一画面上で表現することができる。 Further, since the setting interval Kc of the reading start frame between the display devices D adjacent in the column direction is calculated based on the stop time of the car, the video is displayed in 855 seconds (= Kc) expressed in intervals. By setting Kc to such a large value, an image in a long time of 3600 seconds can be expressed on one screen of the multi-screen.
このように、物体の動いている時間の情報を基に変数Krを算出し、物体が停止している時間の情報を基に変数Kcを算出しているため、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができる。 Thus, since the variable Kr is calculated based on the information about the time when the object is moving and the variable Kc is calculated based on the information about the time when the object is stopped, the length of time during which the object is moving is calculated. Even when it is extremely short compared to the length of time during which the object is stopped, information on the time during which the object is moving can be represented on the multi-screen without reducing the density in the time direction.
なお、図8では車の進入時における映像を、マルチ画面の一番右側の列M5に表現するようにしたが、図8に示した状態から少し時間が経過した段階においても、車の進入時の映像をマルチ画面からフレームアウトさせないように、マルチ画面の右端一列(M5)は空けるようにしてもよい。この場合は、列の位置によって変数Kcの値に粗密をつけるようにする。 In FIG. 8, the video at the time of entering the car is represented in the rightmost column M5 of the multi-screen. However, even when a little time has passed since the state shown in FIG. The right end line (M5) of the multi-screen may be vacant so that the video of the image is not framed out of the multi-screen. In this case, the value of the variable Kc is adjusted according to the column position.
図9には、図6に示した例を、マルチ画面の右端一列を空けて表現した場合の例を示してある。図9においては、マルチ画面の右端の2列(列M5と列M4)と、左端の2列(列M1と列M2)との間に適用する変数Kc1と、列M4と列M3の間及び列M3と列M2との間に適用する変数Kc2とで、値を変えてある。マルチ画面の端の方の列では、車の動き時間という短い時間を表現するために、値の小さい変数Kc1を適用し、マルチ画面の中央付近の列では、車の停車時間という長い時間を表現するために、値の大きい変数Kc2を適用するようにしてある。 FIG. 9 shows an example in which the example shown in FIG. 6 is expressed with the rightmost column of the multi-screen left open. In FIG. 9, the variable Kc1 applied between the two rightmost columns (column M5 and column M4) and the two leftmost columns (column M1 and column M2) of the multi-screen, between the columns M4 and M3, and The value is changed with the variable Kc2 applied between the column M3 and the column M2. In the column near the end of the multi-screen, a variable Kc1 having a small value is applied in order to express a short time called the movement time of the car, and in the column near the center of the multi-screen, a long time called the car stop time is expressed. Therefore, a variable Kc2 having a large value is applied.
変数Kc2には、例えば変数Kr×マルチ画面の列数Mで求められる値を設定する。変数Krを、図8に示した例と同様に60に設定するものとすると、変数Kc2は、60×5=300となる。変数Kc1は、次の計算式を解くことで求めることができる。
2×Kc1+2×Kc2=車の存在時間(3600秒)
変数Kc2は300であるため、2×Kc1+600=3600となり、Kc1=1500と算出される。
For the variable Kc2, for example, a value obtained by the variable Kr × the number M of columns of the multi-screen is set. If the variable Kr is set to 60 as in the example shown in FIG. 8, the variable Kc2 is 60 × 5 = 300. The variable Kc1 can be obtained by solving the following calculation formula.
2 × Kc1 + 2 × Kc2 = Existing time of car (3600 seconds)
Since the variable Kc2 is 300, 2 × Kc1 + 600 = 3600, and Kc1 = 1500 is calculated.
そして、画像生成装置20において、物体が存在するフレームの最終フレームをマルチ画面左下端の表示装置D25に割り当て、それ以降は算出した変数Kc1,変数Kc2,変数Krを基にフレームを記憶部21から読み出して、各表示装置Dに出力する処理を行う。このようにすることで、マルチ画面の左端の列M1には車の退去時における映像が表示され、マルチ画面の右下端に配置された表示装置D5及びその左隣の列M4の上から3段(表示装置D6〜D8)には、車の進入時における映像が表示されるようになる。つまり、マルチ画面の右端一列のうち、最上段から4段目までの表示装置D(表示装置D1〜D4)には、対象の車が映っていない映像が表示されるようになる。
Then, in the image generating device 20, the final frame of the frame in which the object exists is assigned to the display device D25 at the lower left corner of the multi-screen, and thereafter, the frame is stored from the
このような処理を行うことにより、図9に示した状態から240秒が経過した時点でも、車が監視領域への進入を開始した300秒時点でのフレームが、マルチ画面の右上端の表示装置D1に表示されるようになる。よって、ユーザによる物体の見逃しを防止することができるようになる。 By performing such processing, even when 240 seconds have elapsed from the state shown in FIG. 9, the frame at the time of 300 seconds when the vehicle starts entering the monitoring area is displayed at the upper right end of the multi-screen. D1 is displayed. Therefore, it is possible to prevent the user from overlooking the object.
また、列M4と列M3の間及び列M3と列M2の間においては、車の停止時間を基に算出した変数Kc2を適用してあるため、中央付近の列においては、車に動きのない停止時間中における映像が、粗いサンプリング間隔で表示されるようになる。 In addition, since the variable Kc2 calculated based on the stop time of the vehicle is applied between the column M4 and the column M3 and between the column M3 and the column M2, the vehicle has no movement in the column near the center. Images during the stop time are displayed at coarse sampling intervals.
なお、図8及び図9に示した例では、マルチ画面のどの列においても、変数Krの値は同じ値を用いるようにしたが、列の位置に応じて、変数Krの大きさを変化させるようにしてもよい。 In the example shown in FIGS. 8 and 9, the same value is used for the variable Kr in any column of the multi-screen, but the size of the variable Kr is changed according to the column position. You may do it.
次に、本発明の第2の実施の形態を、図10〜図16を参照して説明する。図10は、本実施の形態の例による監視システムの構成例を示す図である。図10において図1及び図2と対応する箇所には同一の符号を付す。 Next, a second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a diagram illustrating a configuration example of a monitoring system according to the example of the present embodiment. 10, parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals.
本例においても、カメラ10と、画像生成装置20′′と、表示装置D1〜D25とで監視システム1′′を構成してある。本例においては、監視システム1に、映像中の特定の物体をマークするためのユーザインタフェース(以下、UIと称す)を備えさせている。監視システム1が提供するUIは、図11に示したようなものとなる。図11には、矩形のマーカMkが表示装置D7とD8にまたがって表示されている様子を示してあり、ユーザが操作部22を操作することで、マルチ画面内でマーカの位置を自由に移動させることができるようにしてある。そして、マーカMkにより物体が特定された後は、マーカMkによるマークをマルチ画面全体に展開するようにしてある。つまり、特定された物体が表示されるマルチ画面上のすべての箇所に、マーカMkによるマークがされるようになる。なお、図11に示した例では矩形のマーカを採用してあるが、丸形や十字型のマーカ等、その他の形状のマーカを使用するようにしてもよい。
Also in this example, the
このような機能を提供するため、図10の監視システム1′′において、画像生成装置20′′の制御部23′には、フレーム制御部23aの他に指定位置検出部23bと物体追尾部23cとを備えさせてある。指定位置検出部23bは、ユーザが操作部22を介してカーソル(ポインタ)等で指定した箇所が、マルチ画面内のどの位置にあたるのかを検出して、検出した位置情報を物体追尾部23cに出力する。また指定位置検出部23bは、位置情報をOSD制御情報に含めて、各表示装置DのOSD制御情報I/F部31cに送信する処理も行う。
In order to provide such a function, in the
物体追尾部23cは、指定位置検出部23bから受け取った位置情報を基に物体を特定し、マルチ画面の各表示装置D上に表示する各フレームを対象として、物体の追尾を行う。物体の追尾は変数KrやKcの値を基に行う。そして、追尾の結果から各表示装置D内における物体の位置情報を算出し、算出した位置情報をOSD制御情報に含めて各表示装置DのOSD制御情報I/F部31cに出力する。ここで生成されるOSD制御情報は、算出した位置にマークを重畳させるための制御情報となる。なお、物体追尾部23cでの処理はオフラインで行うものとする。
The object tracking unit 23c specifies an object based on the position information received from the designated
表示装置Dの構成は図2で説明したものと同一の構成であり、制御部31と表示部32とで構成される。制御部31には、フレーム制御情報I/F部31aとフレーム抽出部31bとOSD制御情報I/F部31cとOSD処理部31dが含まれる。フレーム制御情報I/F部31aは、画像生成装置20′′のフレーム制御部23aから送信されたフレーム制御情報を受信すると、受信したフレーム制御情報をフレーム抽出部31bに出力する。
The configuration of the display device D is the same as that described with reference to FIG. 2, and includes a
フレーム抽出部31bでは、フレーム制御情報の中で指定されたフレームを取得するために、フレームの取得要求を画像生成装置20′′に送信し、画像生成装置20′′の記憶部21から送信されたフレームを受信する。そして、受信したフレームをOSD処理部31dに出力する。OSD制御情報I/F部31cは、画像生成装置20の物体追尾部23cから出力されたOSD制御情報を受信して、受信したOSD制御情報をOSD処理部31dに伝送する。OSD処理部31dは、OSD制御情報I/F部31cから送られたOSD制御情報に基づいて、フレーム抽出部31bで抽出されたフレームにマーカを重畳し、マーカを重畳したフレームを表示部32に出力する。表示部32は、OSD処理部31dから送信されたフレームを表示する。
In order to acquire the frame specified in the frame control information, the
図12には、ユーザにより指定された物体をマークして表示する場合の処理例を、フローチャートで示してある。画像生成装置20ではまず、ユーザから物体を指定する指示を受け付けると(ステップS41)、指定位置検出部23bによって、マルチ画面内におけるカーソルの位置が算出される(ステップS42)。次に、指定位置検出部23bによって、マーカを表示させる表示装置Dの特定と、特定した表示装置Dの画面内における、マーカの表示位置の算出が行われる(ステップS43)。そして、ステップS43で特定した各表示装置Dに対して、マーカの表示位置情報を含むOSD制御情報が送信される(ステップS44)。
FIG. 12 is a flowchart showing an example of processing when an object designated by the user is marked and displayed. First, when receiving an instruction for specifying an object from the user (step S41), the image generation apparatus 20 calculates the position of the cursor in the multi-screen by the specified
表示装置Dでは、画像生成装置20′′から送信されたOSD制御情報を受信すると(ステップS45)、画像生成装置20′′から取得済みのフレームに対して、OSD制御情報内で指定された位置にマーカを重畳(OSD)する処理が行われる(ステップS46)。そして、OSD処理部31dから表示部32に対して、ステップS46でマーカが重畳されたフレームが出力され(ステップS47)、マーカが重畳されたフレームが表示部32上に表示される(ステップS48)。
When the display device D receives the OSD control information transmitted from the image generation device 20 ″ (step S45), the position specified in the OSD control information with respect to the frame acquired from the image generation device 20 ″. A process of superimposing (OSD) the marker on the is performed (step S46). Then, the frame on which the marker is superimposed in step S46 is output from the
このような処理を行うことで、ユーザの操作に基づいて位置が特定された物体が、マーカMkによってマークされて各表示部32上に表示されるようになる。よって、ユーザは、不審な物体等をマルチ画面内のいずれかの画面において発見した場合等に、特定したい物体に、物体を認識しやすくするためのマークをつけることができるようになる。
By performing such processing, the object whose position is specified based on the user's operation is marked by the marker Mk and displayed on each
次に、図13のフローチャートを参照して、物体がマーカMkによってマークされてから、マーカMkによるマークをマルチ画面全体に展開するまでの処理の例について説明する。図13において、画像生成装置20′′はまず、ユーザから物体を指定する指示を受け付けると(ステップS51)、指定位置検出部23bで、マルチ画面内におけるカーソルの位置が算出される(ステップS52)。次に、指定位置検出部23bにおいて、マーカを表示させる表示装置Dの特定と、特定した表示装置Dの画面内におけるマーカの表示位置の算出が行われる(ステップS53)。ここまでは、図12で説明した処理と同一の処理となる。
Next, an example of processing from when an object is marked by the marker Mk to when the mark by the marker Mk is developed on the entire multi-screen will be described with reference to the flowchart of FIG. In FIG. 13, first, when receiving an instruction for designating an object from the user (step S51), the image generation apparatus 20 ″ calculates the position of the cursor in the multi-screen by the designated
次に、物体追尾部23cにおいて、マルチ画面内での物体の追尾処理が行われる(ステップS54)。マルチ画面内での物体の追尾は、指定位置検出部23から渡された位置情報と、マルチ画面を構成する表示装置Dの配列情報、変数Krや変数Kcの情報を基に行われる。また、マルチ画面内での物体の追尾は、物体が指定された表示装置Dを起点としてその上あるいは下の表示装置Dに表示されるフレーム、その次も、その上あるいは下の表示装置Dに表示されるフレームといったように、対象とするフレームを変えながら次々に行われる。 Next, the object tracking unit 23c performs object tracking processing in the multi-screen (step S54). The tracking of the object in the multi-screen is performed based on the position information passed from the designated position detection unit 23, the array information of the display device D constituting the multi-screen, and information on the variable Kr and the variable Kc. The tracking of an object in the multi-screen is performed by a frame displayed on the display device D above or below the display device D from which the object is designated, and then on the display device D above or below the display device D. It is performed one after another while changing the target frame such as a displayed frame.
次のステップS55では、物体追尾の処理が、マルチ画面を構成するすべてのフレームに対して行われたか否かの判断がされ、マルチ画面を構成するすべてのフレームにおける物体追尾が完了していない間は、ステップS54の処理が続けられる。マルチ画面を構成するすべてのフレームにおける物体追尾が完了したと判断された場合には、物体追尾部23cによって、マークをすべき物体が追尾対象フレームに含まれていたか否かの判断が行われる(ステップS56)。追尾の対象フレームに、マークすべき物体が含まれていなかった場合には、処理は終了される。 In the next step S55, it is determined whether or not the object tracking processing has been performed for all the frames constituting the multi-screen, and the object tracking is not completed for all the frames constituting the multi-screen. The process of step S54 is continued. When it is determined that the object tracking has been completed in all the frames constituting the multi-screen, the object tracking unit 23c determines whether or not the object to be marked is included in the tracking target frame ( Step S56). If the tracking target frame does not include an object to be marked, the process ends.
マークをすべき物体が追尾対象のフレームに含まれていた場合には、物体追尾部23cによって、マーカを表示すべき位置の情報がOSD制御情報に含められて、各表示装置Dに送信される(ステップS57)。OSD制御情報の送信後には、Lフレームの表示時間が経過したか否かの判断が行われる(ステップS58)。Lフレームの表示時間が経過するまでの間は、そのまま待機となり、Lフレームの表示時間が経過した時には、ステップS54に戻って引き続き物体の追尾処理が行われる。 When the object to be marked is included in the tracking target frame, the object tracking unit 23c includes the information on the position where the marker is to be displayed in the OSD control information and transmits it to each display device D. (Step S57). After the OSD control information is transmitted, it is determined whether or not the display time of the L frame has passed (step S58). Until the display time of the L frame elapses, the process waits as it is, and when the display time of the L frame elapses, the process returns to step S54 to continue the object tracking process.
表示装置Dでは、画像生成装置20′から送信されたOSD制御情報をOSD制御情報I/F部31cが受信すると(ステップS59)、フレーム抽出部31bがすでに画像生成装置20′から取得済みのフレームに対して、OSD制御情報内で指定された位置にマーカが重畳(OSD)される(ステップS60)。そして、OSD処理部31dから表示部32に対して、ステップS60でマーカが重畳されたフレームが出力され(ステップS61)、マーカが重畳されたフレームが表示部32上に表示される(ステップS62)。なお、図13に示した処理では、マルチ画面内のすべての画面における物体追尾が完了した後に、画像生成装置20′から表示装置DにOSD制御情報が送信されるようにしてあるが、ステップS54で、マルチ画面内で物体の追尾処理を行う都度OSD制御情報を送信して、表示部32上でマーカを表示させる構成としてもよい。
In the display device D, when the OSD control information I /
このような処理がされることにより、図14に示したように、表示装置D7上で特定された物体Ob1を含むマルチ画面上のすべての映像、つまり表示装置D4〜D16に表示された映像において、物体Ob1がマーカMkによってマークされるようになる。 As a result of such processing, as shown in FIG. 14, in all the images on the multi-screen including the object Ob1 specified on the display device D7, that is, the images displayed on the display devices D4 to D16. The object Ob1 is marked by the marker Mk.
このため、ユーザは特定した物体がマルチ画面上のどの位置に存在するかを容易に把握することができるようになる。また、物体にマークがされることにより、ユーザは、その物体が監視領域にフレームイン又はフレームアウトした時間や、物体の動き始めや動き終わり時の時間の情報を一目で把握することができるようになる。 Therefore, the user can easily grasp at which position on the multi-screen the identified object exists. Also, by marking the object, the user can grasp at a glance information on the time when the object is framed in or out of the monitoring area and the time when the object starts moving or ends. become.
さらに、マークされた物体Ob1を表示した表示装置Dの数を数えることで、物体Ob1が監視領域に存在していた時間や、物体Ob1に動きの無かった時間等を容易に計算することができるようになる。つまり、物体の存在時間や停止時間等の情報を可視化させることができる。 Furthermore, by counting the number of display devices D that display the marked object Ob1, the time during which the object Ob1 was present in the monitoring area, the time during which the object Ob1 did not move, and the like can be easily calculated. It becomes like this. That is, information such as the existence time and stop time of the object can be visualized.
また、本例では、ユーザにより特定された物体が表示されるすべての箇所にマーカMkを重畳して表示する上に、マークされた物体Ob1を含む映像のみをマルチ画面一杯に広げて再表示する等の、マルチ画面でのフレームの割り当てを行えるようにしてある。 Further, in this example, the marker Mk is superimposed and displayed at all locations where the object specified by the user is displayed, and only the image including the marked object Ob1 is expanded and redisplayed to fill the multi-screen. The frame can be assigned on a multi-screen.
図15には、ユーザによってフレームの再割り当てが指示された場合の処理の例を示してある。ここでは、図14に示した状態で、ユーザからフレームの再割り当てが指示された場合を例に挙げて説明する。図15のフローチャートにおいて、画像生成装置20′′はまず、ユーザからのフレーム再割り当て指示を受け付けると(ステップS61)、指定位置検出部23bにより、一つのマルチ画面で表現される時間帯の中における、物体の存在時間が算出される(ステップS62)。図14に示した例では、物体Ob1はフレーム番号270から1260までの間に表示されているため、物体Ob1の存在時間は1260−270=990フレーム表示時間となる。
FIG. 15 shows an example of processing when a frame reassignment is instructed by the user. Here, a case will be described as an example where reassignment of a frame is instructed by the user in the state shown in FIG. In the flowchart of FIG. 15, first, when the image generation apparatus 20 ″ receives a frame reassignment instruction from the user (step S61), the designated
そして次に、ステップS62で求めた物体の存在時間と表示装置Dの配列情報とを基に、変数Krが新たに算出される(ステップS63)。表示装置Dの配列は図14に示したとおりであり、M列×N行=5×5で構成されるものとする。図14に示したマルチ画面のうち、一番右側の列は空けてフレームの再割り当てを行う場合は、(M−1)×Nで求められる数の表示装置Dにフレームを割り当てればよい。つまり、(5−1)×5=20個の表示装置Dに、映像を出力するようにする。これにより、変数Krは、(物体の存在時間)/(フレームを割り当てる表示装置Dの数)で算出できる。図14に示した例では、変数Kr=990/20=49.5≒50となる。 Then, a variable Kr is newly calculated based on the object existence time obtained in step S62 and the arrangement information of the display device D (step S63). The arrangement of the display device D is as shown in FIG. 14 and is configured with M columns × N rows = 5 × 5. In the multi-screen shown in FIG. 14, when the rightmost column is left and frame reassignment is performed, frames may be assigned to the number of display devices D obtained by (M−1) × N. That is, video is output to (5-1) × 5 = 20 display devices D. Thereby, the variable Kr can be calculated by (object existence time) / (number of display devices D to which frames are allocated). In the example shown in FIG. 14, the variable Kr = 990/20 = 49.5≈50.
そして、ステップS63で求めた新たな変数Krと、物体がフレームアウトする直前の時点でのフレームの情報とを基に、各表示装置Dに表示させるフレームのフレーム番号が算出される(ステップS64)。図14の例では、物体が監視領域内に存在する最終のフレームは1260フレームであるため、フレーム番号1260のフレームが表示装置D25に割り当てられる。そして、1260−Kr(=50)で求められるフレーム番号、つまりフレーム番号1210のフレームが、表示装置D25の上段に配置された表示装置D24に割り当てられる。また、表示装置D25の右隣に配置された表示装置D20には、1260−Kr×Nで求められる、フレーム番号1010のフレームが割り当てられる。ステップS64の処理は、マルチ画面を構成するすべての表示装置Dに対して行われる。そしてステップS64で求められたフレーム番号は、ステップS65でフレーム制御情報とOSD制御情報に含められて、各表示装置Dに送信される。このとき、物体をマークするマーカMkの位置情報もOSD制御情報に含められる。
Then, the frame number of the frame to be displayed on each display device D is calculated based on the new variable Kr obtained in step S63 and the information on the frame immediately before the object is out of frame (step S64). . In the example of FIG. 14, since the last frame in which the object exists in the monitoring area is 1260 frames, the frame with the
表示装置Dでは、画像生成装置20′′から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS66)、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、変数Krに基づいて画像生成装置20の記憶部21から読み出され(ステップS67)、読み出されたフレームに対して、OSD制御情報内で指定されたフレーム番号をOSDする処理が行われる(ステップS68)。これと同時に、物体Ob1にマーカMkを重畳する処理も行われる。そして、OSD処理されたフレームが表示部32に出力され(ステップS69)、表示部32上に表示される(ステップS70)。
When the display device D receives the frame control information and the OSD control information transmitted from the image generation device 20 ″ (step S66), the frame corresponding to the frame number specified in the frame control information is based on the variable Kr. Then, a process of OSDing the frame number designated in the OSD control information is performed on the read frame from the
図14に示した映像が表示されている状態において、図15に示した処理が行われた場合の映像の表示例を、図16に示してある。図16では、マルチ画面の右下端の表示装置D5から左下端の表示装置D25までの間に、物体Ob1を含む映像がマーカMk付きで表示されていることが示されている。なお、図15に示した例では、マルチ画面の右端一列を構成する表示装置D1〜D4には、物体を含むフレームを表示しないように調整した例を挙げているが、物体の映像を含むフレームをマルチ画面全体に表示させるようにしてもよい。 FIG. 16 shows a display example of the video when the processing shown in FIG. 15 is performed in the state where the video shown in FIG. 14 is displayed. FIG. 16 shows that an image including the object Ob1 is displayed with the marker Mk between the display device D5 at the lower right end of the multi-screen and the display device D25 at the lower left end. In the example shown in FIG. 15, an example is shown in which the display devices D1 to D4 configuring the rightmost row of the multi-screen are adjusted so as not to display a frame including an object. May be displayed on the entire multi-screen.
このような表示に切り替えることで、ユーザが注視したい物体を含む映像のみが、1つのマルチ画面上に表示されるようになる。よってユーザは、注視したい物体の情報をより細かく見ることができるようになる。 By switching to such display, only the video including the object that the user wants to watch is displayed on one multi-screen. Therefore, the user can see the information of the object to be watched more finely.
なお、図15に示した例では、各表示装置D間での読み出し開始フレームの設定間隔を決める変数として変数Krのみを使用するようにしたが、図8や図9の例と同様に、列方向に隣り合う各表示装置D間に、変数Krとは異なる値の変数Kcを適用するようにしてもよい。また、列の位置によって適用する変数Krの大きさを変えるようにしてもよい。 In the example shown in FIG. 15, only the variable Kr is used as a variable for determining the setting interval of the read start frame between the display devices D. However, as in the examples of FIGS. You may make it apply the variable Kc of the value different from the variable Kr between each display apparatus D adjacent to a direction. Further, the size of the applied variable Kr may be changed depending on the position of the column.
また、図15に示した例では、物体の監視領域内に滞在している間の映像を、マルチ画面の所望の領域に再割り当てする処理について説明したが、フレーム再割り当てを行いたい範囲をユーザに指定させ、ユーザにより指定された範囲の映像をマルチ画面上に再割り当てするようにしてもよい。 In the example shown in FIG. 15, the process of reassigning the video while staying in the object monitoring area to the desired area of the multi-screen has been described. The video in the range specified by the user may be reassigned on the multi-screen.
また、上述した実施の形態では、マルチ画面を構成する複数の表示装置Dが、垂直方向又は水平方向に隣接するように配置した例を挙げたが、図17に示すように、列方向において、表示装置D〜D25が互いに斜め方向に隣接するように配置した場合に適用するようにしてもよい。もしくは、行方向において、表示装置Dが互いに斜め方向に隣接するように配置するようにしてもよい。またこの場合においても、1つの表示装置の画面を複数の領域に分割した表示領域の設定により、同様のマルチ画面を構成するようにしてもよい。 In the above-described embodiment, the example in which the plurality of display devices D configuring the multi-screen are arranged so as to be adjacent to each other in the vertical direction or the horizontal direction has been described. However, as illustrated in FIG. You may make it apply when display apparatus D-D25 arrange | positions so that it may mutually adjoin to diagonally. Or you may make it arrange | position so that the display apparatus D may mutually adjoin to a diagonal direction in a row direction. Also in this case, a similar multi-screen may be configured by setting a display area obtained by dividing the screen of one display device into a plurality of areas.
このように1つの表示装置の表示領域を分割してマルチ画面を構成させる場合には、画像生成装置内で、その1つの表示装置に供給する画像信号として、マルチ画面を表示させる画像信号とし、表示装置ではそのマルチ画面を表示させる画像信号を入力して表示させる構成とすればよい。表示装置として1つの表示装置を使用した構成の場合には、その表示装置で、画像生成装置での処理に相当する処理を行う構成としてもよい。 In this way, when the display area of one display device is divided to form a multi-screen, the image signal supplied to the one display device is an image signal for displaying the multi-screen in the image generation device. The display device may be configured to input and display an image signal for displaying the multi-screen. In the case of a configuration using one display device as the display device, the display device may be configured to perform processing corresponding to processing in the image generation device.
上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。 The series of processes in the above-described exemplary embodiment can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, it is possible to execute various functions by installing programs that make up the software into a computer built into dedicated hardware, or by installing various programs. For example, a general-purpose personal computer or the like installs and executes a program constituting desired software.
また、上述した実施形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。 In addition, a recording medium recording software program codes for realizing the functions of the above-described exemplary embodiments is supplied to a system or apparatus, and a computer (or a control device such as a CPU) of the system or apparatus is stored in the recording medium. It is also achieved by reading and executing the program code.
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 As a recording medium for supplying the program code in this case, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. Can do.
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態例の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described exemplary embodiments are realized, but also the OS running on the computer based on the instruction of the program code performs actual processing. In some cases, the functions of the above-described exemplary embodiments are realized by performing part or all of the above.
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in this specification, the step of describing the program constituting the software is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
1…監視システム、10…カメラ、20…画像生成装置、21…記憶部、22…操作部、23…制御部、23a…フレーム制御部、23b…指定位置検出部、23c…物体追尾部、31…制御部、31a…フレーム制御情報I/F部、31b…フレーム抽出部、31c…OSD制御情報I/F部、31d…OSD処理部、32…表示部、D1〜D25…表示装置
DESCRIPTION OF
Claims (12)
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示させる動画像の再生フレーム間隔を制御する制御部とを備えたことを特徴とする
画像生成装置。 An image generation device that generates an image signal for displaying an input moving image as a moving image in each of a plurality of display areas configured of at least two columns and two rows,
A storage unit for storing image signals of the input moving images;
An image signal generation unit that reads out the image signal stored in the storage unit as a starting point from a different frame position for each display region, and displays the moving image in each display region;
Control for controlling the playback frame interval of moving images to be displayed in each display area while setting the readout start frame of the image signal to be generated by the image signal generation unit at a later time in correspondence with the arrangement order of the display areas An image generating apparatus.
前記制御部が設定する前記各表示領域での再生フレーム間隔と、前記読み出し開始フレームの設定間隔を、任意の値に設定する操作部を備えることを特徴とする
画像生成装置。 The image generation apparatus according to claim 1.
An image generation apparatus comprising: an operation unit that sets a playback frame interval in each display region set by the control unit and a setting interval of the readout start frame to arbitrary values.
前記制御部は、前記記憶部が記憶した画像信号から判別した、動画像中の物体の時間方向での変化状態に応じて、前記読み出し開始フレームの設定間隔を設定することを特徴とする
画像生成装置。 The image generation apparatus according to claim 1.
The control unit sets the setting interval of the readout start frame according to a change state in the time direction of an object in the moving image determined from the image signal stored in the storage unit. apparatus.
前記制御部は、前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、前記複数の表示領域の配列情報と、前記物体が映像中に存在している時間情報とを基に、前記読み出し開始フレームの設定間隔を再計算し、前記物体が映っている最終フレームの近傍のフレーム番号と、前記再計算された読み出し開始フレームの設定間隔とを基に、各表示領域の読み出し開始フレーム位置を算出することを特徴とする
画像生成装置。 The image generation apparatus according to claim 1.
The control unit receives a command for reassigning a frame including a video of a specific object, which is determined from the image signal stored in the storage unit, to the entire multi-screen formed in the plurality of display areas. In this case, based on the arrangement information of the plurality of display areas and the time information in which the object is present in the video, the setting interval of the readout start frame is recalculated, and the object is finally captured. An image generation apparatus that calculates a read start frame position of each display region based on a frame number in the vicinity of a frame and the recalculated read start frame setting interval.
前記制御部は、前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、前記複数の表示領域の配列情報と、前記物体が映像中に存在している時間情報とを基に、前記マルチ画面の列のうちいずれかの列には特定の物体の映像を含むフレームを表示させないように、前記読み出し開始フレームの設定間隔を再計算し、前記物体が映っている最終フレームの近傍のフレーム番号と、前記再計算された読み出し開始フレームの設定間隔とを基に、各表示領域の読み出し開始フレーム位置を算出することを特徴とする
画像生成装置。 The image generation apparatus according to claim 1.
The control unit receives a command for reassigning a frame including a video of a specific object, which is determined from the image signal stored in the storage unit, to the entire multi-screen formed in the plurality of display areas. In this case, based on the arrangement information of the plurality of display areas and the time information in which the object is present in the video, the video of the specific object is displayed in one of the multi-screen columns. Recalculate the setting interval of the readout start frame so as not to display the frame including the frame, based on the frame number near the last frame in which the object is reflected, and the recalculated setting interval of the readout start frame An image generation apparatus that calculates a read start frame position of each display area.
前記操作部は、前記読み出し開始フレームの設定間隔を、前記表示領域が行方向に隣り合う前記表示部間である場合と、前記表示領域が列方向に隣り合う前記表示部間である場合とで、異なる値に設定可能であることを特徴とする
画像生成装置。 The image generation apparatus according to claim 2.
The operation unit sets the setting interval of the readout start frame between when the display region is between the display units adjacent in the row direction and when the display region is between the display units adjacent in the column direction. An image generating apparatus characterized in that it can be set to different values.
前記制御部は、前記複数の表示領域で形成されるマルチ画面上でのポインタの位置を検出し、前記操作部より、前記指定位置検出部が検出したポインタの位置を前記物体の位置とする旨の指令が入力された場合に、前記検出した位置にマーカを重畳して表示させる制御を行う指定位置検出部を備えたことを特徴とする
画像生成装置。 The image generation apparatus according to claim 2.
The control unit detects the position of a pointer on a multi-screen formed by the plurality of display areas, and uses the operation unit to set the position of the pointer detected by the designated position detection unit as the position of the object. An image generation apparatus comprising: a designated position detection unit that performs control to display a marker superimposed on the detected position when the command is input.
前記指定位置検出部が検出した前記ポインタの位置に存在する物体を、前記記憶部より読み出すすべてのフレームを対象として追尾して、追尾した結果得られた物体の位置情報を基に、前記複数の表示領域における前記物体の位置に前記マーカを表示させる制御を行う物体追尾部を備えたことを特徴とする
画像生成装置。 The image generation apparatus according to claim 7.
The object existing at the position of the pointer detected by the designated position detection unit is tracked for all frames read from the storage unit, and based on the position information of the object obtained as a result of the tracking, the plurality of An image generation apparatus comprising: an object tracking unit that performs control to display the marker at a position of the object in a display area.
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された動画像の画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる各表示領域の動画像の画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部と、
前記画像信号生成部で生成された画像信号を表示し、前記複数の表示領域を有する表示部とを備えたことを特徴とする
表示装置。 A display device that displays an input moving image as a moving image in each of a plurality of display areas including at least two columns and two rows,
A storage unit for storing image signals of the input moving images;
An image signal generation unit that reads out the image signal of the moving image stored in the storage unit, starting from a different frame position for each display area, and displaying an image signal in each display area, and
The image signal readout start frame of the moving image of each display area generated by the image signal generation unit is set at a later time in order corresponding to the arrangement order of the display areas, and the moving image displayed in each display area A control unit for controlling the playback frame interval of
A display device, comprising: a display unit that displays the image signal generated by the image signal generation unit and includes the plurality of display areas.
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行することを特徴とする
画像生成方法。 An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. An image generation method characterized by executing control processing.
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行させるための
プログラム。 An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. A program for executing control processing.
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行させるためのプログラムを記録した
記録媒体。 An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. A recording medium on which a program for executing control processing is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007215173A JP4867852B2 (en) | 2007-08-21 | 2007-08-21 | Image generating device, display device, image generating method, program, and recording medium recording program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007215173A JP4867852B2 (en) | 2007-08-21 | 2007-08-21 | Image generating device, display device, image generating method, program, and recording medium recording program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009049797A true JP2009049797A (en) | 2009-03-05 |
JP4867852B2 JP4867852B2 (en) | 2012-02-01 |
Family
ID=40501560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007215173A Expired - Fee Related JP4867852B2 (en) | 2007-08-21 | 2007-08-21 | Image generating device, display device, image generating method, program, and recording medium recording program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4867852B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023218622A1 (en) * | 2022-05-13 | 2023-11-16 | 日本電気株式会社 | Parking lot management system, parking lot management method, and recording medium |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304301A (en) * | 1997-04-28 | 1998-11-13 | Sony Corp | Display device for image information and its method |
JPH11289517A (en) * | 1998-04-02 | 1999-10-19 | Sony Corp | Reproduction device and reproduction method |
JP2000224542A (en) * | 1999-01-29 | 2000-08-11 | Hitachi Ltd | Image storage device, monitor system and storage medium |
JP2000339923A (en) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | Apparatus and method for collecting image |
JP2001128096A (en) * | 1999-10-28 | 2001-05-11 | Toshiba Corp | Picture reproducing device |
WO2001037560A1 (en) * | 1999-11-15 | 2001-05-25 | Matsushita Electric Industrial Co., Ltd. | Video searching method and video searching apparatus |
JP2004117622A (en) * | 2002-09-25 | 2004-04-15 | Sony Corp | Video signal processor and video signal processing method, recording medium, program, and video signal processing system |
JP2006229465A (en) * | 2005-02-16 | 2006-08-31 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and monitoring program |
-
2007
- 2007-08-21 JP JP2007215173A patent/JP4867852B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304301A (en) * | 1997-04-28 | 1998-11-13 | Sony Corp | Display device for image information and its method |
JPH11289517A (en) * | 1998-04-02 | 1999-10-19 | Sony Corp | Reproduction device and reproduction method |
JP2000224542A (en) * | 1999-01-29 | 2000-08-11 | Hitachi Ltd | Image storage device, monitor system and storage medium |
JP2000339923A (en) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | Apparatus and method for collecting image |
JP2001128096A (en) * | 1999-10-28 | 2001-05-11 | Toshiba Corp | Picture reproducing device |
WO2001037560A1 (en) * | 1999-11-15 | 2001-05-25 | Matsushita Electric Industrial Co., Ltd. | Video searching method and video searching apparatus |
JP2004117622A (en) * | 2002-09-25 | 2004-04-15 | Sony Corp | Video signal processor and video signal processing method, recording medium, program, and video signal processing system |
JP2006229465A (en) * | 2005-02-16 | 2006-08-31 | Matsushita Electric Ind Co Ltd | Monitoring apparatus, monitoring method, and monitoring program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023218622A1 (en) * | 2022-05-13 | 2023-11-16 | 日本電気株式会社 | Parking lot management system, parking lot management method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP4867852B2 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4140567B2 (en) | Object tracking device and object tracking method | |
JP6249202B2 (en) | Image display device, image display method, and program | |
US8036470B2 (en) | Image processing apparatus, image processing method, and program | |
WO2017074821A1 (en) | Tracking object of interest in an omnidirectional video | |
KR100585346B1 (en) | Facilitating access to digital video | |
JP5524653B2 (en) | Display control apparatus and control method thereof | |
JP2007241496A (en) | Image processor, image processing method, and program | |
JP2008016898A (en) | Monitoring apparatus, monitoring system and filter setting method | |
US11265525B2 (en) | Image information processing method, apparatus, and program utilizing a position sequence | |
JP4872490B2 (en) | Monitoring device, monitoring system, and monitoring method | |
JP5613016B2 (en) | Video tracking device, video tracking method, and video tracking program | |
JP4867852B2 (en) | Image generating device, display device, image generating method, program, and recording medium recording program | |
US9715630B2 (en) | Monitoring system and related image searching method | |
CN102027742A (en) | Recording/playback device | |
JP4931251B2 (en) | Display control apparatus, display control system, and display control method | |
US20150189127A1 (en) | Video processing apparatus | |
JP2006245648A (en) | Information processing system, information processing apparatus, information processing method, program and recording medium | |
JP2014220722A (en) | Display controller, display control method and program | |
US20060078294A1 (en) | Image-reproducing apparatus and image-reproducing method | |
JP4973935B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
JP5018706B2 (en) | Recording / playback device | |
JP2007241353A (en) | Information processing device, method, and program | |
WO2004019611A1 (en) | Image signal processing device and method, and image signal processing system | |
WO2023182026A1 (en) | Information processing device, information processing system, and method for controlling information processing device | |
JP2008311808A (en) | Information processor, information processing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |