JP2024074327A - Communication device, transmission system, control method for communication device, and program - Google Patents
Communication device, transmission system, control method for communication device, and program Download PDFInfo
- Publication number
- JP2024074327A JP2024074327A JP2022185396A JP2022185396A JP2024074327A JP 2024074327 A JP2024074327 A JP 2024074327A JP 2022185396 A JP2022185396 A JP 2022185396A JP 2022185396 A JP2022185396 A JP 2022185396A JP 2024074327 A JP2024074327 A JP 2024074327A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- communication device
- image
- unit
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 141
- 230000005540 biological transmission Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims description 27
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Small-Scale Networks (AREA)
Abstract
Description
本発明は、複数の通信装置間におけるデータ伝送の技術に関する。 The present invention relates to technology for transmitting data between multiple communication devices.
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点の画像データを用いて仮想視点画像を生成する仮想視点画像生成システムが普及している。特許文献１には、サーバ装置が、デイジーチェーン接続された複数の通信装置から送信された画像データを集約して用いて、仮想視点コンテンツを生成するシステムが開示されている。当該画像データは、当該複数の通信装置のそれぞれに接続されたカメラによる撮影により得られた画像データである。
Recently, virtual viewpoint image generation systems have become widespread, in which multiple cameras are installed in different positions to synchronously capture images from multiple viewpoints, and a virtual viewpoint image is generated using image data from the multiple viewpoints obtained by the capture.
前述のようなシステムでは、デイジーチェーン接続された複数の通信装置のそれぞれは、隣接する他の通信装置から受信した画像データを含むパケット（画像パケット）だけでなく、各装置自身で取得された画像パケットも、他方に隣接する通信装置に送信する必要がある。
ここで、デイジーチェーン接続された複数の通信装置のうちの一の通信装置（通信装置Ｂ）が、隣接する他の通信装置（通信装置Ａ）から画像パケットを受信したことをトリガーとして、通信装置Ｂで取得された画像パケットを、他方に隣接する通信装置（通信装置Ｃ）へ送信する場合を想定する。このような場合、通信装置Ｂが、通信装置Ａから送信された画像パケットを、何等かの故障により受信されない場合に、通信装置Ｂで取得された画像パケットを、いつまでも通信装置Ｃへ送信することができない。このような課題を回避するために、通信装置Ｂにおいて、通信装置Ｂで取得された画像パケット送信の保留状態にタイムアウト時間を設け、タイムアウトが発生した場合には、通信装置Ｂは、当該取得された画像パケットを通信装置Ｃへ送信することが可能となる。
In a system such as that described above, each of the multiple communication devices connected in a daisy chain needs to transmit not only packets containing image data (image packets) received from other adjacent communication devices, but also image packets acquired by each device itself to the other adjacent communication device.
Here, assume that one communication device (communication device B) among a plurality of communication devices connected in a daisy chain receives an image packet from another adjacent communication device (communication device A), triggering the transmission of the image packet acquired by communication device B to the other adjacent communication device (communication device C). In such a case, if communication device B does not receive the image packet transmitted from communication device A due to some kind of failure, the image packet acquired by communication device B cannot be transmitted to communication device C forever. In order to avoid such a problem, a timeout time is set in communication device B for a hold state of transmission of the image packet acquired by communication device B, and when a timeout occurs, communication device B becomes able to transmit the acquired image packet to communication device C.
しかしながら、通信装置Ｂで取得された画像パケットを送信するタイミングが、常にタイムアウトが発生した後になると、タイムアウトが発生するまでの時間は、通信帯域の利用効率が失われ、効率的なパケット伝送が継続されないという課題が生じる。 However, if the timing for transmitting the image packets acquired by communication device B is always after a timeout occurs, the communication bandwidth is not used efficiently during the time until the timeout occurs, and efficient packet transmission cannot be continued.
本発明は、上記課題に鑑みてなされたものであり、複数の通信装置において効率的なパケット伝送を実現することを目的とする。 The present invention was made in consideration of the above problems, and aims to achieve efficient packet transmission among multiple communication devices.
上記目的を達成するための一手段として、本発明の通信装置は以下の構成を有する。すなわち、第１の他の通信装置と第２の他の通信装置の間に接続される通信装置であって、パケットを生成する生成手段と、前記第１の他の通信装置からの所定のパケットを受信する受信手段と、前記受信手段が前記所定のパケットを受信した場合、または、前記受信手段が前記所定のパケットを受信せずに所定期間が経過した場合に、前記生成手段が生成したパケットを、前記第２の他の通信装置に送信する送信手段と、前記受信手段が前記所定のパケットを受信せずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更手段と、を有する。 As one means for achieving the above object, the communication device of the present invention has the following configuration. That is, the communication device is connected between a first other communication device and a second other communication device, and has a generation means for generating packets, a reception means for receiving a predetermined packet from the first other communication device, a transmission means for transmitting the packet generated by the generation means to the second other communication device when the reception means receives the predetermined packet or when a predetermined period has elapsed without the reception means receiving the predetermined packet, and a change means for changing the predetermined period to a shorter period based on the number of times the reception means has not received the predetermined packet and the predetermined period has elapsed.
本発明によれば、複数の通信装置において効率的なパケット伝送を実現することが可能となる。 The present invention makes it possible to achieve efficient packet transmission among multiple communication devices.
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。 The following describes in detail an embodiment for carrying out the present invention with reference to the attached drawings. Note that the embodiment described below is one example of a means for realizing the present invention, and should be appropriately modified or changed depending on the configuration of the device to which the present invention is applied and various conditions, and the present invention is not limited to the following embodiment. Furthermore, not all of the combinations of features described in this embodiment are necessarily essential to the solution of the present invention.
［仮想視点画像生成システムの構成］
図１に、本実施形態による仮想視点画像生成システム１００の構成例を示す。図１に示す仮想視点画像生成システム１００は、複数視点画像のデータを用いて仮想視点画像といった仮想視点コンテンツを生成するシステムである。仮想視点画像生成システム１００は、センサシステム１１０ａからセンサシステム１１０ｚを含む伝送システム、ハブ１０１、制御装置１０２、タイムサーバ１０３、画像処理装置１０４、およびユーザ装置１０５を含んで構成される。センサシステム１１０ａからセンサシステム１１０ｚはそれぞれ、カメラアダプタ１１１ａからカメラアダプタ１１１ｚと、カメラ１１２ａからカメラ１１２ｚを備える。カメラアダプタ１１１ａからカメラアダプタ１１１ｚと、カメラ１１２ａからカメラ１１２ｚをカメラ１１２はそれぞれ、撮像データ伝送用の第１接続１１３ａから第１接続１１３ｚと、カメラ制御情報伝送用の第２接続１１４ａから第２接続１１４ｚで接続される。
[Configuration of the virtual viewpoint image generation system]
FIG. 1 shows a configuration example of a virtual viewpoint
センサシステム１１０ａからセンサシステム１１０ｚの複数のセンサシステムは、特別な説明がない場合、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットを区別せず、センサシステム１１０と総称する。同様に、カメラアダプタ１１１ａからカメラアダプタ１１１ｚをカメラアダプタ１１１と総称し、カメラ１１２ａからカメラ１１２ｚをカメラ１１２と総称する。また、第１接続１１３ａから第１接続１１３ｚを第１接続１１３と総称し、第２接続１１４ａから第２接続１１４ｚを第２接続１１４と総称する。センサシステム１１０ａからセンサシステム１１０ｚは、それぞれ、伝送路１１５ｂから１１５ｚで接続され、センサシステム１１０ａとハブ１０１は、伝送路１１５ａで接続される。当該伝送路は、例えば、イーサーネット（登録商標）ケーブルといったケーブルで構成される。
Unless otherwise specified, the multiple sensor systems from
仮想視点画像生成システム１００では、カメラ１１２は、時刻同期して撮影するように制御される。本実施形態では、時刻同期のためのプロトコルとして、ＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）を用いる。仮想視点画像生成システム１００は、ＰＴＰに従うパケット（以後、ＰＴＰパケット）を用いて、時刻同期シーケンスを実行するように構成される。
In the virtual viewpoint
タイムサーバ１０３は、時刻源装置として機能し、内部に正確な時計を有する。タイムサーバ１０３は、当該時計に従った時刻情報を含めたＰＴＰパケットを用いて、各センサシステム１１０と時刻同期を実行する。
ハブ１０１は、ＴＣ（Ｔｒａｎｓｐａｒｅｎｔ Ｃｌｏｃｋ）機能を有したスイッチングハブである。ＴＣ機能は、ＰＴＰパケットを受信した装置において、当該ＰＴＰパケットの滞留時間を測定し、当該ＰＴＰパケットに当該滞留時間を付加してブリッジ（転送）する機能である。ハブ１０１はまた、ＴＣＰ／ＩＰパケットやその他のパケットの送受信が可能である。
The
The
センサシステム１１０は、カメラ１１２とカメラアダプタ１１１で構成される通信装置である。仮想視点画像生成システム１００において、センサシステム１１０ａからセンサシステム１１０ｚまではデイジーチェーンにより接続される。デイジーチェーン接続により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、本実施形態では、特に断りがない限り画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態による仮想視点画像生成システム１００は、静止画および動画の何れについても処理可能であるものとする。センサシステム１１０ａからセンサシステム１１０ｚで取得（生成）された２６セットの画像データは、画像処理装置１０４へ送信される。
The sensor system 110 is a communication device composed of a camera 112 and a camera adapter 111. In the virtual viewpoint
カメラアダプタ１１１は、ＰＴＰパケットを受信し、ＰＴＰパケットに含まれる時刻情報をもとにカメラ１１２をＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。カメラ１１２に対する制御は、制御情報伝送用の第２接続１１４を介して行われる。本実施形態では、カメラアダプタ１１１は、ＰＴＰにおけるＴＣ機能およびＯＣ（Ｏｒｄｉｎａｒｙ Ｃｌｏｃｋ）機能を持ち合わせている。すなわち、カメラアダプタ１１１は、受信したＰＴＰパケットを転送する際に、カメラアダプタ１１１内での滞留時間を計算しＰＴＰパケットへ付与した上で、後続の他のカメラアダプタ１１１へ転送する（ＴＣ機能）。また、カメラアダプタ１１１自身は、受信したＰＴＰパケットを元に、タイムサーバ１０３の時刻に同期する（ＯＣ機能）。
The camera adapter 111 receives the PTP packet, and Genlocks the camera 112 based on the time information contained in the PTP packet, and performs image frame synchronization. The camera 112 is controlled via a
仮想視点画像生成システム１００にある全てのカメラアダプタ１１１は、この２つの機能（ＴＣ機能およびＯＣ機能）を有することにより、タイムサーバ１０３と高精度に時刻同期することが可能となる。そして、タイムサーバ１０３の時刻を基準に時刻同期されたカメラアダプタ１１１は、カメラ１１２の撮影タイミングを同期させることが可能となる。
All camera adapters 111 in the virtual viewpoint
制御装置１０２は、仮想視点画像生成システム１００を構成するそれぞれのブロックに対して、ネットワークを通じて動作状態の管理及びパラメータ設定などの制御を行う。また、制御装置１０２は、画像処理装置１０４に対して視点の指定を行う。これらの制御を行うための制御情報の伝送は、主にＴＣＰ／ＩＰに規定される通信パケット（以後、制御パケット）を使用しネットワーク（伝送路）を介して送受信される。当該ネットワークは、例えば、イーサーネットであるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥや１００ＧｂＥである。また、当該ネットワークは、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、当該ネットワークは、他の種別のネットワークであってもよい。
The
次に、センサシステム１１０ａからセンサシステム１１０ｚで取得された２６セットの画像データを画像処理装置１０４へ送信する動作について説明する。カメラ１１２ｚにて撮影された撮像データは、撮像データ伝送用の第１接続１１３ｚよりカメラアダプタ１１１ｚに入力される。そして、撮像データは、カメラアダプタ１１１ｚにおいて画像処理され、パケット化される。本実施形態では、撮像データから画像処理されたデータを画像データと称し、画像データを含むパケット（画像データがパケット化された単位）を画像パケットと称する。画像パケットは、センサシステム１１０ｙのカメラアダプタ１１１ｙに伝送される。同様に、センサシステム１１０ｙは、隣接するセンサシステム１１０ｘに対して、センサシステム１１０ｚから取得した画像パケットの送信後、カメラ１１２ｙで撮影された撮像データから生成された画像パケットを送信する。このような動作を続けることにより、センサシステム１１０ａからセンサシステム１１０ｚで生成された画像パケットは、センサシステム１１０ａから伝送路１１５ａを介してハブ１０１に伝送され、その後、画像処理装置１０４へ伝送される。
Next, the operation of transmitting 26 sets of image data acquired by
画像処理装置１０４は、センサシステム１１０から取得した画像パケットに含まれる画像データの処理を行う。まず、センサシステム１１０から取得した画像データを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じて記憶する。そして、画像処理装置１０４は、制御装置１０２から視点の指定を受け付け、当該視点に基づいて、記憶された情報から対応する画像データを読み出し、レンダリング処理を行って仮想視点画像を生成する。なお、画像処理装置１０４の機能の少なくとも一部を、制御装置１０２やセンサシステム１１０やユーザ装置１０５が有していてもよい。レンダリング処理された画像データは、画像処理装置１０４からユーザ装置１０８に送信され、ユーザ装置１０８を操作するユーザは、指定に応じた視点の画像を閲覧することができる。すなわち、画像処理装置１０４は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づいて仮想視点画像といった仮想視点コンテンツを生成する。なお、本実施形態において、仮想視点コンテンツは画像処理装置１０４により生成されるものとしたが、これに限定されない。すなわち、仮想視点コンテンツは、制御装置１０２やユーザ装置１０８により生成されてもよい。
The
本実施形態では、図１に示すように、センサシステムの台数を２６セットとしているが、あくまでも一例であり、当該台数は複数であればよい。また、複数のセンサシステム１１０は同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。なお、センサシステム１１０は、マイクといった音声デバイスや、カメラ１１２の向きを制御する雲台等を含んでも良い。また、センサシステム１１０は、１台のカメラ１１２と複数のカメラアダプタ１１１で構成されてもよい。また、カメラ１１２とカメラアダプタ１１１が一体となって構成されていてもよい。さらに、カメラアダプタ１１１の機能の少なくとも一部を画像処理装置１０４が有していてもよい。
In this embodiment, as shown in FIG. 1, the number of sensor systems is 26 sets, but this is merely an example, and the number may be any number. Furthermore, the multiple sensor systems 110 do not need to be of the same configuration, and for example, each may be composed of a different model of device. Note that the sensor system 110 may include an audio device such as a microphone, or a camera head that controls the orientation of the camera 112. The sensor system 110 may also be composed of one camera 112 and multiple camera adapters 111. The camera 112 and the camera adapter 111 may also be configured as an integrated unit. Furthermore, at least some of the functions of the camera adapter 111 may be provided by the
また、図１では、カメラアダプタ１１１の全てがデイジーチェーン接続されている構成を示したが、これに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。このような構成は、スタジアムにおいて有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像処理装置１０４への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
Although FIG. 1 shows a configuration in which all of the camera adapters 111 are daisy-chained, this is not limiting. For example, multiple sensor systems 110 may be divided into several groups, and the sensor systems 110 may be daisy-chained for each group. This configuration is effective in stadiums. For example, a stadium may be made up of multiple floors, with a sensor system 110 installed on each floor. In this case, input to the
なお、タイムサーバ１０３に不具合が発生すると仮想視点画像生成システム１００が破綻しうるため、タイムサーバ１０３を複数配置して冗長化を行ってもよい。その場合は、複数のタイムサーバ１０３の時刻がそろうように、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを使用して同期させておく必要がある。
Note that since a malfunction of the
画像処理装置１０４とハブ１０１間の伝送路１０６は、デイジーチェーン接続されている伝送路１１５ａから１１５ｚより大容量のデータ伝送が可能に構成されてよい。例えば、伝送路１０６は、伝送路１１５ａから１１５ｚで使用されるケーブルよりも広帯域なケーブルで構成されてよい。それにより、例えば複数のレーンのセンサシステム群を有しても画像処理装置１０４が全ての画像データを受信することができるようになる。広帯域なケーブルの一例として、光ケーブルがある。
The
［カメラアダプタの構成］
次に、カメラアダプタ１１１の構成について、図２を参照して説明する。図２は、カメラアダプタ１１１の構成の一例を示すブロック図である。なお、ここでは、図１におけるカメラアダプタ１１１ｂを例に説明するが、他のカメラアダプタ１１１も同様の構成を有しうる。
[Camera adapter configuration]
Next, the configuration of the camera adapter 111 will be described with reference to Fig. 2. Fig. 2 is a block diagram showing an example of the configuration of the camera adapter 111. Note that, although the
カメラアダプタ１１１ｂは、ＣＰＵ２０１、記憶部２０２、第１通信Ｉ／Ｆ部２０３、第２通信Ｉ／Ｆ部２０４、時刻同期制御部２０５、画像処理部２０６、撮像制御部２０７、画像伝送部２０８、システムバス２０９を含んで構成される。
The
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、カメラアダプタ１１１ｂ全体を制御すると共に、タイムサーバ１０３とＰＴＰパケットのやり取りや、制御装置１０２と制御パケットのやり取りを制御する。当該制御は、ＣＰＵ２０１が記憶部２０２に保持される制御プログラムを実行することにより行われうる。
The CPU (Central Processing Unit) 201 controls the
記憶部２０２は、ＣＰＵ２０１により実行される制御プログラムや、送受信するＰＴＰパケットや制御パケットなどを保持するメモリである。また、画像処理部２０６がカメラ１１２ｂから第１接続１１３ｂを介して受け取った撮像データに対して画像処理を施したデータを、画像データとして保持する。なお、図２では１つの記憶部２０２のみを図示しているが、用途により、記憶部２０２は、複数の記憶部を有してもよい。また、記憶部２０２を構成するメモリの種類は、特定のものに限定されない。
The
第１通信Ｉ／Ｆ（インターフェース）部２０３と第２通信Ｉ／Ｆ部２０４は、カメラアダプタ１１１ｂの外部装置との間で通信パケット（ＰＴＰパケットやＴＣＰ／ＩＰパケットや画像パケット）を送受信する。パケット送受信のためのＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送指示は、ＣＰＵ２０１や画像伝送部２０８により行われる。また、Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４はそれぞれ、時計を有する。
The first communication I/F (interface)
ＤＭＡ転送指示による第１通信Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４の動作について説明する。
まず、第１通信Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４による一般的な動作について説明する。
ＤＭＡ転送指示には、記憶部２０２において読み取る領域または書き込む領域を指定する情報が付加される。第１通信Ｉ／Ｆ部２０３がパケットを送信する場合は、ＤＭＡ転送指示で指定された記憶部２０２における領域からパケットを読み取り、外部のカメラアダプタ１１１に送信する。一方、第１通信Ｉ／Ｆ部２０３が外部のカメラアダプタ１１１からパケットを受信する場合は、受信したパケットをＤＭＡ転送指示により指定された記憶部２０２における領域に書き込みを行う。第２通信Ｉ／Ｆ部２０４の動作も同様である。
The operations of the first communication I/
First, a general operation of the first communication I/
The DMA transfer instruction is accompanied by information specifying an area to read from or an area to write to in the
次に、ＰＴＰパケットの送受信処理について説明する。
タイムサーバ１０３により送信されたＰＴＰパケットは、カメラアダプタ１１１ａを経由して第２通信Ｉ／Ｆ部２０４により受信され、ＣＰＵ２０１のＤＭＡ転送指示により記憶部２０２の指定領域へ転送される。そして、カメラアダプタ１１１ｂ内部においてＰＴＰパケットに対してプロトコル処理が行われたのち、ＣＰＵ２０１によるＤＭＡ転送指示により記憶部２０２の指定領域から読み取られ、第１通信Ｉ／Ｆ部２０３を介して、カメラアダプタ１１１ｃへ送信される。
同様に、カメラアダプタ１１１ｃから１１１ｚによりタイムサーバ１０３へ送信されたＰＴＰパケットは、第１通信Ｉ／Ｆ部２０３で受信され、記憶部２０２へ一度転送される。そして、ＰＴＰパケットに対してプロトコル処理が行われたのち、ＣＰＵ２０１によるＤＭＡ転送指示により記憶部２０２の指定領域から第２通信Ｉ／Ｆ部２０４へ転送され、最終的にタイムサーバ１０３に転送される。
画像パケットの転送に関しては後述する。
パケットの受信はいつ発生するかわからないため、第１通信Ｉ／Ｆ部２０３および第２通信Ｉ／Ｆ部２０４は、転送指示を事前に複数バッファリングできるように構成されうる。
Next, the transmission and reception process of the PTP packet will be described.
The PTP packet transmitted by the
Similarly, a PTP packet transmitted to the
The transfer of image packets will be described later.
Since it is not known when a packet will be received, the first communication I/
第１通信Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４は、ＰＴＰパケットを送受信したタイミングで、それぞれの通信Ｉ／Ｆ部内部にある時計の時刻を出力する機能（タイムスタンプ機能）を持つ。ＣＰＵ２０１は、当該タイムスタンプ機能を時刻同期の計算に使用する。
本実施形態では、第１通信Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４の時計が同期しているものとする。これにより、ＰＴＰパケットがカメラアダプタ１１１ｂ内を滞留する時間（滞留時間）を正確に計算することが可能となる。すなわち、ＰＴＰパケットが入力された通信Ｉ／Ｆ部から出力されるタイムスタンプ値を、当該ＰＴＰパケットが出力されたときに出力されるタイムスタンプ値から引くことにより、滞留時間を求めることができる
The first communication I/
In this embodiment, it is assumed that the clocks of the first communication I/
撮像制御部２０７は、カメラ１１２ｂの制御を行う。撮像制御部２０７は、制御装置１０２から指示を受けると、カメラ１１２ｂに対して撮像指示を出力する。当該撮像指示は、Ｇｅｎｌｏｃｋ信号およびＴｉｍｅｃｏｄｅ（タイム・コード）を含み、第２接続１１４を用いて、カメラ１１２ｂに送信（出力）される。Ｇｅｎｌｏｃｋ信号およびＴｉｍｅｃｏｄｅは、時刻同期制御部２０５から受信するタイミング信号２１０を元に生成される。カメラ１１２ｂは、受信したＧｅｎｌｏｃｋ信号に同期して撮像を行い、受信したＴｉｍｅｃｏｄｅとともに撮像データを、第１接続１１３を介して画像処理部２０６へ出力する。
The
画像処理部２０６は、カメラ１１２ｂから受け取った撮像データから仮想視点映像を生成するために必要となる画像処理（背景となる部位や前景となる部位等の切り出しなど）を行い、処理結果（画像データ）を記憶部２０２へ転送する。さらに画像処理部２０６は、画像処理を完了すると、Ｔｉｍｅｃｏｄｅを受信したタイミングで、画像伝送部２０８に画像情報を送信する。すなわち、画像処理部２０６は、撮像フレームレートと同一の間隔で（周期的なタイミングで）画像情報を画像伝送部２０８に送信する。当該画像情報は、前景画像や背景画像といった画像種別ごとのアドレス情報およびデータサイズ、フレーム番号等を含み、画像情報信号２１１を用いて送信される。
The
画像伝送部２０８は、画像処理部２０６から受信した画像情報信号２１１を元に画像データをパケット化して画像パケットを生成して、第２通信Ｉ／Ｆ部２０４へ送信指示（転送指示）を行う。また、画像伝送部２０８は、カメラアダプタ１１１ｃから第２通信Ｉ／Ｆ部２０４を介して受信した画像パケットを、カメラアダプタ１１１ａへ転送する機能も持つ。画像伝送部２０８は、タイムサーバ１０３と同期した時刻をもとに生成される画像情報信号２１１を、撮像フレームレートと同一の間隔で受信することになるため、画像パケットの送信指示も定期的に発生する。
The
時刻同期制御部２０５は、第１通信Ｉ／Ｆ部２０３と第２通信Ｉ／Ｆ部２０４が有する時計と同期する時計を有する。さらに、時刻同期制御部２０５は、自身の時計に同期したパルス信号（例えば１Ｈｚ）を発生させ、当該パルス信号をタイミング信号２１０として撮像制御部２０７と画像伝送部２０８に出力する。
The time
［画像伝送部の構成］
続いて、画像伝送部２０８の構成について図３を用いて説明する。図３は、画像伝送部２０８の構成の一例を示すブロック図である。なお、ここでは、図２におけるカメラアダプタ１１１ｂの画像伝送部２０８を説明するが、他のカメラアダプタ１１１の画像伝送部２０８も同様の構成を有しうる。
[Configuration of image transmission section]
Next, the configuration of the
画像伝送部２０８は、設定部３０１、画像伝送制御部３０２、受信バッファ部３０３、フォワード部３０４、調停部３０５、送信バッファ部３０６、画像パケット生成部３０７、スタートタイマー部３０８で構成される。
The
設定部３０１は、ＣＰＵ２０１により設定された、画像伝送部２０８の設定情報を保持する。画像伝送部２０８の各機能ブロックは、当該設定情報を取得可能に構成される。
受信バッファ部３０３は、センサシステム１１０ｃのカメラアダプタ１１１ｃから第１通信Ｉ／Ｆ部２０３により受信された画像パケットを一時的に保持し、フォワード部３０４へ転送する。
The
The receiving
フォワード部３０４は、受信バッファ部３０３から受け取った画像パケットを解析する。具体的には、フォワード部３０４は、受け取った画像パケットが、ラストパケットであるか否かを解析する。当該解析は、当該画像パケットが、どのカメラアダプタから送信されたか、および、何個目の画像パケットであるか、を示す情報を取得することを含む。フォワード部３０４は、当該画像パケットがラストパケットであると判定した場合に、ラストパケット検知を画像伝送制御部３０２に通知する。さらに、フォワード部３０４は、受け取った画像パケットのヘッダ情報を編集する。具体的には、フォワード部３０４は、受け取った画像パケットの宛先ＭＡＣアドレスが、カメラアダプタ１１１ｂ宛て（すなわち、自機器宛て）になっている場合に、当該パケットの宛先をカメラアダプタ１１１ａとなるように、ヘッダ情報を修正（編集）する。そして、フォワード部３０４は、ヘッダ情報を修正した画像パケットを、調停部３０５に送信する。
The forwarding unit 304 analyzes the image packet received from the receiving
画像伝送制御部３０２は、フォワード部３０４からラストパケット検知が通知されると、画像パケット生成部３０７に対して、パケット生成指示を出力する。また、画像伝送制御部３０２は、タイミング信号２１０の周期、仮想視点画像生成システム１００におけるセンサシステム１１０の台数、および、センサシステム１１０におけるセンサシステム１１０ｂの位置の情報を、例えば、設定情報により取得している。そして、画像伝送制御部３０２は、当該設定情報に基づいて、スタートタイマー部３０８に対するデフォルトのタイマー値（所定期間）を決定し、スタートタイマー部３０８にセットする。デフォルトのタイマー値の決定方法については後述する。また、画像伝送制御部３０２は、スタートタイマー部３０８のタイムアウト回数に基づいて、タイマー値を変更するように構成される。
When the image
画像パケット生成部３０７は、画像パケットの生成を行う。画像パケット生成部３０７は、画像伝送制御部３０２からのパケット生成指示をトリガーとして、画像パケットの生成を開始する。画像伝送制御部３０２からのパケット生成指示を受けた画像パケット生成部３０７は、画像処理部２０６から受信した画像情報信号２１１に含まれる画像情報を用いて、システムバス２０９経由で記憶部２０２に記録された画像データを取得する。続いて画像パケット生成部３０７は、取得した画像データを送信するために必要となる画像パケットのヘッダを生成し、画像データとヘッダから、画像パケットを生成する。画像パケット生成部３０７は、生成した画像パケットを、調停部３０５に対して送信する。画像パケット生成部３０７は、１フレーム分の画像データの生成および送信が完了すると、送信完了を画像伝送制御部３０２に通知する。
The image packet generating unit 307 generates image packets. The image packet generating unit 307 starts generating image packets when triggered by a packet generation instruction from the image
調停部３０５は、フォワード部３０４と画像パケット生成部３０７から受け取った画像パケットを、送信バッファ部３０６へ送信（転送）する。さらに、調整部３０５は、フォワード部３０４と画像パケット生成部３０７から受け取った画像パケットの、送信バッファ部３０６への送信タイミングが重なる場合に、送信タイミングの調整を行う。本実施形態では、調整部３０５は、当該送信タイミングが重なる場合に、フォワード部３０４から受信した画像パケットを優先して、送信バッファ部３０６に送信するように構成される。
送信バッファ部３０６は、調停部３０５から画像パケットを受け取ると、当該画像パケットを第２通信Ｉ／Ｆ部２０４に転送する。
The
Upon receiving the image packet from the
スタートタイマー部３０８は、タイマー機能を持ち、画像伝送制御部３０２により制御される。スタートタイマー部３０８には、あらかじめ画像伝送制御部３０２によりデフォルトのタイマー値がセットされる。スタートタイマー部３０８は、時刻同期制御部２０５からタイミング信号２１０が入力されると、タイマーカウントを開始する。タイマーカウント開始後、画像伝送制御部３０２によりセットされたタイマー値が経過すると、スタートタイマー部３０８は、画像伝送部制御部３０２に対してタイムアウトを通知する（タイムアウト通知を行う）。また、スタートタイマー部３０８は、タイムアウト回数（タイムアウトが発生した回数）をカウント（インクリメント）し、保持するためのカウンタも備える。当該タイムアウト回数は、画像伝送制御部３０２により制御されうる。例えば、スタートタイマー部３０８は、画像伝送制御部３０２により、タイムアウト回数がクリアおよび／またはインクリメントされうる。後述するように、タイムアウト回数に基づいて、画像伝送制御部３０２により、デフォルトのタイマー値が変更（更新）される。
The
［センサシステムの動作］
次に、センサシステム１１０の動作について図４のフローチャートを参照して説明する。図４は、本実施形態によるセンサシステム１１０により実行される処理のフローチャートである。以下、図２と図３に示した、センサシステム１１０ｂとカメラアダプタ１１１ｂの構成を参照して、図４の処理を説明する。図４の処理は、センサシステム１１０ｂが、ユーザ装置１０５や制御装置１０２から、仮想視点画像生成の開始の指示を受信した後に、開始しうる。
[Operation of the sensor system]
Next, the operation of the sensor system 110 will be described with reference to the flowchart of Fig. 4. Fig. 4 is a flowchart of processing executed by the sensor system 110 according to this embodiment. The processing of Fig. 4 will be described below with reference to the configurations of the
時刻同期制御部２０５は、タイミング信号２１０を発生させると（Ｓ４０１でＹｅｓ）、タイミング信号２１０を撮像制御部２０７と画像伝送部２０８に出力し、処理はＳ４０２およびＳ４０４へ進む。タイミング信号２１０を発生していない間は（Ｓ４０１でＮｏ）、時刻同期制御部２０５は、待機する。
When the time
Ｓ４０２において、撮像制御部２０７は、タイミング信号２１０を受信し、タイミング信号２１０を元に生成した撮像指示を、カメラ１１２ｂに出力する。当該撮像指示は、Ｇｅｎｌｏｃｋ信号およびＴｉｍｅｃｏｄｅを含む。カメラ１１２ｂは、当該撮像指示に従って撮像を行って撮像データを画像処理部２０６へ出力する。画像処理部２０６は、当該撮像データに対して画像処理を行って生成した画像データを、記憶部２０２に保存する（Ｓ４０３）。
In S402, the
Ｓ４０４において、スタートタイマー部３０８は、タイミング信号２１０を受信し、タイマーカウントを開始する。本実施形態では、スタートタイマー部３０８には、画像伝送制御部３０２によって、デフォルトのタイマー値がセットされている。当該タイマー値は、センサシステム１１０ｂに対してセットされたタイマー値である。
In S404, the
第１通信Ｉ／Ｆ部２０３によりセンサシステム１１０ｃ（すなわち、前段のセンサシステム）から画像パケットが受信されると（Ｓ４０５でＹｅｓ）、受信バッファ部３０３は、受信した画像パケットを格納する（Ｓ４０６）。なお、図４において、センサシステム１１０ｂで生成した画像データ（Ｓ４０３）から生成される画像パケットと区別するために、センサシステム１１０ｃから受信した画像パケットを、受信パケットと示している。その後、受信バッファ部３０３は、受信した画像パケットをさらにフォワード部３０４に送信（転送）する（Ｓ４０７）。フォワード部３０４は、受信バッファ部３０３から受け取った画像パケットが、ラストパケットであるか否かの解析を行う（Ｓ４０８）。また、フォワード部３０４は、画像パケットのヘッダ情報の編集を行う（Ｓ４０８）。
When the first communication I/
本実施形態において、ラストパケットとは、２つの条件がそろったパケットを指す。
一つ目の条件は、受信した画像パケットの送信元が、前段の（一方に接続される）センサシステムであることである。例えば、センサシステム１１０ｂの場合は、前段のセンサシステムは、センサシステム１１０ｃである。フォワード部３０４は、送信元のセンサシステムを、例えば、受信した画像パケットに含まれる送信元の情報（ＭＡＣアドレス等）を利用して検知することができる。
二つ目の条件は、受信した画像パケットが、１フレームの画像を構成する複数のパケットのうちの、最後のパケットであることである。例えば、フォワード部３０４は、画像パケットに含まれるシーケンス番号により、受信した画像パケットがラストパケットか否かを検知するように構成されうる。
In this embodiment, the last packet refers to a packet that satisfies two conditions.
The first condition is that the source of the received image packet is a sensor system in the previous stage (connected to one side). For example, in the case of the
The second condition is that the received image packet is the last packet among a plurality of packets that make up one frame of an image. For example, the forwarding unit 304 can be configured to detect whether the received image packet is the last packet based on a sequence number included in the image packet.
フォワード部３０４は、解析の結果、受信した画像パケットがラストパケットであると判定すると（Ｓ４０９でＹｅｓ）、画像伝送制御部３０２に対して、ラストパケット検知を通知する（Ｓ４１０）。フォワード部３０４からラストパケット検知が通知された画像伝送制御部３０２は、ラストパケット検知フラグを立てる（設定する）（Ｓ４１１）。なお、ラストパケット検知フラグは、フォワード部３０４からラストパケット検知が通知されたことを、画像伝送制御部３０２が認識すればよく、他の手段によって代替可能である。
When the forward unit 304 determines as a result of the analysis that the received image packet is the last packet (Yes in S409), it notifies the image
Ｓ４１２では、第２通信Ｉ／Ｆ部２０４は、当該画像パケットを後段の（他方に接続される）センサシステムに送信する。具体的には、フォワード部３０４は、受信した画像パケットを調停部３０５に送信し、調停部３０５は、当該画像パケットを送信バッファ部３０６に出力する。送信バッファ部３０６は、調停部３０５から当該画像パケットを受け取ると、第２通信Ｉ／Ｆ部２０４に転送する。第２通信Ｉ／Ｆ部２０４は、当該画像パケットを後段のセンサシステム（本例の場合は、センサシステム１１０ａ）に送信する。その後、処理はＳ４０５へ進む。センサシステム１１０ｂは、画像伝送制御部３０２が、ラストパケット通知フラグが立っていることを確認せず（Ｓ４１３でＮｏ）、スタートタイマー部３０８がタイムアウトしていない（Ｓ４２１でＮｏ）場合に、Ｓ４０５からＳ４１２の処理を継続する。
In S412, the second communication I/
画像伝送制御部３０２は、ラストパケット通知フラグが立っていることを確認すると（Ｓ４１３でＹｅｓ）、画像パケット生成部３０７に対して、パケット生成指示を出力する（Ｓ４１４）。そして、画像パケット生成部３０７は、１フレーム分の画像データのうち、未送信の画像データが記憶部２０２に保存されている限り（Ｓ４１５でＹｅｓ）、以下の処理を行う。
まず、画像パケット生成部３０７は、画像パケットを生成する（Ｓ４１６）。具体的には、画像パケット生成部３０７は、記憶部２０２に記憶された未送信の画像データのうち、パケットに求められるサイズ分のデータを切り出し、当該データを送信するために必要となる画像パケットのヘッダを生成し、当該データと当該ヘッダから、画像パケットを生成する。そして、画像パケット生成部３０７は、生成した画像パケットを調停部３０５に送信し、調停部３０５は、当該画像パケットを送信バッファ部３０６に出力する。送信バッファ部３０６は、調停部３０５から当該画像パケットを受け取ると、第２通信Ｉ／Ｆ部２０４に転送する。第２通信Ｉ／Ｆ部２０４は、当該画像パケットを後段のセンサシステムに送信する（Ｓ４１７）。
When the image
First, the image packet generating unit 307 generates an image packet (S416). Specifically, the image packet generating unit 307 extracts data of a size required for a packet from the untransmitted image data stored in the
１フレーム分の画像を構成する全ての画像データの送信が完了すると（Ｓ４１５でＮｏ）、画像パケット生成部３０７は、画像データの送信完了を画像伝送制御部３０２に通知する（Ｓ４１８）。画像伝送制御部３０２は、画像データの送信完了が通知されると、スタートタイマー部３０８におけるタイムアウト回数（タイムアウト発生回数）を０にクリアする（Ｓ４１９）。これは、Ｓ４１３において、画像伝送制御部３０２が、スタートタイマー部３０８がタイムアウトする前に、ラストパケット検知を受け取った（ラストパケット検知フラグが立っていた）ためである。そして、画像伝送制御部３０２は、スタートタイマー部３０８のタイマー値をデフォルトにセットする（Ｓ４２０）。その後、処理はＳ４３０へ進む。
When the transmission of all image data constituting one frame of image is completed (No in S415), the image packet generation unit 307 notifies the image
画像伝送制御部３０２は、ラストパケット通知フラグが立っていることを確認できずに（Ｓ４１３でＮｏ）、スタートタイマー部３０８がタイムアウトした場合（Ｓ４２１でＹｅｓ）、処理はＳ４２２に進む。そして、画像パケット生成部３０７は、１フレーム分の画像データのうち、未送信の画像データが記憶部２０２に保存されている限り（Ｓ４２２でＹｅｓ）、画像パケットを生成し（Ｓ４２３）、送信する（Ｓ４２４）。Ｓ４２３とＳ４２４の処理は、Ｓ４１６とＳ４１７の処理と同様である。
If the image
１フレーム分の画像を構成する全ての画像データの送信が完了すると（Ｓ４２２でＮｏ）、画像パケット生成部３０７は、画像データの送信完了を画像伝送制御部３０２に通知する（Ｓ４２５）。画像伝送制御部３０２は、画像データの送信完了が通知されると、スタートタイマー部３０８に対するタイムアウト回数をインクリメントする（Ｓ４２６）。Ｓ４２７では、スタートタイマー部３０８が自動的にタイムアウト回数をインクリメントするように構成されてもよい。その後、タイムアウト回数が所定回数に達した場合（Ｓ４２７でＹｅｓ）、画像伝送制御部３０２は、スタートタイマー部３０８のデフォルトのタイマー値（すなわち、タイムアウト発生までの時間）を変更する（Ｓ４２８）。併せて、画像伝送制御部３０２は、タイムアウト回数を０にクリアする（Ｓ４２９）。Ｓ４２９の処理の後、および、タイムアウト回数のインクリメント（Ｓ４２６）に当該タイムアウト回数が所定回数に到達していない場合（Ｓ４２７でＮｏ）、処理はＳ４３０へ進む。
When the transmission of all image data constituting one frame of image is completed (No in S422), the image packet generation unit 307 notifies the image
Ｓ４３０では、画像伝送制御部３０２は、ラストパケット検知フラグを立てていれば、当該フラグを下げる。その後、センサシステム１１０ｂが、ユーザ装置１０５や制御装置１０２等から、仮想視点画像生成の終了の指示を検知した場合に（Ｓ４３１でＹｅｓ）、図４に示す処理を終了する。当該指示を検知しなければ（Ｓ４３１でＮｏ）、処理はＳ４０１に進む。
In S430, if the last packet detection flag is set, the image
［画像パケットの伝送例］
次に、仮想視点画像生成システム１００における複数のセンサシステム１１０間での画像パケットの伝送例を説明する。図５は、本実施形態による画像パケットの伝送シーケンスを示す。説明の簡略化のため、図５では、センサシステム１１０ｚ、１１０ｙ、１１０ｘ、１１０ｗの４つのセンサシステムにおいて撮像および生成された画像パケットの、伝送路１１５ｚ、１１５ｙ、１１５ｘ、１１５ｗの４つの伝送路における伝送シーケンスを示す。
[Image packet transmission example]
Next, an example of image packet transmission between the multiple sensor systems 110 in the virtual viewpoint
図５において、横軸は時間を表し、縦方向にそれぞれの伝送路の状態を示している。時刻Ｔ１、Ｔ２、・・・は、センサシステム１１０におけるタイミング信号２１０の発生タイミングを示す。また、図５において、時間ｔｙ１は、センサシステム１１０ｙに対してセットされるデフォルトのタイマー値を示す。同様に、時間ｔｘ１は、センサシステム１１０ｘに対してセットされるデフォルトのタイマー値を示し、時間ｔｗ１は、センサシステム１１０ｗに対してセットされるデフォルトのタイマー値を示す。また、図５の例において、デフォルトのタイマー値を変更（更新）するトリガーとなるタイムアウト回数は（図４のＳ４２７の所定回数に対応）、３回であるとする。
In FIG. 5, the horizontal axis represents time, and the vertical axis represents the state of each transmission path. Times T1, T2, ... represent the generation timing of the
タイミング信号Ｔ１が発生すると、センサシステム１１０ｚ、１１０ｙ、１１０ｘ、１１０ｗそれぞれは直ちに撮像を行い、画像パケットを生成する。そして、１フレームの画像を構成する画像パケット群が、センサシステム１１０ｚより逐次送信される。
最初に、センサシステム１１０ｚは、センサシステム１１０ｚにおいて生成した画像パケット群５０１を伝送路１１５ｚにおいて伝送する。画像パケット群５０１は、複数の画像パケットで構成されており、各画像パケットのヘッダには、送信元の情報と、当該画像パケットがラストパケットか否かを検知可能な情報（例えば、シーケンス番号）が含まれている。
When the timing signal T1 is generated, each of the
First, the
伝送路１１５ｚより、画像パケット群５０１を受信したセンサシステム１１０ｙは、画像パケット群５０１の各画像パケットのヘッダ情報を更新した画像パケット群５０２を、伝送路１１５ｙにおいてセンサシステム１１０ｘに対して送信（転送）する。また、センサシステム１１０ｙは、画像パケット群５０１の各画像パケットの解析も行う。センサシステム１１０ｙは、画像パケット群５０１に含まれる画像パケットが、ラストパケットであることを検知すると（図４のＳ４０９でＹｅｓ）、画像パケット群５０２を送信後、センサシステム１１０ｙにおいて生成した画像パケット群５０３を、伝送路１１５ｙにおいてセンサシステム１１０ｘに対して送信する（図４のＳ４１７）。
以後、センサシステム１１０ｘも同様の処理を繰り返し、センサシステム１１０ｚ、１１０ｙ、１１０ｘにおいて生成された画像パケット群が、伝送路１１５ｘに逐次送信される。それに続いて、センサシステム１１０ｗも同様の処理を繰り返し、センサシステム１１０ｚ、１１０ｙ、１１０ｘ、１１０ｗにおいて生成された画像パケット群が、伝送路１１５ｗに逐次送信される。
The
Thereafter, the sensor system 110x repeats the same process, and the image packets generated in the
ここで、時刻Ｔ２でタイミング信号２１０が発生する前の時刻ｔ１で、センサシステム１１０ｙのカメラ１１２ｙが故障したとする。この場合、時刻Ｔ２の後に、センサシステム１１０ｚは、センサシステム１１０ｚにおいて生成した画像パケット群５０４を、センサシステム１１０ｙに対して送信する。続いて、センサシステム１１０ｙは、画像パケット群５０４の各画像パケットのヘッダ情報を更新した画像パケット群５０５を、センサシステム１１０ｘに対して送信する。しかしながら、センサシステム１１０ｙは、センサシステム１１０ｙにおいて画像パケット群５０６を生成できず、送信もできない。
センサシステム１１０ｘは、画像パケット群５０５を受信すると、画像パケット群５０５の各画像パケットのヘッダ情報を更新した画像パケット群５０７を、センサシステム１１０ｗに対して送信する。しかしながら、センサシステム１１０ｘは、センサシステム１１０ｙからの画像パケット群５０６を受信できないため、画像パケット群５０６に含まれる画像パケットが、ラストパケットであることを検知することもできない。
Here, assume that the
When the sensor system 110x receives the
センサシステム１１０ｘはラストパケットを検知できないため、センサシステム１１０ｘにおいて生成した画像パケット群５０８を送信ができない期間が発生する。その後、センサシステム１１０ｘのスタートタイマー部３０８がタイムアウトすることにより、画像パケット群５０８を、センサシステム１１０ｙに対して送信することができる。すなわち、センサシステム１１０ｘは、タイマー値ｔｘ１が経過した後に、画像パケット群５０８を、センサシステム１１０ｙに対して送信することができる。このような、センサシステム１１０ｘのスタートタイマー部３０８が３回連続でタイムアウトすると（図５の例では、時刻Ｔ２からＴ３、Ｔ３からＴ４、Ｔ４からＴ５の間で発生）、センサシステム１１０ｘにセットされるデフォルトのタイマー値ｔｘ１が変更される（図４のＳ４２８）。
Because the sensor system 110x cannot detect the last packet, a period occurs during which the
例えば、図５の例では、時刻ｔ３で、センサシステム１１０ｘの画像伝送制御部３０２が、センサシステム１１０ｘに対するデフォルトのタイマー値をタイマー値ｔｘ１からタイマー値ｔｘ２に変更する。なお、タイマー値ｔｘ２への変更は、続くタイミング信号の発生時刻Ｔ５の前であれば、どのタイミングであってもよい。タイミング信号が時刻Ｔ５で発生すると、センサシステム１１０ｘが、センサシステム１１０ｚにおいて生成された画像データを含む画像パケット群５０９を送信し、この時点で、すでにセンサシステム１１０ｚのスタートタイマー部３０８がタイムアウトしている。すなわち、センサシステム１１０ｘが画像パケット群５０９を送信した後に、すでにタイマー値ｔｘ２が経過している。よって、センサシステム１１０ｘは。センサシステム１１０ｘにおいて生成した画像パケット群５１０を、速やかにセンサシステム１１０ｗに対して送信することができる。
5, at time t3, the image
［デフォルトのタイマー値の決定方法］
各センサシステム１１０にセットするスタートタイマー部３０８のデフォルトのタイマー値の決定方法について、図１を参照して説明する。本実施形態では、当該タイマー値は、各センサシステム１１０の画像伝送制御部３０２により決定されるが、これに限定されない。本実施形態では、各センサシステム１１０の画像伝送制御部３０２は、タイミング信号２１０の周期、仮想視点画像生成システム１００におけるセンサシステム１１０の台数、および、センサシステム１１０における自センサシステムの位置の情報をあらかじめ取得している。
[How the default timer value is determined]
A method for determining a default timer value of the
センサシステム１１０ａからセンサシステム１１０ｚのうちの先頭のセンサシステム１１０ｚは、即座に画像パケットの送信を開始するために、デフォルトのタイマー値は０にセットされる。一方、他のセンサシステム１１０ａから１１０ｙは、以下のようにデフォルトのタイマー値が決定される。仮想視点画像生成システム１００におけるセンサシステムの台数をｎ台、タイミング信号の周期をＴ（秒）とすると、Ｔ／ｎ（秒）が、センサシステム一台当たりに画像パケット群の送信に許容できる、およその時刻となる。よって、センサシステム１１０ａから１１０ｙは、Ｔ／ｎ（秒）に各センサシステムの位置（先頭／末端）に応じた係数をかけた値を、タイマー値として決定する。また、タイムアウト回数が所定回数に到達した場合には、先に決定したデフォルトのタイマー値からＴ／ｎ（秒）ずつ値（期間）を徐々に小さくするように、デフォルトのタイマー値を決定（変更）する。
The default timer value of the
図１におけるセンサシステム１１０ｘについて、デフォルトのタイマー値の具体例を説明する。例えば、６０ＦＰＳの動画像では、タイミング信号の周期が１６．７（ミリ秒）となり、図１に示すように２６台のシステムにおいては（ｎ＝２６）、Ｔ／ｎ≒０．６４（ミリ秒）となる。センサシステム１１０ｘは３台目の位置に当たるので、０．６４×（３－１）＝１．２８（ミリ秒）を、デフォルトのタイマー値として決定することができる。そして、センサシステム１１０ｘのスタートタイマー部３０８においてタイムアウトが連続して発生し、タイムアウト回数が所定回数に達した場合には（図４のＳ４２７でＹｅｓ）、先に決定したデフォルトのタイマー値からＴ／ｎ（秒）ずつ値を小さくする。
なお、ここで説明したデフォルトのタイマー値の決定方法は一例であり、タイムアウト回数が所定回数に到達する毎に、先に決定したデフォルトのタイマー値より小さくなるように、デフォルトのタイマー値が変更されるように構成されればよい。
A specific example of the default timer value for the sensor system 110x in Fig. 1 will be described. For example, in a 60 FPS video image, the period of the timing signal is 16.7 (milliseconds), and in a 26-unit system (n=26) as shown in Fig. 1, T/n ≈ 0.64 (milliseconds). Since the sensor system 110x is the third unit, 0.64 x (3-1) = 1.28 (milliseconds) can be determined as the default timer value. Then, when a timeout occurs consecutively in the
Note that the method of determining the default timer value described here is just one example, and it is sufficient if the default timer value is changed so that it is smaller than the previously determined default timer value each time the number of timeouts reaches a predetermined number.
このように、本実施形態によれば、各センサシステム１１０における画像パケット伝送の状況にあわせて、スタートタイマー部３０８のタイマー値を適切にセットすることができる。これにより、仮想視点画像生成システム１００におけるセンサシステム１１０もしくはセンサシステム１１０間の伝送路に障害が発生した場合であっても、通信帯域を無駄にすることなく、効率的な画像パケットの伝送を継続することが可能となる。また、所定のタイミング毎に発生する画像データを、速やかに（例えば、所定の時刻までに）画像処理装置１０４へと伝送することが可能となり、高品質な仮想視点コンテンツをオンタイムに継続して生成することが可能となる。
In this way, according to this embodiment, the timer value of the
なお、上記実施形態では、タイマー値はタイミング信号２１０が発生した時刻を基準としているが、他のタイミングを基準としても良い。例えば、画像情報信号２１１が画像伝送部２０８に達した（発生した）タイミングを基準としても良い。さらに、センサシステム１１０が、所定のパケットを受信したタイミングを基準としても良い。例えば、タイムサーバ１０３が定期的に出力するＰＴＰパケット（同期時刻を配信するパケット）の検知時間を基準としても良い。
In the above embodiment, the timer value is based on the time when the
また、上記実施形態では、カメラアダプタ１１１は、ラストパケットを受信したことをトリガーとして、当該カメラアダプタ１１１で取得した画像パケットの送信を開始するように構成されているが、当該トリガーは、ラストパケットの受信に限定されない。画像パケット群を構成する特定のパケットや、特別に設定されたパケットであってもよい。
また、上記実施形態では、カメラアダプタ１１１が生成し送信するパケットは、カメラによる撮像データを基に生成した画像パケットであるが、他の種別のパケットであってもよい。例えば、カメラアダプタ１１１は、あらゆる種別のパケットを生成して他のカメラアダプタ１１１に送信するように構成されてもよい。
In the above embodiment, the camera adapter 111 is configured to start transmitting the image packets acquired by the camera adapter 111 when the camera adapter 111 receives the last packet as a trigger, but the trigger is not limited to the reception of the last packet. It may be a specific packet constituting an image packet group or a specially set packet.
In the above embodiment, the packets generated and transmitted by the camera adapter 111 are image packets generated based on image data captured by a camera, but other types of packets may be used. For example, the camera adapter 111 may be configured to generate and transmit all types of packets to other camera adapters 111.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other embodiments]
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
本実施形態の開示は、以下の構成および方法を含む。
（構成１）第１の他の通信装置と第２の他の通信装置の間に接続される通信装置であって、パケットを生成する生成手段と、前記第１の他の通信装置からの所定のパケットを受信する受信手段と、前記受信手段が前記所定のパケットを受信した場合、または、前記受信手段が前記所定のパケットを受信せずに所定期間が経過した場合に、前記生成手段が生成したパケットを、前記第２の他の通信装置に送信する送信手段と、前記受信手段が前記所定のパケットを受信せずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更手段と、を有する通信装置。
The disclosure of this embodiment includes the following configurations and methods.
(Configuration 1) A communication device connected between a first other communication device and a second other communication device, comprising: a generating means for generating a packet; a receiving means for receiving a specified packet from the first other communication device; a transmitting means for transmitting the packet generated by the generating means to the second other communication device when the receiving means receives the specified packet or when a specified period has elapsed without the receiving means receiving the specified packet; and a changing means for changing the specified period to a shorter period based on the number of times the specified period has elapsed without the receiving means receiving the specified packet.
（構成２）前記生成手段は、撮像装置が撮像することにより得られた撮像データに対して画像処理を施して画像データを生成し、当該画像データを含むパケットを前記パケットとして生成する、構成１に記載の通信装置。
(Configuration 2) The communication device described in
（構成３）前記撮像装置は、前記通信装置に含まれる、構成２に記載の通信装置。 (Configuration 3) The communication device according to configuration 2, wherein the imaging device is included in the communication device.
（構成４）前記撮像装置は、前記通信装置に接続される、構成２に記載の通信装置。 (Configuration 4) The communication device according to configuration 2, wherein the imaging device is connected to the communication device.
（構成５）前記変更手段は、前記回数が所定回数に達した場合に、前記所定期間をより短い期間に変更する、構成１から４のいずれか１項に記載の通信装置。
(Configuration 5) The communication device according to any one of
（構成６）前記所定のパケットは、前記第１の他の通信装置からの１つのパケット群を構成する複数のパケットのうちの最後のパケットである、構成１から５のいずれか１項に記載の通信装置。
(Configuration 6) The communication device described in any one of
（構成７）前記生成手段は、周期的なタイミングを基準として前記パケットを生成し、前記所定期間は、前記タイミングの周期に基づいて設定される、構成１から構成６のいずれか１項に記載の通信装置。
(Configuration 7) A communication device according to any one of
（構成８）前記変更手段が前記所定期間を変更した後に、前記受信手段が前記所定のパケットを前記変更された所定期間が経過する前に受信した場合、前記変更手段は、前記変更された所定期間を、前記所定期間に戻す、構成１から構成７のいずれか１項に記載の通信装置。
(Configuration 8) A communication device according to any one of
（構成９）前記変更手段は、前記所定期間を変更した後に、前記受信手段が前記所定のパケットを受信せずに前記変更された所定期間が経過した回数に基づいて、前記変更された所定期間をより短い期間に変更する、構成１から構成８のいずれか１項に記載の通信装置。
(Configuration 9) The communication device according to any one of
（構成１０）デイジーチェーン接続される複数の通信装置を有する伝送システムであって、前記複数の通信装置のそれぞれは、パケットを生成する生成手段と、一方に接続される第１の他の通信装置からの所定のパケットを受信する受信手段と、前記受信手段が前記所定のパケットを受信した場合、または、前記受信手段が前記所定のパケットを受信せずに所定期間が経過した場合に、前記生成手段が生成したパケットを、他方に接続される第２の他の通信装置に送信する送信手段と、前記受信手段が前記所定のパケットを受信せずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更手段と、 を有する、伝送システム。 (Configuration 10) A transmission system having a plurality of communication devices connected in a daisy chain, each of the plurality of communication devices having a generating means for generating a packet, a receiving means for receiving a predetermined packet from a first other communication device connected to one of the communication devices, a transmitting means for transmitting the packet generated by the generating means to a second other communication device connected to the other communication device when the receiving means receives the predetermined packet or when a predetermined period has elapsed without the receiving means receiving the predetermined packet, and a changing means for changing the predetermined period to a shorter period based on the number of times the receiving means has not received the predetermined packet and the predetermined period has elapsed.
（構成１１）前記所定期間は、前記複数の通信装置で異なるように設定される、構成１１に記載の伝送システム。
(Configuration 11) The transmission system described in
（構成１２）前記所定期間は、前記複数の通信装置のそれぞれの前記生成手段が生成したパケットが送信される順で徐々に長くなるように設定される、構成１１に記載の伝送システム。
(Configuration 12) The transmission system described in
（構成１３）前記生成手段は、周期的なタイミングを基準として前記パケットを生成し、前記所定期間は、前記タイミングの周期に基づいて設定される、構成１０から構成１２のいずれか１項に記載の伝送システム。 (Configuration 13) The transmission system described in any one of configurations 10 to 12, wherein the generating means generates the packets based on a periodic timing, and the predetermined period is set based on the period of the timing.
（方法１）第１の他の通信装置と第２の他の通信装置の間に接続される通信装置の制御方法であって、パケットを生成する生成工程と、前記第１の他の通信装置からの所定のパケットを受信する受信工程と、前記所定のパケットが受信された場合、または、前記所定のパケットが受信されずに所定期間が経過した場合に、前記生成されたパケットを、前記第２の他の通信装置に送信する送信工程と、前記所定のパケットが受信されずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更工程と、を有する、制御方法。 (Method 1) A control method for a communication device connected between a first other communication device and a second other communication device, the control method comprising: a generation step of generating a packet; a reception step of receiving a predetermined packet from the first other communication device; a transmission step of transmitting the generated packet to the second other communication device when the predetermined packet is received or when a predetermined period has elapsed without the predetermined packet being received; and a modification step of modifying the predetermined period to a shorter period based on the number of times the predetermined period has elapsed without the predetermined packet being received.
１００：仮想視点画像生成システム、１０１：ハブ、１０２：制御装置、１０３：タイムサーバ、１０４：画像処理装置、１０５：ユーザ装置、１０６：伝送路、１１０ａ～１１０ｚ：センサシステム、１１１ａ～１１１ｚ：カメラアダプタ、１１２ａ～１１２ｚ：カメラ、１１３ａ～１１３ｚ：第１接続、１１４ａ～１１４ｚ：第２接続、１１５ａ～１１５ｚ：伝送路、２０１：ＣＰＵ、２０２：記憶部、２０３：第１通信Ｉ／Ｆ部、２０４：第２通信Ｉ／Ｆ部、２０５：時刻同期制御部、２０６：画像処理部、２０７：撮像制御部、２０８：画像伝送部、２０９：システムバス、２１０：タイミング信号、２１１：画像情報信号、３０１：設定部、３０２：画像伝送制御部、３０３：受信バッファ部、３０４：フォワード部、３０５：調整部、３０６：送信バッファ部、３０７：画像パケット生成部、３０８：スタートタイマー部 100: Virtual viewpoint image generation system, 101: Hub, 102: Control device, 103: Time server, 104: Image processing device, 105: User device, 106: Transmission path, 110a to 110z: Sensor system, 111a to 111z: Camera adapter, 112a to 112z: Camera, 113a to 113z: First connection, 114a to 114z: Second connection, 115a to 115z: Transmission path, 201: CPU, 202: Storage unit, 203: First communication I/F unit, 204: Second communication I/F unit, 205: Time synchronization control unit, 206: Image processing unit, 207: Imaging control unit, 208: Image transmission unit, 209: System bus, 210: Timing signal, 211: Image information signal, 301: Setting unit, 302: Image transmission control unit, 303: Reception buffer unit, 304: Forward unit, 305: Adjustment unit, 306: Transmission buffer unit, 307: Image packet generation unit, 308: Start timer unit
Claims (15)
パケットを生成する生成手段と、
前記第１の他の通信装置からの所定のパケットを受信する受信手段と、
前記受信手段が前記所定のパケットを受信した場合、または、前記受信手段が前記所定のパケットを受信せずに所定期間が経過した場合に、前記生成手段が生成したパケットを、前記第２の他の通信装置に送信する送信手段と、
前記受信手段が前記所定のパケットを受信せずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更手段と、
を有することを特徴とする通信装置。 A communication device connected between a first other communication device and a second other communication device,
generating means for generating packets;
receiving means for receiving a predetermined packet from the first other communication device;
a transmitting means for transmitting the packet generated by the generating means to the second other communication device when the receiving means receives the predetermined packet or when a predetermined period of time has elapsed without the receiving means receiving the predetermined packet;
a change means for changing the predetermined period to a shorter period based on the number of times the predetermined period has elapsed without the receiving means receiving the predetermined packet;
A communication device comprising:
ことを特徴とする請求項１に記載の通信装置。 the generating means generates image data by performing image processing on imaging data obtained by imaging using an imaging device, and generates a packet including the image data as the packet;
2. The communication device according to claim 1 .
ことを特徴とする請求項１から４のいずれか１項に記載の通信装置。 The change means changes the predetermined period to a shorter period when the number of times reaches a predetermined number.
5. The communication device according to claim 1, wherein the first and second inputs are connected to the first and second inputs.
ことを特徴とする請求項１に記載の通信装置。 the predetermined packet is a last packet of a plurality of packets constituting one packet group from the first other communication device;
2. The communication device according to claim 1 .
前記所定期間は、前記タイミングの周期に基づいて設定される、
ことを特徴とする請求項１に記載の通信装置。 The generating means generates the packets based on a periodic timing;
The predetermined period is set based on a cycle of the timing.
2. The communication device according to claim 1 .
前記変更手段は、前記変更された所定期間を、前記所定期間に戻す、
ことを特徴とする請求項１に記載の通信装置。 If, after the change means has changed the predetermined period, the receiving means receives the predetermined packet before the changed predetermined period has elapsed,
The change means returns the changed predetermined period to the predetermined period.
2. The communication device according to claim 1 .
ことを特徴とする請求項１に記載の通信装置。 the changing means changes the changed predetermined period to a shorter period based on the number of times the changed predetermined period has elapsed without the receiving means receiving the predetermined packet after the change of the predetermined period.
2. The communication device according to claim 1 .
前記複数の通信装置のそれぞれは、
パケットを生成する生成手段と、
一方に接続される第１の他の通信装置からの所定のパケットを受信する受信手段と、
前記受信手段が前記所定のパケットを受信した場合、または、前記受信手段が前記所定のパケットを受信せずに所定期間が経過した場合に、前記生成手段が生成したパケットを、他方に接続される第２の他の通信装置に送信する送信手段と、
前記受信手段が前記所定のパケットを受信せずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更手段と、
を有することを特徴とする伝送システム。 A transmission system having a plurality of communication devices connected in a daisy chain,
Each of the plurality of communication devices
generating means for generating packets;
a receiving means for receiving a predetermined packet from a first other communication device connected to one of the first communication devices;
a transmitting means for transmitting the packet generated by the generating means to a second other communication device connected to the other side when the receiving means receives the predetermined packet or when a predetermined period of time has elapsed without the receiving means receiving the predetermined packet;
a change means for changing the predetermined period to a shorter period based on the number of times the predetermined period has elapsed without the receiving means receiving the predetermined packet;
A transmission system comprising:
ことを特徴とする請求項１０に記載の伝送システム。 the predetermined period is set to be different for each of the plurality of communication devices;
11. The transmission system according to claim 10.
ことを特徴とする請求項１１に記載の伝送システム。 the predetermined period is set to be gradually longer in the order in which the packets generated by the generation means of each of the plurality of communication devices are transmitted.
12. The transmission system according to claim 11 .
前記所定期間は、前記タイミングの周期に基づいて設定される、
ことを特徴とする請求項１０から１２のいずれか１項に記載の伝送システム。 The generating means generates the packets based on a periodic timing;
The predetermined period is set based on a cycle of the timing.
13. A transmission system according to claim 10, wherein the first and second inputs are connected to the first and second inputs.
パケットを生成する生成工程と、
前記第１の他の通信装置からの所定のパケットを受信する受信工程と、
前記所定のパケットが受信された場合、または、前記所定のパケットが受信されずに所定期間が経過した場合に、前記生成されたパケットを、前記第２の他の通信装置に送信する送信工程と、
前記所定のパケットが受信されずに前記所定期間が経過した回数に基づいて、前記所定期間をより短い期間に変更する変更工程と、
を有することを特徴とする制御方法。 A method for controlling a communication device connected between a first other communication device and a second other communication device, comprising the steps of:
a generating step of generating packets;
a receiving step of receiving a predetermined packet from the first other communication device;
a transmitting step of transmitting the generated packet to the second other communication device when the predetermined packet is received or when a predetermined period of time has elapsed without the predetermined packet being received;
changing the predetermined period to a shorter period based on the number of times the predetermined period has elapsed without the predetermined packet being received;
A control method comprising the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022185396A JP2024074327A (en) | 2022-11-21 | 2022-11-21 | Communication device, transmission system, control method for communication device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022185396A JP2024074327A (en) | 2022-11-21 | 2022-11-21 | Communication device, transmission system, control method for communication device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024074327A true JP2024074327A (en) | 2024-05-31 |
Family
ID=91228535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022185396A Pending JP2024074327A (en) | 2022-11-21 | 2022-11-21 | Communication device, transmission system, control method for communication device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024074327A (en) |
-
2022
- 2022-11-21 JP JP2022185396A patent/JP2024074327A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7200158B2 (en) | Clock synchronizing method over fault-tolerant Ethernet | |
| EP1717978A1 (en) | Time synchronization, deterministic data delivery and redundancy for cascaded nodes on full duplex ethernet networks | |
| CN111800213B (en) | High-speed TTE (time to live) cascade network 1588 synchronization method, system and device | |
| US20140177653A1 (en) | Inband Timestamping | |
| CN101330342B (en) | Method for implementing time synchronization protocol using port mirror and apparatus thereof | |
| CN112929117B (en) | Compatible definable deterministic communication Ethernet | |
| JP7396393B2 (en) | Control system, device and control method | |
| CN1668020B (en) | Method, apparatus and system for guaranteed packet delivery times in asynchronous networks | |
| CN108737809B (en) | Remote synchronous image acquisition method | |
| JP2024074327A (en) | Communication device, transmission system, control method for communication device, and program | |
| KR101396685B1 (en) | Camera device | |
| TW201731265A (en) | Time-synchronous slave apparatus and communication control method | |
| JP6805938B2 (en) | Virtual LAN time synchronization method | |
| JP2022168409A (en) | Communication device, control method for the same, and program | |
| US20180013506A1 (en) | Communication device, communication system, and method for synchronised transmission of telegrams | |
| CN214480655U (en) | Embedded equipment compatible with definable deterministic communication Ethernet | |
| WO2018014688A1 (en) | Frame stream control method and device, and computer storage medium | |
| JP2024048661A (en) | Communication device and control method for the same | |
| GB2595884A (en) | Method, device and computer program for robust data transmission in daisy-chain networks | |
| JP2023073012A (en) | Communication device, control method of communication device, and program | |
| JP2019140643A (en) | Transmission equipment | |
| JP2024147867A (en) | COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM | |
| JP2022169044A (en) | Communication device and method for controlling the same | |
| JP2023097645A (en) | Communication device, control method of communication device and program | |
| JP7467130B2 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240614 |