JP7262560B1

JP7262560B1 - Image processing device, program, and image processing method

Info

Publication number: JP7262560B1
Application number: JP2021199487A
Authority: JP
Inventors: 貴司宮本; 明弘柳井
Original assignee: アイチップス・テクノロジー株式会社
Priority date: 2021-12-08
Filing date: 2021-12-08
Publication date: 2023-04-21
Anticipated expiration: 2041-12-08
Also published as: WO2023105924A1; JP2023085033A

Abstract

【課題】エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供する。【解決手段】画像処理装置は、画像を処理する処理部を備える画像処理装置であって、前記処理部は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する。【選択図】図１An image processing apparatus and the like capable of efficiently converting an image in the equirectangular format into an image in the cubemap format. Kind Code: A1 An image processing apparatus includes a processing unit for processing an image, the processing unit acquires a first image in an equirectangular format, and converts the acquired first image into a longitudinal image. In each of the generated strip images, each of the rectangular region images located at both ends in the longitudinal direction is reduced to a triangular image, and the triangular image and the A second image in a cube map format is generated using the image of the rectangular area located in the center of the strip image, and the generated second image is output. [Selection drawing] Fig. 1

Description

本発明は、画像処理装置、プログラム、及び画像処理方法に関する。 The present invention relates to an image processing apparatus, program, and image processing method.

正距円筒図法（エクイレクタングラー）に関連するビデオ符号化のためのツール及び演算を可能にする装置が知られている（例えば、特許文献１）。特許文献１に記載の装置は、特定のツール及び演算を選択的に実行可能にするためのフラグを使用するので、可能であれば符号化及び復号化の複雑さを低減する。 Devices enabling tools and operations for video coding related to the equirectangular projection are known (eg, US Pat. The apparatus described in US Pat. No. 6,200,000 uses flags to selectively enable certain tools and operations, thus reducing encoding and decoding complexity where possible.

特表２０２０－５３４７２６号公報Japanese Patent Publication No. 2020-534726

しかしながら、特許文献１の装置は、エクイレクタングラーを効率的にキューブマップに変換する点について考慮されていない。 However, the device of Patent Literature 1 does not take into consideration the efficient conversion of the equirectangular into a cube map.

本発明は、斯かる事情に鑑みてなされたものであり、エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing apparatus and the like capable of efficiently converting an image in the equirectangular format into an image in the cubemap format. .

本態様に係る画像処理装置は、画像を処理する処理部を備える画像処理装置であって、前記処理部は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する。 An image processing apparatus according to this aspect is an image processing apparatus that includes a processing unit that processes an image, the processing unit acquires a first image in an equirectangular format, and converts the acquired first image into a longitudinal image. In each of the generated strip images, rectangular regions located at both ends in the longitudinal direction are reduced to triangular images, and the triangular images and the A second image in a cube map format is generated using the image of the rectangular area located in the center of the strip image, and the generated second image is output.

本態様に係るプログラムは、コンピュータに、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する処理を実行させる。 The program according to this aspect causes a computer to acquire a first image in an equirectangular format, divide the acquired first image into four strip images in the longitudinal direction, and generate the strip images. , each of the images of the rectangular areas located at both ends in the longitudinal direction is reduced to a triangular image, and the triangular image and the image of the square area located in the center of the strip image are used to create a cube map A process of generating a second image of the format and outputting the generated second image is executed.

本態様に係る画像処理方法は、エクイレクタングラー形式の第１画像を取得し、取得した前記第１画像を、長手方向に４つに分割した短冊画像を生成し、生成した前記短冊画像それぞれにおいて、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小し、前記三角形の画像と、前記短冊画像における中央部に位置する方形領域の画像とを用いて、キューブマップ形式の第２画像を生成し、生成した前記第２画像を出力する処理をコンピュータに実行させる。 The image processing method according to this aspect acquires a first image in an equirectangular format, divides the acquired first image into four strip images in the longitudinal direction, and in each of the strip images generated , each of the images of the rectangular areas located at both ends in the longitudinal direction is reduced to a triangular image, and the triangular image and the image of the square area located in the center of the strip image are used to create a cube map format. and causing the computer to execute a process of generating a second image of and outputting the generated second image.

本発明によれば、エクイレクタングラー形式の画像を、キューブマップ形式の画像に効率的に変換することができる画像処理装置等を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus and the like that can efficiently convert an image in the equirectangular format into an image in the cubemap format.

実施形態１に係る画像処理システムの構成例を示す模式図である。1 is a schematic diagram showing a configuration example of an image processing system according to Embodiment 1; FIG. 画像処理装置の構成例を示すブロック図である。1 is a block diagram showing a configuration example of an image processing apparatus; FIG. 画像処理装置の処理部を例示する説明図である。FIG. 3 is an explanatory diagram exemplifying a processing unit of the image processing apparatus; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。FIG. 10 is an explanatory diagram illustrating generation (conversion) processing from an equirectangular image to a cube map image; 画像処理装置の処理部の処理手順の一例を示すフローチャートである。4 is a flow chart showing an example of a processing procedure of a processing unit of the image processing apparatus; 処理部による短冊画像に対する処理手順の一例を示すフローチャートである。8 is a flow chart showing an example of a processing procedure for a strip image by a processing unit;

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る画像処理システムＳの構成例を示す模式図である。画像処理システムＳは、画像処理装置１を主たる装置として構成され、当該画像処理装置１には、撮像装置１０１、外部サーバＧＳ等のエクイレクタングラー画像を出力する装置、及び、画像処理装置１によって変換されたキューブマップ画像が表示される表示装置１０２が通信可能に接続される。 (Embodiment 1)
Hereinafter, the present invention will be described in detail based on the drawings showing its embodiments. FIG. 1 is a schematic diagram showing a configuration example of an image processing system S according to the first embodiment. The image processing system S is configured with an image processing device 1 as a main device. The image processing device 1 includes an imaging device 101, a device for outputting an equirectangular image such as an external server GS, and an image processing device 1. A display device 102 on which the transformed cubemap image is displayed is communicatively connected.

外部サーバＧＳは、例えば、インターネット等の外部ネットワークに接続されるクラウドサーバ又はアプリケーションサーバであり、自サーバが備えるストレージ装置等に保存されるエクイレクタングラー画像を画像処理装置１に出力（送信）する。 The external server GS is, for example, a cloud server or an application server connected to an external network such as the Internet, and outputs (transmits) an equirectangular image stored in a storage device or the like of its own server to the image processing apparatus 1. .

撮像装置１０１は、例えば、視野角が３６０°の全方位カメラ、又は、１８０°の視野角を持つ魚眼カメラが２セットから成るカメラ装置であり、全方位画像を撮像する装置である。 The imaging device 101 is, for example, a camera device comprising two sets of an omnidirectional camera with a viewing angle of 360° or a fisheye camera with a viewing angle of 180°, and is a device that captures an omnidirectional image.

表示装置１０２は、例えば、プロジェクタ、液晶ディスプレイ、又はＶＲグラスであり、画像処理装置１から出力されたキューブマップ画像を表示する。画像処理装置１に接続される表示装置１０２は単数台に限定されず、立方体として形成されるキューブマップ画像における各表示面の面数（６面）に対応し、複数（６台）の表示装置１０２が画像処理装置１に接続されるものであってもよい。この場合、画像処理装置１は、立方体として形成されるキューブマップ画像のそれぞれの表示面の画像を、個々の表示装置１０２に出力し、これら表示装置１０２は、互いに異なる表示面の画像を表示するものであってもよい。キューブマップ画像は、立方体として形成される場合に限定されず、直方体にて形成されるものであってもよい。 The display device 102 is, for example, a projector, a liquid crystal display, or VR glasses, and displays a cube map image output from the image processing device 1 . The display device 102 connected to the image processing apparatus 1 is not limited to a single unit, and a plurality of (6 units) display units corresponding to the number of display surfaces (6 surfaces) in the cube map image formed as a cube. 102 may be connected to the image processing apparatus 1 . In this case, the image processing device 1 outputs images of respective display surfaces of a cube map image formed as a cube to individual display devices 102, and these display devices 102 display images of different display surfaces. can be anything. The cube map image is not limited to being formed as a cube, and may be formed as a rectangular parallelepiped.

画像処理装置１は、撮像装置１０１又は外部サーバＧＳから出力（送信）されたエクイレクタングラー画像を取得（受信）し、取得したエクイレクタングラー画像を４つに分割した短冊画像を生成し、これら短冊画像に対する画像処理を並列して行う。これにより、エクイレクタングラー画像からキューブマップ画像への変換をリアルタイムに行うことができる。 The image processing apparatus 1 acquires (receives) the equirectangular image output (transmitted) from the imaging device 101 or the external server GS, divides the acquired equirectangular image into four strip images, and generates strip images. Image processing for strip images is performed in parallel. As a result, conversion from an equirectangular image to a cubemap image can be performed in real time.

図２は、画像処理装置１の構成例を示すブロック図である。画像処理装置１は、処理部２、記憶部３、通信部４、及び入出力Ｉ／Ｆ５を含む。画像処理装置１は、これら処理部２等がＡＳＩＣ等として実装された回路基板、ＳｏＣ（System-on-a-chip）、又はボードコンピュータとして構成されるものであってもよい。 FIG. 2 is a block diagram showing a configuration example of the image processing apparatus 1. As shown in FIG. The image processing apparatus 1 includes a processing section 2, a storage section 3, a communication section 4, and an input/output I/F5. The image processing apparatus 1 may be configured as a circuit board, SoC (System-on-a-chip), or board computer on which these processing units 2 and the like are mounted as an ASIC or the like.

処理部２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含み、これらは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の処理回路（ハードウェア処理部）として構成される。これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４それぞれは、個々に異なる処理回路として構成されることにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４による画像処理を並列して行うことができる。処理部２は、更に、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のソフトウェア処理を行うマイコン等を含むものであってもよい。画像処理を行う第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、ＡＳＩＣ等のハードウェア処理部にて構成されるとしたがこれに限定されない。これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、例えばマルチＣＰＵ又はマルチコア・プロセッサ（例えば、クアッドコア）にて構成され、４つのコアそれぞれが、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４として、画像処理を並列して行うものであってもよい。 The processing unit 2 includes a first processing unit 21, a second processing unit 22, a third processing unit 23, and a fourth processing unit 24, which are, for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate). array) or other processing circuit (hardware processing unit). The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 are configured as individually different processing circuits, so that the first processing unit 21 and the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 can perform image processing in parallel. The processing unit 2 may further include a microcomputer, such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), which performs software processing. Although the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 that perform image processing are configured by hardware processing units such as ASIC, the present invention is not limited to this. These first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24 are configured by, for example, a multi-CPU or multi-core processor (eg, quad-core), and each of the four cores is The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 may perform image processing in parallel.

記憶部３は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。当該記憶部３には、画像処理装置１の全体を制御するための制御プログラム（プログラム製品）が記憶されているものであってもよい。当該制御プログラム（プログラム製品）は、画像処理装置１が読み取り可能な記録媒体から読み出された制御プログラム（プログラム製品）を記憶したものであってもよく、他コンピュータからダウンロードし記憶したものであってもよい。当該制御プログラム（プログラム製品）には、本実施形態における画像処理に関する処理ルーチンが含まれるものであってもよい。 The storage unit 3 includes, for example, a volatile storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory, and a non-volatile storage area such as EEPROM or hard disk. The storage unit 3 may store a control program (program product) for controlling the entire image processing apparatus 1 . The control program (program product) may be a stored control program (program product) read from a recording medium readable by the image processing apparatus 1, or may be downloaded from another computer and stored. may The control program (program product) may include a processing routine relating to image processing in this embodiment.

記憶部３は、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）に対応した個別記憶部（フレームメモリ）を含むものであってもよい。すなわち、記憶部３は、第１処理部２１のみが用いる記憶領域（第１処理部２１用のフレームメモリ）、第２処理部２２のみが用いる記憶領域（第２処理部２２用のフレームメモリ）、第３処理部２３のみが用いる記憶領域（第３処理部２３用のフレームメモリ）、第４処理部２４のみが用いる記憶領域（第４処理部２４用のフレームメモリ）を含むものであってもよい。これら個々の個別記憶部（フレームメモリ）は、対応する個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）を構成するＡＳＩＣ等に含まれるものであってもよい。これにより、４つに分割された短冊画像それぞれは、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）に含まれる個別記憶部（フレームメモリ）それぞれに展開されるため、メモリ領域へのアクセス競合に対する回避処理を不要とすることができ、これら個々の処理部２による並列処理を効率的に行うことができる。 The storage unit 3 includes individual storage units (frame memories) corresponding to the individual processing units 2 (first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24). There may be. That is, the storage unit 3 includes a storage area used only by the first processing unit 21 (frame memory for the first processing unit 21) and a storage area used only by the second processing unit 22 (frame memory for the second processing unit 22). , a storage area used only by the third processing unit 23 (frame memory for the third processing unit 23), and a storage area used only by the fourth processing unit 24 (frame memory for the fourth processing unit 24). good too. These individual storage units (frame memories) are ASICs and the like that constitute the corresponding individual processing units 2 (the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24). may be included in As a result, each of the strip images divided into four is individually stored in each processing unit 2 (first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24). Since it is developed in each unit (frame memory), avoidance processing for access contention to the memory area can be made unnecessary, and parallel processing by these individual processing units 2 can be efficiently performed.

通信部４は、有線又は無線により、外部サーバＧＳと通信するための通信モジュール又は通信インターフェイスであり、例えば、イーサネット（登録商標）コネクタ、Wi-Fi（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、５Ｇ等の広域無線通信モジュールである。 The communication unit 4 is a communication module or communication interface for communicating with the external server GS by wire or wirelessly. It is a short-range wireless communication module or a wide-area wireless communication module such as 4G, 5G.

入出力Ｉ／Ｆ５は、例えばＵＳＢ、ＨＤＭＩ（登録商標）等の通信規格に準拠した通信インターフェイス又は、制御部に繋がる内部バス等に接続するためのコネクタ等を含むものであってもよい。入出力Ｉ／Ｆ５には、撮像装置１０１及び表示装置１０２が接続され、更にキーボード等が接続されるものであってもよい。 The input/output I/F 5 may include, for example, a communication interface conforming to communication standards such as USB and HDMI (registered trademark), or a connector or the like for connecting to an internal bus or the like connected to the control unit. The input/output I/F 5 may be connected to the imaging device 101 and the display device 102, and may also be connected to a keyboard or the like.

図３は、画像処理装置１の処理部２を例示する説明図である。図４から９は、エクイレクタングラー画像からキューブマップ画像への生成（変換）処理を説明する説明図である。画像処理装置１の処理部２は、分割された短冊画像それぞれに対応する第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含み、これらは、例えば、ＡＳＩＣ等の処理回路（ハードウェア処理部）として構成される。処理部２は、短冊画像それぞれに対する処理を行う第１処理部２１等以外に、例えば、エクイレクタングラー画像を取得及び分割処理する処理回路、分割した短冊画像を結合する処理回路等を含むものであってもよい。又は、処理部２は、ソフトウェア処理を行うマイコン等を含むものであってもよい。このように処理部２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４に加え、分割処理等の前処理を行う取得部２０１、及び結合処理等の後処理を行う出力部２０２を含む。 FIG. 3 is an explanatory diagram illustrating the processing section 2 of the image processing apparatus 1. As shown in FIG. 4 to 9 are explanatory diagrams for explaining the generation (conversion) processing from an equirectangular image to a cube map image. The processing unit 2 of the image processing apparatus 1 includes a first processing unit 21, a second processing unit 22, a third processing unit 23, and a fourth processing unit 24 corresponding to each of the divided strip images. , a processing circuit (hardware processing unit) such as an ASIC. The processing unit 2 includes, for example, a processing circuit for acquiring and dividing an equirectangular image, a processing circuit for combining the divided strip images, etc., in addition to the first processing unit 21 for processing each strip image. There may be. Alternatively, the processing unit 2 may include a microcomputer or the like that performs software processing. In this way, the processing unit 2 includes the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24, as well as the acquisition unit 201 that performs preprocessing such as division processing, and the combining processing. It includes an output unit 202 that performs post-processing such as.

取得部２０１は、外部サーバＧＳ又は撮像装置１０１等、エクイレクタングラー画像を出力する装置から、当該エクイレクタングラー画像を取得する。図４にて示すとおり、エクイレクタングラー画像は、横長となる矩形状を成し、縦横の比率であるアスペクト比は、例えば１：２として設定される。 The acquisition unit 201 acquires the equirectangular image from a device that outputs the equirectangular image, such as the external server GS or the imaging device 101 . As shown in FIG. 4, the equirectangular image has a horizontally long rectangular shape, and the aspect ratio, which is the ratio of length to width, is set to 1:2, for example.

エクイレクタングラー画像から変換されたキューブマップ画像を立体視（立方体に形成）した場合、立体視したキューブマップ画像の各壁面（壁面１から４）は、エクイレクタングラー画像を長手方向（横方向）に４分割した各領域画像それぞれにおける中央部に位置するものとなる。本実施形態において、キューブマップ画像の壁面１は、Ｙ軸－方向の表示面に相当する。キューブマップ画像の壁面２は、Ｘ軸＋方向の表示面に相当する。キューブマップ画像の壁面３は、Ｙ軸＋方向の表示面に相当する。キューブマップ画像の壁面４は、Ｘ軸－方向の表示面に相当する。立体視したキューブマップ画像の天井面（Ｚ軸＋方向の表示面）は、エクイレクタングラー画像の上端部に位置するものとなる。立体視したキューブマップ画像の床面（Ｚ軸－方向の表示面）は、エクイレクタングラー画像の下端部に位置するものとなる。エクイレクタングラー画像の短手方向（縦方向）における上端部及び下端部それぞれの縦方向の長さは、当該エクイレクタングラー画像の短手方向の長さ（縦方向の長さ）の１／４に設定される。エクイレクタングラー画像から、上端部及び下端部を除いた残部（中央部）の縦方向の長さは、エクイレクタングラー画像の短手方向の長さ（縦方向の長さ）の１／２となる。 When a cube map image converted from an equirectangular image is stereoscopically viewed (formed into a cube), each wall surface (walls 1 to 4) of the stereoscopically viewed cube map image is aligned with the equirectangular image in the longitudinal direction (horizontal direction). is positioned at the center of each area image divided into four. In this embodiment, the wall surface 1 of the cube map image corresponds to the display surface in the Y-axis direction. The wall surface 2 of the cube map image corresponds to the display surface in the + direction of the X axis. The wall surface 3 of the cube map image corresponds to the display surface in the + direction of the Y axis. The wall surface 4 of the cube map image corresponds to the display surface in the X-axis direction. The ceiling surface (display surface in the +Z-axis direction) of the stereoscopically viewed cube map image is positioned at the upper end of the equirectangular image. The floor surface (display surface in the Z-axis direction) of the stereoscopically viewed cube map image is positioned at the lower end of the equirectangular image. The vertical length of each of the upper and lower ends of the equirectangular image in the short direction (longitudinal direction) is 1/4 of the length of the equirectangular image in the short direction (longitudinal direction). is set to The length in the vertical direction of the remaining portion (central portion) of the equirectangular image excluding the top and bottom portions is 1/2 of the length in the short direction (length in the vertical direction) of the equirectangular image. Become.

取得部２０１は、取得した矩形状のエクイレクタングラー画像を、長手方向に４つに分割し、縦長となる４つの短冊画像を生成する。エクイレクタングラー画像を長手方向に分割するにあたり、長手方向の長さにて均等に分割する場合に限定されず、長手方向の長さを異ならせて分割するものであってもよい。すなわち、キューブマップ画像の各壁面の横方向の長さが異なる場合、当該横方向の長さに応じて、エクイレクタングラー画像を長手方向に分割するものであってもよい。このようにキューブマップ画像が立方体にて構成される場合のみならず、直方体にて構成される場合であっても、取得部２０１は、当該直方体に対応するように分割した短冊画像を生成する。 The acquisition unit 201 divides the acquired rectangular equirectangular image into four in the longitudinal direction to generate four vertically long strip images. When dividing the equirectangular image in the longitudinal direction, the division is not limited to equal division in the length in the longitudinal direction, and division may be made by varying the length in the longitudinal direction. That is, if the wall surfaces of the cube map image have different lengths in the horizontal direction, the equirectangular image may be divided in the longitudinal direction according to the lengths in the horizontal direction. In this way, not only when the cube map image is composed of cubes, but also when it is composed of rectangular parallelepipeds, the acquiring unit 201 generates strip images divided so as to correspond to the rectangular parallelepipeds.

エクイレクタングラー画像を長手方向（横方向）に４分割することにより、縦長となる矩形状の短冊画像１から４が生成される。短冊画像１は、立体視したキューブマップ画像の壁面１（左側面）を含む。短冊画像２は、立体視したキューブマップ画像の壁面２（前側面）を含む。短冊画像３は、立体視したキューブマップ画像の壁面３（右側面）を含む。短冊画像４は、立体視したキューブマップ画像の壁面４（後側面）を含む。短冊画像１は、短冊画像２及び短冊画像４と隣接する。短冊画像２は、短冊画像３及び短冊画像１と隣接する。短冊画像３は、短冊画像４及び短冊画像２と隣接する。短冊画像４は、短冊画像１及び短冊画像３と隣接する。 Vertically long rectangular strip images 1 to 4 are generated by dividing the equirectangular image into four in the longitudinal direction (horizontal direction). The strip image 1 includes a wall surface 1 (left side) of a stereoscopically viewed cube map image. The strip image 2 includes a wall surface 2 (front side surface) of a stereoscopically viewed cube map image. The strip image 3 includes the wall surface 3 (right side) of the stereoscopically viewed cube map image. The strip image 4 includes a wall surface 4 (rear side) of a stereoscopically viewed cube map image. Strip image 1 is adjacent to strip image 2 and strip image 4 . Strip image 2 is adjacent to strip image 3 and strip image 1 . Strip image 3 is adjacent to strip image 4 and strip image 2 . Strip image 4 is adjacent to strip image 1 and strip image 3 .

取得部２０１は、生成した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ）を付加するものであってもよい。すなわち、短冊画像１には、短冊画像２と重複する重複部（のりしろ）が短冊画像２側の端部に付加され、短冊画像４と重複する重複部（のりしろ）が短冊画像４側の端部に付加される。短冊画像２には、短冊画像３と重複する重複部（のりしろ）が短冊画像３側の端部に付加され、短冊画像１と重複する重複部（のりしろ）が短冊画像１側の端部に付加される。短冊画像３には、短冊画像４と重複する重複部（のりしろ）が短冊画像４側の端部に付加され、短冊画像２と重複する重複部（のりしろ）が短冊画像２側の端部に付加される。短冊画像４には、短冊画像１と重複する重複部（のりしろ）が短冊画像１側の端部に付加され、短冊画像３と重複する重複部（のりしろ）が短冊画像３側の端部に付加される。当該重複部（のりしろ）の縦方向（長手方向）の長さは、短冊画像の縦方向（長手方向）の長さと同じである。重複部（のりしろ）の横方向（短手方向）の長さは、短冊画像の横方向（短手方向）の長さの例えば１／８程度として設定されるものであってもよい。 The acquisition unit 201 may add an overlapping portion (overlap margin) that overlaps with an adjacent strip image to each of the generated strip images. That is, in the strip image 1, an overlapping portion (overlap margin) that overlaps with the strip image 2 is added to the end portion on the strip image 2 side, and an overlapping portion (overlap margin) that overlaps with the strip image 4 is added to the strip image 4 side end portion. is added to In strip image 2, an overlapping portion (overlap margin) that overlaps with strip image 3 is added to the end on the strip image 3 side, and an overlapping portion (overlap margin) that overlaps with strip image 1 is added to the end on the strip image 1 side. be done. In the strip image 3, an overlapping portion (overlap margin) that overlaps with the strip image 4 is added to the edge on the strip image 4 side, and an overlapping portion (overlap margin) that overlaps with the strip image 2 is added to the edge on the strip image 2 side. be done. In the strip image 4, an overlapping portion (overlap margin) that overlaps with the strip image 1 is added to the end on the strip image 1 side, and an overlapping portion (overlap margin) that overlaps with the strip image 3 is added to the end on the strip image 3 side. be done. The length in the vertical direction (longitudinal direction) of the overlapping portion (overlap margin) is the same as the length in the vertical direction (longitudinal direction) of the strip image. The length of the overlapping portion (overlap margin) in the horizontal direction (transverse direction) may be set to, for example, about 1/8 of the length of the strip image in the horizontal direction (transverse direction).

取得部２０１は、生成した４つの短冊画像それぞれを、当該短冊画像との対応関係に応じて、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４のそれぞれに出力する。すなわち、短冊画像１は、第１処理部２１に出力される。短冊画像２は、第２処理部２２に出力される。短冊画像３は、第３処理部２３に出力される。短冊画像４は、第４処理部２４に出力される。第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４それぞれに出力される短冊画像それぞれは、個々の処理部２に対応する個別記憶部（フレームメモリ）に展開されるものであってもよい。これにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、４つの短冊画像のうちの一つの短冊画像に対する処理を行うものとなり、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、自部が担う短冊画像に対する処理を並列して行う。 The acquisition unit 201 assigns each of the generated four strip images to the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 according to the corresponding relationship with the strip image. Output to each. That is, the strip image 1 is output to the first processing section 21 . The strip image 2 is output to the second processing section 22 . The strip image 3 is output to the third processing section 23 . The strip image 4 is output to the fourth processing section 24 . Each strip image output to each of the first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24 is stored in an individual storage unit (frame memory) corresponding to each processing unit 2. It may be expanded. As a result, the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 process one of the four strip images. The unit 21 , the second processing unit 22 , the third processing unit 23 , and the fourth processing unit 24 perform parallel processing on the strip images that they themselves are responsible for.

本実施形態において、第１処理部２１は、壁面１の画像を含む短冊画像１に対する処理を行う。第２処理部２２は、壁面２の画像を含む短冊画像２に対する処理を行う。第３処理部２３は、壁面３の画像を含む短冊画像３に対する処理を行う。第４処理部２４は、壁面４の画像を含む短冊画像４に対する処理を行う。 In this embodiment, the first processing unit 21 processes the strip image 1 including the image of the wall surface 1 . The second processing unit 22 processes the strip image 2 including the image of the wall surface 2 . The third processing unit 23 processes the strip image 3 including the image of the wall surface 3 . The fourth processing unit 24 processes the strip image 4 including the image of the wall surface 4 .

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、それぞれが担う短冊画像に対し、当該短冊画像における短手方向（水平方向：横方向）の直線成分を、短冊画像の長手方向（垂直方向：縦方向）にて曲線状に変形する。短冊画像の長手方向における中央に位置する直線成分は、変形されず、長手方向の端部（上端部、下端部）に近接するにつれ、曲線状となる変形率は増加する。直線成分から変形される曲線の形状は、キューブマップ画像にて定義される立方体に内接する内接球の緯度線を、当該立方体に射影及び延長した際に生成される曲線の形状に相当する。これにより、天井面又は床面に位置する曲線は、円を形成するものとなる。すなわち、これら第１処理部２１等は、内接球の緯度線をキューブマップ画像の壁面まで延長させることにより形成される曲線となるように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形する。短冊画像の長手方向（垂直方向：縦方向）の直線成分は、曲線状に変形されることなく、維持される。短冊画像に対し、図示のとおり縦横線によるグリッド表示を行った場合、各グリッド（格子）は、当該曲線状の変形に応じて変形され、キューブマップ画像に対応する画像（画素）となる。上述のとおり、短冊画像それぞれには、重複部（のりしろ）が付加されているため、当該重複部（のりしろ）に対しても、曲線状に変形する処理が行われる。 The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 process a strip image that they are responsible for, and perform straight lines in the width direction (horizontal direction: lateral direction) of the strip image. The component is deformed into a curved shape in the longitudinal direction (vertical direction: longitudinal direction) of the strip image. A straight line component positioned in the center in the longitudinal direction of the strip image is not deformed, and the rate of deformation to become curved increases as it approaches the ends (upper end and lower end) in the longitudinal direction. The shape of the curve deformed from the straight line component corresponds to the shape of the curve generated when the latitude line of the inscribed sphere inscribed in the cube defined in the cubemap image is projected onto the cube and extended. As a result, the curve located on the ceiling surface or floor surface forms a circle. In other words, the first processing unit 21 and the like are arranged so as to form a curve formed by extending the latitude line of the inscribed sphere to the wall surface of the cube map image. is deformed into a curve. A linear component in the longitudinal direction (vertical direction: longitudinal direction) of the strip image is maintained without being deformed into a curved shape. When the strip image is displayed in a grid with vertical and horizontal lines as shown in the figure, each grid (lattice) is deformed according to the deformation of the curved line, and becomes an image (pixels) corresponding to the cube map image. As described above, each of the strip images has an overlapped portion (overlap margin), so that the overlapped portion (overlap margin) is also subjected to a process of deforming into a curved shape.

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、曲線状に変形する処理が行われた短冊画像に対し、長手方向の両端部（上下の両端部）に位置する矩形領域の画像それぞれを、三角形の画像に縮小する。これら第１処理部２１等は、自部が担う短冊画像に対し、キューブマップ画像の天井面に対応するエクイレクタングラー画像の上端部の画像（矩形領域の画像）と、キューブマップ画像の床面に対応するエクイレクタングラー画像の下端部の画像（矩形領域の画像）を、三角形の画像に縮小する。第１処理部２１等は、矩形状の上端部の画像（矩形領域の画像）を、短冊画像の短手方向に縮小し、すなわち当該矩形領域が横長となる場合は、矩形領域の長手方向（水平方向）に縮小することにより、上端部に向かって先細りとなる二等辺三角形の画像に縮小する。すなわち、第１処理部２１等は、上端部に向かうにつれ、縮小率が高くなるように、二等辺三角形の画像に縮小する。 The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 process both ends in the longitudinal direction (both upper and lower ends) of the strip image that has been deformed into a curved shape. ) is reduced to a triangular image. The first processing unit 21 and the like process the image of the upper end of the equirectangular image (rectangular area image) corresponding to the ceiling surface of the cube map image and the floor surface of the cube map image for the strip image handled by the first processing unit 21 and the like. The lower end image (rectangular area image) of the equirectangular image corresponding to is reduced to a triangular image. The first processing unit 21 and the like reduce the image of the upper end of the rectangular shape (the image of the rectangular area) in the widthwise direction of the strip image. Horizontally) reduces the image to an isosceles triangle tapering toward the top. That is, the first processing unit 21 and the like reduce the image to an isosceles triangle image so that the reduction ratio increases toward the upper end.

更に、第１処理部２１等は、矩形状の下端部の画像（矩形領域の画像）を、短冊画像の短手方向に縮小し、すなわち当該矩形領域が横長となる場合は、矩形領域の長手方向（水平方向）に縮小することにより、下端部に向かって先細りとなる二等辺三角形の画像に縮小する。すなわち、第１処理部２１等は、下端部に向かうにつれ、縮小率が高くなるように、二等辺三角形の画像に縮小する。本実施形態のようにキューブマップ画像が立方体を形成する場合、当該二等辺三角形は、直角二等辺三角形となる。 Furthermore, the first processing unit 21 and the like reduce the image of the lower end of the rectangular shape (the image of the rectangular area) in the widthwise direction of the strip image. Shrinking in the direction (horizontal) reduces the image to an isosceles triangle tapering towards the bottom. That is, the first processing unit 21 and the like reduce the image to an isosceles triangle image so that the reduction ratio increases toward the lower end. When the cube map image forms a cube as in this embodiment, the isosceles triangle is an isosceles right triangle.

短冊画像の上下の両端部における矩形状の画像（矩形領域の画像）を、水平方向に縮小して三角形の画像を生成する縮小処理を行うことにより、当該縮小される領域の画素数は減少するものとなる。これに対し、当該縮小処理は、重複部（のりしろ部）を含めて行われるため、重複部（のりしろ部）に含まれる画素の値（画素値）を用いた平均化処理等にて、縮小された領域に属する画素の値（画素値）を算出することができ、当該縮小後の画素値に対し、重複部（のりしろ部）に含まれる画素値を反映又は加味することができる。これにより、分割した各短冊画像に対し、別個に並列して縮小処理を行うものであっても、当該縮小処理を行う前に、各短冊画像の短手方向の両端に重複部（のりしろ部）を付加しているため、各短冊画像における短手方向の両端の連続性を保持することができる。 The number of pixels in the reduced area is reduced by horizontally reducing the rectangular image (rectangular area image) at the upper and lower ends of the strip image to generate a triangular image. become a thing. On the other hand, since the reduction processing is performed including the overlapping portion (marginal portion), the pixel values (pixel values) included in the overlapping portion (marginal portion) are reduced by averaging processing or the like. It is possible to calculate the value (pixel value) of the pixel belonging to the area that has been reduced, and to reflect or add the pixel value included in the overlapping portion (overlap portion) to the pixel value after the reduction. As a result, even if reduction processing is performed separately and in parallel for each of the divided strip images, overlapping portions (margins) are formed at both ends in the width direction of each strip image before performing the reduction processing. is added, the continuity of both ends in the width direction of each strip image can be maintained.

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、生成した三角形の画像を回転する処理を行う。第１処理部２１等は、短冊画像１における上端側及び下端側の三角形の画像を、当該三角形の頂点を中心に回転する処理を行う。回転する処理を行う際の回転角は、これら三角形の画像それぞれが天井面又は床面を構成する際の位置に応じて決定される。 The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 rotate the generated triangular image. The first processing unit 21 and the like perform a process of rotating the triangle images on the upper end side and the lower end side of the strip image 1 around the vertices of the triangles. The rotation angle at which the rotation process is performed is determined according to the position of each of these triangular images forming the ceiling surface or the floor surface.

第１処理部２１は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに９０°回転させる。第１処理部２１は、下端側（床面）の三角形の画像を、頂点を中心に時計回りとは逆に９０°回転させる。第２処理部２２は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに０°回転させるものであり、実質的に回転処理を行わないものであってもよい。第２処理部２２は、下端側（床面）の三角形の画像を、頂点を中心に時計回りとは逆に０°回転させるものであり、実質的に回転処理を行わないものであってもよい。第３処理部２３は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りとは逆に９０°回転させる。第３処理部２３は、下端側（床面）の三角形の画像を、頂点を中心に時計回りに９０°回転させる。第４処理部２４は、上端側（天井面）の三角形の画像を、頂点を中心に時計回りに１８０°回転させる。第４処理部２４は、下端側（床面）の三角形の画像を、頂点を中心に時計回りに１８０°回転させる。このように基準となる短冊画像（本実施形態では、短冊画像２）における三角形の画像に対する回転角は０°となる。当該基準となる短冊画像（短冊画像２）に隣接する短冊画像（短冊画像１、短冊画像３）における三角形の画像に対する回転角は、±９０°（＋９０°又は－９０）となる。基準となる短冊画像（短冊画像２）に対向する短冊画像（短冊画像４）における三角形の画像に対する回転角は、１８０°となる。 The first processing unit 21 rotates the triangle image on the upper end side (ceiling surface) clockwise by 90° around the vertex. The first processing unit 21 rotates the triangle image on the lower end side (floor surface) by 90 degrees in the opposite direction of clockwise around the vertex. The second processing unit 22 rotates the triangular image on the upper end side (ceiling surface) by 0° clockwise around the vertex, and may not perform rotation processing substantially. The second processing unit 22 rotates the triangle image on the lower end side (floor surface) by 0° counterclockwise around the vertex. good. The third processing unit 23 rotates the triangular image on the upper end side (ceiling surface) by 90 degrees counterclockwise around the vertex. The third processing unit 23 rotates the triangle image on the lower end side (floor surface) clockwise by 90° around the vertex. The fourth processing unit 24 rotates the triangle image on the upper end side (ceiling surface) clockwise by 180° around the vertex. The fourth processing unit 24 rotates the triangle image on the lower end side (floor surface) clockwise by 180° around the vertex. Thus, the rotation angle of the reference strip image (the strip image 2 in this embodiment) with respect to the triangular image is 0°. The rotation angles of the strip images (strip image 1, strip image 3) adjacent to the reference strip image (strip image 2) with respect to the triangular image are ±90° (+90° or -90). The rotation angle of the triangular image in the strip image (strip image 4) facing the reference strip image (strip image 2) is 180°.

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、三角形の画像に対する回転処理を行うにあたり、これら三角形の画像を短冊画像から分離する。三角形の画像が分離した短冊画像は、キューブマップ画像における各壁面の画像を、正方形から成る残部として含むものとなる。すなわち、当該正方形から成る残部（三角形の画像が分離した短冊画像）は、キューブマップ画像における各壁面（側面）の画像に相当する。なお、キューブマップ画像が直方体にて形成される場合、当該残部は長方形となる。 The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 separate the triangle images from the strip images when performing rotation processing on the triangle images. The strip image from which the triangular image is separated contains the image of each wall surface in the cube map image as a remainder consisting of squares. In other words, the remainder of the squares (the strip image from which the triangle image is separated) corresponds to the image of each wall surface (side surface) in the cube map image. Note that when the cube map image is formed by a rectangular parallelepiped, the remainder is a rectangle.

第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、それぞれが処理した三角形の画像、及び当該三角形の画像が分離された短冊画像（正方形から成る残部）を、出力部２０２に出力する。 The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 process the triangular image and the strip image from which the triangular image is separated (remaining square). ) to the output unit 202 .

出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された三角形の画像、及び当該三角形の画像が分離された短冊画像（正方形から成る残部）を用いて、キューブマップ画像を生成する。出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された上端側（天井面）の４つの三角形の画像を、互いの頂点を位置合わせして結合することにより、キューブマップ画像における天井面の画像を生成する。出力部２０２は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４から出力された下端側（床面）の４つの三角形の画像を、互いの頂点を位置合わせして結合することにより、キューブマップ画像における床面の画像を生成する。出力部２０２は、三角形の画像が分離された短冊画像、すなわちキューブマップ画像における壁面１、壁面２、壁面３及び壁面４の画像と、天井面及び床面の画像とを用いて、キューブマップ画像を生成する。 The output unit 202 outputs the triangle images output from the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24, and the strip images (square ) is used to generate the cubemap image. The output unit 202 outputs the four triangle images on the upper end side (ceiling surface) output from the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24, and converts the images to the vertices of each other. are aligned and combined to generate the image of the ceiling plane in the cubemap image. The output unit 202 outputs the four triangle images on the lower end side (floor surface) output from the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24, and converts the images to the vertices of each other. are aligned and combined to generate the image of the floor in the cubemap image. The output unit 202 generates cube map images using strip images from which triangular images have been separated, that is, images of wall surface 1, wall surface 2, wall surface 3, and wall surface 4 in the cube map image, and images of the ceiling surface and floor surface. to generate

出力部２０２は、生成したキューブマップ画像を、例えばプロジェクタ、液晶ディスプレイ、又はＶＲグラス等の表示装置１０２に出力する。表示装置１０２は、入出力Ｉ／Ｆ５又は通信部４を介して、画像処理装置１（出力部２０２）から出力されたキューブマップ画像を表示する。 The output unit 202 outputs the generated cube map image to the display device 102 such as a projector, liquid crystal display, or VR glasses. The display device 102 displays a cube map image output from the image processing device 1 (output unit 202) via the input/output I/F 5 or the communication unit 4. FIG.

図１０は、画像処理装置１の処理部２の処理手順の一例を示すフローチャートである。画像処理装置１の処理部２は、上述のとおり、分割された短冊画像の個数に応じた複数個から成り、本実施形態においては、分割数である４つの処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）によって、短冊画像それぞれに対する処理を含む以下の処理が行われる。短冊画像それぞれに対する処理に対する前処理（分割処理等）、及び後処理（結合処理等）については、これら第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４のいずれかの処理部２が行うものであってもよい。又は、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４とは異なる他の処理回路又はマイコン等のソフトウェア処理部によって行われるものであってもよい。 FIG. 10 is a flow chart showing an example of the processing procedure of the processing section 2 of the image processing apparatus 1. As shown in FIG. As described above, the processing units 2 of the image processing apparatus 1 are composed of a plurality of pieces corresponding to the number of divided strip images. , the second processing unit 22, the third processing unit 23, and the fourth processing unit 24) perform the following processing including the processing for each strip image. The first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 are used for pre-processing (division processing, etc.) and post-processing (combination processing, etc.) for each strip image. may be performed by any one of the processing units 2. Alternatively, it may be performed by a processing circuit different from the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24, or a software processing unit such as a microcomputer.

画像処理装置１の処理部２は、エクイレクタングラー画像を取得する（Ｓ１０１）。画像処理装置１の処理部２は、通信部４又は入出力Ｉ／Ｆ５を介して、外部サーバＧＳ又は撮像装置１０１からエクイレクタングラー画像を取得する。 The processing unit 2 of the image processing device 1 acquires an equirectangular image (S101). The processing unit 2 of the image processing device 1 acquires an equirectangular image from the external server GS or the imaging device 101 via the communication unit 4 or the input/output I/F 5 .

画像処理装置１の処理部２は、取得したエクイレクタングラー画像を４つに分割し、４つの短冊画像を生成する（Ｓ１０２）。画像処理装置１の処理部２は、取得した矩形状のエクイレクタングラー画像を、長手方向に４つに分割し、４つの短冊画像を生成する。取得部２０１は、生成した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ）を付加するものであってもよい。 The processing unit 2 of the image processing apparatus 1 divides the acquired equirectangular image into four to generate four strip images (S102). The processing unit 2 of the image processing device 1 divides the acquired rectangular equirectangular image into four in the longitudinal direction to generate four strip images. The acquisition unit 201 may add an overlapping portion (overlap margin) that overlaps with an adjacent strip image to each of the generated strip images.

画像処理装置１の処理部２（第１処理部２１）は、分割された４つの短冊画像のうち、壁面１に対応する短冊画像１の処理を行う（Ｓ１０３１）。図１１は、処理部２による短冊画像に対する処理手順の一例を示すフローチャートである。当該フローチャートは、分割された短冊画像それぞれに対応する個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）が行う処理（Ｓ１０３１）を展開したものである。分割された４つの短冊画像のうち、壁面１の短冊画像１に対応する第１処理部２１は、当該フローチャートのとおり、以下の処理を行う。 The processing unit 2 (first processing unit 21) of the image processing apparatus 1 processes the strip image 1 corresponding to the wall surface 1 among the four divided strip images (S1031). FIG. 11 is a flow chart showing an example of a processing procedure for a strip image by the processing section 2. As shown in FIG. The flowchart shows the process (S1031) performed by each processing unit 2 (first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24) corresponding to each divided strip image. is expanded. Of the four divided strip images, the first processing unit 21 corresponding to strip image 1 on wall surface 1 performs the following processing according to the flowchart.

第１処理部２１は、短冊画像における短手方向（水平方向）の直線成分を、短冊画像の長手方向（垂直方向）にて曲線状に変形する（Ｔ１０１）。第１処理部２１は、天井面及び床面に対応する矩形領域の画像を縮小することにより、三角形の画像に変換する（Ｔ１０２）。第１処理部２１は、天井面及び床面対応する三角形の画像を回転する（Ｔ１０３）。第１処理部２１は、自部に担う短冊画像１に対し、短手方向（水平方向）の直線成分に対する曲線状の変形、上下両端の矩形領域の画像を縮小することによる三角形の画像への変換（生成）、当該三角形の画像が天井面又は床面を構成する際の位置に応じた回転処理を行う。 The first processing unit 21 transforms the straight line component in the short direction (horizontal direction) of the strip image into a curved shape in the longitudinal direction (vertical direction) of the strip image (T101). The first processing unit 21 reduces the image of the rectangular area corresponding to the ceiling surface and the floor surface to convert it into a triangular image (T102). The first processing unit 21 rotates the triangular images corresponding to the ceiling surface and the floor surface (T103). The first processing unit 21 converts the strip image 1 assigned to itself into a triangular image by deforming a straight line component in the width direction (horizontal direction) into a curved shape, and by reducing the image of the rectangular areas at the upper and lower ends. Transformation (generation) and rotation processing according to the position when the triangle image constitutes the ceiling surface or the floor surface are performed.

画像処理装置１の処理部２（第２処理部２２）は、分割された４つの短冊画像のうち、壁面２に対応する短冊画像２の処理を行う（Ｓ１０３２）。画像処理装置１の処理部２（第３処理部２３）は、分割された４つの短冊画像のうち、壁面３に対応する短冊画像３の処理を行う（Ｓ１０３３）。画像処理装置１の処理部２（第４処理部２４）は、分割された４つの短冊画像のうち、壁面４に対応する短冊画像４の処理を行う（Ｓ１０３４）。第２処理部２２、第３処理部２３、及び第４処理部２４は、第１処理部２１と同様に自部が担う短冊画像に対する処理を行う。これにより、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、自部が担う短冊画像に対する処理を並列して行うものとなる。 The processing unit 2 (second processing unit 22) of the image processing apparatus 1 processes the strip image 2 corresponding to the wall surface 2 among the four divided strip images (S1032). The processing unit 2 (third processing unit 23) of the image processing apparatus 1 processes the strip image 3 corresponding to the wall surface 3 among the four divided strip images (S1033). The processing unit 2 (fourth processing unit 24) of the image processing apparatus 1 processes the strip image 4 corresponding to the wall surface 4 among the divided four strip images (S1034). The second processing unit 22 , the third processing unit 23 , and the fourth processing unit 24 perform processing on the strip image that they are responsible for, similarly to the first processing unit 21 . As a result, the first processing unit 21, the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 perform parallel processing on the strip images that they themselves are responsible for.

画像処理装置１の処理部２は、天井面及び床面の画像を生成する（Ｓ１０４）。天井面及び床面それぞれを形成する４つの三角形の画像は、頂点（頂角をもつ頂点）が同じ位置となるように、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４によって回転処理されている。これら４つの三角形の画像を結合することにより、天井面及び床面の画像が生成される。個々の壁面の画像は、それぞれの短冊画像から上下両端における三角形の画像を分離することにより、生成される。これら個々の壁面、天井面及び床面の画像によりキューブマップ画像が生成され、エクイレクタングラー画像からキューブマップ画像への変換が完了する。 The processing unit 2 of the image processing apparatus 1 generates images of the ceiling surface and the floor surface (S104). Four triangle images forming the ceiling surface and the floor surface are processed by the first processing unit 21, the second processing unit 22, the third processing unit 23, and and rotated by the fourth processing unit 24 . Images of the ceiling surface and the floor surface are generated by combining the images of these four triangles. The images of the individual walls are generated by separating the triangle images at the upper and lower ends from each strip image. A cube map image is generated from these individual wall, ceiling and floor images, completing the conversion from the equirectangular image to the cube map image.

画像処理装置１の処理部２は、生成したキューブマップ画像を出力する（Ｓ１０５）。画像処理装置１の処理部２は、入出力Ｉ／Ｆ５又は通信部４を介して、生成したキューブマップ画像を、例えばプロジェクタ、液晶ディスプレイ、又はＶＲグラス等の表示装置１０２に出力し、当該表示装置１０２にキューブマップ画像を表示させる。出力対象となる表示装置１０２は、単数に限定されず、例えば、立方体として形成されるキューブマップ画像の各表示面に対応する複数の表示装置１０２であってもよい。すなわち、画像処理装置１には、立方体の６面に対応する６台の表示装置１０２が接続されており、画像処理装置１は、各表示装置１０２に対し、天井面、底面、壁面１、壁面２、壁面３、及び壁面４のそれぞれの画像を出力し、個々の表示装置１０２は、いずれかの画像を表示するものであってもよい。 The processing unit 2 of the image processing device 1 outputs the generated cube map image (S105). The processing unit 2 of the image processing device 1 outputs the generated cube map image to the display device 102 such as a projector, a liquid crystal display, or VR glasses via the input/output I/F 5 or the communication unit 4, and the display is performed. Cause the device 102 to display the cubemap image. The display device 102 to be output is not limited to a single display device, and may be, for example, a plurality of display devices 102 corresponding to each display surface of a cube map image formed as a cube. That is, the image processing apparatus 1 is connected to six display devices 102 corresponding to the six faces of the cube. 2, wall surface 3, and wall surface 4, and each display device 102 may display one of the images.

本実施形態によれば、画像処理装置１の処理部２は、取得したエクイレクタングラー形式の第１画像（エクイレクタングラー画像）を、長手方向に４つに分割した短冊画像を生成する。その上で、これら４つに分割された短冊画像それぞれに対し、長手方向の両端部に位置する矩形領域の画像それぞれを三角形の画像に縮小、及び当該三角形の画像の回転等の処理を並列して行い、キューブマップ形式の第２画像（キューブマップ画像）を生成する。これにより、エクイレクタングラー画像を分割することなく一括してキューブマップ画像を生成（変換）する処理に比較し、当該生成（変換）に要する処理時間を削減することができ、エクイレクタングラー画像をキューブマップ画像に効率的に変換することができる。 According to the present embodiment, the processing unit 2 of the image processing apparatus 1 divides the obtained first image in the equirectangular format (equirectangular image) into four in the longitudinal direction to generate strip images. Then, for each of these four divided strip images, the images of the rectangular areas located at both ends in the longitudinal direction are reduced to triangular images, and the triangular images are rotated in parallel. to generate a second cubemap image (cubemap image). This makes it possible to reduce the processing time required for the generation (conversion) compared to the process of generating (converting) a cube map image all at once without dividing the equirectangular image, resulting in an equirectangular image. It can be efficiently converted to a cubemap image.

本実施形態によれば、画像処理装置１の処理部２は、分割した短冊画像それぞれに対し、隣接する短冊画像と重複する重複部（のりしろ部）を付加し、当該重複部（のりしろ部）が付加された短冊画像それぞれに対し、長手方向の両端部に位置する矩形領域の画像それぞれを、三角形の画像に縮小する等の処理を行う。三角形の画像を生成するにあたり行われる縮小処理において、当該縮小される領域の画素数は減少するものとなるが、縮小された領域に属する画素の値（画素値）を平均化処理等にて算出するにあたり、重複部（のりしろ部）に含まれる画素の値（画素値）を用いることできる。これにより、当該縮小後の画素値に対し、重複部（のりしろ部）に含まれる画素値を反映又は加味することができる。このように縮小する処理を行う前に、各短冊画像の短手方向の両端に重複部（のりしろ部）を付加することにより、縮小処理を行っても、各短冊画像における短手方向の両端の連続性を保持することができる。 According to the present embodiment, the processing unit 2 of the image processing apparatus 1 adds an overlapping portion (overlapping margin) that overlaps the adjacent strip image to each of the divided strip images, and the overlapping portion (overlap margin) is For each of the added strip images, a process such as reducing each of the rectangular area images located at both ends in the longitudinal direction to a triangular image is performed. In the reduction process that is performed to generate the triangle image, the number of pixels in the reduced area is reduced, but the pixel value (pixel value) belonging to the reduced area is calculated by averaging processing etc. In doing so, it is possible to use the values of pixels (pixel values) included in the overlapping portion (overlap portion). This makes it possible to reflect or add the pixel values included in the overlapping portion (overlap portion) to the pixel values after the reduction. By adding overlapping portions (overlap margins) to both ends of each strip image in the width direction before performing such reduction processing, even if the reduction processing is performed, both ends of each strip image in the width direction can be reduced. Continuity can be maintained.

本実施形態によれば、画像処理装置１の処理部２は、短冊画像における短手方向（水平方向）の直線成分を、短冊画像の長手方向（垂直方向）にて曲線状に変形する。このように変形することにより、キューブマップ形式（キューブマップ画像）にて定義される立方体に内接する内接球の緯度線を、当該立方体に射影した際に生成される曲線に沿うように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形させることができる。すなわち、画像処理装置１の処理部２は、内接球の緯度線をキューブマップ画像の壁面まで延長させることにより形成される曲線となるように、短冊画像における短手方向（水平方向）の直線成分を曲線状に変形し、キューブマップ画像を効率的に生成することができる。 According to the present embodiment, the processing unit 2 of the image processing apparatus 1 deforms the linear component in the width direction (horizontal direction) of the strip image into a curved shape in the longitudinal direction (vertical direction) of the strip image. By transforming in this way, the latitude line of the inscribed sphere that is inscribed in the cube defined in the cube map format (cube map image) is projected onto the cube so that the strip is along the curve generated. A straight line component in the short direction (horizontal direction) in the image can be deformed into a curved shape. That is, the processing unit 2 of the image processing apparatus 1 draws a straight line in the width direction (horizontal direction) of the strip image so as to form a curve formed by extending the latitude line of the inscribed sphere to the wall surface of the cube map image. Components can be deformed into curvilinear shapes to efficiently generate cubemap images.

本実施形態によれば、画像処理装置１の処理部２は、短冊画像の分割数に応じた複数個、すなわち４つの処理部２から構成されるものであり、例えば、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４を含む。これら４つの処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）は、例えば、ＡＳＩＣ又はＦＰＧＡ等のハードウェア処理部として構成され、個々の処理部２（第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４）は、自部に専用の個別記憶部（フレームメモリ）を含むものであってもよい。４つに分割された短冊画像は、キューブマップ画像の４つの壁面（壁面１：左側面、壁面２：前側面、壁面３：右側面、壁面４：後側面）を含み、第１処理部２１、第２処理部２２、第３処理部２３、及び第４処理部２４は、これら４つの短冊画像それぞれを並列して処理する。これにより、キューブマップ画像の生成に要する処理時間を削減し、エクイレクタングラー画像からキューブマップ画像への変換処理をリアルタイムに行うことができる。 According to this embodiment, the processing section 2 of the image processing apparatus 1 is composed of a plurality of processing sections 2 corresponding to the number of divisions of the strip image, that is, four processing sections 2. For example, the first processing section 21, A second processing unit 22 , a third processing unit 23 and a fourth processing unit 24 are included. These four processing units 2 (first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24) are configured as, for example, hardware processing units such as ASIC or FPGA. The processing unit 2 (first processing unit 21, second processing unit 22, third processing unit 23, and fourth processing unit 24) includes a dedicated individual storage unit (frame memory) in itself. good too. The strip image divided into four includes four wall surfaces (wall surface 1: left surface, wall surface 2: front surface, wall surface 3: right surface, wall surface 4: rear surface) of the cube map image, and the first processing unit 21 , the second processing unit 22, the third processing unit 23, and the fourth processing unit 24 process these four strip images in parallel. As a result, the processing time required for generating a cube map image can be reduced, and conversion processing from an equirectangular image to a cube map image can be performed in real time.

今回開示された実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.

Ｓ画像処理システム
ＧＳ外部サーバ
１０１撮像装置
１０２表示装置
１画像処理装置
２処理部
２１第１処理部
２２第２処理部
２３第３処理部
２４第４処理部
２０１取得部
２０２出力部
３記憶部
４通信部
５入出力Ｉ／Ｆ S image processing system GS external server 101 imaging device 102 display device 1 image processing device 2 processing unit 21 first processing unit 22 second processing unit 23 third processing unit 24 fourth processing unit 201 acquisition unit 202 output unit 3 storage unit 4 Communication unit 5 Input/output I/F

Claims

An image processing device comprising a processing unit that processes an image,
The processing unit is
obtain a first image in equirectangular format;
generating strip images obtained by dividing the acquired first image into four in the longitudinal direction;
In each of the generated strip images, each image of a rectangular area located at both ends in the longitudinal direction is reduced to a triangular image,
generating a second image in a cube map format using the triangular image and the image of the square area located in the center of the strip image;
An image processing device that outputs the generated second image.

The processing unit is
Display surfaces in the X-axis direction and the Y-axis direction in the second image are configured by the images of the rectangular areas in each of the strip images,
The image processing apparatus according to claim 1, wherein the triangular image in each of the strip images constitutes a display surface in the Z-axis direction in the second image.

The triangle images in each of the strip images include four isosceles triangle images indicating the positive direction of the Z axis and four isosceles triangle images indicating the negative direction of the Z axis,
The processing unit is
3. The image processing apparatus according to claim 1, wherein images of at least three isosceles triangles out of the four isosceles triangles are rotated so that the vertices of the four isosceles triangles are at the same position. .

The processing unit is
deforming a straight line component in the width direction of the strip image into a curved shape in the length direction of the strip image,
4. The image of the rectangular area in which the linear component is deformed into a curved shape is converted into the triangular image by reducing the image in the widthwise direction of the strip image. Image processing device.

The acquiring unit included in the processing unit and acquiring the first image adds an overlapping portion that overlaps an adjacent strip image to each of the strip images divided into four in the longitudinal direction. 5. The image processing device according to any one of 4.

An acquisition unit that is included in the processing unit and acquires the first image generates strip images divided into four in the longitudinal direction,
The processing unit includes a first processing unit, a second processing unit, a third processing unit, and a fourth processing unit consisting of four according to the number of divisions of the strip image,
The first processing unit, the second processing unit, the third processing unit, and the fourth processing unit perform parallel processing on each of the strip images divided into four ,
The output unit, which is included in the processing unit and outputs the second image, includes the strip image processed by the first processing unit, the second processing unit, the third processing unit, and the fourth processing unit. using each to generate the second image
The image processing apparatus according to any one of claims 1 to 5.

to the computer,
obtain a first image in equirectangular format;
generating strip images obtained by dividing the acquired first image into four in the longitudinal direction;
In each of the generated strip images, each image of a rectangular area located at both ends in the longitudinal direction is reduced to a triangular image,
generating a second image in a cube map format using the triangular image and the image of the square area located in the center of the strip image;
A program for executing a process of outputting the generated second image.

obtain a first image in equirectangular format;
generating strip images obtained by dividing the acquired first image into four in the longitudinal direction;
In each of the generated strip images, each image of a rectangular area located at both ends in the longitudinal direction is reduced to a triangular image,
generating a second image in a cube map format using the triangular image and the image of the square area located in the center of the strip image;
An image processing method for causing a computer to execute a process of outputting the generated second image.