Nothing Special   »   [go: up one dir, main page]

WO2018052100A1 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム Download PDF

Info

Publication number
WO2018052100A1
WO2018052100A1 PCT/JP2017/033374 JP2017033374W WO2018052100A1 WO 2018052100 A1 WO2018052100 A1 WO 2018052100A1 JP 2017033374 W JP2017033374 W JP 2017033374W WO 2018052100 A1 WO2018052100 A1 WO 2018052100A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
spatial
pixel
space
Prior art date
Application number
PCT/JP2017/033374
Other languages
English (en)
French (fr)
Inventor
達也 宮寺
藤原　秀樹
杉山　真一
Original Assignee
株式会社カヤック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社カヤック filed Critical 株式会社カヤック
Priority to JP2018539795A priority Critical patent/JPWO2018052100A1/ja
Publication of WO2018052100A1 publication Critical patent/WO2018052100A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program.
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • AR and MR it is required to synthesize a virtual video or other real video on the captured real space video and output it as a video.
  • a virtual video or other real video on the captured real space video and output it as a video.
  • the output of the video that can be performed by using the technique disclosed in Patent Document 1 is only to synthesize a virtual video into a real-world video shot by a camera. That is, it is not possible to reconstruct the captured real-world video as information in a three-dimensional space like a virtual world and output video from a viewpoint different from the original camera viewpoint.
  • the present invention has been made in response to the above-described problems, and an object thereof is to reconstruct a photographed real space image as information in a three-dimensional space like a virtual space.
  • an aspect of the present invention provides an image acquisition unit that acquires a spatial image that is an image of a space in which information as a three-dimensional space is acquired in the image processing apparatus; Depth acquisition unit for acquiring depth information indicating the depth from the shooting viewpoint for the pixels constituting the image, and generating coordinate information indicating the position in space with reference to the depth information for the pixels constituting the spatial image A spatial processing unit that generates and stores in the storage medium spatial information in which the generated coordinate information and the color of the target pixel are associated, and is designated in a space expressed by the spatial information stored in the storage medium. And an image output unit that acquires and outputs image information indicating a video from a different viewpoint.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention. It is a figure which shows the example of the perimeter image processed in the image processing apparatus which concerns on embodiment of this invention. It is. It is a figure which shows the information format of the perimeter image which concerns on embodiment of this invention. It is a figure which shows the information format of the depth information which concerns on embodiment of this invention. It is a figure which shows the meaning of the angle information which concerns on embodiment of this invention. It is a figure which shows the information format of the angle information which concerns on embodiment of this invention. It is a figure which shows the calculation aspect of the spatial coordinate which concerns on embodiment of this invention. It is a figure which shows the information format of the coordinate information which concerns on embodiment of this invention.
  • Embodiment 1 FIG.
  • the image processing apparatus acquires an image taken by a camera and has an angle of 360 ° above, below, right, and left in real time as an all-round image and processes it as a spatial image, and is expressed by the spatial image. Other images are combined and output in the space.
  • FIG. 1 is a block diagram showing the overall configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 according to the present embodiment includes a 360 ° camera 10 and an image processing circuit 100.
  • the 360 ° camera 10 generates image information by photographing 360 ° from front to back, right and left, and top and bottom starting from itself.
  • the image generated by the 360 ° camera is an image showing the entire periphery centered on the 360 ° camera (hereinafter referred to as “all-round image”), and in the present embodiment, two images expressed by equirectangular projection. Dimensional image.
  • FIG. 2 is a diagram illustrating an example of an all-round image taken by the 360 ° camera 10 according to the present embodiment.
  • the image shown in FIG. 2 is an all-round image photographed by the 360 ° camera 10 installed at the center of the room.
  • a front surface with a door, a left side with a window, a right side with a locker, a rear surface with only a wall surface, and a ceiling and a floor are represented by two-dimensional images.
  • the all-round image shown in FIG. 2 is an image taken by the 360 ° camera 10 and is premised to include front-back, left-right, top-bottom images, but is represented as a two-dimensional image to the last. Accordingly, the information format of the all-round image is the same as that of a normal two-dimensional image.
  • FIG. 3 is a diagram showing an example of information about the entire circumference image according to the present embodiment.
  • the all-round image has “coordinates” indicating the positions of the X-axis and Y-axis and the colors of the pixels at the positions indicated by the respective coordinates R, G, B (Red, Green, Blue). ) Information associated with “color information” indicated by each color.
  • the equirectangular projection is used as an example of the all-round image, and other formats may be used.
  • the present invention can be similarly realized as long as it is a format representing an image photographed over the entire circumference of one viewpoint, such as a combination of two images in the dome master format.
  • an example of using an all-round image is used as an example.
  • the present invention is not limited to this, and a wide-angle image in which as much space as possible is captured may be acquired, and space information may be generated therefrom. . Thereby, if it is a wide-angle image exceeding the general human viewing angle, the effect which concerns on this embodiment can be acquired.
  • the gist of the present invention is to reconstruct a photographed real space image as three-dimensional space information, and the acquired real space image is not limited to an all-round image or a wide-angle image, but depending on the angle of view of a general camera. You may meet with a photographed image.
  • the image processing circuit 100 acquires the all-round image generated by the 360 ° camera 10 and converts it into three-dimensional information for expressing the space, and outputs a video showing the state viewed from a certain viewpoint in the space.
  • the image processing circuit 100 includes a memory such as an FPGA (Field-Programmable Gate Array) and a DDR SDRM (Double-Data-Rate Synchronous Dynamic Access Memory) that temporarily stores information.
  • an image processing circuit 100 includes an image acquisition unit 101, a depth processing unit 102, a coordinate processing unit 103, a spatial processing unit 104, an image composition unit 105, a viewpoint acquisition unit 106, and an image output. Part 107 is included.
  • Each of these processing units is configured by the above-described FPGA.
  • the image acquisition unit 101 acquires an all-round image output from the 360 ° camera 10 and stores it in a memory that is a storage medium. As a result, the information on the all-round image shown in FIG. 3 is stored in the memory in the image processing circuit 100.
  • the depth processing unit 102 analyzes the information of the entire circumference image stored in the memory, and determines the depth of each pixel constituting the entire circumference image.
  • the depth of each pixel determined by the depth processing unit 102 is the distance from the shooting viewpoint, which is the viewpoint of the 360 ° camera 10 that shot the all-round image, to the landscape or object that appears in the all-round image.
  • the depth processing unit 102 analyzes the angle of the contour extracted from the omnidirectional image, for example, by applying a Laplacian filter to the omnidirectional image, and calculates the depth based on the focal length of the image.
  • various methods can be used as the depth information calculation method by the depth processing unit 102, such as a method of analyzing the color of an image and a method of analyzing the degree of blur of the image.
  • FIG. 4 is a diagram illustrating the depth information calculated by the depth processing unit 102.
  • the depth information according to the present embodiment is information in which “coordinates” indicating each pixel of the all-round image are associated with “depth” calculated for each pixel.
  • the “coordinates” shown in FIG. 4 correspond to the “coordinates” shown in FIG.
  • the depth processing unit 102 generates information as shown in FIG. 4 and stores it in the memory in the image processing circuit 100. That is, the depth processing unit 102 functions as a depth acquisition unit.
  • the depth processing unit 102 generates the depth information by analyzing the all-round image
  • the depth processing circuit 100 in addition to a method of analyzing the entire circumference image, for example, when photographing the entire circumference image by the 360 ° camera 10, the depth is set for each pixel constituting the entire circumference image. It is also possible to use a mode of measuring. Whatever method is used, if the depth information is acquired in the format shown in FIG. 4, the present embodiment can be similarly realized.
  • the coordinate processing unit 103 is based on the depth information generated by the depth processing unit 102 and the angle information indicating in which direction each pixel constituting the all-round image exists from the viewpoint. Coordinate information indicating the position by coordinates in a three-dimensional space is generated.
  • the all-round image is an image of the entire circumference extending from front to back, right and left, and up and down taken by the 360 ° camera 10, and the viewpoint is obtained by arranging the all-round image in the form of a two-dimensional image like an actual video. It becomes like a circle centering on the 360 ° camera.
  • the angle information according to the present embodiment is information in which “coordinates” indicating each pixel are associated with “angles” corresponding to ⁇ 1 i and ⁇ 2 i illustrated in FIG. 5 as illustrated in FIG.
  • the “coordinates” shown in FIG. 6 correspond to the “coordinates” shown in FIGS.
  • the depth D i is the distance from the viewpoint to the background and the object that is reflected in the pixel is already stored in memory is calculated by the depth processor 102. Therefore, as shown in FIG. 7, the coordinate processing unit 103, based on the depth information D i and the angle information ⁇ 1 i and ⁇ 2 i shown in the figure, coordinates x i and y i on the three-dimensional space for each pixel. , Z i is calculated to obtain coordinate information.
  • FIG. 8 is a diagram showing the coordinate information thus obtained.
  • the coordinate information according to the present embodiment associates “coordinates” indicating each pixel and “spatial coordinates” that are x i , y i , and z i calculated for each pixel. Information.
  • the “coordinates” shown in FIG. 8 correspond to the “coordinates” shown in FIGS.
  • FIG. 9 is a diagram showing spatial information according to the present embodiment.
  • “spatial coordinates” indicating the position in the three-dimensional space are associated with “color information” indicating the color of the object existing at the position.
  • “Spatial coordinates” shown in FIG. 9 corresponds to “Spatial coordinates” in FIG. 8, and “Color information” corresponds to “Color information” shown in FIG.
  • the spatial processing unit 104 refers to the “coordinates” of the all-round image shown in FIG. 3 and the “coordinates” of the coordinate information shown in FIG. 8 respectively, and the “color information” of FIG.
  • the spatial information shown in FIG. 9 is generated by extracting and relating the “spatial coordinates”.
  • the spatial processing unit 104 stores the spatial information generated in this way in a memory in the image processing circuit 100.
  • the image composition unit 105 synthesizes other 3DCG information with information stored in the memory as space information, that is, information on the real space photographed by the 360 ° camera 10.
  • the other 3DCG information includes not only virtual images represented by CG but also CG of other real scenery and objects. Therefore, the image synthesis unit 105 acquires 3D information to be synthesized, and adds the information to the spatial information in the same format as in FIG.
  • the 3D information includes information indicating the position and orientation where the object is to be placed, in addition to information indicating the shape information and color of the object to be combined. As a result, information obtained by synthesizing another 3DCG in the real space photographed by the 360 ° camera 10 is generated.
  • the viewpoint acquisition unit 106 acquires viewpoint information indicating the viewpoint of the image output from the image processing circuit 200 and inputs it to the image output unit 107.
  • the viewpoint information includes information of “viewpoint position” indicating the position of the viewpoint and “line-of-sight direction” indicating the direction of the line of sight.
  • the information shown in FIG. 10 identifies from where and in what direction in the space represented by the spatial information.
  • the viewpoint information is generated based on, for example, the orientation of an HMD (Head Mounted Display) that receives and displays video information output from the image processing circuit 100.
  • HMD Head Mounted Display
  • the image output unit 107 acquires information based on the viewpoint information input from the viewpoint acquisition unit 106 when acquiring the information shown in FIG. 9 stored in the memory as spatial information. Thereby, an image in a state in which a space in which another 3DCG is combined with the real space photographed by the 360 ° camera 10 is viewed from the viewpoint specified based on the viewpoint information is acquired.
  • the image output unit 107 outputs the acquired video.
  • the 360 ° camera 10 continuously outputs the shot 360 ° video at a predetermined frame rate.
  • the frame rate is, for example, 30 fps.
  • the image acquisition unit 101, the depth processing unit 102, the coordinate processing unit 103, the spatial processing unit 104, and the image output unit 107 repeat processing at a frame rate in accordance with the frame rate at which the 360 ° camera 10 outputs video.
  • the image output unit 107 combines the 3D information by the image combining unit 105 with the information obtained by reconstructing the real space image captured by the 360 ° camera 10 as the information of the three-dimensional space. And a real-time moving image with a predetermined frame rate.
  • the image composition unit 105 synthesizes 3D information according to the position and orientation information input together with the 3D information, with respect to the spatial information in a format conforming to 3DCG stored in the memory by the spatial processing unit 104.
  • the video output according to the present embodiment that is, the video in which the virtual video is synthesized in the real space, has higher accuracy than the AR processing in which the video is superimposed on the two-dimensional live video.
  • a photographed real space image can be reconstructed as three-dimensional space information like a virtual space.
  • Embodiment 2 a more specific configuration of the image processing apparatus including the image processing circuit described in Embodiment 1 in consideration of memory capacity and latency due to processing will be described.
  • the same or an equivalent part shall be shown, and detailed description is abbreviate
  • FIG. 11 is a block diagram showing the overall configuration of the image processing apparatus 1 according to the present embodiment.
  • the overall configuration including the 360 ° camera 10 and the image processing circuit 200 is the same as that of the first embodiment.
  • the image processing circuit 200 according to the present embodiment includes an image acquisition unit 201, an image processing unit in addition to the image synthesis unit 105, the viewpoint acquisition unit 106, and the image output unit 107 similar to those in the first embodiment.
  • the image acquisition unit 201 acquires the 360 ° video output from the 360 ° camera 10 and stores it in the memory in the image processing circuit 200. At that time, the image acquisition unit 201 converts the format of the image and stores it as a cubic image.
  • the 360 ° camera 10 outputs image information in a format suitable for a 360 ° image, such as an equirectangular format or a dome master format.
  • a format suitable for a 360 ° image such as an equirectangular format or a dome master format.
  • These formats are suitable for 360-degree image representation, but when viewed as it is as a two-dimensional image, the image is expressed in a distorted manner, so that image processing based on a two-dimensional image is used as it is. There is a drawback that it cannot be applied.
  • the image acquisition unit 201 converts a 360 ° image, that is, an image on the assumption that the surroundings are viewed from the center of the sphere into a cube image in a cube map format in which the surroundings are viewed from the center of the cube. Convert.
  • Cubemap format images are defined as 1st plane, 2nd plane, 3rd plane, 4th plane, 5th plane, 6th plane, and each plane image is stored as a two-dimensional image. This is a format image.
  • FIG. 12 is a diagram illustrating an example of region separation when an equirectangular projection image is converted into an image in a cube map format.
  • the image acquisition unit 201 generates a two-dimensional image from the 1st plane to the 6th plane by dividing the image with the bold broken line shown in FIG. Store. For the 5th plane image, the image acquisition unit 201 generates a square image by combining the upper and lower regions of FIG.
  • FIG. 13 is a diagram showing an image in a cube map format, that is, a cubic image. As shown in FIG. 13, six regions cut out from an equirectangular image are a cube constituted by an image formed into a square. As shown in FIG. 13, the images constituting the respective surfaces are two-dimensional images in which the aspect ratios of the respective pixels are the same, and the X direction and the Y direction are orthogonal to the real space.
  • each surface is all squares and comprises a cube as a whole, and the rectangular parallelepiped represented by the rectangle may be sufficient as each surface. Even in this case, the same effect can be obtained as long as the aspect ratio of each pixel is the same and the X direction and the Y direction are orthogonal to each other in real space.
  • FIG. 14 is a diagram showing a storage format when an image in the cube map format as shown in FIG. 13 is stored in the memory in the image processing circuit 200.
  • the cube image according to the present embodiment is in the order determined in the order of the X and Y coordinates in the address space partitioned from the 1st plane to the 6th plane in the memory in the image processing circuit 200. Stored.
  • the stored information is only a total of 24 bits for each RGB color of 8 bits, which is the number of bits required in the “color information”, and the memory capacity is greatly reduced. I can do it.
  • the image processing circuit 100 only needs to execute the process mechanically according to a predetermined memory address space. It is possible to reduce the frame rate and delay.
  • the image processing unit 202 reads a cubic image stored in the memory in the image processing circuit 200 for each plane, performs image processing such as depth processing and object determination processing, and performs depth information and object Generate information.
  • image processing such as depth processing and object determination processing
  • depth information and object Generate information the image of each surface constituting the cube image is a two-dimensional image in which the vertical and horizontal distortions included in the 360 ° image are corrected, and therefore general image processing is applied as the image processing unit 202. Therefore, it is possible to reduce the circuit scale.
  • the depth processing performed by the image processing unit 202 is the same as the processing performed by the depth processing unit 102 in the first embodiment.
  • Object processing is processing for determining what is shown in an image. For example, in the case of an image as shown in FIG. 2, the difference between the image areas such as “ceiling”, “floor”, “window”, “door”, “locker” is determined, and a different identifier is assigned to each area.
  • General image processing can be applied to depth processing and object processing.
  • the three-dimensional processing unit 203 reads a cubic image stored in the memory and generates a three-dimensional image that is three-dimensional information on the premise of the cube format.
  • FIG. 15 is a diagram showing a concept of converting a cube map format image into a three-dimensional image of X, Y, and Z.
  • the three-dimensional processing unit 203 converts the position of each pixel into the coordinates of the X, Y, and Z spaces shown in FIG. 15 for the pixels constituting the image of each surface defined as a cube map.
  • the three-dimensional processing unit 203 does not actually perform the conversion process, but similarly applies the X and Y coordinate pixels of each surface defined by the address space as shown in FIG. Store again in the address space defined in association with the X, Y, Z coordinates. As shown in FIG. 15, the positions of the pixels on each surface from the 1st plane to the 6th plane in the X, Y, and Z spaces can be directly associated with each other. With such a configuration, it is possible to reduce the time required for processing, increase the frame rate, and reduce the delay as described above.
  • the three-dimensional processing unit 203 acquires the depth information and object information generated by the image processing unit 202, and gives information and object information for correcting the position of each pixel in the three-dimensional space.
  • FIG. 16 is a diagram conceptually illustrating position correction processing in a three-dimensional space by the three-dimensional processing unit 203.
  • the video that appears in the images on each side of the cube map format stereoscopic image is a space with depth in reality.
  • the three-dimensional processing unit 203 corrects the position in the cube map format from the surface of the cube to the position in the real space by taking into account the depth (depth shown in the figure) for each pixel generated by the image processing unit 202.
  • Correction values ( ⁇ X, ⁇ Y, ⁇ Z) are generated. Note that the correction values ( ⁇ X, ⁇ Y, ⁇ Z) shown in FIG. 16 may be generated by the three-dimensional processing unit 203 or may be generated in advance by the image processing unit 202.
  • FIG. 17 is a diagram illustrating an example of information stored in a memory in the image processing circuit 200 as a result of processing by the three-dimensional processing unit 203.
  • RGB information indicating the color of each pixel
  • correction value ( ⁇ X, ⁇ Y, ⁇ Z) information indicating the color of each pixel
  • object determination result An object No. that is an identifier indicating the ID is stored.
  • the three-dimensional image shown in FIG. 17 is assigned 24 bits for each RGB color 8 bits per pixel, 30 bits for each correction value ( ⁇ X, ⁇ Y, ⁇ Z), 10 bits for each direction, 10 bits for object number and spare, and a total of 64 bits. It is expressed.
  • coordinates obtained by adding correction values ( ⁇ X, ⁇ Y, ⁇ Z) to XYZ coordinates indicating the position on the cube surface in the cube map format indicate the position of the pixel in the space. It becomes. Accordingly, the information shown in FIG. 16 is information in which space coordinates and color information are associated as described in FIG. 9 of the first embodiment, but the coordinate information is expressed by association with the address space. The point is different.
  • FIG. 18 is a diagram conceptually showing a state in which all pixels are converted into points taking depth into account in accordance with the processing shown in FIG.
  • a point having color information and object information corresponding to each pixel is arranged around a sphere centered on the viewpoint.
  • 3DCG the image information generated by photographing the real space is recognized as complete digital data, and a 3DCG designed in advance such as extraction of a specific object, synthesis with other objects, etc. It is possible to process freely.
  • the spatial processing unit 204 generates spatial information by converting the three-dimensional image shown in FIG. 17 into information in which inter-coordinates and color information are associated as in FIG.
  • FIG. 19 is a diagram showing spatial information according to the present embodiment.
  • the spatial information according to the present embodiment includes object No. information indicating which object each pixel is included in.
  • the three-dimensional image shown in FIG. 17 is represented by a total of 64 bits, with 24 bits for each RGB color 8 bits, 30 bits for 10 bits in each direction of the spatial information XYZ, 10 bits for the object number and spare for each pixel.
  • video information is output by the image output unit 107 with the same configuration as the image processing circuit 100 of the first embodiment.
  • the image processing circuit 200 it is possible to perform image processing by effectively using limited memory resources.
  • processing delays by the image acquisition unit 201, the image processing unit 202, the three-dimensional processing unit 203, and the spatial processing unit 204 are reduced as much as possible, and the video captured by the 360 ° camera 10 is synthesized without impairing real-time characteristics. It becomes possible to output a 3D image.
  • Embodiment 3 in the aspect of the second embodiment, a method for converting video data input from a 360 ° camera into a format to be processed in an image processing circuit, particularly a configuration that enables conversion with a small circuit scale. explain.
  • symbol similar to Embodiment 1 the same or an equivalent part shall be shown, and detailed description is abbreviate
  • the entire circumferential image acquired by the image processing circuit from the 360 ° camera is photographed at 360 ° in the front / rear, left / right, upper / lower, and two by the equirectangular projection. It is a panoramic image arranged as a dimensional image.
  • the image format of the all-round video output from the 360 ° camera varies depending on the model, it is converted to the image format that is to be processed by the image processing circuit, that is, the subsequent format that is targeted in the subsequent processing. There is a need to.
  • FIG. 20 is a diagram showing a format of an image output from the 360 ° camera 10 according to the present embodiment.
  • the 360 ° camera 10 according to the present embodiment outputs a panoramic image including two circular images obtained by mapping each image of the hemisphere obtained by dividing the omnidirectional sphere into a half by a stereoscopic projection. .
  • FIG. 21 is a diagram showing the principle of stereoscopic projection of the image shown in FIG.
  • the width on the plane with respect to the unit latitude and the unit longitude increases as the distance from the central portion increases.
  • the closer to the center the wider the plane width for unit latitude and unit longitude.
  • FIG. 22 is a diagram showing the principle of orthographic projection.
  • FIG. 23 is a diagram showing the latitude ⁇ and longitude ⁇ of the sphere.
  • This coordinate is the latter-stage coordinate according to the present embodiment.
  • an image having the format shown in FIG. 12 is generated based on the image having the format shown in FIG. 20, first, the coordinates of pixels constituting the image having the format shown in FIG. .
  • the coordinates of the pixels in the image of the format shown in FIG. 20 are obtained, and information on the pixels corresponding to the coordinates is obtained first.
  • the selected image is stored in association with the coordinates of the image shown in FIG.
  • the image processing circuit 200 constituted by the FPGA, a huge circuit scale is required to realize the coordinate conversion processing according to Equations 1 to 3 with real-time characteristics for each pixel. For this reason, in the present embodiment, the sampling pixels extracted from the entire image at predetermined intervals are subjected to calculations based on Equations 1 to 3 to obtain accurate conversion results, and the other pixels are converted to sampling pixels. The approximation based on the result is performed to reduce the circuit scale.
  • FIG. 24 is a diagram illustrating the principle of approximation according to the present embodiment.
  • 24 is an equirectangular panoramic image to be processed in the image processing circuit 200, and the lower row is an image output from the 360 ° camera 10 (hereinafter referred to as “360 ° image”).
  • the image acquisition unit 201 uses the coordinates (x 1 , y 1 ) to (x 2 , y 2 ) of the pixels of the grid points obtained by dividing the panoramic image in a grid pattern vertically and horizontally.
  • Equation 4 is an approximate expression, x i, of the upper left grid, as shown in FIG. 24 (x 1, y 1) as a base point for y i, the difference from the base point (x i -x 1), ( y This is an equation for performing linear approximation using i ⁇ y 1 ) and its product as parameters.
  • the term of the product of (x i ⁇ x 1 ) indicating the difference between the x coordinates and (y i ⁇ y 1 ) indicating the difference between the y coordinates included in Equation 4 which is an approximate expression according to the present embodiment is a calculation amount. This is a term that is adopted due to a balance between the circuit scale and the approximation accuracy that increase with the increase of the circuit size. The accuracy is insufficient with only the first-order approximation, and in the case of the second-order approximation, the accuracy can be increased by a slight increase in the circuit scale when the circuit scale exceeds the constraint.
  • Such processing is executed by the image acquisition unit 201 in the image processing circuit 200 shown in FIG.
  • the image processing circuit 200 stores the 360 ° video output from the 360 ° camera 10 as a cubic image.
  • the image processing circuit 200 according to the present embodiment performs the above-described processing as the previous stage processing, and acquires an image output in the format shown in FIG. 20 in the format shown in FIG.
  • FIG. 25 shows a calculation value (h (x i , y i ) formally calculated from the approximate values (h ′ (x i , y i ), v ′ (x i , y i )) thus obtained.
  • v (x i , y i )) are graphs for each lattice interval. If the lattice spacing is narrow, the amount of change in the parameter with respect to the formal calculation result is small and the error is small. However, the number of sampling pixels that need to be formally calculated increases, and the circuit scale increases. On the other hand, if the lattice spacing is wide, the amount of change in the parameter with respect to the formal calculation result increases, so the error increases.However, the number of sampling pixels that need to be formally calculated is reduced, and the circuit scale is reduced. The
  • FIG. 26 is a block diagram showing a functional configuration inside the image acquisition unit 201 according to the present embodiment.
  • the image acquisition unit 201 according to the present embodiment includes a sampling unit 211, a positive conversion unit 212, a coefficient calculation unit 213, and an approximation processing unit 214.
  • the sampling unit 211 divides the 360 ° image input from the 360 ° camera 10 into a grid according to the setting of the pixel interval for specifying the grid, and extracts the coordinates of each grid point.
  • the positive conversion unit 212 converts the pixel of the grid point extracted by the sampling unit 211, that is, the coordinates of the reference pixel serving as the reference point, using the above Formulas 1 to 3 which are formal conversion formulas for coordinate conversion. To obtain a positive conversion result.
  • the coefficient calculation unit 213 solves the simultaneous equations of the above Equation 5 based on the coordinates of the reference pixel extracted by the sampling unit 211 and the positive conversion result obtained by the positive conversion unit 212 to generate the coefficients a 1 to a 4 , b 1 to b 4 are calculated.
  • the approximation processing unit 214 uses the coefficients a 1 to a 4 and b 1 to b 4 obtained by the coefficient calculation unit 213 to approximately convert the coordinates of each pixel constituting the 360 ° image according to Equation 4, which is an approximation equation. To obtain an approximate value. Then, the approximation processing unit 214 uses the coordinates obtained in this way and the color information corresponding to the coordinates before conversion to convert the image in the format shown in FIG. 3 and the equirectangular projection shown in FIG. get information.
  • an approximate expression is generated based on a formal conversion result of the coordinates of a plurality of sampled pixels, and after conversion of pixels in a range defined by the pixels Approximate the coordinates of.
  • the case where the image format is converted is described as an example in which the coordinate conversion is performed by associating the memory address in which the image is stored.
  • automatic and coordinate conversion that maintains real-time characteristics is realized by associating the coordinates in the image before conversion and the coordinates in the image after conversion in a fixed manner.
  • the image format of the 360 ° camera 10 is also fixed, and when the 360 ° camera 10 is changed or when the format of the image output by the 360 ° camera 10 is changed, the memory An enormous amount of work is required to reconfigure the address association.
  • by using coordinate conversion by approximation according to the present embodiment it is possible to avoid such a problem of fixing the 360 ° camera 10 itself and the output image format.
  • FIG. Equation 4 which is an approximate expression in the third embodiment is an approximation based on a linear expression.
  • quadratic approximation it is also possible to increase the number of sampling pixels and perform an approximation using the least square method. In the present embodiment, such an aspect will be described.
  • FIG. 27 is a diagram illustrating the principle of approximation according to the present embodiment.
  • the sampling unit 211 samples nine pixels including the intermediate points of the x coordinate and the y coordinate in addition to the square points of the target grid in the third embodiment. Let it be a pixel.
  • the positive conversion unit 212 performs coordinate conversion on such sampling pixels using Equations 1 to 3 in Embodiment 3, and thereby coordinates (h (x 1 , y 1 ), v (x 1 , y 1 )) to (h (x 2 , y 2 ), v (x 2 , y 2 )) are similarly obtained.
  • Equation 6 is an approximate expression according to the present embodiment.
  • the coefficient calculation unit 213 and the approximation processing unit 214 according to the present embodiment use the following formula 6 instead of the formula 4 that is the approximate formula described in the third embodiment.
  • Equation 6 is an approximate expression according to the present embodiment, x i, of the upper left grid, as shown in FIG. 27 (x 1, y 1) as a base point for y i, the difference from the base point (x i -x 1 ), (y i ⁇ y 1 ), and the product thereof, as well as a square approximation of each difference (x i ⁇ x 1 ) 2 and (y i ⁇ y 1 ) 2 are parameters for linear approximation.
  • the coefficient calculation unit 213 is obtained as a result of calculating the above Equations 1 to 3 for the nine sampling pixels described above (h (x 1 , y 1 ), v (x 1 , y 1 )). To (h (x 2 , y 2 ), v (x 2 , y 2 )) and approximate results (h ′ (x 1 , y 1 ), v ′ (X 1 , y 1 )) to (h ′ (x 2 , y 2 ), v ′ (x 2 , y 2 )) are minimized so that the coefficients a 1 to a 6 and b 1 to b 6 are obtained.
  • the approximation processing unit 214 calculates the grid points (x 1 , y 1 ) on the panoramic image from Equation 6 which is an approximation equation using the coefficients a 1 to a 6 and b 1 to b 6 obtained in this way.
  • FIG. 28 shows a calculation value (h (x i , y i ) formally calculated from the approximate values (h ′ (x i , y i ), v ′ (x i , y i )) thus obtained.
  • v (x i , y i )) are graphs for each lattice interval.
  • the accuracy fluctuates according to the lattice spacing is the same as in the third embodiment, but it can be seen that the error is generally reduced as compared with the third embodiment.
  • sampling pixel in addition to the aspect of the third embodiment, as a sampling pixel, together with pixels serving as vertices for defining a range of pixels to be converted by approximation, A plurality of sampling pixels are also extracted from within the determined range.
  • the coefficient of the approximate expression is obtained by the least square method so that the difference between the positive conversion result of the sampling pixel thus extracted and the conversion result by the approximate expression is minimized.
  • the circuit scale is increased as compared with the third embodiment in order to increase the sampling pixels, but the circuit scale is significantly reduced as compared with the case where formal conversion processing is performed for all pixels. Is possible. Accordingly, the aspects of the third and fourth embodiments are appropriately selected and used depending on the balance between the allowable circuit scale and the required conversion accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮影された現実世界の映像を仮想世界のように三次元空間の情報として再構成すること。 【解決手段】三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部１０１と、空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行処理部１０２と、空間画像を構成する画素について、奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部１０４と、空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部１０７とを含むことを特徴とする。

Description

画像処理装置、画像処理方法、画像処理プログラム
　本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。
　近年、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ：仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）、ＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ：複合現実）といった、画像処理技術により視覚的効果を増幅させる技術が用いられている。それぞれの技術の境界は必ずしも明確ではないが、例えばＶＲは仮想的な映像により現実世界を置き換えるもの、ＡＲは現実世界に仮想的な映像を足し合わせるもの、ＭＲはそれらの中間に位置するものと定義される。
　現実空間の映像中に仮想的な映像を合成するための技術として、撮影された現実空間の画像を解析してカメラの位置やベクトルを求め、求められたそれらの情報に基づいて合成すべき仮想的な映像を投影する方法が提案されている（例えば、特許文献１参照）。
特開２００５－１２２３１５号公報
　ＡＲやＭＲにおいては、撮影された現実空間の映像上に仮想的な映像や他の現実の映像を合成して映像として出力することが求められる。そのような映像において、特に複数のユーザが同一空間の映像を視聴するような場合においては、撮影された現実空間について複数の異なる視点からの映像を出力することが求められる。
　特許文献１に開示された技術を用いることにより可能となる映像の出力は、カメラによって撮影された現実世界の映像中に仮想的な映像を合成することのみである。すなわち、撮影された現実世界の映像を仮想世界のように三次元空間の情報として再構成し、当初のカメラの視点とは異なる視点からの映像を出力することはできない。
　本発明は、上述した課題に対応してなされたものであり、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することを目的とする。
　上記課題を解決するために、本発明の一態様は、画像処理装置において、三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部と、前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行取得部と、前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部と、前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部とを含むことを特徴とする。
　本発明によれば、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することができる。
本発明の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施形態に係る画像処理装置において処理される全周画像の例を示す図である。である。 本発明の実施形態に係る全周画像の情報形式を示す図である。 本発明の実施形態に係る奥行情報の情報形式を示す図である。 本発明の実施形態に係る角度情報の意味を示す図である。 本発明の実施形態に係る角度情報の情報形式を示す図である。 本発明の実施形態に係る空間座標の算出態様を示す図である。 本発明の実施形態に係る座標情報の情報形式を示す図である。 本発明の実施形態に係る空間情報の情報形式を示す図である。 本発明の実施形態に係る視点情報の例を示す図である。 本発明の他の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の他の実施形態に係る全周画像の領域の区分けの例を示す図である。である。 本発明の他の実施形態に係るキューブマップ形式の立体画像の例を示す図である。 本発明の他の実施形態に係る立体画像のメモリへの格納形式を示す図である。 本発明の他の実施形態に係るキューブマップ形式の立体画像を三次元画像へ変換する態様を示す図である。 本発明の他の実施形態に係る奥行情報に基づく補正値の例を示す図である。 本発明の他の実施形態に係る三次元画像のメモリへの格納形式を示す図である。 本発明の他の実施形態に係る三次元画像の各画素が奥行情報に従って変換された状態を概念的に示す図である。 本発明の他の実施形態に係る空間情報の情報形式を示す図である。 本発明の他の実施形態に係る３６０°カメラが出力する３６０°画像の例を示す図である。 本発明の他の実施形態に係る３６０°カメラの立体射影の態様を示す図である。 本発明の他の実施形態に係る３６０°カメラの正射影の態様を示す図である。 球体表面の位置を緯度および経度によって表現する態様を示す図である。 本発明の実施形態に係るパノラマ画像と３６０°画像との座標の変換態様を示す図である。 近似による誤差を示す図である。 本発明の他の実施形態に係る画像取得部内の機能構成を示す図である。 本発明の他の実施形態に係る基準点のサンプリング態様を示す図である。 近似による誤差を示す図である。
実施の形態１．
　以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態に係る画像処理装置は、カメラによって撮影された画像であって視点の上下左右３６０°にわたる画像を全周画像としてリアルタイムに取得して空間画像として処理すると共に、その空間画像によって表現される空間に他の画像を合成して出力する。
　図１は、本実施形態に係る画像処理装置１の全体構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は３６０°カメラ１０および画像処理回路１００を含む。
　３６０°カメラ１０は、自身を始点とした前後左右および上下の３６０°を撮影して画像情報を生成する。３６０°カメラによって生成された画像は、３６０°カメラを中心とした全周囲を示す画像（以降、「全周画像」とする）であり、本実施形態においては正距円筒図法によって表現された二次元の画像である。
　図２は、本実施形態に係る３６０°カメラ１０によって撮影された全周画像の例を示す図である。図２に示す画像は、部屋の中心に設置された３６０°カメラ１０によって撮影された全周画像である。図２に示すように、扉のある正面、窓のある左側、ロッカーなどの設置された右側、壁面のみの後方、および天井と床が二次元の画像によって表現されている。
　図２に示す全周画像は３６０°カメラ１０によって撮影された画像であり、前後左右および上下の映像が含まれることが前提となっているが、あくまでも二次元の画像として表現されている。従って、全周画像の情報の形式は通常の二次元の画像と同様である。
　図３は本実施形態に係る全周画像の情報の例を示す図である。図３に示すように、全周画像は、Ｘ軸、Ｙ軸の位置を示す“座標”と、夫々の座標によって示される位置の画素の色味をＲ、Ｇ、Ｂ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）それぞれの色味で示す“色情報”とが関連付けられた情報である。
　なお、全周画像として正距円筒図法を用いるのは一例であり、その他の形式を用いても良い。例えばドームマスター形式の画像を２つ組み合わせて用いる等、一視点の全周にわたって撮影された画像を表す形式であれば同様に実現可能である。
　また、本実施形態においては全周画像を用いる場合を例とするが、それに限るものではなく、なるべく広い空間が撮影された広角の画像を取得し、そこから空間の情報を生成してもよい。これにより、一般的な人間の視野角を超えた広角画像であれば、本実施形態に係る効果を得ることが可能である。
　上述したように全周画像や広角画像であればより広い範囲の画像が取得され、より広い範囲についての空間情報を生成することが可能であるが、これは本願発明の効果をより効果的に得るための一例であり、それに限るものではない。本願発明の趣旨は撮影された現実空間の画像を３次元空間の情報として再構成することであり、取得する現実空間の画像は全周画像や広角画像に限らず一般的なカメラの画角によって撮影された画像で会ってもよい。
　画像処理回路１００は、３６０°カメラ１０が生成した全周画像を取得して空間を表現するための三次元情報に変換し、空間内をある視点から見た状態を示す映像を出力する。画像処理回路１００はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）および情報を一時的に記憶するＤＤＲ　ＳＤＲＭ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ　Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリを含む。
　図１に示すように、本実施形態に係る画像処理回路１００は、画像取得部１０１、奥行処理部１０２、座標処理部１０３、空間処理部１０４、画像合成部１０５、視点取得部１０６および画像出力部１０７を含む。これらの各処理部は、上述したＦＰＧＡによって構成される。
　画像取得部１０１は３６０°カメラ１０が出力する全周画像を取得して記憶媒体であるメモリに格納する。これにより、図３に示す全周画像の情報が画像処理回路１００内のメモリに保存される。奥行処理部１０２は、メモリに保存された全周画像の情報を解析し、全周画像を構成する各画素の奥行きを判断する。
　奥行処理部１０２が判断する各画素の奥行とは、全周画像を撮影した３６０°カメラ１０の視点である撮影視点から、全周画像に写っている風景や物体までの距離である。奥行処理部１０２は、例えばラプラシアンフィルタを全周画像に適用することによって全周画像から抽出した輪郭の角度を解析し、画像の焦点距離に基づいて奥行を算出する。その他、画像の色を解析する方法や、画像のぼけ具合を解析する方法等、奥行処理部１０２による奥行情報の算出方法としては様々な方法を用いることが出来る。
　図４は、奥行処理部１０２によって算出された奥行情報を示す図である。図４に示すように、本実施形態に係る奥行情報は、全周画像の各画素を示す“座標”と、夫々の画素について算出された“奥行”とが関連付けられた情報である。図４に示す“座標”は、図３に示す“座標”に対応している。奥行処理部１０２は、図４に示すような情報を生成して画像処理回路１００内のメモリに格納する。つまり、奥行き処理部１０２が奥行取得部として機能する。
　なお、本実施形態においては奥行処理部１０２が全周画像を解析することにより奥行情報を生成する場合を例として説明するが、これは一例である。画像処理回路１００において奥行情報を取得する方法としては、全周画像の解析による方法の他、例えば３６０°カメラ１０による全周画像の撮影に際して、全周画像を構成するそれぞれの画素ごとに奥行を測定する態様を用いることも可能である。どのような方法を用いる場合であっても、図４に示すような形式で奥行の情報が取得されれば、本実施形態を同様に実現可能である。
　座標処理部１０３は、奥行処理部１０２によって生成された奥行情報と、全周画像を構成する各画素が視点からどの方向に存在するかを示す角度情報とに基づき、全周画像の各画素の位置を三次元空間上の座標で示す座標情報を生成する。上述したように全周画像とは３６０°カメラ１０によって撮影された前後左右および上下にわたる全周の画像であり、二次元画像の形式である全周画像を実際の映像のように配置すると、視点である３６０°カメラを中心とした円のようになる。
　従って、全周画像の視点を中心とした全周画像を構成する各画素Ｘｉ、Ｙｉの配置方向は、図５に示すように、θ１ｉ、θ２ｉによって表現される。本実施形態に係る角度情報は、図６に示すように各画素を示す“座標”と、図５に示すθ１ｉ、θ２ｉに対応する“角度”とが関連付けられた情報である。図６に示す“座標”は、図３、図４に示す“座標”に対応している。
　また、夫々の画素について、その画素に写っている背景や対象物までの視点からの距離である奥行Ｄｉは、奥行処理部１０２によって算出されて既にメモリ上に格納されている。従って、座標処理部１０３は、図７に示すように、奥行情報Ｄｉおよび図に示す角度情報θ１ｉ、θ２ｉに基づき、夫々の画素についての三次元空間上での座標ｘｉ、ｙｉ、ｚｉを計算して座標情報を求める。
　図８は、そのようにして求められた座標情報を示す図である。図８に示すように、本実施形態に係る座標情報は、各画素を示す“座標”と、各画素について算出されたｘｉ、ｙｉ、ｚｉである“空間座標”とが関連付けられた情報である。図８に示す“座標”は、図３、図４、図６に示す“座標”に対応している。
　空間処理部１０４は、座標処理部１０３によって生成された座標情報と、全周画像の情報とに基づき、全周画像に写っている空間を３次元空間の情報として表現する空間情報を生成する。図９は、本実施形態に係る空間情報を示す図である。図９に示すように、本実施形態に係る空間情報は、三次元空間上での位置を示す“空間座標”と、その位置に存在する物体の色を示す“色情報”とが関連付けられた情報である。図９に示す“空間座標”は図８の“空間座標”と対応し、“色情報”は図３に示す“色情報”に対応している。
　空間処理部１０４は、図３に示す全周画像の“座標”と図８に示す座標情報の“座標”とをそれぞれ参照し、同一の“座標”について図３の“色情報”と図８の“空間座標”とを抽出して関連付けることにより図９に示す空間情報を生成する。空間処理部１０４は、このように生成した空間情報を画像処理回路１００内のメモリに格納する。
　このような処理により、図２に示すような二次元画像の形式で入力された全周画像に基づき、一般的な３ＤＣＧの形式に準じた空間情報の生成が完了する。すなわち、現実の空間が撮影された空間画像を、三次元空間を表現する３ＤＣＧのような情報として再構成することが可能となる。
　従って、図９に示す空間情報が生成された以降は、他の３ＤＣＧデータと空間情報との合成処理を容易かつ高精度に行うことが可能となり、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧを合成するような映像処理を容易かつ高精度に行うことが可能となる。このような映像処理は、現実空間に仮想的な映像を合成するという点ではＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）の処理であるし、撮影された現実空間の画像が三次元空間の情報として再構成されている点ではＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ：複合現実）である。
　画像合成部１０５は、空間情報としてメモリに保存された情報、すなわち３６０°カメラ１０によって撮影された現実空間の情報に、他の３ＤＣＧの情報を合成する。他の３ＤＣＧの情報とは、仮想的な映像をＣＧで表現したものの他、他の現実の風景や物体をＣＧ化したものも含まれる。そのため、画像合成部１０５は、合成すべき３Ｄ情報を取得し、その情報を図９と同様の形式で空間情報に追加する。３Ｄ情報は、合成対象のオブジェクトの形状情報や色彩を示す情報の他、オブジェクトを配置するべき位置や向きを示す情報を含む。これにより、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧが合成された情報が生成される。
　視点取得部１０６は、画像処理回路２００から出力される画像の視点を示す視点情報を取得し、画像出力部１０７に入力する。視点情報は、図１０に示すように視点の位置を示す“視点位置”および視線の方向を示す“視線方向”の情報を含む。図１０に示す情報により、空間情報によって表現される空間において、何処から、どの方向を向いているかが特定される。視点情報は、例えば画像処理回路１００が出力する映像の情報を受信して表示するＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）の向きに基づいて生成される。
　画像出力部１０７は、空間情報としてメモリに格納された図９に示す情報を取得する際、視点取得部１０６から入力された視点情報に基づいて情報を取得する。これにより、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧが合成された状態の空間を、視点情報に基づいて特定される視点から見た状態の映像が取得される。画像出力部１０７は、取得した映像を出力する。
　３６０°カメラ１０は、撮影した３６０°映像を所定のフレームレートで連続して出力する。そのフレームレートは、例えば３０ｆｐｓである。そして、画像取得部１０１、奥行処理部１０２、座標処理部１０３、空間処理部１０４、画像出力部１０７は、３６０°カメラ１０が映像を出力するフレームレートに準じたフレームレートで処理を繰り返す。
　このような処理によれば、画像出力部１０７は、３６０°カメラ１０によって撮影された現実空間の画像が三次元空間の情報として再構成された情報に、画像合成部１０５によって３Ｄ情報が合成された映像であり、かつ所定のフレームレートのリアルタイム動画である。画像合成部１０５は、空間処理部１０４によってメモリに保存された３ＤＣＧに準じた形式の空間情報に対して、３Ｄ情報と共に入力される位置や向きの情報に従って３Ｄ情報を合成する。そのため、本実施形態により出力される映像、すなわち現実空間に仮想的な映像が合成された映像は、２次元のライブ映像に映像を重畳するようなＡＲの処理よりも高精度なものとなる。
　以上説明したように、本実施形態に係る画像処理回路１００によれば、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することができる。これにより、３ＤＣＧ等の三次元空間上で表現される他の情報との合成処理を用意且つ高精度に行うことが可能となる。
実施の形態２．
　本実施形態においては、実施の形態１において説明した画像処理回路を含む画像処理装置について、メモリ容量や処理によるレイテンシを考慮したより具体的な構成について説明する。なお、実施の形態１と同様の符号を付す構成については同一または相当部を示すものとし、詳細な説明を省略する。
　図１１は、本実施形態にかかる画像処理装置１の全体構成を示すブロック図である。図１に示すように、３６０°カメラ１０および画像処理回路２００を含む全体的な構成は実施の形態１と同様である。図１に示すように、本実施形態にかかる画像処理回路２００は、実施の形態１と同様の画像合成部１０５、視点取得部１０６、画像出力部１０７に加えて、画像取得部２０１、画像処理部２０２、三次元処理部２０３および空間処理部２０４を含む。
　画像取得部２０１は、３６０°カメラ１０が出力する３６０°映像を取得して画像処理回路２００内のメモリに格納する。その際、画像取得部２０１は、画像の形式を変換した上で立方体画像として格納する。
　実施の形態１において説明したように、３６０°カメラ１０は、正距円筒図法の形式やドームマスター形式等、３６０°の画像に適した形式の画像情報を出力する。これらの形式は３６０°の画像の表現に適している反面、２次元の画像としてそのまま見た場合には画像が歪んで表現されているため、２次元画像が前提となっている画像処理をそのまま適用することが出来ないという欠点がある。
　そのため、画像取得部２０１は、３６０°画像、即ち球体の中心から周囲を見渡すようなイメージが前提となっている画像を、立方体の中心から周囲を見渡すようなイメージのキューブマップ形式の立方体画像に変換する。
　キューブマップ形式の画像は、立方体の各面である６面を１ｓｔ　ｐｌａｎｅ、２ｎｄ　ｐｌａｎｅ、３ｒｄ　ｐｌａｎｅ、４ｔｈ　ｐｌａｎｅ、５ｔｈ　ｐｌａｎｅ、６ｔｈ　ｐｌａｎｅとして定義し、夫々の面の画像が二次元画像として保存された形式の画像である。図１２は、正距円筒図法の画像をキューブマップ形式の画像に変換する際の領域の切り分けの例を示す図である。
　画像取得部２０１は、図１２に示される太字破線を境界として画像を分割し、正方形に画像成形することにより、１ｓｔ　ｐｌａｎｅから６ｔｈ　ｐｌａｎｅまでの二次元画像を生成して画像処理回路２００のメモリに格納する。また、５ｔｈ　ｐｌａｎｅの画像に関して、画像取得部２０１は、図１２の上部および下部の領域をそれぞれ長方形状に成形した上で合成することにより正方形の画像を生成する。
　図１３は、キューブマップ形式の画像、即ち立方体画像を示す図である。図１３に示すように、正距円筒図法の画像から切り出された６つの領域が正方形に成形された画像によって構成された立方体となっている。それぞれの面を構成する画像は、図１３に示すように、各画素の縦横比が同一であり、Ｘ方向およびＹ方向が現実の空間に即して直行する二次元画像である。
　従って、キューブマップ形式においてそれぞれの面を構成する画像に対して、２次元画像に対して適用可能な画像処理をそのまま適用することが可能となる。なお、図１３に示すようにそれぞれの面がすべて正方形であり、全体として立方体を構成することは本実施形態に係る一例であり、各面が長方形によって表現された直方体であってもよい。この場合においても、各画素の縦横比が同一であるとともに、Ｘ方向およびＹ方向が現実空間に即して直行する形式であれば、同様の効果を得ることが可能である。
　図１４は、図１３に示すようなキューブマップ形式の画像が画像処理回路２００内のメモリに格納される際の格納形式を示す図である。図１４に示すように、本実施形態に係る立方体画像は、画像処理回路２００内のメモリのうち、１ｓｔ　ｐｌａｎｅから６ｔｈ　ｐｌａｎｅに区切られたアドレス空間において、Ｘ、Ｙ座標の順に定められた順番で格納される。
　実施の形態１においては、図３において説明したように、それぞれの画素を定義するための“座標”と、それぞれの画素の色味を示す“色情報”とによって情報が格納される場合を例として説明した。この場合、例えば、“色情報”において必要なビット数をＲＧＢ各色８ｂｉｔで合計２４ｂｉｔとし、“座標”において必要なビット数をＸ、Ｙそれぞれ１０ｂｉｔで２０ｂｉｔとすると、合計で一画素当たり５４ｂｉｔが必要となる。
　これに対して、図１４に示すような格納形式であれば、格納される情報は“色情報”において必要なビット数であるＲＧＢ各色８ｂｉｔで合計２４ｂｉｔのみであり、メモリ容量を大幅に削減することが出来る。
　また、図１４に示すような格納形式を用いることにより、画像処理回路１００においては、定められたメモリのアドレス空間に従って機械的に処理を実行すればよいため、処理に要する時間を短縮し、高フレームレート化、低遅延化を図ることが可能となる。
　画像処理部２０２は、図１４に示すように画像処理回路２００内のメモリに格納された立方体画像をそれぞれの面ごとに読み出し、奥行処理やオブジェクト判定処理等の画像処理を行って奥行情報およびオブジェクト情報を生成する。上述したように、立方体画像を構成する各面の画像は、３６０°画像が含む縦横の歪みが補正された２次元画像であるため、画像処理部２０２としては一般的な画像処理を適用することが可能であり、回路の小規模化を図ることが可能である。
　画像処理部２０２が行う奥行処理は、実施の形態１において奥行処理部１０２が行う処理と同様である。オブジェクト処理は、画像中に写っているものを判定する処理である。例えば図２に示すような画像であれば、「天井」、「床」、「窓」、「ドア」、「ロッカー」といったそれぞれの画像領域の違いを判定し、夫々の領域毎に異なる識別子を付与する。奥行処理やオブジェクト処理に関しては、一般的な画像処理を適用可能である。
　三次元処理部２０３は、メモリに格納された立方体画像を読み出し、キューブ形式を前提とした３次元の情報である三次元画像を生成する。図１５は、キューブマップ形式の画像をＸ、Ｙ、Ｚの三次元の画像に変換する概念を示す図である。三次元処理部２０３は、まずはキューブマップとして定義された各面の画像を構成する画素について、それぞれの画素の位置を図１５に示すＸ、Ｙ、Ｚ空間の座標に変換する。
　但し、本実施形態に係る三次元処理部２０３は実際には変換処理を行うのではなく、図１４に示すようにアドレス空間によって定義されたそれぞれの面のＸ、Ｙ座標の画素を、同様にＸ、Ｙ、Ｚ座標に関連付けて定義されたアドレス空間に記憶し直す。図１５に示すように、Ｘ、Ｙ、Ｚ空間における１ｓｔ　ｐｌａｎｅから６ｔｈ　ｐｌａｎｅの各面の画素の位置は直接的に関連付けることが可能である。このような構成により、上記と同様に処理に要する時間を短縮し、高フレームレート化、低遅延化を図ることが可能である。
　また、三次元処理部２０３は、画像処理部２０２によって生成された奥行情報およびオブジェクト情報を取得し、夫々の画素の３次元空間上での位置を補正する情報およびオブジェクト情報を付与する。図１６は、三次元処理部２０３による３次元空間上での位置補正処理を概念的に示す図である。
　キューブマップ形式の立体画像を構成する各面の画像に写っている映像は、現実においては奥行を持った空間である。三次元処理部２０３は、画像処理部２０２によって生成された各画素についての奥行（図中に示すｄｅｐｔｈ）を加味することにより、キューブマップ形式における立方体の面上から実空間における位置に補正するための補正値（±Ｘ、±Ｙ、±Ｚ）を生成する。なお、図１６に示す補正値（±Ｘ、±Ｙ、±Ｚ）は、三次元処理部２０３が生成しても良いし、画像処理部２０２が予め生成しても良い。
　図１７は、三次元処理部２０３による処理の結果として画像処理回路２００内のメモリに格納される情報の例を示す図である。上述したように、Ｘ、Ｙ、Ｚ座標に関連付けて定義されたアドレス空間に、夫々の画素の色味を示すＲＧＢ情報、補正値（±Ｘ、±Ｙ、±Ｚ）の情報およびオブジェクト判定結果を示す識別子であるオブジェクトＮｏが格納される。
　図１７に示す三次元画像は、一画素についてＲＧＢの各色８ｂｉｔで２４ｂｉｔ、補正値（±Ｘ、±Ｙ、±Ｚ）各方向１０ｂｉｔで３０ｂｉｔ、オブジェクトＮｏおよび予備で１０ｂｉｔが割り当てられ、合計６４ｂｉｔによって表現されている。
　図１６において説明したように、キューブマップ形式の立方体の面上の位置を示すＸＹＺ座標に補正値（±Ｘ、±Ｙ、±Ｚ）を加味した座標は、空間上における画素の位置を示すこととなる。従って、図１６に示す情報は、実施の形態１の図９において説明したように、空間座標と色情報とが関連付けられた情報であるが、座標情報がアドレス空間との関連付けによって表現されている点が異なる。
　図１８は、図１６に示すような処理に従い、全ての画素が奥行を加味した点に変換された状態を概念的に示す図である。図１８に示すように、視点を中心とした球体を基準として、その周囲にそれぞれの画素に対応する色情報およびオブジェクト情報を持った点が配置された状態となる。このような情報を３ＤＣＧとして扱うことにより、実空間を撮影することによって生成された画像情報を完全なデジタルデータとして認識し、特定オブジェクトの切り出し、他オブジェクトとの合成等、予めデザインされた３ＤＣＧの様に自由に処理することが可能となる。
　空間処理部２０４は、図１７に示す三次元画像を図９と同様に間座標と色情報とが関連付けられた情報に変換して空間情報を生成する。図１９は、本実施形態に係る空間情報を示す図である。上述したように、図１７に示す三次元画像は、ＸＹＺ座標に関連付けられたアドレス空間毎に補正値が格納されているため、アドレス空間によって特定されるＸＹＺ座標に補正値を適用すれば容易にＸＹＺ座標を算出することが可能である。また、本実施形態に係る空間情報は、夫々の画素がどのオブジェクトに含まれるかを示すオブジェクトＮｏの情報を含む。
　図１７に示す三次元画像は、一画素についてＲＧＢの各色８ｂｉｔで２４ｂｉｔ、空間情報ＸＹＺ各方向１０ｂｉｔで３０ｂｉｔ、オブジェクトＮｏおよび予備で１０ｂｉｔが割り当てられ、合計６４ｂｉｔによって表現されている。このようにして空間情報が生成された後は、実施の形態１の画像処理回路１００と同様の構成により画像出力部１０７によって映像情報が出力される。
　以上説明したように、本実施形態に係る画像処理回路２００によれば、限られたメモリ資源を有効に利用して画像処理を行うことが可能となる。また、画像取得部２０１、画像処理部２０２、三次元処理部２０３および空間処理部２０４による処理の遅延を可能な限り低減し、３６０°カメラ１０によって撮影された映像のリアルタイム性を損なうことなく合成３Ｄ画像を出力することが可能となる。
実施の形態３．
　本実施形態においては、実施の形態２の態様において、３６０°カメラから入力された映像データを画像処理回路における処理対象の形式に変換する手法、特に少ない回路規模での変換を可能とする構成について説明する。なお、実施の形態１と同様の符号を付す構成については同一または相当部を示すものとし、詳細な説明を省略する。
　実施の形態１、２においては、図２および図３において説明したように、画像処理回路が３６０°カメラから取得する全周画像は、前後左右上下３６０°が撮影され、正距円筒図法により二次元画像として配置されたパノラマ画像である。これに対して、３６０°カメラが出力する全周映像の画像形式は機種により様々であるため、画像処理回路が処理対象とする画像形式、すなわち後段の処理において対象とされている後段形式に変換する必要がある。
　図２０は、本実施形態に係る３６０°カメラ１０が出力する映像の形式を示す図である。図２０に示すように、本実施形態に係る３６０°カメラ１０は、全天球を半分に分割した半球それぞれの画像が立体射影により円形に写像された２つの円形画像を含むパノラマ画像を出力する。
　図２１は、図２０に示す画像の立体射影の原理を示す図である。図２１に示すように、立体射影の場合、中心部分から外部にいくほど、単位緯度、単位経度に対する平面上の幅が広くなる。これに対して、正距円筒図法においては、中心部分に近いほど単位緯度、単位経度に対する平面上の幅が広くなる。
　そのため、図２０に示す形式の画像を正距円筒図法に変換するためには、まず２つの円形の画像を立体射影から正射影に変換する必要がある。図２２は、正射影の原理を示す図である。図２１に示す立体射影の座標系を、図２２に示す正射影の座標系に変換する場合、正射影の座標を（ｘｔ，ｙｔ）、距離をｒ、立体射影の座標を（ｘ´，ｙ´）、距離をｒ´とし、方位角をθ、仰角をφｔとすると、正射影の距離ｒ＝仰角φｔであり、以下の数式１、数式２により（ｘｔ，ｙｔ）、（ｘ´，ｙ´）を相互に変換可能である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　図２３は、球体の緯度λおよび経度φを示す図である。緯度λをｘ座標に、経度φをｙ座標にそのまま変換することにより、図１２に示すような正距円筒図法による画像を得ることが可能である。従って、図２２に示すような正射影の画像の座標系を図２３に示すような緯度および経度に変換することにより、正距円筒図法による画像の座標系を得ることが可能である。そのような変換は、以下の数式３によって可能である。
Figure JPOXMLDOC01-appb-M000003
　上記数式３によって得られたλおよびφに基づく（ｘ，ｙ）座標系により、図２０に示す形式の画像が図１２に示すような正距円筒図法によるパノラマ画像を得ることが可能である。この座標が本実施形態に係る後段座標である。図２０に示すような形式の画像に基づいて図１２に示すような形式の画像を生成する場合、まずは変換後の形式である図１２に示す形式の画像を構成する画素の座標を順に選択する。
　そして、選択したその座標を上記数式１～数式３に基づいて変換することにより、図２０に示す形式の画像における画素の座標を取得し、その座標に対応する画素の情報を取得して最初に選択した図１２に示す形式の画像の座標と関連付けて保存する。このような処理を全画素について繰り返すことにより、図２０に示すような形式の画像に基づいて図１２に示すような形式の画像を生成することができる。
　ＦＰＧＡによって構成される画像処理回路２００において、上述したような数式１～数式３による座標変換の処理を各画素についてリアルタイム性をもって実現するためには、膨大な回路規模が必要となる。そのため、本実施形態においては、画像全体から所定間隔ごとに抽出したサンプリング画素について上記数式１～数式３に基づく計算を行って正確な変換結果を取得すると共に、その他の画素についてはサンプリング画素に変換結果に基づく近似を行うことによって回路規模の低減を図る。
　図２４は、本実施形態に係る近似の原理を示す図である。図２４上段は画像処理回路２００において処理対象となる正距円筒図法のパノラマ画像であり、下段は３６０°カメラ１０から出力される画像（以降、「３６０°画像」という）である。図に示すように、本実施形態に係る画像取得部２０１は、パノラマ画像を縦横に格子状に分割した格子点の画素の座標（ｘ１，ｙ１）～（ｘ２，ｙ２）を基準として上記数式１～数式３を用いて座標変換を行うことにより、３６０°画像上の座標（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））～（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））を求める。
　このような（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））の正式な式は上記数式１～数式３の合成によって得られる事は言うまでもないが、本実施形態においては、以下の数式４による近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を用いる。
Figure JPOXMLDOC01-appb-M000004
　３６０°画像上の座標（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））は、上記数式１～数式３からもわかる通り、パノラマ画像上の座標ｘｉ、ｙｉがパラメータである。近似式である数式４は、ｘｉ、ｙｉについて図２４に示すように格子の左上の（ｘ１，ｙ１）を基点とし、その基点からの差分（ｘｉ－ｘ１）、（ｙｉ－ｙ１）およびその積をパラメータとして線型近似を行う式である。
　本実施形態に係る近似式である数式４に含まれるｘ座標の差分を示す（ｘｉ－ｘ１）とｙ座標の差分を示す（ｙｉ－ｙ１）との積の項は、計算量に伴って増大する回路規模と近似精度との兼ね合いにより採用される項である。一次近似式のみでは精度が不十分であり、二次近似の場合には回路規模が制約を超えるような場合に、わずかな回路規模の増大により精度を高める事ができる。
　上記数式１～数式３に基づいて算出された（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））～（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））がそれぞれ（ｈ´（ｘ１，ｙ１），ｖ´（ｘ１，ｙ１））～（ｈ´（ｘ２，ｙ２），ｖ´（ｘ２，ｙ２））と等しいと仮定して得られる以下の連立方程式である数式５を解くことにより、上記数式４の係数ａ１～ａ４、ｂ１～ｂ４が得られる。
Figure JPOXMLDOC01-appb-M000005
　このようにして得られた係数ａ１～ａ４、ｂ１～ｂ４を用いた近似式である数式４を用いることにより、パノラマ画像上の格子点（ｘ１，ｙ１）～（ｘ２，ｙ２）によって囲まれた範囲内の座標（ｘｉ，ｙｉ）に対応する３６０°画像上の座標の近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を得る事ができる。
　このような処理は、図１１に示す画像処理回路２００においては画像取得部２０１が実行する。実施の形態２において説明したように、画像処理回路２００は３６０°カメラ１０が出力する３６０°映像を立方体画像として格納する。本実施形態に係る画像処理回路２００は、その前段階の処理として上述した処理を行い、図２０に示すような形式で出力される画像を図１２に示す形式で取得する。
　図２５は、このようにして得られた近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を、正式に計算した計算値（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））と比較した結果を、格子の間隔ごとに示す図である。格子の間隔が狭ければ、正式な計算結果に対するパラメータの変化量が小さくなるため誤差は小さくなるが、その分正式に計算する必要のあるサンプリング画素の数が多くなり、回路規模が増大する。他方、格子の間隔が広ければ、正式な計算結果に対するパラメータの変化量が大きくなるため誤差は大きくなるが、その分正式に計算する必要のあるサンプリング画素の数が少なくなり、回路規模が縮小される。
　図２６は、本実施形態に係る画像取得部２０１内部の機能構成を示すブロック図である。図２６に示すように、本実施形態に係る画像取得部２０１は、サンプリング部２１１、正変換部２１２、係数算出部２１３および近似処理部２１４を含む。サンプリング部２１１は、図２４において説明したように、３６０°カメラ１０から入力された３６０°画像を格子を特定する画素間隔の設定に従って格子状に分割し、それぞれの格子点の座標を抽出する。
　正変換部２１２は、サンプリング部２１１によって抽出された格子点の画素、すなわち基準点となる基準画素の座標を、座標変換の正式な変換式である上記数式１～数式３を用いて変換することにより正変換結果を得る。係数算出部２１３は、サンプリング部２１１によって抽出された基準画素の座標と、正変換部２１２によって得られた正変換結果に基づき、上記数式５の連立方程式を解いて係数ａ１～ａ４、ｂ１～ｂ４を算出する。
　近似処理部２１４は、係数算出部２１３によって得られた係数ａ１～ａ４、ｂ１～ｂ４を用いて、近似式である数式４により３６０°画像を構成する各画素の座標を近似変換して近似値を得る。そして近似処理部２１４は、このようにして得られた座標と、変換前の座標に対応する色情報により、図３に示すような形式であって且つ図１２に示す正距円筒図法による画像の情報を得る。
　以上説明したように、本実施形態に係る画像処理回路においては、サンプリングされた複数画素の座標の正式な変換結果に基づいて近似式を生成し、その画素によって画定される範囲の画素の変換後の座標を近似する。これにより、処理対象の形式とは異なる形式で入力される画像を処理対象の画像に変換する際、回路規模の増大を抑えることが可能である。
　実施の形態１、２においては、画像形式の変換を行う場合、画像が格納されたメモリアドレスの関連付けにより座標変換を行う態様を例として説明した。この場合、変換前の画像における座標と変換後の画像における座標とを固定で関連付けることにより自動的、且つリアルタイム性を維持した座標変換が実現される。
　他方、この場合には３６０°カメラ１０の画像形式も固定されることとなり、３６０°カメラ１０が変更された場合や、３６０°カメラ１０が出力する画像の形式が変更された場合には、メモリアドレスの関連付けを設定し直す膨大な作業が必要となる。これに対して、本実施形態に係る近似による座標変換を用いることにより、そのような３６０°カメラ１０自体や、出力される画像形式の固定の問題を回避することが可能である。
　なお、上記実施形態においては図２０に示す形式の画像を図１２に示す形式に変換する場合を例として説明した。しかしながらこれは一例であり、画像形式の変換処理であれば同様に適用可能である。例えば、図１２において説明したような、正距円筒図法の画像をキューブマップ形式の画像に変換する処理を同様の手法で行うことも可能である。
実施の形態４．
　実施の形態３における近似式である数式４は一次式による近似であるが、二次近似に加えてサンプリング画素を増やして最小二乗法による近似を行うことも可能である。本実施形態ではそのような態様について説明する。
　図２７は、本実施形態に係る近似の原理を示す図である。図２７に示すように、本実施形態に係るサンプリング部２１１は、実施の形態３において対象とした格子の四角の点に加えて、ｘ座標、ｙ座標それぞれの中間点も含めた９画素をサンプリング画素とする。正変換部２１２がこのようなサンプリング画素について実施の形態３における数式１～数式３を用いて座標変換を行うことにより、３６０°画像上の座標（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））～（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））が得られることは同様である。
　以下の数式６は、本実施形態に係る近似式である。本実施形態に係る係数算出部２１３および近似処理部２１４は、実施の形態３において説明した近似式である数式４に替えて以下の数式６を用いる。本実施形態に係る近似式である数式６は、ｘｉ、ｙｉについて図２７に示すように格子の左上の（ｘ１，ｙ１）を基点とし、その基点からの差分（ｘｉ－ｘ１）、（ｙｉ－ｙ１）、その積に加えて、差分それぞれの二乗（ｘｉ－ｘ１）２、（ｙｉ－ｙ１）２をパラメータとして線型近似を行う式である。
Figure JPOXMLDOC01-appb-M000006
　本実施形態に係る係数算出部２１３は、上述した９点のサンプリング画素について上記数式１～数式３を計算した結果得られる（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））～（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））と、それぞれのサンプリング画素についての上記数式６の計算結果である近似結果（ｈ´（ｘ１，ｙ１），ｖ´（ｘ１，ｙ１））～（ｈ´（ｘ２，ｙ２），ｖ´（ｘ２，ｙ２））との差分が最も小さくなるように、最小二乗法により係数ａ１～ａ６、ｂ１～ｂ６を求める。
　近似処理部２１４は、このようにして得られた係数ａ１～ａ６、ｂ１～ｂ６を用いた近似式である数式６により、パノラマ画像上の格子点（ｘ１，ｙ１）～（ｘ２，ｙ２）によって囲まれた範囲内の座標（ｘｉ，ｙｉ）に対応する３６０°画像上の座標の近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を得る。
　図２８は、このようにして得られた近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を、正式に計算した計算値（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））と比較した結果を、格子の間隔ごとに示す図である。格子の間隔に応じて精度が変動することは実施の形態３と同様であるが、実施の形態３よりも総じて誤差が低減されていることがわかる。
　以上説明したように、本実施形態に係る画像処理回路においては、実施の形態３の態様に加えて、サンプリング画素として、近似により変換を行う画素の範囲を画定するための頂点となる画素と共に、確定された範囲内からも複数のサンプリング画素を抽出する。そのようにして抽出されたサンプリング画素の正変換結果と、近似式による変換結果との差分が最小となるよう、最小二乗法により近似式の係数を求める。これにより、実施の形態３の態様に対して近似による精度を高めることが可能となる。
　本実施形態に係る態様においては、サンプリング画素を増やすために実施の形態３よりも回路規模が増大するが、すべての画素について正式な変換処理を行う場合に比べれば大幅に回路規模を低減することが可能である。従って、実施の形態３、実施の形態４の態様は、許容可能な回路規模と求められる変換精度との兼ね合いにより適宜選択して用いられる。
　尚、本実施形態においては、実施の形態３の近似式である数式４に変えて二次近似式である数式６を用いる場合を例として説明した。しかしながらこれは一例であり、本実施形態に係る要旨は図２７において説明した格子点およびその中点の正式な変換結果を参酌して最小二乗法により近似係数を求める事にある。従って、近似式として数式４を用いてもよい。
１０　３６０°カメラ
１００　画像処理回路
１０１　画像取得部
１０２　奥行処理部
１０３　座標処理部
１０４　空間処理部
１０５　画像合成部
１０６　視点取得部
１０７　画像出力部
２０１　画像取得部
２０２　画像処理部
２０３　三次元処理部
２０４　空間処理部
２１１　サンプリング部
２１２　正変換部
２１３　係数算出部
２１４　近似処理部

Claims (14)

  1. 　三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部と、
    　前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行取得部と、
    　前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部と、
    　前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部とを含むことを特徴とする画像処理装置。
  2. 　前記空間画像に合成する対象物の形状を示す形状情報を取得し、前記空間情報と同一の形式で座標情報と色彩とが関連付けられた情報を生成して前記空間情報に合成する画像合成部を含むことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記空間画像は、視点の全周囲が撮影された全周画像であることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記画像取得部は、取得した前記全周画像を複数の範囲に分割し、分割したそれぞれの範囲ごとに各画素の縦横比が同一である二次元画像として記憶媒体に記憶させることを特徴とする請求項３に記載の画像処理装置。
  5. 　前記画像取得部は、前記全周画像が分割されたそれぞれの範囲およびそれぞれの範囲の画像を構成する画素の座標に関連付けられた前記記憶媒体のアドレスに対して、それぞれの座標に対応した画素の色の情報を記憶させることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記画像取得部は、取得した前記全周画像を、キューブマップ形式の画像に変換して記憶媒体に記憶させることを特徴とする請求項４に記載の画像処理装置。
  7. 　前記空間処理部は、前記キューブマップ形式の画像を立体として定義した際に立体の各面を構成する前記二次元画像に含まれる各画素について、三次元空間上の位置と画素の色の情報とを関連付けると共に、取得された前記奥行情報に基づいて前記各画素の三次元空間上の位置を修正するための情報を付加して記憶媒体に記憶させ、その情報に基づいて前記空間情報を生成することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記空間処理部は、前記立体の各面を構成する前記二次元画像に含まれる各画素の三次元空間上の位置を示す座標に関連付けられた前記記憶媒体のアドレスに対して、それぞれの座標に対応した画素の色の情報および前記奥行情報に基づいて生成された前記三次元空間上の位置を修正するための情報を関連付けて記憶させることを特徴とする請求項７に記載の画像処理装置。
  9. 　前記奥行取得部は、前記記憶媒体に記憶された前記二次元画像を解析することにより前記奥行情報を取得することを特徴とする請求項４に記載の画像処理装置。
  10. 　前記奥行取得部は、前記記憶媒体に記憶された前記二次元画像を解析することにより前記奥行情報に加えて前記二次元画像において表示されている物体を識別する識別子を生成することを特徴とする請求項９に記載の画像処理装置。
  11. 　前記画像取得部は、
    　取得された前記空間画像を構成する画素のうち基準点となる基準画素を所定の画素間隔ごとに抽出するサンプリング部と、
    　取得された前記空間画像を構成する画素の座標を前記後段形式に変換するための変換式を用いて前記基準画素の座標を後段形式における座標である後段座標に変換する正変換部と、
    　前記空間画像を構成する画素の座標をパラメータとする式であって前記空間画像を構成する画素の座標を前記後段形式に変換するための変換式を近似する近似式の係数を、前記基準画素について得られた前記後段座標に基づいて算出する係数算出部と、
    　前記係数算出部によって得られた係数および前記近似式に基づき、複数の前記基準画素によって画定される範囲の画素の座標を前記後段形式に近似変換する近似処理部とを含むことを特徴とする請求項１に記載の画像処理装置。
  12. 　前記サンプリング部は、前記空間画像上の範囲を画定するための画素および画定された範囲内に含まれる画素をそれぞれ前記基準画素として抽出し、
    　前記係数算出部は、複数の前記基準画素について得られた前記後段座標と、複数の前記基準画素についての前記近似式による近似結果とが最小となるように前記係数を算出することを特徴とする請求項１１に記載の画像処理装置。
  13. 　三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得し、
    　前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得し、
    　前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させ、
    　前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力することを特徴とする画像処理方法。
  14. 　三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得するステップと、
    　前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得するステップと、
    　前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させるステップと、
    　前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力するステップとを情報処理装置に実行させることを特徴とする画像処理プログラム。
PCT/JP2017/033374 2016-09-15 2017-09-15 画像処理装置、画像処理方法、画像処理プログラム WO2018052100A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018539795A JPWO2018052100A1 (ja) 2016-09-15 2017-09-15 画像処理装置、画像処理方法、画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-180041 2016-09-15
JP2016180041 2016-09-15

Publications (1)

Publication Number Publication Date
WO2018052100A1 true WO2018052100A1 (ja) 2018-03-22

Family

ID=61620025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033374 WO2018052100A1 (ja) 2016-09-15 2017-09-15 画像処理装置、画像処理方法、画像処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2018052100A1 (ja)
WO (1) WO2018052100A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
WO2021045500A1 (ko) * 2019-09-03 2021-03-11 주식회사 코믹스브이 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN112533047A (zh) * 2019-09-03 2021-03-19 富士施乐株式会社 图像处理装置及记录媒体
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质
JP2021149679A (ja) * 2020-03-19 2021-09-27 凸版印刷株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2012153475A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 描画合成装置
WO2016140060A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2012153475A1 (ja) * 2011-05-11 2012-11-15 パナソニック株式会社 描画合成装置
WO2016140060A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN109978949B (zh) * 2019-03-26 2023-04-28 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
WO2021045500A1 (ko) * 2019-09-03 2021-03-11 주식회사 코믹스브이 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN112533047A (zh) * 2019-09-03 2021-03-19 富士施乐株式会社 图像处理装置及记录媒体
JP2021149679A (ja) * 2020-03-19 2021-09-27 凸版印刷株式会社 画像処理システム、画像処理方法、及びプログラム
JP7419908B2 (ja) 2020-03-19 2024-01-23 Ｔｏｐｐａｎホールディングス株式会社 画像処理システム、画像処理方法、及びプログラム
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质
CN113220251B (zh) * 2021-05-18 2024-04-09 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2018052100A1 (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN108876926B (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
US10789765B2 (en) Three-dimensional reconstruction method
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US20200090354A9 (en) Method and system for image-based image rendering using a multi-camera and depth camera array
CN101729920A (zh) 一种自由视角立体视频显示方法
US8577202B2 (en) Method for processing a video data set
WO2019193696A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP7505481B2 (ja) 画像処理装置および画像処理方法
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
CN108450031B (zh) 图像捕获装置
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
US10699372B2 (en) Image generation apparatus and image display control apparatus
US20200134779A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
KR101163020B1 (ko) ３차원 모델을 스케일링하는 방법 및 스케일링 유닛
WO2019193699A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
TW201911239A (zh) 立體環景影片產生方法及裝置
JP7366563B2 (ja) 画像生成装置、画像生成方法、及びプログラム
KR20230074179A (ko) 다중 평면 이미지들을 처리하기 위한 기법들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17851000

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539795

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17851000

Country of ref document: EP

Kind code of ref document: A1