Nothing Special   »   [go: up one dir, main page]

WO2020036114A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2020036114A1
WO2020036114A1 PCT/JP2019/031286 JP2019031286W WO2020036114A1 WO 2020036114 A1 WO2020036114 A1 WO 2020036114A1 JP 2019031286 W JP2019031286 W JP 2019031286W WO 2020036114 A1 WO2020036114 A1 WO 2020036114A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
virtual
distance
real
viewing angle
Prior art date
Application number
PCT/JP2019/031286
Other languages
English (en)
French (fr)
Inventor
隆寛 河邉
奈美 小川
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/268,059 priority Critical patent/US11403830B2/en
Publication of WO2020036114A1 publication Critical patent/WO2020036114A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present invention relates to a virtual reality technology, and more particularly, to a technology for controlling the size of a visual target in a virtual reality space.
  • VR Virtual reality
  • a computer In order to realize VR, a computer generates a three-dimensional space (VR space, that is, virtual reality space) in which the perceptual representation does not substantially change from the real three-dimensional space, and observes it with a head-mounted display (VR goggles). May be presented to others.
  • the head mounted display is an image display device that is mounted so as to completely cover the upper part of the face of the observer.
  • the head-mounted display is provided with independent video display units arranged a few centimeters in front of the right and left eyes of the observer wearing the head-mounted display, and displays the right-eye image and the left-eye image with the right and left eyes. Can be presented independently of the eyes.
  • the distance between the two points in the VR space is set to the actual human eye distance. (6.5 cm) or a value close thereto. Then, two cameras (cameras in the VR space) are installed at these two points so that their shooting directions are parallel and in the same direction.
  • a camera in a VR space also has a spatial range (angle of view) in which light can be received, and the angle of view of the camera in the VR space is a right-eye image and a left-eye image.
  • a spatial range in the VR space included in each of the images is determined.
  • a simulation can be performed in which a target having a light source and a surface reflecting light and a camera for photographing the target are arranged in the VR space, and the light reflected by the target is received by the camera and photographed. This is called a shooting simulation.
  • the images generated as a result of the shooting simulation are the right-eye image and the left-eye image displayed on the head-mounted display.
  • Imaging of the result of the shooting simulation can be performed using general 3D modeling software, a VR simulator, or the like.
  • 3D modeling / rendering software such as Unity (registered trademark) or Blender (registered trademark) can be used. It is also possible to automate processing from shooting simulation to imaging.
  • the three-dimensional shape of the object in the VR space is represented by a set of polygons (triangles). If the number of polygons per unit volume in the VR space is small, the surface shape becomes coarse. Conversely, if the number of polygons per unit volume in the VR space is large, the surface shape becomes fine.
  • image information called a texture By attaching image information called a texture to a polygon, a color or a texture is displayed in a set of polygons.
  • an image of a virtual hand (a hand displayed in a VR space) having the same apparent size as a real hand of the observer (the observer's own hand in a real space) is presented by a head-mounted display.
  • the “apparent size” means the size of the hand perceived by the observer. For example, if the length from the middle finger to the wrist of a real hand in the real space is defined as “hand size” for convenience, the hand size is usually 18 to 20 cm, but the virtual hand is also real. You can set it to look as big as your hand.
  • a virtual hand model When a set of polygons (triangles) representing the three-dimensional shape of a hand in a VR space is called a “virtual hand model”, the size of the virtual hand model in the VR space is set to 18 to 20 cm. Then, the apparent size of the virtual hand becomes the same as the apparent size of the real hand.
  • the apparent size of the virtual hand becomes the same as the size of the real hand. It does not match. For example, if the size of the virtual hand model is set to 10 cm, the apparent size of the virtual hand in the VR space appears smaller than the apparent size of the real hand. For example, when the size of the virtual hand model is set to 40 cm, the apparent size of the virtual hand in the VR space looks larger than the apparent size of the real hand (for example, see Non-Patent Document 2).
  • the virtual hand in the VR space has the same apparent size as the real hand, the virtual hand is expressed as “virtual ordinary hand”. If the virtual hand in the VR space is apparently larger than the real hand, the virtual hand is expressed as a “virtual giant hand”. When the virtual hand in the VR space is apparently smaller than the real hand, the virtual hand is expressed as "virtual dwarf hand”.
  • a method of expressing a virtual giant's hand in the VR space a method of increasing the size of a virtual hand model is considered.
  • a method of expressing a virtual child's hand in the VR space a method of reducing the size of a virtual hand model can be considered.
  • a problem may occur in the apparent texture of the virtual hand.
  • the size of a virtual hand model is increased in order to represent a virtual giant's hand in a VR space. If this virtual giant's hand is too close to the camera, the virtual hand model is too large to fit in the camera's field of view, resulting in a space where the virtual giant's hand is displayed on the head mounted display It goes out of range.
  • the size of the virtual hand model is increased, the number of polygons per unit volume constituting the virtual hand decreases, so that the surface shape of the hand of the virtual giant becomes rough.
  • the resolution of the texture applied to the polygon becomes coarse.
  • the texture of the hand of the virtual giant such as shading, color, wrinkles, and texture
  • the texture of the virtual hand changes greatly when switching between the virtual giant's hand and the virtual ordinary hand, and the observer feels uncomfortable.
  • the size of the virtual hand model is reduced in order to represent a virtual child's hand in the VR space. In this case, the image area of the virtual child's hand captured by the camera in the VR space becomes too small, and the detailed texture of the virtual child's hand may not be visible. is there.
  • the texture of the hands of the virtual child is significantly different from the texture of the real hands, and the observer may feel uncomfortable. Furthermore, the texture of the virtual hand changes greatly when switching between the virtual child's hand and the virtual normal hand, and the observer feels uncomfortable.
  • Such a problem is caused when the size of the virtual hand based on the real hand of the observer is different from the size of the real hand and is presented to the observer, or the size of the virtual hand is changed to change the size of the virtual hand.
  • the case where a certain object presents a visual object enlarged or reduced in the VR space to the observer or the visual object in the VR space corresponding to the certain object is enlarged or reduced and presented to the observer It is also common when you do.
  • the present invention has been made in view of such a point, and a visual object in a VR space in which a certain object is enlarged or reduced in order to present it to the observer without greatly changing the apparent texture perceived by the observer.
  • the goal is to generate
  • the first object in the real space or the virtual reality space is enlarged or reduced to generate the second object which is the visual object in the virtual reality space.
  • the first viewing angle which is the viewing angle formed by the first object or the estimated viewing angle at the actual observation position in the real space or the virtual observation position in the virtual reality space
  • the second viewing angle which is the viewing angle formed by the second object at the virtual observation position.
  • the second distance that is the distance from the virtual observation position to the second object is the distance from the actual observation position or the virtual observation position to the first object.
  • the second target is larger than the first distance that is the estimated distance and the second target is a reduced version of the first target, the second distance is smaller than the first distance.
  • FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the embodiment.
  • FIG. 2 is a schematic diagram exemplifying a situation in which the left eye views the objects a and b, which are the same size, with the left eye.
  • FIG. 3 is a schematic diagram exemplifying a situation in which the left eye of the left and right eyes is looking at objects c and f, which are targets having different sizes.
  • FIG. 4 is a schematic view illustrating the reference part of the hand.
  • FIG. 5A is a schematic diagram illustrating a change in the viewing angle and depth of a real hand
  • FIG. 5B is a schematic diagram illustrating a change in the viewing angle and depth of a virtual giant hand based on the real hand. .
  • FIG. 5A is a schematic diagram illustrating a change in the viewing angle and depth of a real hand
  • FIG. 5B is a schematic diagram illustrating a change in the viewing angle and depth of a virtual giant hand based on
  • FIG. 6A is a schematic view illustrating a change in viewing angle and depth of a real hand
  • FIG. 6B is a schematic view illustrating a change in viewing angle and depth of a virtual child's hand based on the real hand. is there.
  • FIGS. 7A and 7B are schematic diagrams exemplifying a state in which the viewing angle for the object in the real space and the viewing angle for the object in the virtual space are the same, and the size of the object in the virtual space is different from that in the real space.
  • FIG. 8 is a block diagram illustrating a functional configuration of the image processing apparatus according to the embodiment.
  • FIG. 9 is a schematic diagram illustrating a state in which the depth of the target is changed in the virtual space.
  • the size constancy refers to a characteristic of a brain (sight) that determines the size of an object in consideration of the depth of the object.
  • Humans receive light from the world. Its receptor is the eye. There is a part called the retina in the back of the eyes, and light passing through the eyes hits the retina. Retinal cells in the retina are stimulated by light, and signals from the stimulated retinal cells are transmitted to the brain through nerve fibers. As the signal is further processed in the brain, humans can see the world.
  • FIG. 2 illustrates a situation where the left eye of the left and right eyes of the observer is viewing the objects a and b, which are targets of the same size.
  • the viewing angle formed by the object a with the left eye is the angle AOA 'in FIG. 2
  • the viewing angle formed by the object b with the left eye is the angle BOB' in FIG.
  • the point O represents the origin located inside the crystalline lens of the left eye.
  • the object a and the object b have the same size, but the object b is located farther from the left eye than the object a.
  • the viewing angle of the object b is smaller than the viewing angle of the object a. That is, the angle AOA '> the angle BOB'.
  • the observer can determine that the size of the object a and the size of the object b are equal. In order to understand the size judgment by the observer, it is necessary to understand the relationship between the depth estimation and the size estimation by the brain.
  • the brain can estimate the depth from the difference (binocular parallax) between the images reflected by the right and left eyes.
  • the object b is gazed at in FIG. 2, the object a generates the cross parallax, and the object b which is the gazing point does not generate the binocular parallax (that is, the binocular parallax generated by the object b becomes zero) ).
  • the brain estimates that the object that generates the cross parallax is closer to the front than the object that does not generate binocular parallax, and thus the object a is recognized as being closer to the viewer than the gazed object b.
  • the object b when gazing at the object a in FIG. 2, the object b generates non-intersecting parallax, and the gazing point object a does not generate binocular parallax (that is, the binocular parallax generated by the object a). Becomes zero).
  • the brain estimates that the object that generates non-intersecting parallax is deeper than the object that does not generate binocular parallax, so that the object b is recognized as being deeper than the gazed object a. In this way, the brain can recognize that the object b is farther than the object a by using the binocular parallax as the depth information.
  • the brain determines the sizes of the object a and the object b based on the depth estimation.
  • the visual angle (angle BOB ′) generated by the object b is the visual angle generated by the object a (angle AOA ′). Recognize that it is smaller than
  • the brain also recognizes that the object b is farther than the object a from the above-described depth estimation.
  • the brain generally has a priori knowledge that things that are far away seem smaller than when they are close. The brain determines that it is most probable that the object a and the object b have the same size from the relationship between the recognition of the viewing angle and the depth and the prior knowledge. This is the function of size constancy.
  • FIG. 3 illustrates a situation where the left eye of the left and right eyes of the observer is viewing objects c and f, which are targets of different sizes.
  • the viewing angle formed by the object c with the left eye is the angle COC '
  • the viewing angle formed by the object f with the left eye is the angle FOF'.
  • the angle COC ' is equal to the angle FOF'.
  • the object f is larger than the object c, and the object f is located farther from the left eye than the object c.
  • the brain also recognizes that the object f is farther than the object c from the above-described depth estimation. Furthermore, the brain has the above-mentioned prior knowledge. From these, the brain has the same visual angle between the object c and the object f, but since the object f is farther than the object c, the actual size of the object f will be larger than the object c. Infer. This is also a function of size constancy.
  • the virtual hand that the brain feels while matching the real hand viewing angle when the observer observes the real hand moving in the real space matches the virtual hand viewing angle captured by the camera in the VR space. Operate the depth position of the hand based on the binocular parallax. As a result, the virtual hand can be made to look larger or smaller than the real hand without making the texture of the virtual hand significantly different from the texture of the real hand.
  • the distance (the linear dimension from L to L ′) from the tip of the right thumb to the base of the little finger of the right hand is defined as “hand size” and the viewing angle is defined.
  • the part of the hand used to calculate the viewing angle is called a reference part, and the length (linear dimension) of the reference part is called a reference distance.
  • the viewing angle formed by the reference distance is the viewing angle of the hand.
  • the reference portion is represented by a horizontal line segment.
  • FIG. 5A illustrates a change in the visual angle of the real hand when the depth from the observer's eye to the real hand changes in the present technology
  • FIG. 5B illustrates a virtual hand based on the real hand.
  • a change in the viewing angle of the virtual hand when the depth from the camera changes is illustrated.
  • the distance from the origin O of the observer's eye to the real three-dimensional shape of the hand (eg, the distance from the origin O to the center point of the real hand three-dimensional shape) is expressed as “real hand depth distance”.
  • the distance from the origin O I (for example, the focal point) located on the image plane I of the camera that captures the VR space to the virtual hand (for example, the distance from the origin O I to the center point of the three-dimensional shape of the virtual hand) ) Is expressed as “virtual hand depth distance”.
  • k r represents the depth distance of realistic hand
  • k v represents the depth distance of the virtual hand.
  • a virtual hand is moved in a VR space along with a movement of a real hand in a real space. That is, the virtual hand is moved simultaneously with the real hand.
  • FIG. 5A illustrates a reference portion of a real hand when the real hand is placed at the position P r1 in the real space
  • the horizontal line segment E r2 -E ′ r2 is 9 illustrates a reference part of a real hand when a real hand is arranged at a position Pr2 in the real space
  • the horizontal line segment E v1 -E ′ v1 in FIG. 5B illustrates a virtual hand reference portion arranged at the position P v1 when a real hand is arranged at the position P r1
  • Horizontal segments E v2 -E 'v2 illustrates the reference portion of the virtual hand is disposed at a position P v2 in realistic hands is disposed at a position P r2.
  • the depth distance of the real hand changes.
  • the depth distance realistic arranged at a position P r1 hand smaller than the depth distance of the deployed realistic hand position P r2.
  • the linear dimension of the horizontal line segment E r1 -E ′ r1 is equal to the linear dimension of the horizontal line segment E r2 -E ′ r2 .
  • realistic hand eggplant viewing angle (dotted line angle) of the origin O at the position P r1 E r1 OE 'r1 is realistic hand eggplant viewing angle (solid line angle) position P r2 E r2 OE' r2 Greater than.
  • the depth distance of the virtual hand located at the position P v1 is smaller than the depth distance of the virtual hand located at the position P v2 .
  • the reference distance of the virtual hand is always constant, and the linear dimension of the horizontal line segment E v1 -E ′ v1 is equal to the linear dimension of the horizontal line segment E v2 ⁇ E ′ v2 .
  • the origin O I a virtual hand eggplant viewing position P v1 (broken line angle) E v1 O I E 'v1 is virtual hand makes viewing angle (solid line angle) position P v2 E v2 O I E 'greater than v2.
  • the observer is greater or virtual hand is reduced It is possible to make the user feel that the depth of the virtual hand of the same size has changed naturally without feeling that it has fallen.
  • the virtual hand-formed viewing angle of the position P v1 at the origin O I (the angle formed by the broken line in FIG. 5B) E v1 O I E ′ v1 is set at the origin O and the real hand-formed position P r1 is formed.
  • the viewing angle (the angle formed by the broken line in FIG. 5A) E r1 OE ′ r1 is made to coincide.
  • the change in the viewing angle made by the hand is made equal.
  • the viewing angle formed by the virtual hand is Is always matched with the viewing angle of a realistic hand.
  • the origin O I a virtual hand eggplant viewing position P v2 (solid line angle in FIG. 5B) E v2 O I E ' v2, the origin O at the position P r2 realistic hand Nasu viewing angle (solid line angle in FIG. 5A) to coincide with the E r2 OE 'r2.
  • the change in the viewing angle made by the hand is made equal. Therefore, in this technique, even in the case of moving the virtual hand from the position P v2 with the movement from the position P r2 of the real hand in the direction of the position P r1 toward the position P v1, eggplant virtual hand
  • the viewing angle always matches the viewing angle of a realistic hand.
  • the viewing angle formed by the virtual hand is always made to match the viewing angle formed by the real hand.
  • the virtual hand appearance texture is always equal to the real hand appearance texture.
  • the virtual hand depth distance k v is always larger than the real hand depth distance k r in FIG. 5A (it is made farther). ).
  • the reference distance of the virtual hand is always larger than the reference distance of the real hand in FIG. 5A.
  • the virtual hand of FIG. 5B is perceived as a virtual giant's hand by the action of size constancy, because the virtual hand of FIG. 5B is larger in apparent size than the real hand of FIG. 5A. I have.
  • the virtual hand can be perceived as a giant's hand without greatly changing the texture of the real hand.
  • FIG. 6A illustrates a change in the visual angle of the real hand when the depth from the observer's eye to the real hand changes in the present technology
  • FIG. 6B illustrates a virtual hand based on the real hand.
  • the change of the viewing angle of the virtual hand when the depth from the camera changes.
  • FIG. 6A illustrates a reference portion of a real hand when the real hand is placed at the position P r3 in the real space
  • the horizontal line segment E r4 -E' r4 is a real line
  • 9 illustrates a reference part of a real hand when a real hand is placed at the position Pr4 in the real space
  • the horizontal line segment E v3 -E ′ v3 in FIG. 6B illustrates a virtual hand reference portion arranged at the position P v3 when a real hand is arranged at the position Pr 3
  • the horizontal line segment E v4 -E ' v4 exemplifies a virtual hand reference portion arranged at the position P v4 when a real hand is arranged at the position P r4 .
  • the depth distance of the real hand changes.
  • the depth distance of realistic arranged at a position P r3 hand smaller than the depth distance of the deployed realistic hand position P r4.
  • the reference distance realistic hand does not change, it equal to the linear dimension of the horizontal segments E r3 -E 'r3 linear dimensions and horizontal segments E r4 -E' r4.
  • realistic hand eggplant viewing angle (dotted line angle) E r3 OE origin O at the position P r3 'r3 is realistic hand eggplant viewing angle (solid line angle) position P r4 E r4 OE' r4 Greater than.
  • the depth distance of a virtual hand disposed at a position P v3 is smaller than the depth distance of a virtual hand disposed at a position P v4.
  • the reference distance of the virtual hand is always constant, an equal linear size of 'the linear dimensions of v3 horizontal segments E v4 -E' horizontal segments E v3 -E v4.
  • the origin O virtual hand makes viewing angle (dashed angle formed) E v3 O I E 'v3 of I at position P v3 is formed viewing angle of a virtual hand position P v4 (solid line angle) E v4 O I E 'greater than v4.
  • a virtual hand VR space to position P v4 by this technique, be or move from the position P v4 to the position P v3, the observer is greater or virtual hand is reduced It is possible to make the user feel that the depth of the virtual hand of the same size has changed naturally without feeling that it has fallen.
  • the virtual hand-formed viewing angle of the position P v3 at the origin O I (the angle formed by the dashed line in FIG. 6B) E v3 O I E ′ v3 is set at the origin O and the real hand-formed position P r3
  • the viewing angle (the angle formed by the dashed line in FIG. 6A) E r3 OE ′ r3 is matched.
  • a change in the viewing angle of the real hand accompanying the movement from the real hand position Pr3 to the position Pr4 and the virtual angle accompanying the movement from the virtual hand position Pv3 to the position Pv4 .
  • the change in the viewing angle made by the hand is made equal.
  • the change in the viewing angle made by the hand is made equal. Therefore, in this technique, even in the case of moving the virtual hand from the position P v4 with the movement from the position P r4 realistic hand in the direction of the position P r3 toward the position P v3, makes the virtual hand
  • the viewing angle always matches the viewing angle of a realistic hand.
  • the viewing angle formed by the virtual hand is always made to match the viewing angle formed by the real hand.
  • the virtual hand appearance texture is always equal to the real hand appearance texture.
  • the virtual hand depth distance k v is always smaller than (is closer to) the real hand depth distance k r in FIG. 6A. ).
  • the reference distance of the virtual hand is always smaller than the reference distance of the real hand in FIG. 6A.
  • the virtual hand of FIG. 6B is perceived as a virtual child's hand with a smaller apparent size than the real hand of FIG. ing.
  • a virtual hand can be perceived as a child's hand without significantly changing the texture of a real hand.
  • the real hand in order to realize the above-described principle in an image processing system, a case where a real hand position and a depth distance are acquired and an observer wants to recognize that a virtual hand is a virtual giant's hand
  • the real hand determine the distance shorter than the depth distance as the virtual hand depth distance, and set the size of the virtual hand model so that the visual angle of the virtual hand located at this distance is the same as the real hand angle. Is determined, and the VR space including the determined depth distance and the virtual hand having the determined size is displayed on the right-eye display and the left-eye display of the head mounted display. An example that shows.
  • the image processing system 1 of the present embodiment includes a real space image acquisition device 10, a real space position acquisition device 11, an image processing device 12, and an image presentation device 13.
  • the real space image acquisition device 10 is a device that acquires an image of a target existing in a real space.
  • the real space position acquisition device 11 is a device that acquires information on the position of a target existing in the real space.
  • the real space image acquisition device 10 is a device including a camera (for example, an RGB camera), and the real space position acquisition device 11 is a device including a position sensor (for example, a depth sensor).
  • a depth camera such as Leap Motion (registered trademark) or Kinect (registered trademark) can be used as the real space image acquisition device 10 and the real space position acquisition device 11.
  • the image processing device 12 exemplified in the present embodiment includes a real coordinate calculation unit 121, a real distance calculation unit 122, a virtual distance calculation unit 123, a virtual coordinate calculation unit 124, a virtual size calculation unit 126, an image processing unit 127, and a presentation unit. This is an apparatus having an image generation unit 128.
  • the real coordinate calculation unit 121, the real distance calculation unit 122, the virtual distance calculation unit 123, the virtual coordinate calculation unit 124, the virtual size calculation unit 126, and the image processing unit 127 generate a virtual hand in which a real hand is enlarged or reduced.
  • the image presentation device 13 is a device that presents an image for causing a viewer to perceive a VR space.
  • An example of the image presentation device 13 is a head mounted display that presents a right-eye image and a left-eye image.
  • Real space position acquisition unit 11 Real space position acquisition unit 11, and outputs the acquired position information p r representing the position of the observer's real hand.
  • the actual coordinate calculation unit 121 of the image processing apparatus 12 receives the positional information p r, the position R [i r, j r, k r] in the real space of the observer's real hand coordinate values i r representing the, j r, to the output the k r.
  • Coordinate value i r described in this embodiment, j r, k r is orthogonal coordinate system R of the position of the observer's eye as the origin R [0,0,0] real space [x, y, z] position of the real hand in R [i r, j r, k r] represents a.
  • R the origin R [0,0,0]
  • R the origin R [0,0,0]
  • i r, j r, k r is the horizontal axis of the orthogonal coordinate system of the respective real space
  • a vertical axis is a coordinate value on the depth axis.
  • Position R [i r, j r, k r] is, for example, a three-dimensional center point realistic hand. Further, the virtual size calculation unit 126 receives the position information pr as an input, and calculates and outputs a real hand size S d (for example, a linear dimension from L to L ′ in FIG. 4).
  • ⁇ Process to get distance from observer's eye position to real hand ⁇ ⁇ ⁇ Actual distance calculating unit 122 inputs the coordinate values i r, j r, k r, from the position of the observer's eye (the origin R [0,0,0]), the coordinate values i r, j r, k r Calculates and outputs the distance d to the real hand position represented by.
  • Coordinate values i r in this embodiment, j r, k r is to represent the coordinate system R [x, y, z] position R [i r, j r, k r] Realistic hand in a real distance calculator
  • the distance d may be calculated by the following equation (1).
  • the virtual distance calculation unit 123 receives the parameter ⁇ and the distance d described above, and obtains and outputs the distance D from the camera position in the VR space to the virtual hand expressed by the following equation (2).
  • D ⁇ ⁇ d
  • the parameter ⁇ is a positive real number that specifies how many times the apparent size of the virtual hand is larger than the size of the real hand.
  • the parameter ⁇ may be input to the image processing device 12 from the outside, or may be read from a storage unit (not shown) of the image processing device 12.
  • the apparent size of the virtual hand is increased by ⁇ times the size of the real hand without significantly changing the texture of the virtual hand from the texture of the real hand.
  • the distance D is set to ⁇ times the distance d as shown in Expression (2).
  • the virtual coordinate calculation unit 124 above the position R [i r, j r, k r] coordinate values i r of inputs the j r, k r, the distance d, and the distance D, the virtual hand position V in VR space [i v, j v, k v] coordinate values i v of, j v, determines the k v outputs.
  • the position V exemplified in this embodiment [i v, j v, k v] is an orthogonal coordinate system V a VR space and the position of the camera in VR space as the origin V [0,0,0] [x , Y, z].
  • the origin O I of the imaging plane I of one specific camera in the VR space is defined as the origin V [0,0, 0].
  • Virtual hand position V [i v, j v, k v] for example, a three-dimensional center point of the virtual hand.
  • i v, j v, k v is the horizontal axis of the orthogonal coordinate system of each VR space
  • a vertical axis is a coordinate value on the depth axis.
  • the virtual coordinate calculation unit 124 the following equation (3) virtual hand corresponding to the distance D by the coordinate values i v, determines the j v, k v.
  • a virtual hand size determination process will be described with reference to FIGS. 7A and 7B.
  • the origin O i.e. the origin R [0,0,0]
  • the size S d of the real hand satisfy the following relational expression.
  • the virtual hand size S satisfying the expression (5) D may be used.
  • the virtual size calculation unit 126 obtains and outputs the virtual hand size SD that satisfies Expressions (4) and (5) described above.
  • the virtual size calculation unit 126 inputs the position information p r obtained by the real space position acquisition device 11, the distance d output from the real distance calculation unit 122, and the distance D output from the virtual distance calculation unit 123. Then, a virtual hand size SD satisfying Expressions (4) and (5) is obtained and output.
  • the virtual size calculation unit 126 calculates the tan .theta half on the basis of the position information p r (e.g., determine the S d based on the position information p r as described above, by using the S d and d Tan ⁇ half is obtained according to equation (4)), SD is obtained according to equation (5) using tan ⁇ half and D, and is output.
  • Real space image acquisition apparatus 10 and outputs the acquired image information g r representing the image of the observer's real hand.
  • the image processing unit 127, image information g r obtained in real space image acquisition apparatus 10, the coordinate value i v obtained by the virtual coordinate calculation unit 124, j v, k v, and, in the virtual size calculation unit 126 The obtained virtual hand size SD is input.
  • the image processing unit 127 the VR space, a virtual hand imitating a real hand specified by the image information g r, the coordinate value i v, j v, k v position V [i v of, j v , K v ] (for example, with the position V [ iv , j v , k v ] as the center point), and generate and output an image p v including a virtual hand of size SD.
  • the virtual hand imitating a real hand means, for example, a virtual hand similar or substantially similar to the real hand.
  • the virtual hand color is, for example, the same as the real hand color.
  • Image p v that is output from the image processing unit 127 is input to the presentation image generation unit 128.
  • Presentation image generation unit 128 uses the image p v, the position of the camera in VR space (e.g., the origin O I and the imaging plane I) corresponding to an enlarged or reduced virtual hand (realistic hand visible from a virtual hand position V [i v, j v, k v] disposed in magnitude to generate a presentation image P to be presented to the observer a virtual hand) is S D Output.
  • the presentation image P may be a still image or a moving image (moving image).
  • An example of the presentation image P is a moving image having a specified frame rate (for example, 30 Hz).
  • the presentation image P includes, for example, a right-eye image and a left-eye image to be presented to the observer's right and left eyes, respectively.
  • the presentation image generation unit 128 places the two cameras in the VR space where the image pv is displayed so that their shooting directions are parallel.
  • the camera is installed so as to face the same direction, and a shooting simulation for shooting the VR space with these cameras is performed.
  • the respective imaging planes I of these two cameras are arranged on the same straight line, and the horizontal distance between the cameras is adjusted to the distance between human eyes (about 6.5 cm) or its vicinity.
  • An image taken by the camera arranged on the left side is defined as an image for the left eye
  • an image photographed by the camera arranged on the right side is defined as an image for the right eye.
  • a well-known technique such as the above-described 3D modeling / rendering software may be used for the shooting simulation.
  • the image presentation device 13 receives the presentation image P as input, and presents the presentation image P to the observer.
  • the image presentation device 13 is a head-mounted display and the presentation image P has a right-eye image and a left-eye image
  • the right-eye display of the head-mounted display presents a right-eye image
  • An ophthalmic display presents an image for the left eye.
  • the image for the right eye is presented to the right eye of the observer wearing the head mounted display
  • the image for the left eye is presented to the left eye.
  • the observer presented with the presentation image P recognizes a virtual hand in the VR space.
  • the virtual hand-held viewing angle in the right-eye image and the left-eye image presented by the head-mounted display is the same as the real hand-held viewing angle, regardless of the value of the parameter ⁇ described above.
  • the parameter ⁇ is ⁇ > 1
  • the observer recognizes that the virtual hand is a virtual giant's hand by the action of the size constancy.
  • the observer recognizes that the virtual hand is a virtual child's hand by the action of size constancy.
  • the virtual hand-formed viewing angle in the right-eye image and the left-eye image presented by the head-mounted display is the same as the real hand-formed viewing angle regardless of the value of ⁇ . Therefore, the virtual giant hand, virtual dwarf hand, and virtual ordinary hand appearance texture in the right-eye image and left-eye image presented by the head-mounted display, regardless of the value of ⁇ , It is not much different from the texture of real hands. That is, when ⁇ > 1, the surface shape of the virtual giant hand does not become too rough, and when 0 ⁇ ⁇ 1, the surface shape of the virtual child hand does not become too fine. Also, the hands of the virtual giant do not protrude from the space displayed on the head-mounted display.
  • the virtual size calculation unit 126 calculates and outputs SD in accordance with Expression (5). Satisfying Expressions (4) and (5) described above is equivalent to satisfying Expressions (6A) and (6B) below.
  • S D / S d D / d (6A)
  • S D / S d ⁇ (6C)
  • S D S d ⁇ ⁇ (6D) Therefore, in the first embodiment, the virtual size calculation unit 126 calculates and outputs SD according to Equations (4) and (5).
  • the virtual size calculation unit 126 calculates a value obtained by multiplying Sd by D / d to SD. Or the virtual size calculation unit 126 may output a value obtained by multiplying Sd by ⁇ as SD .
  • the virtual size calculation unit 126 obtains the S d based on the input position information p r, it may be output as S D ones obtained by multiplying the ⁇ filled in S d obtained.
  • the virtual size calculation unit 126 obtains S d based on the input position information pr , and calculates and outputs SD by the equation (6B) using the obtained S d and the input D and d. May be.
  • the size of a target model in a VR space can be set by a ratio to the size of a reference target.
  • the size of the virtual hand may be set to ⁇ times the size of the real hand.
  • VR software the function of such software
  • the image processing system 2 of the present embodiment includes a real space image acquisition device 10, a real space position acquisition device 11, an image processing device 22, and an image presentation device 13.
  • the image processing device 22 is a device including a real coordinate calculation unit 121, a virtual coordinate calculation unit 224, an image processing unit 227, and a presentation image generation unit 128.
  • the real coordinate calculation unit 121, the virtual coordinate calculation unit 224, and the image processing unit 227 are processing units (view target generation units) that generate virtual hands obtained by enlarging or reducing real hands.
  • ⁇ Real hand position measurement ⁇ This is the same as the first embodiment. That is, the real space position acquisition unit 11 acquires and outputs the position information p r representing the position of the observer's real hand in a real space.
  • the actual coordinate calculation unit 121 inputs the positional information p r, the position R [i r, j r, k r] of the observer's real hand coordinate values i r representing a, j r, to obtain k r Output.
  • Expression (3) can be transformed into Expression (7) below.
  • Virtual coordinate calculation unit 224 a position R obtained in real coordinate calculation unit 121 [i r, j r, k r] coordinate values i r of the j r, k r and the input parameter ⁇ as an input, wherein according (7), a virtual hand position V [i v, j v, k v] coordinate values i v of, j v, and outputs to obtain k v.
  • the position V of the virtual hand [i v, j v, k v] is a three-dimensional center point of the virtual hand.
  • ⁇ Virtual hand size determination process Real space image acquisition apparatus 10, and outputs the acquired image information g r representing the image of the observer's real hand.
  • the image processing unit 227, the VR space, a virtual hand realistic hand specified by the image information g r enlarged or reduced virtual ordinary hand imitating coordinate value i v, j v, k v position V of [i v, j v, k v] is located (e.g., the position V [i v, j v, k v] and center point), with ⁇ times of virtual ordinary hand size and it generates and outputs an image p v containing certain Virtual hand.
  • ⁇ may be designated in the above-described VR software.
  • the virtual hand size SD generated in this way also satisfies the relationship of Expression (6).
  • the value of the parameter ⁇ may be changed. This makes it possible to change the apparent size of the virtual hand without significantly changing the texture of the virtual hand. 9, in VR space, forming the visual angle of realistic hand at the origin O of the real space of the parameters ⁇ is changed when a theta, illustrating a state of changing the depth distance k v virtual hand.
  • the value of the parameter ⁇ input to the image processing apparatus may be changed (variation mode 1), or some operation may be performed on the value of the parameter ⁇ input or stored in the image processing apparatus to change the value of the parameter ⁇ .
  • the value may be changed (variation mode 2).
  • An example of the first variation is that the left arrow key and the right arrow key of a keyboard of a personal computer or the like are used as an interface, and the setting is such that pressing the left arrow key decreases ⁇ , and pressing the right arrow key increases ⁇ . It is.
  • the observer presses the left arrow key and sets ⁇ to a value satisfying 0 ⁇ ⁇ 1. I do.
  • the observer presses the right arrow key to set ⁇ to a value satisfying ⁇ > 1.
  • the keys actually used may be any two keys instead of the right and left arrow keys.
  • the value of the parameter ⁇ may be changed by an input using a mouse, an input to a touch panel such as a smartphone terminal device, an input from a game controller, a voice input, an input from a non-contact input device, or the like.
  • the variation mode 2 for example, the magnitude of ⁇ monotonically increases or decreases with time, periodically fluctuates with time, randomly changes, or changes discontinuously. Or an aspect that changes in accordance with another processing result.
  • the parameter ⁇ may be a value corresponding to the depth distance k r realistic hand.
  • the image processing apparatus sets the value of the parameter ⁇ to ⁇ 1 (here, ⁇ 1 ) when the real hand depth distance kr is a predetermined depth distance (predetermined distance) ⁇ 1 (where ⁇ 1 is a positive value). 1 is a positive value, and the value of the parameter ⁇ is ⁇ 2 (where ⁇ 2 is ⁇ 1 ) when the real hand depth distance k r is ⁇ 2 (where ⁇ 2 is a positive value different from ⁇ 1 ). (A different positive value).
  • the function value FNC of depth distance k r Realistic hand (k r) may be alpha.
  • ⁇ 1.
  • FNC (k r), to the extent of kappa 1 ⁇ k r may be one which increases monotonically with increasing k r, nondecreasing with increasing k r (weakly monotonically increasing) May be used.
  • FNC (k r) may When continuous function, preferably a continuous function that increases monotonically with increasing k r.
  • the maximum value of the depth distance kr of a real hand (for example, the maximum distance (for example, 1 m) that a real hand can reach (for example, 1 m)) is ⁇ max > ⁇ 1
  • FNC (k r ) 1 + ( ⁇ 0 ⁇ 1) ⁇ (k r ⁇ 1 ) / ( ⁇ max ⁇ 1 ) (8)
  • 0 ⁇ k when a r ⁇ kappa 1 is a alpha 1
  • FNC ( ⁇ 2) is kappa
  • the virtual hand looks like this: That is, when a depth distance k r realistic hand kappa 1 or less (e.g., 30cm or less from the eye), the virtual hand, the same depth as the real hand (e.g.
  • the present invention is not limited to the above-described embodiment and its modified examples.
  • the distance from the origin O in the real space to the center point of the three-dimensional shape of realistic hand and d, 3-dimensional virtual hand from the camera origin O I in VR space The example in which the distance to the center point of the shape is D is shown.
  • the distance from the origin O to any other point of the three-dimensional real hand may be d
  • the distance from the origin O I to any other point of the virtual three-dimensional hand may be D. It may be.
  • the origin O may be determined from the origin O I.
  • the origin O of the eye is set to the origin R [0,0,0].
  • the origin R [0,0,0] is set near the origin O of the eye.
  • another point whose relative position to the origin O of the eye is fixed may be set as the origin R [0,0,0].
  • the origin R [0,0,0]
  • other positions or image plane of the imaging plane I of the camera A position near I may be set as the origin OI.
  • an example of the origin O I as the origin V [0,0,0] even in the vicinity of the origin O I as the origin V [0,0,0] good to the other points the relative positions are fixed with respect to the origin O I may origin V [0,0,0].
  • the image processing unit 127 the position V [i v, j v, k v] showing an example of generating an image p v that contains a virtual hand centered point .
  • the position V [i v, j v, k v] to the may be other positions of the virtual hand position V [i v, j v, k v] may be a relative position with respect to the virtual hand.
  • the distance from the tip of the right thumb to the base of the little finger of the right hand is set as the reference distance.
  • the distance of another part of the hand may be used as the reference distance.
  • the parameter ⁇ is a positive real variable in the above embodiment and its modification
  • the parameter ⁇ may be a positive real constant. That is, the parameter ⁇ that is a constant may be set in the image processing apparatus in advance, and the image processing apparatus may perform the above-described processing using the parameter ⁇ .
  • a virtual hand model imitating a real hand of an observer is arranged in the VR space.
  • an arbitrary 3D shape model (a set of polygons) may be arranged in the VR space instead of such a virtual hand model.
  • the “virtual hand” is replaced with an arbitrary 3D object (referred to as “virtual 3D object”) in the VR space
  • the “virtual ordinary hand” is replaced by “ Replaced by "virtual giant 3D shape", replaced by "virtual giant hand” by “virtual giant 3D shape”, replaced by "virtual giant hand” by “virtual minimal 3D shape”
  • the replacement may be performed, and the above-described processing may be executed.
  • the “virtual ordinary 3D object” means a virtual 3D object that the observer perceives as having the same apparent size as a real hand.
  • “Virtual huge 3D shape object” means a virtual 3D shape object that the observer perceives as being larger than a real hand.
  • the “virtual minimal 3D shape object” means a virtual 3D shape object that the observer perceives as being smaller than a real hand.
  • “The observer perceives that the real hand has the same apparent size as the real hand” means, for example, that the observer has the same reference distance of the reference part of the real hand and the linear dimension of the virtual 3D object. Means to perceive.
  • “The observer perceives that the real hand is larger than the real hand” means, for example, that the observer perceives that the linear dimension of the virtual 3D object is larger than the reference distance of the reference part of the real hand. means.
  • the observer perceives that the virtual hand is smaller than the real hand means, for example, that the observer perceives that the linear dimension of the virtual 3D object is smaller than the reference distance of the reference part of the real hand. means.
  • the “linear dimension of a 3D object” may be defined in any way.
  • An example of the “linear dimension of the 3D object” is an external dimension of a specific portion of the 3D object, a maximum value of the external dimension of the 3D object, a minimum value of the external dimension of the 3D object, and an external dimension of the 3D object. It is an average value.
  • any 3D instead of the image information g r in the image processing unit 127, 227 A shape model is input.
  • the image processing unit 127, 227 generates and outputs an image p v by using the arbitrary 3D shape model in place of the image information g r.
  • the arbitrary 3D shape model may be input from outside the image processing device, or may be read from a storage unit (not shown) of the image processing device. Thereby, it is possible to present the observer with a virtual 3D object moving in the VR space in accordance with a realistic hand movement, and without significantly changing the texture of the virtual 3D object.
  • the virtual 3D object can be made to look large or small.
  • the value of the parameter ⁇ to ⁇ > 1
  • a virtual minimal 3D object that moves in the VR space according to a realistic hand movement can be presented.
  • the value of the parameter ⁇ to ⁇ 1, it is possible to present a virtual ordinary 3D object that moves in the VR space according to a realistic hand movement.
  • the virtual 3D shape object moving in the VR space according to the real hand movement can be made larger or smaller without making the apparent texture perceived by the observer greatly different. Or you can.
  • the “virtual 3D shape object” may or may not imitate an arbitrary visual target in the real space, and may or may not represent a visual target existing in the real space. Good.
  • Examples of the “virtual 3D shape object” include a set of polygons representing a robot arm, a set of polygons representing a hand-operated tool such as a hammer or a tong.
  • a set of polygons that usually do not correspond to realistic hand movements may be referred to as “virtual 3D objects”.
  • an aggregate of polygons representing tigers may be a “virtual 3D shape object”.
  • the VR space Virtual hand position V [i v, j v, k v] an example for obtaining the coordinate values i v, j v, k v and virtual hand size S D of.
  • the position of the virtual 3D object and the position of the virtual 3D object can be determined only from the parameter ⁇ without being based on the real hand position.
  • the size can be determined.
  • the estimated viewing angle (estimated viewing angle) ⁇ in the VR space.
  • a virtual 3D object having a size SD according to the parameter ⁇ can be presented.
  • the size SD of the virtual 3D object is, for example, the aforementioned “linear dimension of the 3D object”.
  • the image processing device can estimate the viewing angle of the viewing target existing at the specific distance d from the origin O, the viewing angle obtained by bisecting the estimated viewing angle (estimated viewing angle) ⁇ is defined as ⁇ half , and the specific distance d and ⁇ half Can be used to determine S d based on equation (4). Further, the image processing apparatus can obtain the distance D based on the equation (2) using the parameter ⁇ and the specific distance d. Further, the image processing apparatus can calculate SD according to Expression (5) using the viewing angle ⁇ half obtained by bisecting the above-described estimated viewing angle ⁇ and the distance D.
  • the image processing apparatus using a distance D and the size S D obtained in this manner the distance from the origin O I of the camera in VR space is D, the image size includes 3D shape thereof is S D p v can be generated.
  • the viewing angle of the 3D object obtained in this way is always the same as the estimated viewing angle ⁇ .
  • the size of the eraser is not so different, it is possible to estimate the estimated viewing angle ⁇ of the eraser existing at a position separated by an arbitrary specific distance d from the observer from the typical size of the eraser.
  • the image processing apparatus when the collection of polygons representing the eraser and 3D dimensional object, the image processing apparatus, without based on the position of the eraser in the real space, the VR space, the origin O I without estimated viewing angle theta, the parameters image p v can be generated that contains a collection of polygons representing the eraser having a size S D corresponding to alpha.
  • the VR space of the VR space can be estimated only from the parameter ⁇ without being based on a real hand position.
  • the position of the virtual 3D object and the size of the virtual 3D object can be obtained. That is, if the distance (estimated distance) d of the viewing target forming the specific viewing angle ⁇ can be estimated by the observer, the specific viewing angle ⁇ is formed at the origin O I in the VR space, and the size SD corresponding to the parameter ⁇ is obtained. It is possible to present a virtual 3D object having.
  • the image processing apparatus estimates the estimated distance d eggplant visual target specific viewing angle theta with the observer, the viewing angle that bisects particular viewing angle theta and theta half, using the estimated distance d and theta half, formula ( can be obtained S d based on 4). Further, the image processing apparatus can obtain the distance D based on the equation (2) using the parameter ⁇ and the estimated distance d. Further, the image processing apparatus can calculate SD according to Expression (5) using the viewing angle ⁇ half obtained by bisecting the above viewing angle ⁇ and the distance D. The image processing apparatus using a distance D and the size S D obtained in this manner, the distance from the origin O I of the camera in VR space is D, the image size includes 3D shape thereof is S D p v can be generated.
  • a real hand may be replaced with another viewing target in the real space.
  • a real hand may be replaced with other parts such as the head and feet of the observer in the real space, an object other than the observer such as a ball or a car in the real space, an image displayed in the real space, or the like.
  • the virtual hand color may be another color corresponding to the real hand color, or may be a color that is uncorrelated with the real hand color.
  • the image processing apparatus enlarges or reduces the “first object” in the real space or the virtual reality space to generate a “second object” that is a viewing object in the virtual reality space (VR space).
  • the “first object” represent a real hand or another visual object in “real space”, a virtual 3D object simulating the visual object in “real space”, or a visual object that does not exist in “real space”. It is a virtual 3D object.
  • the “second object” include a virtual hand, a virtual 3D object, and the like.
  • first viewing angle for example, the “first object” of the “real observation position (for example, the origin O)” in the real space or the “virtual observation position (for example, the origin O I )” in the “virtual reality space”
  • viewing angle ⁇ is the same as the “second viewing angle (for example, viewing angle ⁇ )” of the “second object” at the “virtual observation position” (FIGS. 7A, 7B, and 9).
  • the “second distance” (for example, the distance D or the distance D) from the “virtual observation position” to the “second object”
  • the ratio of the “second distance” to the “first distance” is the ratio of the “first object”.
  • the image processing apparatus "virtual reality space” in the “virtual observer position (e.g., the origin O I and the imaging plane I)" and viewed from presentation image P to be presented to the "second object” observer May be generated.
  • the presentation image P is presented to the observer by the image presentation device.
  • the “first object” simulates a visual object in the “real space” or a visual object in the “real space”, and the “view angle (for example, visual angle ⁇ )” of the “first object” is “real observation”.
  • the position (eg, origin O) ” is the“ viewing angle ”of the viewing target in“ real space ”, and the“ first distance (eg, k r ) ”is from the“ real observation position ”to the viewing target in“ real space ”.
  • the minute for example, ⁇ 21 ⁇ 1
  • the “first value” is larger than the “second value”. For example, the ratio of the "second distance” to the "first distance” increases as the amount of increase of the "first distance” relative to the "predetermined distance” increases.
  • the estimated viewing angle (for example, ⁇ ) is “first”
  • the “second target” may be generated such that the “viewing angle” is the same as the “second viewing angle” formed by the “second target” at the “virtual observation position”.
  • the distance from the “observation position” to the “first object” can be estimated without being based on the position of the viewing target in the real space, instead of the distance from the “actual observation position” to the “first object”,
  • the estimated distance (for example, d) may be set as the “first distance”.
  • first viewing angle may not be exactly the same as the “second viewing angle”, and the “first viewing angle” may be substantially the same as the “second viewing angle”.
  • difference between the “first viewing angle” and the “second viewing angle” may be equal to or smaller than ⁇ % (eg, 1%, 3%, 5%, 7%, etc.) of the “first viewing angle”.
  • the ratio of the “second distance” to the “first distance” does not have to be exactly the same as the ratio of the linear dimension of the “second target” to the linear dimension of the “first target”, and these are substantially the same. It may be. For example, these differences may be less than or equal to ⁇ % (for example, 1%, 3%, 5%, 7%, etc.) of the ratio of the “second distance” to the “first distance”.
  • the image processing apparatus described above is, for example, a general-purpose or dedicated processor including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory).
  • the computer is configured by executing a predetermined program.
  • This computer may include one processor or memory, or may include a plurality of processors or memories.
  • This program may be installed in a computer, or may be recorded in a ROM or the like in advance.
  • Some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. You may.
  • An electronic circuit constituting one device may include a plurality of CPUs.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
  • this program is carried out, for example, by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device.
  • the computer reads a program stored in its own storage device and executes a process according to the read program.
  • the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing may be sequentially performed according to the received program.
  • the processing functions of the present apparatus may not be realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.
  • a visual target in a VR space in which a certain object is enlarged or reduced is presented to the observer using size constancy without greatly changing the apparent texture perceived by the observer. be able to.
  • an application that operates a VR space with the hands of a virtual giant or the hands of a virtual child can be realized without making the apparent texture significantly differ from real hands.
  • a virtual hand model already exists, a virtual model is created using an existing virtual hand model without creating a new model having a different size from the existing virtual hand model. Giant hands and virtual dwarf hands can also be presented.
  • Such a technology can be used in various fields using virtual reality (eg, games, video works, education, medical care, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

見かけの質感を大きく変えることなく、ある対象を拡大または縮小してＶＲ空間における視対象を生成する。実空間または仮想現実空間における第１対象を拡大または縮小して仮想現実空間における視対象である第２対象を生成する。ただし、実空間における実観察位置または仮想現実空間における仮想観察位置で第１対象のなす視角または推定視角である第１視角は、当該仮想観察位置で第２対象のなす視角である第２視角と同一または略同一であり、第２対象が第１対象を拡大したものである場合には、仮想観察位置から第２対象までの距離である第２距離は、実観察位置または仮想観察位置から第１対象までの距離または推定距離である第１距離よりも大きく、第２対象が第１対象を縮小したものである場合には、第２距離は第１距離よりも小さい。

Description

画像処理装置、画像処理方法、およびプログラム
　本発明は、仮想現実技術に関し、特に、仮想現実空間における視対象の大きさを制御する技術に関する。
　バーチャルリアリティ（VR: virtual reality、「仮想現実」と訳される）とは、対象が観察者の周囲に存在しない（現前していない）にもかかわらず、観察者にその対象が周囲に存在すると感じさせる（同一の知覚表象を生じさせる）技術である（例えば、非特許文献１等参照）。ＶＲを実現するために、知覚表象が現実の３次元空間と実質的に変わらない３次元空間（ＶＲ空間、すなわち仮想現実空間）をコンピュータにより生成し、それをヘッドマウントディスプレイ（ＶＲゴーグル）によって観察者に提示することがある。ヘッドマウントディスプレイは、観察者の顔面上部をすっぽりと覆うように装着される映像表示装置である。ヘッドマウントディスプレイは、それを装着した観察者の右眼および左眼の数センチ前にそれぞれ配置される独立の映像表示部を具備し、右眼用画像と左眼用画像とを右眼と左眼とに独立に提示できる。コンピュータが生成したＶＲ空間からヘッドマウントディスプレイで表示される右眼用画像と左眼用画像とを得るために、ＶＲ空間内の２つの点を、２点間距離が実際の人間の眼間距離（６．５ｃｍ）またはそれに近い値となるように選択する。そして、これらの２つの点に２個のカメラ（ＶＲ空間のカメラ）を、それらの撮影方向が平行に同方向を向くようにそれぞれ設置する。実空間（現実空間）のカメラと同じように、ＶＲ空間のカメラにも光を受光できる空間範囲（画角）が存在し、そのＶＲ空間のカメラの画角が右眼用画像と左眼用画像とにそれぞれ含まれるＶＲ空間内の空間範囲を決定する。ＶＲ空間内に光源と光を反射する表面を持つ対象と対象を撮影するカメラとを配置し、当該対象で反射された光を当該カメラが受光して撮影するシミュレーションを行うことができる。これを撮影シミュレーションと呼ぶ。この撮影シミュレーションの結果として生成されるものが、ヘッドマウントディスプレイに表示される右眼用画像および左眼用画像である。撮影シミュレーションの結果の画像化は、一般的な３ＤモデリングソフトウェアやＶＲシミュレーターなどを用いて可能であり、例えばUnity（登録商標）やBlender（登録商標）といった３Ｄモデリング／レンダリングソフトウェアを用いることができる。撮影シミュレーションから画像化までの処理を自動化することも可能である。
　ＶＲ空間内における物体の３次元形状はポリゴン（三角形）の集合体によって表現される。ＶＲ空間における単位体積当たりのポリゴンの数が少なければ表面形状は粗くなり、逆に、ＶＲ空間における単位体積当たりのポリゴンの数が多ければ表面形状はきめ細やかになる。ポリゴンに対し、テクスチャと呼ばれる画像情報を貼り付けることによって、ポリゴンの集合体に色や肌理が表示される。
　ＶＲでは、観察者のリアルな手（実空間における観察者自身の手）と同じ見かけの大きさを持つバーチャルな手（ＶＲ空間内に表示される手）の映像を、ヘッドマウントディスプレイによって提示することもできる。ここで「見かけの大きさ」とは、観察者が知覚する手の大きさのことを意味している。例えば、便宜的に実空間におけるリアルな手の中指から手首までの長さを「手の大きさ」として定義すると、通常、手の大きさは１８～２０ｃｍであるが、バーチャルな手もリアルな手と同じ位の大きさに見えるように設定することができる。ＶＲ空間内において手の３次元形状を表現するポリゴン（三角形）の集合体のことを「バーチャルな手のモデル」と呼ぶ時、ＶＲ空間におけるバーチャルな手のモデルの大きさを１８～２０ｃｍに設定すると、バーチャルな手の見かけの大きさはリアルな手の見かけの大きさと同じになる。
　一方で、ＶＲ空間におけるバーチャルな手のモデルの大きさを、リアルな手が通常取りうる大きさの範囲の外に設定すると、バーチャルな手の見かけの大きさはリアルな手の見かけの大きさと一致しない。例えばバーチャルな手のモデルの大きさを１０ｃｍに設定すると、ＶＲ空間内のバーチャルな手の見かけの大きさはリアルな手の見かけの大きさよりも小さく見える。例えばバーチャルな手のモデルの大きさを４０ｃｍに設定すると、ＶＲ空間内のバーチャルな手の見かけの大きさはリアルな手の見かけの大きさよりも大きく見える（例えば、非特許文献２等参照）。
　以降、ＶＲ空間におけるバーチャルな手がリアルな手と同じ見かけの大きさをもつ場合、そのバーチャルな手を「バーチャルな普通の手」と表現する。ＶＲ空間におけるバーチャルな手がリアルな手よりも見かけ上大きい場合、そのバーチャルな手を「バーチャルな巨人の手」と表現する。ＶＲ空間におけるバーチャルな手が、リアルな手よりも見かけ上小さい場合、そのバーチャルな手を「バーチャルな小人の手」と表現する。
舘▲すすむ▼・佐藤誠・廣瀬通孝　監修，"バーチャルリアリティ学"，日本バーチャルリアリティ学会，２０１１年． Linkenauger, S. A., Leyrer, M., Bulthoff, H. H., Mohler, B. J. "Welcome to Wonderland: The Influence of the Size and Shape of a Virtual Hand On the Perceived Size and Shape of Virtual Objects," [online], 2013年7月11日，PLOS ONE, 8(7), e68594, [2018年6月1日検索], インターネット＜https://doi.org/10.1371/journal.pone.0068594＞
　ＶＲ空間でバーチャルな巨人の手を表現する方法として、バーチャルな手のモデルの大きさを大きくする方法が考えられる。逆にＶＲ空間でバーチャルな小人の手を表現する方法として、バーチャルな手のモデルの大きさを小さくする方法が考えられる。
　しかし、バーチャルな手のモデルの大きさを変更した場合、バーチャルな手の見かけの質感に問題が生じる場合がある。例えば、ＶＲ空間内においてバーチャルな巨人の手を表現するために、バーチャルな手のモデルの大きさの大きくしたと仮定する。このバーチャルな巨人の手をカメラに近づけすぎると、バーチャルな手のモデルが大きすぎてその全貌がカメラの画角に収まらず、結果的にバーチャルな巨人の手がヘッドマウントディスプレイに表示される空間範囲からはみ出してしまう。また、バーチャルな手のモデルの大きさを大きくした場合にはバーチャルな手を構成する単位体積当たりのポリゴン数が減少するため、バーチャルな巨人の手の表面形状は粗くなる。また、ポリゴンに貼るテクスチャの解像度も粗くなる。そのため、例えば、陰影や色、しわ、テクスチャといったバーチャルな巨人の手の質感がリアルな手の質感と大きく異なってしまい、観察者が違和感を感じる。さらには、バーチャルな巨人の手とバーチャルな普通の手とを切り替える場面においてバーチャルな手の質感が大きく変わってしまい、観察者が違和感を感じる。逆に、ＶＲ空間でバーチャルな小人の手を表現するために、バーチャルな手のモデルの大きさを小さくしたと仮定する。この場合には、ＶＲ空間のカメラで撮影されるバーチャルな小人の手の画像領域が小さくなりすぎてしまい、バーチャルな小人の手の詳細なテクスチャを視認することができなくなってしまう場合がある。さらに、バーチャルな手のモデルの大きさを小さくした場合にはバーチャルな手を構成する単位体積当たりのポリゴン数が増加するため、バーチャルな小人の手の表面形状はきめ細やかになるが、ポリゴンに貼るテクスチャが表示する際の画面の解像度に限界があるため、テクスチャの画素値が隣接する画素間で平均化され、結果的に小人の手に貼られたテクスチャがボケて見える。そのため、バーチャルな小人の手の質感がリアルな手の質感と大きく異なってしまい、観察者が違和感を感じる場合がある。さらには、バーチャルな小人の手とバーチャルな普通の手とを切り替える場面においてバーチャルな手の質感が大きく変わってしまい、観察者が違和感を感じる。
　このような問題は、観察者のリアルな手に基づいたバーチャルな手の大きさをリアルな手の大きさと異ならせて観察者に提示する場合やバーチャルな手の大きさを変更して観察者に提示する場合のみならず、ある対象がＶＲ空間において拡大または縮小された視対象を観察者に提示する場合やある対象に対応するＶＲ空間内の視対象を拡大または縮小して観察者に提示する場合にも共通するものである。
　本発明はこのような点に鑑みてなされたものであり、観察者が知覚する見かけの質感を大きく異ならせることなく観察者に提示するための、ある対象を拡大または縮小したＶＲ空間における視対象を生成することを目的とする。
　本発明では、実空間または仮想現実空間における第１対象を拡大または縮小して仮想現実空間における視対象である第２対象を生成する。ただし、実空間における実観察位置または仮想現実空間における仮想観察位置で第１対象のなす視角または推定視角である第１視角は、当該仮想観察位置で第２対象のなす視角である第２視角と同一または略同一である。第２対象が第１対象を拡大したものである場合には、当該仮想観察位置から第２対象までの距離である第２距離は、当該実観察位置または仮想観察位置から第１対象までの距離または推定距離である第１距離よりも大きく、第２対象が第１対象を縮小したものである場合には、第２距離は第１距離よりも小さい。
　これにより、観察者が知覚する見かけの質感を大きく異ならせることなく観察者に提示するための、ある対象を拡大または縮小したＶＲ空間における視対象を生成できる。
図１は、実施形態の画像処理装置の機能構成を例示したブロック図である。 図２は、左右の目のうち、左眼で大きさが同じ対象である物体ａおよび物体ｂを見ている状況を例示した模式図である。 図３は、左右の目のうち、左眼が大きさの異なる対象である物体ｃと物体ｆを見ている状況を例示した模式図である。 図４は、手の基準部を例示した模式図である。 図５Ａは、リアルな手の視角変化および奥行き変化を例示した模式図であり、図５Ｂは、このリアルな手に基づいたバーチャルな巨人の手の視角変化および奥行き変化を例示した模式図である。 図６Ａは、リアルな手の視角変化および奥行き変化を例示した模式図であり、図６Ｂは、このリアルな手に基づいたバーチャルな小人の手の視角変化および奥行き変化を例示した模式図である。 図７Ａおよび図７Ｂは、実空間での対象に対する視角と仮想空間での対象に対する視角とを同一とし、仮想空間の対象を実空間の対象と異なる大きさとした様子を例示した模式図である。 図８は実施形態の画像処理装置の機能構成を例示したブロック図である。 図９は、仮想空間において対象の奥行きを変化させた様子を例示した模式図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［原理］
　まず、本実施形態で説明する技術の原理を説明する。ここでは、観察者のリアルな手に基づくバーチャルな手の大きさをリアルな手の大きさと異ならせて知覚させる場合について説明する。
　本技術では、大きさ恒常性を利用することで、バーチャルな手の質感をリアルな手の質感と大きく異ならせずに、バーチャルな手をリアルな手よりも大きく見せたり小さく見せたりする。大きさ恒常性とは、対象の奥行きを考慮して対象の大きさを判断する脳（視覚）の特性を意味する。人間は世界から光を受容する。その受容器は目である。目の奥には網膜と呼ばれる部位があり、目を通過してきた光が網膜に当たる。網膜にある網膜細胞が光によって刺激され、刺激を受けた網膜細胞からの信号が神経繊維を通じて脳に伝わる。その信号が脳において更に情報処理されることにより、人間は世界を見ることができる。脳は、対象の大きさを直接測定することはできないので、網膜に当たった光のパタンの大きさに基づいて対象の大きさを判断する。このとき、網膜に当たった光のパタンの大きさは対象がなす視角に対応する。図２は、観察者の左右の目のうち、左眼が同じ大きさの対象である物体ａおよび物体ｂを見ている状況を例示している。左眼で物体aがなす視角は、図２における角ＡＯＡ’であり、左眼で物体ｂがなす視角は図２における角ＢＯＢ’である。なお、点Ｏは左眼の水晶体内部に位置する原点を表す。図２では物体aと物体ｂとが同じ大きさであるが、物体ｂの方が物体aよりも左眼から遠い位置にある。この場合、物体ｂの視角は物体ａの視角よりも小さい。つまり、角ＡＯＡ’＞角ＢＯＢ’である。しかしながら、図２のような事態に遭遇したときであっても、観察者は物体ａと物体ｂの大きさが等しいと判断できる。この観察者による大きさ判断を理解するためには、脳による奥行き推定と大きさ推定の関係性を理解することが必要である。
　まず、脳は右眼と左眼に映る像のずれ（両眼視差）から奥行きを推定することができる。また、２つの対象が存在する場合、その２つの対象が生成する両眼視差の関係性（相対視差）から、２つの対象のどちらが遠くにあるかを推定することができる。例えば、図２において物体ｂを注視した場合、物体aは交差性視差を生成し、注視点である物体ｂは両眼視差を生成しない（すなわち、物体ｂが生成する両眼視差は零になる）。一般に脳は、交差性視差を生成する対象が両眼視差を生成しない対象よりも手前にあると推定するため、物体ａは注視された物体ｂよりも手前にあると認識される。一方で、例えば、図２において物体aを注視した場合、物体ｂは非交差性視差を生成し、注視点である物体ａは両眼視差を生成しない（すなわち、物体ａが生成する両眼視差は零になる）。一般に脳は、非交差性視差を生成する対象が両眼視差を生成しない対象よりも奥まっていると推定するため、物体ｂは注視された物体aよりも奥まっていると認識される。このように脳は両眼視差を奥行き情報として用いることで、物体ｂが物体aよりも遠くにあることを認識することができる。
　次に、この奥行き推定に基づいて、脳が物体aと物体ｂの大きさをどのように判断するかという点について説明する。脳は、網膜に当たった物体ｂの光のパタンが物体aの光のパタンよりも小さいことから、物体ｂが生成する視角（角ＢＯＢ’）は、物体aが生成する視角（角ＡＯＡ’）よりも小さいと認識する。脳はまた、前述の奥行き推定により、物体ｂが物体aよりも遠くにあることを認識する。さらに、一般に脳は、遠くにあるものはそれが近くにあるときよりも小さく見えるという事前知識を持っている。脳は、このような視角および奥行きについての認識と事前知識との関係性から、物体aと物体ｂとが同じ大きさであることが最も確からしいと判断する。これが大きさ恒常性の働きである。
　図３は、観察者の左右の目のうち、左眼が大きさの異なる対象である物体ｃおよび物体ｆを見ている状況を例示している。左眼で物体ｃのなす視角は角ＣＯＣ’であり、左眼で物体ｆのなす視角は角ＦＯＦ’である。角ＣＯＣ’は角ＦＯＦ’と等しい。また、物体ｆは物体ｃよりも大きく、物体ｆの方が物体ｃよりも左眼から遠い位置にある。この時、脳は、網膜に当たった物体ｃの光のパタンが物体ｆの光のパタンと同じ大きさであることから、ＦＯＦ’＝ＣＯＣ’であると認識する。脳はまた、前述の奥行き推定により、物体ｆが物体ｃよりも遠くにあることを認識する。さらに脳は、上述の事前知識を持っている。これらより、脳は、物体ｃと物体ｆとで視角は同じだけれど、物体ｆの方が物体ｃよりも遠くにあるから、物体ｆの方が物体ｃよりも実際の大きさは大きいだろうと推測する。これも大きさ恒常性の働きである。
　本技術では、実空間で移動するリアルな手を観察者が観察した際のリアルな手の視角とＶＲ空間内のカメラで撮影したバーチャルな手の視角とを一致させつつ、脳が感じるバーチャルな手の奥行き位置を両眼視差に基づいて操作する。これにより、バーチャルな手の質感をリアルな手の質感と大きく異ならせずに、バーチャルな手を見かけ上、リアルな手よりも大きく見せたり小さく見せたりする。
　まず、本技術において、バーチャルな手を見かけ上、リアルな手よりも大きく見せる場合、すなわちバーチャルな巨人の手を提示する場合について説明する。図４に例示するように、以降の説明では、便宜上、右手親指の先端から右手小指の付け根までの距離（ＬからＬ’までの線形寸法）を「手の大きさ」と定義して視角を計算する。視角を計算するために利用した手の部分を基準部と呼び、基準部の長さ（線形寸法）を基準距離と呼ぶ。基準距離のなす視角が手の視角である。また、基準部を水平線分によって表現する。図５Ａに、本技術において、観察者の目からリアルな手までの奥行きが変化する場合における当該リアルな手の視角変化を例示し、図５Ｂに、このリアルな手に基づいたバーチャルな手のカメラからの奥行きが変化する場合における当該バーチャルな手の視角変化を例示する。観察者の目の原点Ｏからリアルな手の３次元形状までの距離（例えば、原点Ｏからリアルな手の３次元形状の中心点までの距離）を「リアルな手の奥行き距離」と表現し、ＶＲ空間を撮影するカメラの結像面Ｉに位置する原点ＯＩ（例えば、焦点）からバーチャルな手までの距離（例えば、原点ＯＩからバーチャルな手の３次元形状の中心点までの距離）を「バーチャルな手の奥行き距離」と表現する。ｋｒはリアルな手の奥行き距離を表し、ｋｖはバーチャルな手の奥行き距離を表す。本技術では、バーチャルな手を、リアルな手の実空間での移動に伴ってＶＲ空間内を移動させる。すなわち、バーチャルな手をリアルな手と終始同時に移動させる。例えば、リアルな手が実空間の位置Ｐｒ１から位置Ｐｒ２へ移動すると、それに伴ってバーチャルな手をＶＲ空間の位置Ｐｖ１から位置Ｐｖ２へ移動させる。リアルな手およびバーチャルな手の移動に伴い、リアルな手の奥行き距離ｋｒ、およびバーチャルな手の奥行き距離ｋｖが変化する。ただし、リアルな手の奥行き距離ｋｒと当該リアルな手に基づいたバーチャルな手の奥行き距離ｋｖとの比は常に一定である。図５Ａにおける水平線分Ｅｒ１－Ｅ’ｒ１は、リアルな手が実空間の位置Ｐｒ１に配置された際のリアルな手の基準部を例示し、水平線分Ｅｒ２－Ｅ’ｒ２は、リアルな手が実空間の位置Ｐｒ２に配置された際のリアルな手の基準部を例示している。また、図５Ｂにおける水平線分Ｅｖ１－Ｅ’ｖ１は、リアルな手が位置Ｐｒ１に配置された際に位置Ｐｖ１に配置されるバーチャルな手の基準部を例示している。水平線分Ｅｖ２－Ｅ’ｖ２は、リアルな手が位置Ｐｒ２に配置された際に位置Ｐｖ２に配置されるバーチャルな手の基準部を例示している。
　リアルな手が実空間内を移動すると、リアルな手の奥行き距離が変化する。図５Ａの例の場合、位置Ｐｒ１に配置されたリアルな手の奥行き距離は、位置Ｐｒ２に配置されたリアルな手の奥行き距離よりも小さい。リアルな手の基準距離が変化しないので、水平線分Ｅｒ１－Ｅ’ｒ１の線形寸法と水平線分Ｅｒ２－Ｅ’ｒ２の線形寸法は等しい。この場合、原点Ｏで位置Ｐｒ１のリアルな手のなす視角（破線がなす角）Ｅｒ１ＯＥ’ｒ１は、位置Ｐｒ２のリアルな手のなす視角（実線がなす角）Ｅｒ２ＯＥ’ｒ２よりも大きい。しかしながら、たとえ実空間でリアルな手が位置Ｐｒ１から位置Ｐｒ２へ移動したり、位置Ｐｒ２から位置Ｐｒ１へ移動したりしても、観察者はリアルな手が小さくなったり大きくなったりしたとは感じず、同じ大きさのリアルな手の奥行きが自然に変化したと感じる。
　図５Ｂに例示するように、本技術では、バーチャルな手をリアルな手の移動に伴って移動させ、バーチャルな手の奥行き距離ｋｖをリアルな手の奥行き距離ｋｒに伴って変化させる。ここで、位置Ｐｖ１に配置されたバーチャルな手の奥行き距離は、位置Ｐｖ２に配置されたバーチャルな手の奥行き距離よりも小さい。図５Ｂに例示すように、本技術では、バーチャルな手の基準距離は常に一定とし、水平線分Ｅｖ１－Ｅ’ｖ１の線形寸法と水平線分Ｅｖ２－Ｅ’ｖ２の線形寸法を等しくする。この場合、原点ＯＩで位置Ｐｖ１のバーチャルな手のなす視角（破線がなす角）Ｅｖ１ＯＩＥ’ｖ１は、位置Ｐｖ２のバーチャルな手のなす視角（実線がなす角）Ｅｖ２ＯＩＥ’ｖ２よりも大きい。しかしながら、本技術によってＶＲ空間でバーチャルな手を位置Ｐｖ１から位置Ｐｖ２へ移動させたり、位置Ｐｖ２から位置Ｐｖ１へ移動させたりしても、観察者はバーチャルな手が小さくなったり大きくなったりしたとは感じず、同じ大きさのバーチャルな手の奥行きが自然に変化したと感じさせることができる。
　また、本技術では、原点ＯＩで位置Ｐｖ１のバーチャルな手のなす視角（図５Ｂの破線がなす角）Ｅｖ１ＯＩＥ’ｖ１を、原点Ｏで位置Ｐｒ１のリアルな手のなす視角（図５Ａの破線がなす角）Ｅｒ１ＯＥ’ｒ１と一致させる。さらに、本技術では、リアルな手の位置Ｐｒ１から位置Ｐｒ２への移動に伴うリアルな手のなす視角の変化と、バーチャルな手の位置Ｐｖ１から位置Ｐｖ２への移動に伴うバーチャルな手のなす視角の変化が等しくなるようにする。よって、本技術では、リアルな手の位置Ｐｒ１から位置Ｐｒ２の方向への移動に伴ってバーチャルな手を位置Ｐｖ１から位置Ｐｖ２の方向へ移動させる場合に、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。同様に、本技術では、原点ＯＩで位置Ｐｖ２のバーチャルな手のなす視角（図５Ｂの実線がなす角）Ｅｖ２ＯＩＥ’ｖ２を、原点Ｏで位置Ｐｒ２のリアルな手のなす視角（図５Ａの実線がなす角）Ｅｒ２ＯＥ’ｒ２と一致させる。さらに、本技術では、リアルな手の位置Ｐｒ２から位置Ｐｒ１への移動に伴うリアルな手のなす視角の変化と、バーチャルな手の位置Ｐｖ２から位置Ｐｖ１への移動に伴うバーチャルな手のなす視角の変化が等しくなるようにする。よって、本技術では、リアルな手の位置Ｐｒ２から位置Ｐｒ１の方向への移動に伴ってバーチャルな手を位置Ｐｖ２から位置Ｐｖ１の方向へ移動させる場合にも、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。以上より、本技術では、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。このようにすることで、本技術では、バーチャルな手の見かけの質感を、常時、リアルな手の見かけの質感と同等になるようにしている。一方、図５Ｂに示すように、本技術では、バーチャルな手の奥行き距離ｋｖを、図５Ａにおけるリアルな手の奥行き距離ｋｒよりも常に大きくなるようにしている（遠くなるようにしている）。それによって、図５Ｂに示すように、本技術では、バーチャルな手の基準距離が、図５Ａにおけるリアルな手の基準距離よりも常に大きくなるようにしている。これによって、本技術では、大きさ恒常性の働きにより、図５Ｂのバーチャルな手が、図５Ａのリアルな手よりも見かけの大きさが大きく、バーチャルな巨人の手として知覚されるようにしている。これらにより、本技術では、リアルな手の質感を大きく変えることなく、バーチャルな手を巨人の手として知覚させることができる。
　次に、本技術において、バーチャルな手を見かけ上、リアルな手よりも小さく見せる場合、すなわちバーチャルな小人の手を提示する場合について説明する。図６Ａに、本技術において、観察者の目からリアルな手までの奥行きがが変化する場合における当該リアルな手の視角変化を例示し、図６Ｂに、このリアルな手に基づいたバーチャルな手のカメラからの奥行きが変化する場合における当該バーチャルな手の視角変化を例示する。本技術では、バーチャルな手をリアルな手よりも小さく見せる場合も、バーチャルな手をリアルな手と終始同時に移動させる。例えば、リアルな手が実空間の位置Ｐｒ３から位置Ｐｒ４へ移動すると、それに伴ってバーチャルな手をＶＲ空間の位置Ｐｖ３から位置Ｐｖ４へ移動させる。リアルな手およびバーチャルな手の移動に伴い、リアルな手の奥行き距離ｋｒ、およびバーチャルな手の奥行き距離ｋｖが変化する。バーチャルな手をリアルな手よりも小さく見せる場合も、リアルな手の奥行き距離ｋｒと当該リアルな手に基づいたバーチャルな手の奥行き距離ｋｖとの比は常に一定である。図６Ａにおける水平線分Ｅｒ３－Ｅ’ｒ３は、リアルな手が実空間の位置Ｐｒ３に配置された際のリアルな手の基準部を例示し、水平線分Ｅｒ４－Ｅ’ｒ４は、リアルな手が実空間の位置Ｐｒ４に配置された際のリアルな手の基準部を例示している。また、図６Ｂにおける水平線分Ｅｖ３－Ｅ’ｖ３は、リアルな手が位置Ｐｒ３に配置された際に位置Ｐｖ３に配置されるバーチャルな手の基準部を例示している。水平線分Ｅｖ４－Ｅ’ｖ４は、リアルな手が位置Ｐｒ４に配置された際に位置Ｐｖ４に配置されるバーチャルな手の基準部を例示している。
　リアルな手が実空間内を移動すると、リアルな手の奥行き距離が変化する。図６Ａの例の場合、位置Ｐｒ３に配置されたリアルな手の奥行き距離は、位置Ｐｒ４に配置されたリアルな手の奥行き距離よりも小さい。リアルな手の基準距離が変化しないので、水平線分Ｅｒ３－Ｅ’ｒ３の線形寸法と水平線分Ｅｒ４－Ｅ’ｒ４の線形寸法と等しい。この場合、原点Ｏで位置Ｐｒ３のリアルな手のなす視角（破線がなす角）Ｅｒ３ＯＥ’ｒ３は、位置Ｐｒ４のリアルな手のなす視角（実線がなす角）Ｅｒ４ＯＥ’ｒ４よりも大きい。しかしながら、たとえ実空間でリアルな手が位置Ｐｒ３から位置Ｐｒ４へ移動したり、位置Ｐｒ４から位置Ｐｒ３へ移動したりしても、観察者はリアルな手が小さくなったり大きくなったりしたとは感じず、同じ大きさのリアルな手の奥行きが自然に変化したと感じる。
　図６Ｂに例示するように、本技術では、バーチャルな手をリアルな手の移動に伴って移動させ、バーチャルな手の奥行き距離ｋｖをリアルな手の奥行き距離ｋｒに伴って変化させる。ここで、位置Ｐｖ３に配置されたバーチャルな手の奥行き距離は、位置Ｐｖ４に配置されたバーチャルな手の奥行き距離よりも小さい。図６Ｂに例示すように、本技術では、バーチャルな手の基準距離は常に一定とし、水平線分Ｅｖ３－Ｅ’ｖ３の線形寸法と水平線分Ｅｖ４－Ｅ’ｖ４の線形寸法を等しくする。この場合、原点ＯＩで位置Ｐｖ３のバーチャルな手のなす視角（破線がなす角）Ｅｖ３ＯＩＥ’ｖ３は、位置Ｐｖ４のバーチャルな手のなす視角（実線がなす角）Ｅｖ４ＯＩＥ’ｖ４よりも大きい。しかしながら、本技術によってＶＲ空間でバーチャルな手を位置Ｐｖ３から位置Ｐｖ４へ移動させたり、位置Ｐｖ４から位置Ｐｖ３へ移動させたりしても、観察者はバーチャルな手が小さくなったり大きくなったりしたとは感じず、同じ大きさのバーチャルな手の奥行きが自然に変化したと感じさせることができる。
　また、本技術では、原点ＯＩで位置Ｐｖ３のバーチャルな手のなす視角（図６Ｂの破線がなす角）Ｅｖ３ＯＩＥ’ｖ３を、原点Ｏで位置Ｐｒ３のリアルな手のなす視角（図６Ａの破線がなす角）Ｅｒ３ＯＥ’ｒ３と一致させる。さらに、本技術では、リアルな手の位置Ｐｒ３から位置Ｐｒ４への移動に伴うリアルな手のなす視角の変化と、バーチャルな手の位置Ｐｖ３から位置Ｐｖ４への移動に伴うバーチャルな手のなす視角の変化が等しくなるようにする。よって、本技術では、リアルな手の位置Ｐｒ３から位置Ｐｒ４の方向への移動に伴ってバーチャルな手を位置Ｐｖ３から位置Ｐｖ４の方向へ移動させる場合に、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。同様に、本技術では、原点ＯＩで位置Ｐｖ４のバーチャルな手のなす視角（図６Ｂの実線がなす角）Ｅｖ４ＯＩＥ’ｖ４を、原点Ｏで位置Ｐｒ４のリアルな手のなす視角（図６Ａの実線がなす角）Ｅｒ４ＯＥ’ｒ４と一致させる。さらに、本技術では、リアルな手の位置Ｐｒ４から位置Ｐｒ３への移動に伴うリアルな手のなす視角の変化と、バーチャルな手の位置Ｐｖ４から位置Ｐｖ３への移動に伴うバーチャルな手のなす視角の変化が等しくなるようにする。よって、本技術では、リアルな手の位置Ｐｒ４から位置Ｐｒ３の方向への移動に伴ってバーチャルな手を位置Ｐｖ４から位置Ｐｖ３の方向へ移動させる場合にも、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。以上より、図６Ａおよび図６Ｂの例の場合も、本技術では、バーチャルな手のなす視角をリアルな手のなす視角と常に一致させている。このようにすることで、本技術では、バーチャルな手の見かけの質感を、常時、リアルな手の見かけの質感と同等になるようにしている。一方、図６Ｂに示すように、本技術では、バーチャルな手の奥行き距離ｋｖを、図６Ａにおけるリアルな手の奥行き距離ｋｒよりも常に小さくなるようにしている（近くなるようにしている）。それによって、図６Ｂに示すように、本技術では、バーチャルな手の基準距離が、図６Ａにおけるリアルな手の基準距離よりも常に小さくなるようにしている。これによって、本技術では、大きさ恒常性の働きにより、図６Ｂのバーチャルな手が、図６Ａのリアルな手よりも見かけの大きさが小さく、バーチャルな小人の手として知覚されるようにしている。これらにより、本技術では、リアルな手の質感を大きく変えることなく、バーチャルな手を小人の手として知覚させることができる。
　［第１実施形態］
　次に、第１実施形態を説明する。第１実施形態では、上述した原理を画像処理システムで実現するために、リアルな手の位置および奥行き距離を取得し、バーチャルな手がバーチャルな巨人の手であると観察者に認知させたい場合には、リアルな手の奥行き距離より長い距離をバーチャルな手の奥行き距離として決定し、バーチャルな手がバーチャルな小人の手であると観察者に認知させたい場合には、リアルな手の奥行き距離より短い距離をバーチャルな手の奥行き距離として決定し、この距離の位置に配置されたバーチャルな手の視角がリアルな手の視角と同じになるように、バーチャルな手のモデルの大きさを決定し、決定した奥行き距離と決定した大きさのバーチャルな手を含むＶＲ空間をヘッドマウントディスプレイの右眼用ディスプレイと左眼用ディスプレイで提示する例を示す。
　＜構成＞
　図１に例示するように、本実施形態の画像処理システム１は、実空間画像取得装置１０、実空間位置取得装置１１、画像処理装置１２、および画像提示装置１３を有する。実空間画像取得装置１０は、実空間に存在する対象の画像を取得する装置である。実空間位置取得装置１１は、実空間に存在する対象の位置の情報を取得する装置である。例えば、実空間画像取得装置１０はカメラ（例えば、ＲＧＢカメラ）を備える装置であり、実空間位置取得装置１１は位置センサ（例えば、深度センサ）を備える装置である。例えば、Leap Motion（登録商標）やKinect（登録商標）などの奥行カメラを実空間画像取得装置１０および実空間位置取得装置１１として用いることができる。本実施形態で例示する画像処理装置１２は、実座標計算部１２１、実距離計算部１２２、仮想距離計算部１２３、仮想座標計算部１２４、仮想サイズ計算部１２６、画像処理部１２７、および提示用画像生成部１２８を有する装置である。実座標計算部１２１、実距離計算部１２２、仮想距離計算部１２３、仮想座標計算部１２４、仮想サイズ計算部１２６、および画像処理部１２７が、リアルな手を拡大または縮小したバーチャルな手を生成する処理部（視対象生成部）である。画像提示装置１３は、観察者にＶＲ空間を知覚させるための画像を提示する装置である。画像提示装置１３の例は、右眼用画像と左眼用画像とを提示するヘッドマウントディスプレイである。
　＜処理＞
　本実施形態の処理を説明する。
　≪リアルな手の位置の計測≫
　実空間位置取得装置１１は、観察者のリアルな手の位置を表す位置情報ｐｒを取得して出力する。画像処理装置１２の実座標計算部１２１は、この位置情報ｐｒを入力とし、観察者のリアルな手の実空間における位置Ｒ［ｉｒ，ｊｒ，ｋｒ］を表す座標値ｉｒ，ｊｒ，ｋｒを出力する。本実施形態で例示する座標値ｉｒ，ｊｒ，ｋｒは、観察者の目の位置を原点Ｒ［０，０，０］とした実空間の直交座標系Ｒ［ｘ，ｙ，ｚ］におけるリアルな手の位置Ｒ［ｉｒ，ｊｒ，ｋｒ］を表す。各実施形態では、便宜上、観察者の左眼または右眼の何れか一方の目（例えば、左眼）の原点Ｏを原点Ｒ［０，０，０］とする例を説明する。ここでｉｒ，ｊｒ，ｋｒは、それぞれ実空間の直交座標系の水平軸、垂直軸、奥行軸上の座標値である。例えば、実空間位置取得装置１１で得られたリアルな手の位置情報ｐｒが、実空間位置取得装置１１が備える位置センサを原点とした座標系で表現される位置情報である場合、実座標計算部１２１は、入力された位置センサを原点とした座標系で表現されるリアルな手の位置情報を、座標系Ｒ［ｘ，ｙ，ｚ］におけるリアルな手の座標値ｉｒ，ｊｒ，ｋｒに変換して出力する。位置Ｒ［ｉｒ，ｊｒ，ｋｒ］は、例えば、リアルな手の３次元的な中心点である。また、仮想サイズ計算部１２６は、位置情報ｐｒを入力とし、リアルな手の大きさＳｄ（例えば、図４のＬからＬ’までの線形寸法）を求めて出力する。
　≪観察者の目の位置からリアルな手までの距離を取得する処理≫
　実距離計算部１２２は、座標値ｉｒ，ｊｒ，ｋｒを入力とし、観察者の目の位置（原点Ｒ［０，０，０］）から、座標値ｉｒ，ｊｒ，ｋｒが表すリアルな手の位置までの距離ｄを計算して出力する。本実施形態の座標値ｉｒ，ｊｒ，ｋｒは座標系Ｒ［ｘ，ｙ，ｚ］におけるリアルな手の位置Ｒ［ｉｒ，ｊｒ，ｋｒ］を表すため、実距離計算部１２２は、距離ｄを以下の式（１）で計算すればよい。
Figure JPOXMLDOC01-appb-M000001
　≪バーチャルな手の位置を決定する処理≫
　仮想距離計算部１２３は、パラメータαおよび上述した距離ｄを入力とし、以下の式（２）で表される、ＶＲ空間におけるカメラの位置からバーチャルな手までの距離Ｄを得て出力する。
Ｄ＝α×ｄ　　　（２）
ただし、パラメータαは、バーチャルな手の見かけ上の大きさをリアルな手の大きさの何倍にするかを特定する正の実数である。バーチャルな手をリアルな手よりも大きく見せる場合、すなわちバーチャルな巨人の手を提示する場合にはα＞１とし、バーチャルな手をリアルな手よりも小さく見せる場合、すなわちバーチャルな小人の手を提示する場合は０＜α＜１とする。バーチャルな手をリアルな手と同じ大きさに見せる場合にはα＝１とする。パラメータαは、外部から画像処理装置１２に入力されたものであってもよいし、画像処理装置１２の記憶部（図示せず）から読み出されたものであってもよい。本実施形態では、大きさ恒常性を用い、バーチャルな手の質感をリアルな手の質感と大きく異ならせずに、バーチャルな手の見かけ上の大きさをリアルな手の大きさのα倍にするために、式（２）のように距離ｄのα倍を距離Ｄにする。
　次に、仮想座標計算部１２４は、上述した位置Ｒ［ｉｒ，ｊｒ，ｋｒ］の座標値ｉｒ，ｊｒ，ｋｒ、距離ｄ、および距離Ｄを入力とし、バーチャルな手のＶＲ空間における位置Ｖ［ｉｖ，ｊｖ，ｋｖ］の座標値ｉｖ，ｊｖ，ｋｖを決定して出力する。ここで、本実施形態で例示する位置Ｖ［ｉｖ，ｊｖ，ｋｖ］は、ＶＲ空間のカメラの位置を原点Ｖ［０，０，０］としたＶＲ空間の直交座標系Ｖ［ｘ，ｙ，ｚ］における位置である。各実施形態では、便宜上、ＶＲ空間の特定の一つのカメラ（例えば、前述した２個のカメラのうち左側に配置されるカメラ）の結像面Ｉの原点ＯＩを原点Ｖ［０，０，０］とする例を説明する。バーチャルな手の位置Ｖ［ｉｖ，ｊｖ，ｋｖ］は、例えば、バーチャルな手の３次元的な中心点である。なお、ｉｖ，ｊｖ，ｋｖは、それぞれＶＲ空間の直交座標系の水平軸、垂直軸、奥行軸上の座標値である。例えば、仮想座標計算部１２４は、以下の式（３）によって距離Ｄに対応するバーチャルな手の座標値ｉｖ，ｊｖ，ｋｖを決定する。
Figure JPOXMLDOC01-appb-M000002
　≪バーチャルな手の大きさの決定処理≫
　図７Ａおよび図７Ｂを用いてバーチャルな手の大きさの決定処理を説明する。実空間の原点Ｏ（つまり原点Ｒ［０，０，０］）から距離ｄにある（つまり図７Ａにおいて位置Ｐｒ２にある）リアルな手の大きさをＳｄとし、実空間の原点Ｏで当該原点Ｏから距離ｄにあるリアルな手のなす視角をθとし、視角θを二等分した視角をθｈａｌｆ＝θ／２とする。この場合、このリアルな手の大きさＳｄは以下の関係式を満たす。
Ｓｄ＝２×ｄ×ｔａｎθｈａｌｆ　　　（４）
ここで、ＶＲ空間において、原点ＯＩ（つまり原点Ｖ［０，０，０］）から距離Ｄにある（つまり図７Ｂにおいて位置Ｐｖ２にある）バーチャルな手の視角が、実空間の原点Ｏで当該原点Ｏから距離ｄにあるリアルな手のなす視角θと同じになるようにするためには、バーチャルな手の大きさＳＤが以下の関係式を満たす必要がある。
ＳＤ＝２×Ｄ×ｔａｎθｈａｌｆ　　　（５）
なお、図７ＢはＤ＞ｄの場合を例示しているが、Ｄ≦ｄの場合であってもバーチャルな手の大きさＳＤが式（５）を満たす必要がある。以上より、原点ＯＩから距離Ｄの位置にバーチャルな手を配置し、その視角をリアルな手のなす視角θと同一にするためには、式（５）を満たすバーチャルな手の大きさＳＤとすればよい。仮想サイズ計算部１２６は、上述した式（４）と式（５）を満たすバーチャルな手の大きさＳＤを得て出力する。例えば、仮想サイズ計算部１２６は、実空間位置取得装置１１で得られた位置情報ｐｒ、実距離計算部１２２から出力された距離ｄ、および仮想距離計算部１２３から出力された距離Ｄを入力とし、式（４）と式（５）を満たすバーチャルな手の大きさＳＤを得て出力する。一例を示すと、仮想サイズ計算部１２６は、位置情報ｐｒに基づいてｔａｎθｈａｌｆを求め（例えば、前述のように位置情報ｐｒに基づいてＳｄを求め、Ｓｄとｄとを用いて式（４）に従ってｔａｎθｈａｌｆを求め）、ｔａｎθｈａｌｆとＤと用いて式（５）に従ってＳＤを求めて出力する。
　実空間画像取得装置１０は、観察者のリアルな手の画像を表す画像情報ｇｒを取得して出力する。画像処理部１２７には、実空間画像取得装置１０で得られた画像情報ｇｒ、仮想座標計算部１２４で得られた座標値ｉｖ，ｊｖ，ｋｖ、および、仮想サイズ計算部１２６で得られたバーチャルな手の大きさＳＤが入力される。画像処理部１２７は、ＶＲ空間において、画像情報ｇｒで特定されるリアルな手を模したバーチャルな手であって、座標値ｉｖ，ｊｖ，ｋｖの位置Ｖ［ｉｖ，ｊｖ，ｋｖ］に配置され（例えば、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］を中心点として配置され）、大きさがＳＤであるバーチャルな手を含む画像ｐｖを生成して出力する。リアルな手を模したバーチャルな手とは、例えば、リアルな手と相似または略相似なバーチャルな手を意味する。バーチャルな手の色彩は、例えば、リアルな手の色彩と同一である。
　≪提示用画像の生成および提示≫
　画像処理部１２７から出力された画像ｐｖは提示用画像生成部１２８に入力される。提示用画像生成部１２８は、画像ｐｖを用い、ＶＲ空間においてカメラの位置（例えば、原点ＯＩや結像面Ｉ）から見えるバーチャルな手（リアルな手を拡大または縮小したものに対応するバーチャルな手であって、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］に配置され、大きさがＳＤであるバーチャルな手）を観察者に提示するための提示用画像Ｐを生成して出力する。提示用画像Ｐは、静止画像であってもよいし、動画像（動画）であってもよい。提示用画像Ｐの一例は、規定のフレームレート（例えば３０Ｈｚ）の動画像である。提示用画像Ｐは、例えば、観察者の右眼と左眼にそれぞれ提示する右眼用画像と左眼用画像とを有する。この例の場合、提示用画像生成部１２８は、右眼用画像と左眼用画像とを取得するために、画像ｐｖが表示されたＶＲ空間に２つのカメラをそれらの撮影方向が平行に同方向を向くように設置し、これらのカメラでＶＲ空間を撮影する撮影シミュレーションを行う。この撮影シミュレーションでは、例えば、これら２つのカメラの各結像面Ｉが同一直線上に配置され、カメラ間の水平距離を人間の眼間距離（約６．５ｃｍ）またはその近傍に合わせる。左側に配置されたカメラで撮影した画像を左眼用画像とし、右側に配置されたカメラで撮影した画像を右眼用画像とする。撮影シミュレーションには、上述した３Ｄモデリング／レンダリングソフトウェアなどの周知の技術を用いればよい。
　画像提示装置１３は、提示用画像Ｐを入力とし、提示用画像Ｐを観察者に提示する。例えば、画像提示装置１３がヘッドマウントディスプレイであり、提示用画像Ｐが右眼用画像と左眼用画像とを有する場合、ヘッドマウントディスプレイの右眼用ディスプレイが右眼用画像を提示し、左眼用ディスプレイが左眼用画像を提示する。これにより、ヘッドマウントディスプレイを装着した観察者の右眼には右眼用画像が提示され、左眼には左眼用画像が提示される。提示用画像Ｐが提示された観察者はＶＲ空間でバーチャルな手を認知する。
　ヘッドマウントディスプレイが提示する右眼用画像と左眼用画像におけるバーチャルな手のなす視角は、前述したパラメータαの値にかかわらず、リアルな手のなす視角と同一である。しかしながら、前述したパラメータαがα＞１であるとき、大きさ恒常性の働きにより、観察者はバーチャルな手がバーチャルな巨人の手であると認知する。０＜α＜１であるとき、大きさ恒常性の働きにより、観察者はバーチャルな手がバーチャルな小人の手であると認知する。α＝１であるとき、大きさ恒常性の働きにより、観察者はバーチャルな手がバーチャルな普通の手であると認知する。ここで、再掲するが、ヘッドマウントディスプレイが提示する右眼用画像と左眼用画像におけるバーチャルな手のなす視角は、αの値にかかわらず、リアルな手のなす視角と同一である。そのため、ヘッドマウントディスプレイが提示する右眼用画像と左眼用画像におけるバーチャルな巨人の手、バーチャルな小人の手、およびバーチャルな普通の手の見かけの質感は、αの値にかかわらず、リアルな手の見かけの質感と大きく異ならない。すなわち、α＞１のときにバーチャルな巨人の手の表面形状が粗くなり過ぎたり、０＜α＜１のときにバーチャルな小人の手の表面形状がきめ細かくなり過ぎたりしない。また、バーチャルな巨人の手がヘッドマウントディスプレイに表示される空間範囲からはみ出してしまうこともない。
　［第１実施形態の変形例］
　第１実施形態では、仮想サイズ計算部１２６が式（５）に従ってＳＤを求めて出力した。上述した、式（４）と式（５）を満たすことは、下記の式（６Ａ）や式（６Ｂ）を満たすことと等価である。
ＳＤ／Ｓｄ＝Ｄ／ｄ　　　（６Ａ）
ＳＤ＝Ｓｄ×Ｄ／ｄ　　　（６Ｂ）
また、式（２）から分かる通りＤ／ｄ＝αであるので、式（６Ａ）と式（６Ｂ）は下記の式（６Ｃ）と式（６Ｄ）と等価である。
ＳＤ／Ｓｄ＝α　　　（６Ｃ）
ＳＤ＝Ｓｄ×α　　　（６Ｄ）
したがって、第１実施形態では仮想サイズ計算部１２６が式（４）と式（５）に従ってＳＤを求めて出力したが、仮想サイズ計算部１２６がＳｄをＤ／ｄ倍した値をＳＤとして出力してもよいし、仮想サイズ計算部１２６がＳｄをα倍した値をＳＤとして出力してもよい。例えば、仮想サイズ計算部１２６が、入力された位置情報ｐｒに基づいてＳｄを求め、求めたＳｄと入力されたαと乗算したものをＳＤとして出力してもよい。あるいは、仮想サイズ計算部１２６が、入力された位置情報ｐｒに基づいてＳｄを求め、求めたＳｄと入力されたＤおよびｄを用いて式（６Ｂ）によってＳＤを計算して出力してもよい。
　［第２実施形態］
　バーチャルリアリティを実現するソフトウェアでは、ＶＲ空間内の対象のモデルの大きさを、基準となる対象の大きさに対する比率で設定することができる。このようなソフトウェアを用いてバーチャルな手の大きさをリアルな手の大きさのα倍にしてもよい。ただし、このような既存のソフトウェアは、対象の視角を保ちつつ、対象のモデルの大きさを変更するものではない。第２実施形態ではこのようなソフトウェア（「ＶＲソフトウェア」と呼ぶことにする）の機能を用いる。以降、これまで説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する。
　＜構成＞
　図８に例示するように、本実施形態の画像処理システム２は、実空間画像取得装置１０、実空間位置取得装置１１、画像処理装置２２、および画像提示装置１３を有する。画像処理装置２２は、実座標計算部１２１、仮想座標計算部２２４、画像処理部２２７、および提示用画像生成部１２８を有する装置である。実座標計算部１２１、仮想座標計算部２２４、および画像処理部２２７が、リアルな手を拡大または縮小したバーチャルな手を生成する処理部（視対象生成部）である。
　＜処理＞
　本実施形態の処理を説明する。
　≪リアルな手の位置の計測≫
　第１実施形態と同じである。すなわち、実空間位置取得装置１１は、実空間における観察者のリアルな手の位置を表す位置情報ｐｒを取得して出力する。実座標計算部１２１は、この位置情報ｐｒを入力とし、観察者のリアルな手の位置Ｒ［ｉｒ，ｊｒ，ｋｒ］を表す座標値ｉｒ，ｊｒ，ｋｒを得て出力する。
　≪バーチャルな手の位置を決定する処理≫
　α＝Ｄ／ｄであるため、式（３）は以下の式（７）に変形できる。
Figure JPOXMLDOC01-appb-M000003
　仮想座標計算部２２４は、実座標計算部１２１で得られた位置Ｒ［ｉｒ，ｊｒ，ｋｒ］の座標値ｉｒ，ｊｒ，ｋｒおよび入力されたパラメータαを入力とし、式（７）に従って、バーチャルな手の位置Ｖ［ｉｖ，ｊｖ，ｋｖ］の座標値ｉｖ，ｊｖ，ｋｖを得て出力する。バーチャルな手の位置Ｖ［ｉｖ，ｊｖ，ｋｖ］の例は、バーチャルな手の３次元的な中心点である。
　≪バーチャルな手の大きさの決定処理≫
　実空間画像取得装置１０は、観察者のリアルな手の画像を表す画像情報ｇｒを取得して出力する。画像処理部２２７には、入力されたパラメータα、実空間画像取得装置１０で得られた画像情報ｇｒ、および仮想座標計算部２２４で得られた座標値ｉｖ，ｊｖ，ｋｖが入力される。画像処理部２２７は、ＶＲ空間において、画像情報ｇｒで特定されるリアルな手を模したバーチャルな普通の手を拡大または縮小したバーチャルな手であって、座標値ｉｖ，ｊｖ，ｋｖの位置Ｖ［ｉｖ，ｊｖ，ｋｖ］に配置され（例えば、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］を中心点とし）、大きさがバーチャルな普通の手のα倍であるバーチャルな手を含む画像ｐｖを生成して出力する。ここで、大きさがバーチャルな普通の手のα倍であるバーチャルな手を生成するためには、前述したＶＲソフトウェアにおいてαを指定すればよい。リアルな手の大きさをＤｄとすると、このように生成されるバーチャルな手の大きさＳＤも式（６）の関係を満たす。
　≪提示用画像の生成および提示≫
　第１実施形態と同じである。
　［第３実施形態］
　第１実施形態、第１実施形態の変形例、および第２実施形態において、パラメータαの値を変化させてもよい。これにより、バーチャルな手の質感を大きく変化させることなく、バーチャルな手の見かけの大きさを変化させることができる。図９に、ＶＲ空間において、実空間の原点Ｏでリアルな手のなす視角がθである場合にパラメータαを変化させ、バーチャルな手の奥行き距離ｋｖを変化させた様子を例示する。ここで、α＝１の場合のバーチャルな手の奥行き距離ｋｖをＤα＝１とし、α＝δの場合のバーチャルな手の奥行き距離ｋｖをＤα＝δとし、α＝λの場合のバーチャルな手の奥行き距離ｋｖをＤα＝λとする。ただし、０＜λ＜１＜δである。原点ＯＩから距離Ｄα＝１にある（つまり図９において位置Ｐα＝１にある）バーチャルな手の大きさをＳＤα＝１とし、原点ＯＩから距離Ｄα＝δにある（つまり図９において位置Ｐα＝δにある）バーチャルな手の大きさをＳＤα＝δとし、原点ＯＩから距離Ｄα＝λにある（つまり図９において位置Ｐα＝λにある）バーチャルな手の大きさをＳＤα＝λとする。ここで、ＳＤ＝ＳＤα＝１とし、Ｄ＝Ｄα＝１とすると、前述の式（５）の関係を満たす。同様に、ＳＤ＝ＳＤα＝δとし、Ｄ＝Ｄα＝δとすると、前述の式（５）の関係を満たし、ＳＤ＝ＳＤα＝λとし、Ｄ＝Ｄα＝λとすると、前述の式（５）の関係を満たす。図９に例示するように、αの値を増加させることにより、視角θを保ったままバーチャルな手の奥行き距離および大きさが共に大きくなる。具体的には、αの値がδ倍になると、視角θを保ったままバーチャルな手の奥行き距離ｋｖおよび大きさも共にδ倍になる。逆に、αの値を減少させることにより、視角θを保ったままバーチャルな手の奥行き距離ｋｖおよび大きさが共に小さくなる。具体的には、αの値がλ倍になると、視角θを保ったままバーチャルな手の奥行き距離ｋｖおよび大きさも共にλ倍になる。これにより、バーチャルな手の質感を大きく変化させることなく、バーチャルな手の見かけの大きさを変化させることができる。例えば、α＝１をα＝δに変更することで、バーチャルな手の質感を大きく変化させることなく、バーチャルな普通の手をバーチャルな巨人の手に変更することができる。また、α＝１をα＝λに変更することで、バーチャルな手の質感を大きく変化させることなく、バーチャルな普通の手をバーチャルな小人の手に変更することができる。あるいは、α＝δまたはα＝λをα＝１に変更することで、バーチャルな手の質感を大きく変化させることなく、バーチャルな巨人の手やバーチャルな小人の手をバーチャルな普通の手に変更することができる。
　なお、画像処理装置に入力されるパラメータαの値を変化させてもよいし（変化態様１）、画像処理装置に入力または記憶されたパラメータαの値に何等かの演算を施してパラメータαの値を変化させてもよい（変化態様２）。変化態様１の一例は、パーソナルコンピュータ等のキーボードの左矢印キーと右矢印キーをインターフェースとし、左矢印キーを押すとαが小さくなり、右矢印キーを押すとαが大きくなるように設定するものである。例えば、α≧１を満たすパラメータαに対応するバーチャルな手をバーチャルな小人の手にしようとする場合には、観察者は左矢印キーを押してαを０＜α＜１を満たす値に設定する。例えば、０＜α≦１を満たすパラメータαに対応するバーチャルな手をバーチャルな巨人の手にしようとする場合には、観察者が右矢印キーを押してαをα＞１を満たす値に設定する。α≠１を満たすパラメータαに対応するバーチャルな手をバーチャルな普通の手にしようとする場合には、右矢印キーまたは左矢印キーを押してαをα＝１に設定する。実際に用いるキーは左右矢印キーでなくとも任意の２つのキーでよい。その他、例えば、マウスを用いた入力、スマートフォン端末装置などのタッチパネルへの入力、ゲームコントローラーによる入力、音声入力、非接触入力デバイスによる入力などによってパラメータαの値を変更してもよい。変化態様２としては、例えば、αの大きさが、時間経過に伴って単調増加または単調減少したり、時間経過に伴って周期的に変動したり、ランダムに変化したり、不連続に変化したり、別の処理結果に応じて変化したりする態様を例示できる。
　その他、パラメータαがリアルな手の奥行き距離ｋｒに応じた値であってもよい。例えば、画像処理装置は、リアルな手の奥行き距離ｋｒが所定の奥行き距離（所定距離）κ１（ただし、κ１は正値）であるときにパラメータαの値をα１（ただし、α１は正値）とし、リアルな手の奥行き距離ｋｒがκ２（ただし、κ２はκ１と異なる正値）あるときにパラメータαの値をα２（ただし、α２はα１と異なる正値）としてもよい。例えば、リアルな手の奥行き距離ｋｒの関数値ＦＮＣ（ｋｒ）をαとしてもよい。すなわちα＝ＦＮＣ（ｋｒ）としてもよい。この例において、ＦＮＣ（ｋｒ）は、リアルな手の奥行き距離ｋｒが所定距離κ１であるときにα＝１となるものであってもよいし、０≦ｋｒ≦κ１であるときにα＝１となるものであってもよい。また例えば、ＦＮＣ（ｋｒ）は、ｋｒ＝κ２１とｋｒ＝κ２２＞κ２１とに対し、ＦＮＣ（κ２２）＞ＦＮＣ（κ２１）を満たすものであるとよい。この例では、κ１に対するｋｒ＝κ２２の上回り分がκ２２－κ１であるときのＦＮＣ（κ２２）が、κ１に対するｋｒ＝κ２１の上回り分がκ２１－κ１であるときのＦＮＣ（κ２１）よりも大きくなる。κ２２＞κ２１であるため、上回り分κ２２－κ１は上回り分κ２１－κ１よりも大きい。例えば、ＦＮＣ（ｋｒ）は、κ１＜ｋｒの範囲において、ｋｒの増加に対して単調増加するものであってもよいし、ｋｒの増加に対して非減少（広義単調増加）するものであってもよい。また、ＦＮＣ（ｋｒ）は、連続関数とするとよく、ｋｒの増加に対して単調増加する連続関数であることが好ましい。例えば、リアルな手の奥行き距離ｋｒの最大値（例えばリアルな手が届く最大距離（例えば、１ｍ））をκｍａｘ＞κ１とし、ｋｒ＝κｍａｘのときの関数値をＦＮＣ（κｍａｘ）＝α０（ただし、α０＞１）とし、ＦＮＣ（κ１）＝１とＦＮＣ（κｍａｘ）＝α０との間をｋｒについて線形補完した値をＦＮＣ（ｋｒ）（ただし、κ１＜ｋｒ≦κｍａｘ）としてもよい。このようなＦＮＣ（ｋｒ）を式（８）に例示する。
　ＦＮＣ（ｋｒ）＝１＋（α０－１）×（ｋｒ－κ１）／（κｍａｘ－κ１）　　（８）
　例えば、０≦ｋｒ≦κ１であるときにα＝１とされ、κ１＜κ２＝ｋｒであるときにα＝ＦＮＣ（κ２）とされ、かつ、ＦＮＣ（κ２）がκ２の増加に対して単調増加する例の場合、バーチャルな手は以下のように見える。すなわち、リアルな手の奥行き距離ｋｒがκ１以下（例えば目から３０ｃｍ以下）であるときには、バーチャルな手が、リアルな手と同じ奥行き（例えば目から３０ｃｍ）に、リアルな手と同じ大きさで見える（α＝１）。一方、リアルな手の奥行き距離ｋｒがκ１を超えるときには、リアルな手が目から遠ざかるにつれて、バーチャルな手はリアルな手より遠くに、リアルな手より大きく見える（ｋｒが大きくなるにつれてαがだんだん大きくなる）。
　［その他の変形例］
　なお、本発明は上述の実施形態およびその変形例に限定されるものではない。例えば、上述の実施形態およびその変形例では、実空間における原点Ｏからリアルな手の３次元形状の中心点までの距離をｄとし、ＶＲ空間におけるカメラの原点ＯＩからバーチャルな手の３次元形状の中心点までの距離をＤとする例を示した。しかしながら、原点Ｏからリアルな手の３次元形状の他の任意の一点までの距離をｄとしてもよいし、原点ＯＩからバーチャルな手の３次元形状の他の任意の一点までの距離をＤとしてもよい。その他、原点Ｏからリアルな手の３次元形状の各点までの距離に基づいて、原点ＯＩからバーチャルな手の３次元形状の各点の距離を定めてよい。また、上述の実施形態およびその変形例では、目の水晶体内部に位置する点を原点Ｏとする例を示したが、目の他の位置または目の近傍の位置を原点Ｏとしてもよい。また、上述の実施形態およびその変形例では、目の原点Ｏを原点Ｒ［０，０，０］とする例を説明したが、目の原点Ｏの近傍を原点Ｒ［０，０，０］としてもよいし、目の原点Ｏに対する相対位置が固定されたその他の点を原点Ｒ［０，０，０］としてもよい。同様に、上述の実施形態およびその変形例では、ＶＲ空間のカメラの結像面Ｉの焦点を原点ＯＩとする例を示したが、カメラの結像面Ｉの他の位置または結像面Ｉの近傍の位置を原点ＯＩとしてもよい。また、上述の実施形態およびその変形例では、原点ＯＩを原点Ｖ［０，０，０］とする例を示したが、原点ＯＩの近傍を原点Ｖ［０，０，０］としてもよいし、原点ＯＩに対する相対位置が固定されたその他の点を原点Ｖ［０，０，０］としてもよい。また、上述の実施形態およびその変形例では、画像処理部１２７が、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］を中心点とするバーチャルな手を含む画像ｐｖを生成する例を示した。しかし、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］をバーチャルな手の他の位置としてもよいし、位置Ｖ［ｉｖ，ｊｖ，ｋｖ］をバーチャルな手に対する相対位置としてもよい。また、上述の実施形態およびその変形例では、便宜上、手右手親指の先端から右手小指の付け根までの距離を基準距離とした。しかし、手の他の部位の距離を基準距離としてもよい。
　上述の実施形態およびその変形例ではパラメータαが正の実数変数であったが、パラメータαが正の実数定数であってもよい。すなわち、定数であるパラメータαが画像処理装置に予め設定され、画像処理装置がこのパラメータαを用いて前述の処理を行ってもよい。
　上述の実施形態およびその変形例では、観察者（ヒト）のリアルな手を模したバーチャルな手のモデルをＶＲ空間に配置した。しかし、このようなバーチャルな手のモデルに代えて任意の３Ｄ形状モデル（ポリゴンの集合体）をＶＲ空間内に配置してもよい。すなわち、上述の実施形態およびその変形例において、「バーチャルな手」がＶＲ空間における任意の３Ｄ形状物（「バーチャルな３Ｄ形状物」と呼ぶ）に置換され、「バーチャルな普通の手」が「バーチャルな普通の３Ｄ形状物」に置換され、「バーチャルな巨人の手」が「バーチャルな巨大３Ｄ形状物」に置換され、「バーチャルな小人の手」が「バーチャルな極小３Ｄ形状物」に置換され、前述の処理が実行されてもよい。ただし、「バーチャルな普通の３Ｄ形状物」とは、観察者がリアルな手と同じ見かけの大きさを持つと知覚するバーチャルな３Ｄ形状物を意味する。「バーチャルな巨大３Ｄ形状物」とは、観察者がリアルな手よりも大きいと知覚するバーチャルな３Ｄ形状物を意味する。「バーチャルな極小３Ｄ形状物」とは、観察者がリアルな手よりも小さいと知覚するバーチャルな３Ｄ形状物を意味する。「観察者がリアルな手と同じ見かけの大きさを持つと知覚する」とは、例えば、観察者がリアルな手の基準部の基準距離とバーチャルな３Ｄ形状物の線形寸法とが同じであると知覚することを意味する。「観察者がリアルな手よりも大きいと知覚する」とは、例えば、観察者がリアルな手の基準部の基準距離よりもバーチャルな３Ｄ形状物の線形寸法の方が大きいと知覚することを意味する。「観察者がリアルな手よりも小さいと知覚する」とは、例えば、観察者がリアルな手の基準部の基準距離よりもバーチャルな３Ｄ形状物の線形寸法の方が小さいと知覚することを意味する。「３Ｄ形状物の線形寸法」はどのように定義されてもよい。「３Ｄ形状物の線形寸法」の例は、３Ｄ形状物の特定の部位の外形寸法、３Ｄ形状物の外形寸法の最大値、３Ｄ形状物の外形寸法の最小値、３Ｄ形状物の外形寸法の平均値などである。バーチャルな手のモデルに代えて任意の３Ｄ形状モデルをＶＲ空間内に配置する場合、実空間画像取得装置１０が省略され、画像処理部１２７，２２７には画像情報ｇｒに代えて任意の３Ｄ形状モデルが入力される。この場合、画像処理部１２７，２２７は、画像情報ｇｒに代えて当該任意の３Ｄ形状モデルを用いて画像ｐｖを生成して出力する。任意の３Ｄ形状モデルは、画像処理装置の外部から入力されたものであってもよいし、画像処理装置の記憶部（図示せず）から読み出されたものであってもよい。これにより、観察者に対し、リアルな手の動きに応じてＶＲ空間内を移動するバーチャルな３Ｄ形状物を提示することができ、このバーチャルな３Ｄ形状物の質感を大きく異ならせずに、パラメータαの値に応じてバーチャルな３Ｄ形状物を大きく見せたり、小さく見せたりすることもできる。例えば、パラメータαの値をα＞１とすることで、リアルな手の動きに応じてＶＲ空間内を移動するバーチャルな巨大３Ｄ形状物を提示できる。パラメータαの値を０＜α≦１とすることで、リアルな手の動きに応じてＶＲ空間内を移動するバーチャルな極小３Ｄ形状物を提示できる。また、パラメータαの値をα＝１とすることで、リアルな手の動きに応じてＶＲ空間内を移動するバーチャルな普通の３Ｄ形状物を提示できる。また、パラメータαを変更することで、観察者が知覚する見かけの質感を大きく異ならせることなく、リアルな手の動きに応じてＶＲ空間内を移動するバーチャルな３Ｄ形状物を大きく見せたり小さく見せたりすることができる。また、「バーチャルな３Ｄ形状物」は、実空間における任意の視対象を模したものであってもなくてもよいし、実空間に存在する視対象を表したものであってもなくてもよい。「バーチャルな３Ｄ形状物」の例は、ロボットアームを表したポリゴンの集合体、ハンマーやトングといった手で操作される道具を表したポリゴンの集合体などである。また、通常はリアルな手の動きに連動しないものを表したポリゴンの集合体を「バーチャルな３Ｄ形状物」としてもよい。例えば、トラを表したポリゴンの集合体を「バーチャルな３Ｄ形状物」としてもよい。
　上述の実施形態およびその変形例では、実空間のリアルな手の位置Ｒ［ｉｒ，ｊｒ，ｋｒ］の座標値ｉｒ，ｊｒ，ｋｒおよびパラメータαに基づいて、ＶＲ空間のバーチャルな手の位置Ｖ［ｉｖ，ｊｖ，ｋｖ］の座標値ｉｖ，ｊｖ，ｋｖおよびバーチャルな手の大きさＳＤを求める例を示した。しかしながら、距離ｄと視角θとの典型的な関係が予め推定可能であるならば、リアルな手の位置に基づかずとも、パラメータαのみからバーチャルな３Ｄ形状物の位置およびバーチャルな３Ｄ形状物の大きさを求めることができる。例えば、観察者から特定の距離（特定距離）ｄ（例えば、ｄ＝１）の位置にある視対象のなす視角θを推定可能なのであれば、ＶＲ空間において、この推定した視角（推定視角）θをなし、パラメータαに応じた大きさＳＤを持つバーチャルな３Ｄ形状物を提示することが可能である。バーチャルな３Ｄ形状物の大きさＳＤは、例えば、前述した「３Ｄ形状物の線形寸法」である。さらに、パラメータαの値を変化させることで、バーチャルな３Ｄ形状物の見かけの質感を大きく変えることなく、バーチャルな３Ｄ形状物を大きく見せたり、小さく見せたりすることができる。例えば、画像処理装置は、原点Ｏから特定距離ｄに存在する視対象のなす視角を推定できれば、推定した視角（推定視角）θを二等分した視角をθｈａｌｆとし、特定距離ｄとθｈａｌｆを用い、式（４）に基づいてＳｄを求めることができる。さらに、画像処理装置は、パラメータαと特定距離ｄとを用い、式（２）に基づいて距離Ｄを求めることができる。さらに、画像処理装置は、上述の推定視角θを二等分した視角θｈａｌｆと距離Ｄとを用い、式（５）に従ってＳＤを計算できる。画像処理装置は、このように得られた距離Ｄおよび大きさＳＤを用い、ＶＲ空間においてカメラの原点ＯＩからの距離がＤであり、大きさがＳＤである３Ｄ形状物を含む画像ｐｖを生成できる。前述のように、このように得られる３Ｄ形状物のなす視角は常に推定視角θと同一になる。例えば、消しゴムの大きさはそれほど個体差がないので、消しゴムの典型的な大きさから、観察者から任意の特定距離ｄだけ離れた位置に存在する消しゴムのなす推定視角θを推定できる。そのため、消しゴムを表したポリゴンの集合体を３Ｄ形状物とした場合、画像処理装置は、実空間での消しゴムの位置に基づかずとも、ＶＲ空間において、原点ＯＩで推定視角θをなし、パラメータαに対応する大きさＳＤを持つ消しゴムを表したポリゴンの集合体を含む画像ｐｖを生成できる。
　同様に、特定の視角（特定視角）θ（例えば、θ＝１０°）をなす視対象の距離ｄが推定可能なのであれば、リアルな手の位置に基づかずとも、パラメータαのみからＶＲ空間のバーチャルな３Ｄ形状物の位置およびバーチャルな３Ｄ形状物の大きさを求めることができる。すなわち、観察者で特定視角θをなす視対象の距離（推定距離）ｄが推定可能なのであれば、ＶＲ空間において、原点ＯＩでこの特定視角θをなし、パラメータαに応じた大きさＳＤを持つバーチャルな３Ｄ形状物を提示することが可能である。さらに、パラメータαの値を変化させることで、バーチャルな３Ｄ形状物の見かけの質感を大きく変えることなく、バーチャルな３Ｄ形状物を大きく見せたり、小さく見せたりすることができる。例えば、画像処理装置は、観察者で特定視角θをなす視対象の推定距離ｄを推定し、特定視角θを二等分した視角をθｈａｌｆとし、推定距離ｄとθｈａｌｆを用い、式（４）に基づいてＳｄを求めることができる。さらに、画像処理装置は、パラメータαと推定距離ｄとを用い、式（２）に基づいて距離Ｄを求めることができる。さらに、画像処理装置は、上述の視角θを二等分した視角θｈａｌｆと距離Ｄとを用い、式（５）に従ってＳＤを計算できる。画像処理装置は、このように得られた距離Ｄおよび大きさＳＤを用い、ＶＲ空間においてカメラの原点ＯＩからの距離がＤであり、大きさがＳＤである３Ｄ形状物を含む画像ｐｖを生成できる。
　また、上述の実施形態およびその変形例において、リアルな手が実空間のその他の視対象に置換されてもよい。例えば、リアルな手が、実空間の観察者の頭や足などのその他の部位、実空間のボールや自動車などの観察者以外の物、実空間で表示された画像等に置換されてもよい。
　また、バーチャルな手の色彩が、リアルな手の色彩に応じたその他の色彩であってもよいし、リアルな手の色彩と無相関な色彩であってもよい。
　上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の範囲で適宜変更が可能であることはいうまでもない。
　［まとめ］
　上述した各実施形態およびその変形例をまとめる。
　上述したように、画像処理装置は、実空間または仮想現実空間における「第１対象」を拡大または縮小して仮想現実空間（ＶＲ空間）における視対象である「第２対象」を生成する。「第１対象」の例は、リアルな手その他の「実空間」における視対象、「実空間」における視対象を模したバーチャルな３Ｄ形状物、「実空間」に存在しない視対象を表したバーチャルな３Ｄ形状物などである。「第２対象」の例は、バーチャルな手、バーチャルな３Ｄ形状物などである。
　ただし、実空間における「実観察位置（例えば、原点Ｏ）」または「仮想現実空間」における「仮想観察位置（例えば、原点ＯＩ）」で「第１対象」のなす「第１視角（例えば、視角θ）」は、「仮想観察位置」で「第２対象」のなす「第２視角（例えば、視角θ）」と同一である（図７Ａ，図７Ｂ，図９）。ここで、「第２対象」が「第１対象」を拡大したものである場合には、「仮想観察位置」から「第２対象」までの距離である「第２距離（例えば、距離Ｄや距離Ｄα＝δ）」は、「実観察位置」または「仮想観測位置」から「第１対象」までの「第１距離（例えば、距離ｄや距離Ｄα＝１）」よりも大きい（図７Ａ，図７Ｂ，図９）。一方、「第２対象」が「第１対象」を縮小したものである場合には、「第２距離（例えば、距離Ｄや距離Ｄα＝λ）」は「第１距離（例えば、距離ｄや距離Ｄα＝１）」よりも小さい（図９）。例えば、「第１距離」に対する「第２距離」の比率（例えば、Ｄ／ｄ，Ｄα＝δ／Ｄα＝１，Ｄα＝λ／Ｄα＝１）は、「第１対象」の線形寸法（例えば、Ｓｄ，ＳＤα＝１）に対する「第２対象」の線形寸法（例えば、ＳＤ，ＳＤα＝δ，ＳＤα＝λ）の比率（例えば、ＳＤ／Ｓｄ，ＳＤα＝δ／ＳＤα＝１，ＳＤα＝λ／ＳＤα＝１）と同一である（式（６））。さらに、画像処理装置は、「仮想現実空間」において「仮想観察位置（例えば、原点ＯＩや結像面Ｉ）」から見える「第２対象」を観察者に提示するための提示用画像Ｐを生成してもよい。提示用画像Ｐは画像提示装置によって観察者に提示される。
　例えば、「第１対象」が「実空間」における視対象または「実空間」における視対象を模したものであり、「第１対象」のなす「視角（例えば、視角θ）」が「実観察位置（例えば、原点Ｏ）」で「実空間」における視対象のなす「視角」であり、「第１距離（例えば、ｋｒ）」が「実観察位置」から「実空間」における視対象までの距離である場合に、所定距離（例えばκ１）に対する「第１距離（例えば、ｋｒ＝κ２２）」の上回り分（例えば、κ２２－κ１）が「第１値」あるときの「第１距離」に対する「第２距離」の比率（例えば、α＝ＦＮＣ（κ２２））が、「所定距離（例えばκ１）」に対する「第１距離（ｋｒ＝κ２１）」の上回り分（例えば、κ２１－κ１）が「第２値」であるときの「第１距離」に対する「第２距離」の比率（例えば、α＝ＦＮＣ（κ２１））よりも大きくなるようにしてもよい。ただし、「第１値」は「第２値」よりも大きい。例えば、「所定距離」に対する「第１距離」の上回り分が大きいほど、「第１距離」に対する「第２距離」の比率が大きい。　
　前述のように、実空間の視対象の位置に基づかなくとも「実観察位置」で「第１対象」のなす視角を推定できるのであれば、その推定視角（例えば、θ）である「第１視角」が「仮想観察位置」で「第２対象」のなす「第２視角」と同一となるように「第２対象」が生成されてもよい。
　また、実空間の視対象の位置に基づかなくとも「観察位置」から「第１対象」までの距離を推定可能なのであれば、「実観察位置」から「第１対象」までの距離に代え、その推定距離（例えば、ｄ）を「第１距離」としてもよい。
　なお、「第１視角」が「第２視角」に厳密に同一でなくてもよく、「第１視角」が「第２視角」に略同一であってもよい。例えば、「第１視角」と「第２視角」との相違が「第１視角」のε％（例えば、１％，３％，５％，７％など）以下であってもよい。
　また、「第１距離」に対する「第２距離」の比率が、「第１対象」の線形寸法に対する「第２対象」の線形寸法の比率と厳密に同一でなくてもよく、これらが略同一であってもよい。例えば、これらの相違が、「第１距離」に対する「第２距離」の比率のμ％（例えば、１％，３％，５％，７％など）以下であってもよい。
　［画像処理装置の構成例等］
　上記の画像処理装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　画像処理装置の構成をコンピュータによって実現する場合、画像処理装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
　コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
　上述のように、本技術では、大きさ恒常性を用いて、観察者が知覚する見かけの質感を大きく異ならせることなく、ある対象を拡大または縮小したＶＲ空間における視対象を観察者に提示することができる。これにより、例えば、見かけの質感をリアルな手と大きく異ならせることなく、バーチャルな巨人の手やバーチャルな小人の手によってＶＲ空間を操作するアプリケーションを実現できる。また、例えば、バーチャルな手のモデルが既に存在する場合、その既存のバーチャルな手のモデルと大きさの異なるモデルを新たに作成することなく、既存のバーチャルな手のモデルを用いて、バーチャルな巨人の手やバーチャルな小人の手などを提示することもできる。このような技術は、バーチャルリアリティを用いる諸分野（例えば、ゲーム、映像作品、教育、医療など）で利用可能である。
１，２　画像処理システム
１２，２２　画像処理装置

Claims (8)

  1. 　実空間または仮想現実空間における第１対象を拡大または縮小して、前記仮想現実空間における視対象である第２対象を生成する視対象生成部を有し、
    　前記実空間における実観察位置または前記仮想現実空間における仮想観察位置で前記第１対象のなす視角または推定視角である第１視角は、前記仮想観察位置で前記第２対象のなす視角である第２視角と同一または略同一であり、
    　前記第２対象が前記第１対象を拡大したものである場合には、前記仮想観察位置から前記第２対象までの距離である第２距離は、前記実観察位置または前記仮想観察位置から前記第１対象までの距離または推定距離である第１距離よりも大きく、
    　前記第２対象が前記第１対象を縮小したものである場合には、前記第２距離は前記第１距離よりも小さい、画像処理装置。
  2. 　請求項１の画像処理装置であって、
    　前記第１距離に対する前記第２距離の比率は、前記第１対象の線形寸法に対する前記第２対象の線形寸法の比率と同一または略同一である、画像処理装置。
  3. 　請求項１または２の画像処理装置であって、
    　前記視対象生成部は、前記第２視角を同一または略同一に保ったまま、前記仮想現実空間における前記第２対象の大きさおよび前記第２距離を変化させる、画像処理装置。
  4. 　請求項１または２の画像処理装置であって、
    　前記第１対象は、前記実空間における視対象または前記実空間における視対象を模したものであり、
    　前記第１対象のなす視角は、前記実観察位置で前記実空間における視対象のなす視角であり、
    　前記第１距離は、前記実観察位置から前記実空間における視対象までの距離であり、
    　所定距離に対する前記第１距離の上回り分が第１値であるときの前記第１距離に対する前記第２距離の比率は、前記所定距離に対する前記第１距離の上回り分が第２値であるときの前記第１距離に対する前記第２距離の比率よりも大きく、
    　前記第１値は前記第２値よりも大きい、画像処理装置。
  5. 　請求項１から４の何れかの画像処理装置であって、
    　前記第１対象は、前記実空間における視対象または前記実空間における視対象を模したものであり、
    　前記第１対象のなす視角は、前記実観察位置で前記実空間における視対象のなす視角であり、
    　前記第１距離は、前記実観察位置から前記実空間における視対象までの距離である、画像処理装置。
  6. 　請求項１から５の何れかの画像処理装置であって、
    　前記仮想現実空間において前記仮想観察位置から見える前記第２対象を観察者に提示するための提示用画像を生成する提示用画像生成部をさらに有する、画像処理装置。
  7. 　実空間または仮想現実空間における第１対象を拡大または縮小して前記仮想現実空間における視対象である第２対象を生成する視対象生成ステップを有し、
    　前記実空間における実観察位置または前記仮想現実空間における仮想観察位置で前記第１対象のなす視角または推定視角である第１視角は、前記仮想観察位置で前記第２対象のなす視角である第２視角と同一または略同一であり、
    　前記第２対象が前記第１対象を拡大したものである場合には、前記仮想観察位置から前記第２対象までの距離である第２距離は、前記実観察位置または前記仮想観察位置から前記第１対象までの距離または推定距離である第１距離よりも大きく、
    　前記第２対象が前記第１対象を縮小したものである場合には、前記第２距離は前記第１距離よりも小さい、画像処理方法。
  8. 　請求項１から６の何れかの画像処理装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/031286 2018-08-17 2019-08-08 画像処理装置、画像処理方法、およびプログラム WO2020036114A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/268,059 US11403830B2 (en) 2018-08-17 2019-08-08 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018153334A JP6996450B2 (ja) 2018-08-17 2018-08-17 画像処理装置、画像処理方法、およびプログラム
JP2018-153334 2018-08-17

Publications (1)

Publication Number Publication Date
WO2020036114A1 true WO2020036114A1 (ja) 2020-02-20

Family

ID=69525479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031286 WO2020036114A1 (ja) 2018-08-17 2019-08-08 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11403830B2 (ja)
JP (1) JP6996450B2 (ja)
WO (1) WO2020036114A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11687154B2 (en) * 2021-05-28 2023-06-27 International Institute Of Information Technology, Hyderabad System and method for generating a limitless path in virtual reality environment for continuous locomotion
CN118552704B (zh) * 2024-07-29 2024-10-01 江西格如灵科技股份有限公司 一种基于Unity场景下的图形处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195140A (ja) * 1997-12-27 1999-07-21 Canon Inc データ処理方法及び装置並びに記憶媒体
JP2017084215A (ja) * 2015-10-30 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9978202B2 (en) * 2014-02-14 2018-05-22 Igt Canada Solutions Ulc Wagering gaming apparatus for detecting user interaction with game components in a three-dimensional display
US10354446B2 (en) * 2016-04-13 2019-07-16 Google Llc Methods and apparatus to navigate within virtual-reality environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195140A (ja) * 1997-12-27 1999-07-21 Canon Inc データ処理方法及び装置並びに記憶媒体
JP2017084215A (ja) * 2015-10-30 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム

Also Published As

Publication number Publication date
US11403830B2 (en) 2022-08-02
US20210319624A1 (en) 2021-10-14
JP2020027555A (ja) 2020-02-20
JP6996450B2 (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
US9607439B2 (en) Information processing apparatus and information processing method
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
WO2017163720A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
KR101171660B1 (ko) 증강현실의 포인팅 장치
CN114766038A (zh) 共享空间中的个体视图
KR102214263B1 (ko) 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
JP2020035455A (ja) 媒介現実コンテンツの共有
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7030010B2 (ja) 立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラム
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2022537817A (ja) 動的オクルージョンのための高速の手のメッシュ化
WO2018216602A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Khattak et al. A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion
JP7262973B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101950934B1 (ko) 가상현실영상 제공장치, 입체감 향상을 위한 가상공간 크기 조절방법 및 프로그램
US20210327121A1 (en) Display based mixed-reality device
JP6726016B2 (ja) 情報処理装置、情報処理方法
WO2017191703A1 (ja) 画像処理装置
CN108881892B (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
WO2023120217A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850278

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850278

Country of ref document: EP

Kind code of ref document: A1