Nothing Special   »   [go: up one dir, main page]

WO2017010614A1 - 증강 공간 내 부분 공간 획득 시스템 및 방법 - Google Patents

증강 공간 내 부분 공간 획득 시스템 및 방법 Download PDF

Info

Publication number
WO2017010614A1
WO2017010614A1 PCT/KR2015/009396 KR2015009396W WO2017010614A1 WO 2017010614 A1 WO2017010614 A1 WO 2017010614A1 KR 2015009396 W KR2015009396 W KR 2015009396W WO 2017010614 A1 WO2017010614 A1 WO 2017010614A1
Authority
WO
WIPO (PCT)
Prior art keywords
subspace
unit
user
space
tunnel
Prior art date
Application number
PCT/KR2015/009396
Other languages
English (en)
French (fr)
Inventor
우운택
이형묵
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/744,717 priority Critical patent/US10409447B2/en
Publication of WO2017010614A1 publication Critical patent/WO2017010614A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the present invention relates to a system and a method for acquiring a subspace in an augmented space. More specifically, when an event by a user is generated, the present invention acquires a first subspace corresponding to the event, and within a range of the obtained first subspace.
  • Augmented Reality was developed by Boeing in the early 1990s to develop a device that shows the location of parts in real time on the proper position of the aircraft on the screen of the head mounted display (HMD).
  • Augmented Reality was derived for the first time, and the research on augmented reality has begun in earnest from this time, and augmented reality is currently being actively researched.
  • Augmented Reality is a superposition of three-dimensional virtual objects on top of real-world images (or live-action images) that combines real-world environments and graphic forms of virtual reality in real time to enhance understanding of the real world.
  • AR Augmented Reality
  • the purpose of augmented reality is to provide additional information or meanings about objects or places that are actually being observed, and compared to virtual reality technology, various sensors, display devices (visual, auditory, tactile / feeling), It is a technology that creates a virtual experience by using a computer that can simulate a phenomenon with (actual or fictional) interaction.
  • Techniques for 3D object tracking and scene reconstruction allow the user to register a 3D virtual object with some geometric deformations in real space.
  • Augmented spaces increase virtual objects (eg, museums, tourism, model houses, interiors, games, etc.) in meaningful physical spaces authored by service providers. Therefore, its physical objects are usually pre-sampled and they can be tracked. This allows the user to interact more naturally and richly by various combinations of virtual and real situations in a wider three-dimensional space. In this context, it has increased the importance of the partial three-dimensional space concentrated at a particular moment by the display on the head the user is wearing in the field.
  • virtual objects eg, museums, tourism, model houses, interiors, games, etc.
  • the target object may be damaged by the user, may be disturbed by the surrounding environment, and may be too small, too far from, or inappropriate for a combination thereof.
  • the present invention has been invented to solve the above problems, and an object thereof is to provide a system and method for acquiring subspace in augmented space that can precisely acquire 3D subspace using bare pinches with respect to augmented space. It is done.
  • Another object of the present invention is to obtain a first subspace corresponding to the event when an event is generated by a user, and to adjust the second subspace having a position and scale adjusted within a range of the obtained first subspace. It is another object to provide a subspace acquisition system and method in the augmented space to acquire.
  • the present invention if an event caused by the user's motion occurs in the 3D image displayed on the display device, targeting to obtain a first sub-space of the first three-dimensional shape corresponding to the user's motion A target unit and an improvement unit for obtaining a second subspace having a second three-dimensional shape whose position and scale are adjusted according to a user's gesture within a range of the first subspace obtained by the targeting unit.
  • the targeting unit may include an event detector configured to determine a user's motion as an event occurrence in the 3D image, and a projection unit configured to project a 2D frame formed by the user's motion determined by the event detector to a 3D space to form a tunnel.
  • a tunnel casting unit performing forward casting and backward casting by projecting a ray group onto the tunnel formed by the projection unit, and converting a frustum obtained by performing the tunnel casting unit; It may include a first transform unit for obtaining a first subspace of the one-dimensional shape.
  • the improvement unit may further include a control unit for forming a new subspace through a two-handed pinch gesture of the user within a range of the first subspace obtained by the targeting unit, and a top view of the first subspace obtained by the targeting unit. It may include a top view providing unit to help the control unit to form a subspace through a two-hand pinch gesture and a second conversion unit for converting the subspace newly formed by the control unit to obtain a second subspace of a second three-dimensional shape. .
  • the event detector may determine a pinch / release event operation by the user's two-handed pinch tip pointer in the 3D image as an event generated by the user's motion.
  • the projection unit may form a tunnel by projecting a 2D frame formed by a pinch / release operation by a user's two-handed pinch tip pointer in the 3D image to 3D space.
  • the tunnel casting execution unit reverses forward casting and the same ray group as the forward casting to find the first collision point nearest the eye where the ray group projected from the user's eye collides with the augmented objects existing in the tunnel for the first time. Projecting from may perform backward casting to find the first collision point furthest from the first colliding eye with the augmented objects present in the tunnel.
  • the first transform unit is a first plane parallel to the tunnel containing the first collision point nearest the eye and a second plane parallel to the tunnel including an initial collision point farthest from the eye
  • the first subspace may be obtained by converting the first subspace having the same position, rotation, and volume in accordance with the definition of a predetermined subspace based on the middle of the frustum.
  • control unit may directly change through a relative scale mapping according to the two-handed pinch gesture of the user within the range of the first subspace obtained by the targeting unit to form a new subspace.
  • the top view providing unit may provide a top view by orthogonal projection in consideration of the scale of the first sub-space obtained by the targeting unit to help the control unit to form the sub-space through the two-handed pinch gesture of the user.
  • the second transform unit may obtain a second subspace by converting the subspace newly formed by the controller into a second three-dimensional shape having the same position, rotation, and volume in accordance with the definition of a predetermined subspace.
  • first and second solid shapes may be rectangular parallelepiped.
  • the first step of the event detection unit to determine the user's motion in the 3D image as the event generation the second projection unit projecting the 2D frame formed by the determined user's motion to the 3D space to form a tunnel
  • the operation of the user of the first step may be a pinch / release operation by a two-handed pinch tip pointer.
  • 1 is a diagram illustrating a planarization of an egocentric subspace acquisition.
  • FIG. 2 is a top view of a self-viewing interaction space with all the components and coordinate system.
  • FIG. 3 is a diagram illustrating a configuration of a partial space acquisition system in an augmented space according to an embodiment of the present invention.
  • FIG. 4 illustrates a method of implementing a 3D pinch-tip input.
  • FIG. 5 is a diagram illustrating an internal configuration of a targeting unit.
  • FIG. 6 is a diagram illustrating a planarizing operation of the targeting unit.
  • FIG. 7 is a diagram illustrating an internal configuration of an improvement unit.
  • FIG. 8 is a plan view showing the operation of the improvement unit in a plan view.
  • FIG. 9 is a flowchart illustrating a method of obtaining a subspace in an augmented space according to an embodiment of the present invention.
  • FIG. 1 shows a planar view of an egocentric subspace acquisition
  • FIG. 2 is a top view of a self-viewing interaction space with all components and a coordinate system.
  • the present invention in order to use subspace acquisition in an egocentric metaphor, the present invention must design external factors in advance. Because it is required for consideration of clear interaction spaces for remote areas, users and input devices.
  • the augmented space in which virtual objects of interest (OoIs) are registered in real space has a world coordinate system. All objects in this space are combined with world coordinates but also have their own coordinate system with their transformations.
  • a user wearing a HWD (head-worn display) with a camera is an individual object in this space.
  • the present invention sets the user's coordinate system as the origin of the perspective projection virtual camera. Therefore it is calculated as the relative transformation of all traceable objects.
  • a large volume based on the camera's viewing frustum is defined as ideal egocentric interaction spaces.
  • ESD Egocentric Space within Detection
  • fov The Egocentric Space within Detection
  • All distant real and imaginary objects reside here and have their transformations relative to user coordinates.
  • the transformation of the selected subspace is also created in this space.
  • the size of the frustum is determined by the clipping distance of the virtual camera. In fact, this is tightly linked to its performance for the available tracker and target augmentation space.
  • the IsoScale plane is useful for scaled mapping in all indirect controls that have their own geometric transformations and the same pixel size and width and height of the display screen they use.
  • the present invention can obtain the transformation of the IsoScale plane from the following two conditions.
  • the location of the first IsoScale plane is on the centerline of the ESD.
  • the z distance of the second IsoScale plane is proportional to the clipping plane of the ESD.
  • the egocentric space within the touch range (hereinafter referred to as EST) is smaller than the viewing frustum for freehand pointers by real-time three-dimensional pinch-tip detection. .
  • the size of the EST is equivalent to the space overlapped between the motor space and the ESD. Therefore it is reachable and visible in the three-dimensional area for the user's motion using both hands. Is an inconvenient area with freehand pointers because it is so close. Meanwhile, Is intended to be a comfortable range of pointers by both hands in a position. This idea came from the intimate zone of personal space. Wow The difference between is used for the touchable distance for indirect one-dimensional control.
  • the subspace is newly created as a three-dimensional object using geometric transformations that include contextual information of adjacent objects of interests (OoIs) and their environments.
  • the problem to be solved through the present invention is different from the conventional single object selection or multiple volume selection to assist in referencing, and egocentric selection to obtain an elaborate three-dimensional region of interest. ).
  • Subspace selection is done within a view frustum because it focuses on the environment using monocular video see-through HWD.
  • the frustum is divided into two egocentric spaces according to the interaction objects.
  • ESD is a large frustum in the visual frustum where detection and tracking technology works, and is a space where real and virtual objects of unreachable distance reside. Therefore, the selected subspace containing the objects exists in the ESD.
  • EST is a small frustum consisting of the intersection of motor space and ESD.
  • EST is a space in which 3D hand input by both hands operates for subspace selection.
  • Subspace is defined as a cuboid that satisfies the following considerations.
  • a space containing at least one object This is because empty spaces that do not affect objects are rarely used even if they are selected by the user.
  • the shape must cover the space of non-uniform scale.
  • Uniform scale shapes such as spheres or cubes are not suitable for describing longish, wide and flat three-dimensional regions of interest. In particular, the sphere is difficult for the user to determine the rotation without additional information.
  • the present invention simplifies subspace acquisition in augmented space into a problem of effectively determining the position, rotation, and scale of any remote cuboid containing the object of interest on ESD using three-dimensional bare hand input in the EST. do.
  • Perception is a step of obtaining an imaginary subspace that corresponds to a subspace desired by a user in an augmented scene. This is a mental selection process that is essential for subspace specification by user's bare hand interaction.
  • the user finds fov considering the user's location and perspective of augmented objects. The viewport at this time fully reflects the intention of interaction in the space unit later.
  • the fov seen by the user in space is an important clue for providing the system with rotation information in subspace selection.
  • the imaginary subspace drawing is performed very quickly by a human visual recognition process to define the region of interest.
  • the human eye is divided into areas focused by central vision and areas not focused by peripheral vision, depending on the degree of interest in the field of view.
  • the continuous focused area by the trace of the central time may be referred to as the ROI in the user's gaze.
  • the cognitive phase at the self-view point remembers an unstructured three-dimensional region of interest and naturally reproduces it as a formalized region through targeting and refinement.
  • FIG. 3 is a diagram illustrating a configuration of a partial space acquisition system in an augmented space according to an embodiment of the present invention.
  • the subspace acquisition system in the augmented space includes a depth image acquisition device 300, a display device 310, a targeting unit 320, and an enhancement unit 330. .
  • Depth image acquisition device 300 may be used Kinect released by Microsoft (Microsoft), but is not limited to this, any device that can provide depth information can be used.
  • the depth image capturing apparatus 300 mainly includes an RGB color camera, a 3D depth sensor, four microphone arrays, and a tilt motor capable of moving the sensor up and down. Therefore, the depth image obtaining apparatus 300 may obtain a 3D image from the 3D depth sensor.
  • the display device 310 may be monocular video see-through HWD, but is not limited thereto, and any display device 310 may be a 3D image obtained from the depth image obtaining apparatus 300.
  • the targeting unit 320 acquires a first three-dimensional space of a first three-dimensional shape corresponding to the user's motion when an event caused by the user's motion occurs in the 3D image displayed on the display device.
  • the refiner 330 acquires a second subspace of a second three-dimensional shape in which a position and a scale are adjusted according to a user's gesture within a range of the first subspace acquired by the targeting unit.
  • FIG. 4 illustrates a method of implementing a 3D pinch-tip input.
  • the present invention directly implements real-time bare hand input for remotely selecting subspaces in augmented spaces that are difficult to reach directly.
  • the RGBD camera attached to the head worn display (HWD) recognizes the 3D pinch position and movement in Egocentric Space within Touch (EST) without the need for additional equipment.
  • Wilson and Ha's approach as a three-dimensional pinch input tool in a fast and robust wearable AR environment.
  • Wilson proposed a simple and robust pinching hole detection method through image subtraction on fixed RGB inputs.
  • a wearable AR coordinate system incorporating palm coordinates detected from an RGB-D camera attached to an HWD at an egocentric metaphor is proposed.
  • the present invention detects the pinch tip position faster by the pinch hole from the depth sensor (depth image acquisition device) attached to the HWD and combines it with the three-dimensional coordinate system based on the HWD.
  • the depth sensor depth image acquisition device
  • the detected 3D position can be used as a virtual hand metaphor in the EST. However, in the present invention, it is mapped to a 2D RGB screen and used as a 2D cursor in the targeting unit 320 and separated and used as a 1D controller for controlling the depth of the cuboid in the improving unit 330.
  • the state of the pinch input tool is divided into idle, pinch, and release, and the selection trigger is released to select to reduce the Heisenberg effect. Was applied.
  • a thickness test (compare the number of pixels) is performed on the x-axis (horizontal direction) from the center point of the detection ellipse (eg, when the left side is thick) assuming that the hand is normally in the first person. Left hand).
  • an additional image boundary contact test of the hand shall be performed.
  • FIG. 5 is a diagram illustrating an internal configuration of a targeting unit
  • FIG. 6 is a diagram illustrating a planarizing operation of the targeting unit.
  • the targeting unit 320 obtains an initial subspace of the maximum scale including an imaginary subspace in consideration of the spatial context of the objects appearing in the fov.
  • a large rectangular parallelepiped corresponding to the initial subspace is obtained by utilizing object collision information in a tunnel that passes through a 2D region of interest (RoI), which is drawn by a user.
  • the space thus obtained always includes the expected subspace.
  • the targeting unit 320 includes an event detecting unit 321, a projection unit 322, a tunnel casting performing unit 323, and a first transforming unit 324.
  • the event detector 321 determines the user's motion as an event occurrence in the 3D image.
  • the event detector 321 determines the pinch / release event operation by the user's two-handed pinch tip pointer in the 3D image as the event occurrence by the user's operation.
  • the event detector 321 draws a RoI frame including a three-dimensional region of interest on the HWD screen by using a pinch / release operation by a user's two-handed pinch tip pointer.
  • the frame size at this time is key information for determining the width and height of the tunnel generated from the user's eyes, which will be described later.
  • the projection unit 322 forms a tunnel by projecting a 2D frame formed by the user's motion determined by the event detector 321 into a 3D space.
  • the projection unit 322 forms a tunnel by projecting the 2D frame formed by the pinch / release operation by the user's two-handed pinch tip pointer in the 3D image to the 3D space.
  • the projector 322 projects the 2D frame drawn on the screen into the 3D space in order to extend the RoI frame drawn with the three-dimensional region of interest in the event detector 321 into the tunnel.
  • This is solved using an IsoScale plane having the same scale as the pixel resolution of HWD.
  • the same scale plane at this time is a three-dimensional two-dimensional plane having the same translation and rotation as the origin of the camera coordinate system except for the z value.
  • the z value of the same scale plane can be easily calculated using a proportional expression with the near or far plane constituting the camera frustum.
  • This same scale plane can be effectively used for multiple occlusion selections using screen coordinates.
  • the effective area in the tunnel passing through the RoI is determined through two-way tunnel-casting, which will be described later.
  • the tunnel casting performer 323 projects a ray group into the tunnel formed by the projection unit 322 to perform forward casting and backward casting.
  • the tunnel casting performer 323 forwards the ray group projected from the user's eye and finds the first collision point closest to the eye that first collides with the augmented objects existing in the tunnel, and the same ray group as the forward casting. Is projected from the opposite direction to perform backward casting to find the first collision point farthest from the first collision with the augmented objects present in the tunnel.
  • the bidirectional tunnel casting of the tunnel casting execution unit 323 is an automatic screening method of defining only an effective area in which objects exist in a tunnel extending to the end of the visual frustum.
  • the subspace is centered around the objects, excluding the front and rear void areas from the entire tunnel. In the present invention, this is called an inclusive frustum.
  • Bidirectional tunnel casting takes full advantage of the context of augmented objects that collide with the set of rays performing the tunnel casting. First, forward casting is performed to find the first collision point nearest the eye. At this time, the slice plane parallel to the tunnel including the shortest collision point is defined as the near-plane (first plane) of the frustum. Backward casting is performed to determine the far-plane of the inclusion frustum.
  • the slice plane parallel to the tunnel containing the collision point thus obtained is defined as the far-plane (second plane) of the containing frustum.
  • the size of the inclusion frustum is determined by the sliced first and second planes in the tunnel.
  • the first transform unit 324 converts a frustum obtained by the tunnel casting performer to obtain a first subspace of the first solid shape.
  • the first transform unit 324 is the first plane that is parallel to the tunnel and the first farthest from the eye, as described in the tunnel casting performer 323, including the first collision point closest to the eye. Converting into a first solid shape having the same position, rotation, and volume according to a definition of a predetermined subspace based on a middle of a frustum composed of a second plane parallel to the tunnel including the collision point; Obtain the first subspace.
  • the first three-dimensional shape converted by the first conversion unit 324 is preferably a rectangular parallelepiped, but the shape of the three-dimensional shape is not limited thereto.
  • FIG. 7 is a diagram showing the internal configuration of the improvement section
  • FIG. 8 is a view showing the planarizing operation of the improvement section.
  • the refiner 330 determines the second subspace of the second three-dimensional shape, which is the final subspace, by adjusting the position and scale within the initial subspace range through similar pinch interaction. This is because although the front and rear empty spaces are excluded from the targeting unit 320, there are still cases where unwanted objects are included due to obscurity or depth recognition at the self-viewpoint. Therefore, the unnecessary space included in the front and rear by the user slicing is removed again. The user can directly change the position of the near and far planes of the containing frustum to obtain results close to the desired subspace.
  • the improvement unit 330 includes an adjusting unit 331, a top view providing unit 332, and a second conversion unit 333.
  • the adjusting unit 331 forms a new subspace through the user's two-handed pinch gesture within the range of the first subspace obtained by the targeting unit 320.
  • the adjusting unit 331 directly changes through a relative scale mapping according to the two-handed pinch gesture of the user within the range of the first subspace obtained by the targeting unit 320 to form a new subspace. do.
  • the adjusting unit 331 performs two planes of the included frustum through relative scale mapping according to the two-hand pinch gesture. This is for effectively slicing the inclusion frustum having a variable depth in the defined motion space. Therefore, when the physical distance of the included frustum is determined by the targeting unit 320, the scale mapping ratio may change little to suit the depth measurement allowance range of the pinch input. This is not suitable for very fine depth control, but is effective for navigating the beginning and end without frequent clutching.
  • the present invention corresponds to the near and far planes respectively for the dominant and nondominant hands. The movement of the face corresponding to each hand operates independently of the containing frustum, and the far plane is designed not to cross the near plane. Each time the face is moved, the user is presented with the result of performing a new cuboid transformation.
  • the top view providing unit 332 provides a top view of the first subspace obtained by the targeting unit 320 to help the control unit 331 form a subspace through a user's two-handed pinch gesture.
  • the top view providing unit 332 provides the top view by orthogonal projection considering the scale of the first sub-space obtained by the targeting unit 320 to adjust the user's two-handed pinch gesture. ) Help to form the subspace.
  • the top view providing unit 332 additionally provides an instant map, which is a virtual camera, to help the user adjust the depth.
  • the fixed rotation in the initial subspace allows the depth control even in viewport switching according to the user's movement, but it is very inconvenient to avoid the obstruction every time and check the depth.
  • the instant map provides a top view of the area of interest that the user cannot see at his point of view, such as a game or navigation.
  • the present invention provides a virtual top view camera by orthogonal projection considering the scale at the position of the included frustum at the upper right side similar to the Google Glass display. Therefore, the user can easily and quickly check the depth movement of both sides and the result of partial spatial transformation.
  • the second converter 333 converts the subspace newly formed by the controller 331 to obtain a second subspace of the second three-dimensional shape.
  • the second conversion unit 333 obtains the second subspace by converting the subspace newly formed by the control unit into a second solid shape having the same position, rotation, and volume in accordance with the definition of the predetermined subspace.
  • the second three-dimensional shape converted by the second conversion unit 333 is preferably a rectangular parallelepiped, but the shape of the three-dimensional shape is not limited thereto.
  • FIG. 9 is a flowchart illustrating a method of obtaining a subspace in an augmented space according to an embodiment of the present invention.
  • the event detector 321 determines the user's motion as an event occurrence in the 3D image (S900). That is, the event detector 321 determines the pinch / release event operation by the user's two-handed pinch tip pointer in the 3D image as the event occurrence by the user's operation.
  • the projection unit 322 forms a tunnel by projecting the 2D frame formed by the determined user's motion into the 3D space (S910). That is, the projection unit 322 forms a tunnel by projecting a 2D frame formed by a pinch / release operation by a user's two-handed pinch tip pointer in the 3D image into 3D space.
  • the tunnel casting execution unit 323 projects the ray group to the formed tunnel to perform forward casting and backward casting (S920).
  • the tunnel casting performer 323 forwards the beams projected by the user's eye to find the first collision point closest to the eye that first collides with the augmented objects existing in the tunnel, and the same beam as the forward casting. Project the group from the opposite direction to perform backward casting to find the first collision point furthest from the first colliding eye with the augmented objects present in the tunnel.
  • the first transform unit 324 converts a frustum obtained by performing the forward casting and the backward casting to obtain a first subspace of a first three-dimensional shape (S930). That is, the first transform unit 324 is a slice plane parallel to the tunnel including the first plane parallel to the tunnel including the first collision point nearest the eye and a slice plane parallel to the tunnel including the first collision point farthest from the eye.
  • the first subspace is obtained by converting the first subspace having the same position, rotation, and volume to meet the definition of a predetermined subspace based on the middle of the frustum including the second plane.
  • the adjustment unit 331 forms a new subspace through the user's two-handed pinch gesture within the obtained first subspace (S940). That is, the adjusting unit 331 forms a new subspace by directly changing it through relative scale mapping according to the user's two-handed pinch gesture within the range of the first subspace obtained by the targeting unit.
  • the second transform unit 333 converts the newly formed subspace to obtain a second subspace of a second three-dimensional shape (S950). That is, the second transform unit 333 obtains the second subspace by converting the subspace newly formed by the adjusting unit into a second three-dimensional shape having the same position, rotation, and volume in accordance with the definition of a predetermined subspace. do.
  • FIG. 6 is a plan view showing the operation of the targeting unit and FIG. 8 is a view showing the planarization of the operation of the improvement unit.
  • the center of the second subspace of the second solid shape obtained by the targeting unit 320 and the improving unit 330 of the present invention is defined.
  • rotation( )silver to be. In other words, it is the same as the user's direction.
  • the center position of the new plane And The middle of is the center of the new second subspace.
  • ⁇ is the coefficient associated with the right hand, ie the near plane
  • ⁇ is the coefficient associated with the left hand, ie the plane of the plane.
  • the ⁇ value is associated with the distance the right hand moved on the z axis
  • ⁇ is associated with the distance the left hand moved on the z axis.
  • Is a symbol for converting a vector to a scalar Is the extent value on the x-axis of the near plane, Is the extent value on the x-axis of the far plane.
  • the present invention can be used in education, business, telemedicine and multi-party learning, and can be applied to any field as long as it is necessary to acquire a subspace and interact with objects existing in the subspace.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부 및 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부를 포함한다.

Description

증강 공간 내 부분 공간 획득 시스템 및 방법
본 발명은 증강 공간 내 부분 공간 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법에 관한 것이다.
증강현실(Augmented Reality;AR)이란 용어는 1990년대 초 미국 보잉사에서 항공기를 조립할 때 부품의 위치를 HMD(Head Mounted Display)의 화면을 통해 항공기의 적정한 위치에 실시간으로 보여주는 장치를 개발하고 이 연구를 발표한 논문에서 처음으로 증강현실(AR:Augmented Reality) 용어가 유래되었으며, 이때부터 증강현실에 대한 연구가 본격적으로 시작되었다고 볼 수 있으며, 현재 증강현실은 활발하게 연구가 진행되고 있는 분야이다.
증강현실(Augmented Reality;AR)은 실세계 영상(또는 실사 영상) 위에 3차원 가상물체를 겹쳐 보여주는 것으로 현실에 기반을 두고 실세계 환경과 그래픽 형태의 가상현실을 실시간으로 합성하여 실세계에 대한 이해를 높여주는 기술로써, 증강현실의 목적은 실제 관찰하고 있는 사물이나 장소에 대한 부가적인 정보나 의미를 함께 제공하는 것이며, 가상현실 기술에 비하여 여러 가지 센서, 디스플레이 장치(시각, 청각, 촉각/역감 등), 그리고 어떤 현상을 (사실 혹은 허구) 상호작용과 함께 시뮬레이션할 수 있는 컴퓨터를 이용하여, 이를 재현하여 가상경험을 창출하는 기술이다.
3차원 물체 추적과 장면 복원을 위한 기술들은 사용자가 실제 공간에 어떤 기하학적인 변형이 가해진 3차원 가상 물체를 등록시키는 것을 허용한다.
증강 공간은 서비스 공급자에 의해 저작된 의미 있는 물리적 공간상에서 가상물체들을 증가시킨다(예를 들면, 박물관, 관광, 모델하우스, 인테리어, 게임 등등). 그러므로 그것의 물리적 물체들은 일반적으로 미리 견본이 만들어지고 그것들은 추적 할 수 있다. 이렇게 하여 사용자가 더 넓은 3차원 공간에서 가상과 실제의 상황의 다양한 조합에 의해서 더 자연스럽고 풍부하게 상호작용하는 것이 가능해진다. 이러한 맥락으로, 그것은 현장에서 사용자가 입고 있는 머리에 입혀진 디스플레이에 의해 특정한 순간에 집중되어진 부분적인 3차원 공간의 중요성이 증가되었다.
웨어러블 증강 현실 상황에서 사용자를 고려하면 그 다음 자기 시점의 메타포어(egocentric metaphor), 기존의 볼륨(volumetric) 선택 기술들을 가상공간에서 직접적으로 증강공간에 적용하기 어렵다. 가장 큰 문제는 현실 물체들로부터 물리적 경계조건들이다. 어떤 장소에서 관심 물체(object of interest (OoI))를 얻기 위하여 장애물을 만나는 사용자와, 자유 변환과 함께 가상 공간 안의 사용자는 다르다. 예를 들면, 목표 물체는 사용자에 의해 손상되는 것이 가능하고, 주위 환경에 의해 방해 받을 수 있고, 직접 만지는 것에 관하여 너무 작거나 거리가 멀거나 또는 이들의 조합으로 부적절 할 수 있다.
이런 것들을 해결하기 위하여 멀리 있는 목표물 선택, 간접적인 포인팅 테크닉, 은 보이는 목표(viewing target)에 대한 대안이 된다.
그러나 기존의 간적접인 접근들은 관심 물체 및 그것의 주변을 포함하는 사용자가 원하는 3D 볼륨(volume)을 정교하게 선택하는 것을 맞춰주지 못하는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 증강 공간에 관하여 맨손 핀치들을 이용하여 정교하게 3D 부분 공간을 획득할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 다른 목적은 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
또한, 본 발명의 또 다른 목적은 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부 및 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부를 포함한다.
또한, 상기 타겟팅부는 상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 이벤트 감지부, 상기 이벤트 감지부에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성하는 투영부, 상기 투영부에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행하는 터널 캐스팅 수행부 및 상기 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제1변환부를 포함할 수 있다.
또한, 상기 개선부는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 조절부, 상기 타겟팅부가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 탑뷰제공부 및 상기 조절부에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제2변환부를 포함할 수 있다.
또한, 상기 이벤트 감지부는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정할 수 있다.
또한, 상기 투영부는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성할 수 있다.
또한, 상기 터널 캐스팅 수행부는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행할 수 있다.
또한, 상기 제1변환부는 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제1 입체형상으로 변환하여 제1 부분 공간을 획득할 수 있다.
또한, 상기 조절부는상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성할 수 있다.
또한, 상기 탑뷰제공부는 상기 타겟팅부가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 도울 수 있다.
또한, 상기 제2변환부는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득할 수 있다.
또한, 상기 제1 및 제2 입체형상은 직육면체일 수 있다.
본 발명의 다른 측면에 의하면, 이벤트 감지부가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 제1 단계, 투영부가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성하는 제2 단계, 터널 캐스팅 수행부가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행하는 제3 단계, 제1변환부가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제4 단계, 조절부가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 제5 단계 및 제2변환부가 상기 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제6 단계를 포함한다.
또한, 상기 제1 단계의 사용자의 동작은 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작일 수 있다.
본 발명에 의하면, 증강 공간에 관하여 맨손 핀치들을 이용하여 정교하게 3D 부분 공간을 획득할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한, 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한, 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
도 1은 자기 시점 부분공간 획득(egocentric subspace acquisition)을 평면화해서 나타낸 도면이다.
도 2는 모든 구성요소들과 좌표계가 있는 자기시점 상호작용 공간의 탑 뷰(top view)이다.
도 3은 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템의 구성을 나타낸 도면이다.
도 4는 3D 핀치-팁(pinch-tip) 입력을 구현하는 방법을 나타낸 도면이다.
도 5는 타겟팅부의 내부 구성을 나타낸 도면이다.
도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이다.
도 7은 개선부의 내부 구성을 나타낸 도면이다.
도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 의한 증강 공간 내 부분 공간 획득 방법을 나타낸 흐름도이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.
도 1은 자기 시점 부분공간 획득(egocentric subspace acquisition)을 평면화해서 나타낸 도면이고, 도 2는 모든 구성요소들과 좌표계가 있는 자기시점 상호작용 공간의 탑 뷰(top view)이다.
도 1 및 도 2를 참조하면, 자기 시점 메타포어(egocentric metaphor)에서 부분 공간 획득을 이용하기 위해서, 본 발명은 사전에 외부요인들을 디자인해야 한다. 왜냐하면 그것은 멀리 떨어진 지역, 사용자 및 입력 장치에 대한 명확한 상호작용 공간들의 고려를 위해서 요구된다. 실제 공간 상에서 가상의 관심 물체(object of interest (OoIs))들이 등록된 증강 공간은 세계 좌표 시스템(world coordinate system)을 가진다. 이 공간의 모든 물체는 세계 좌표와 결합되어 있으나 또한 자신의 변환과 함께 지역의 좌표계를 가진다. 카메라가 달린 HWD(head-worn display, 이하 HWD 라 한다)를 쓰고 있는 사용자는 이 공간에서 개별적인 물체이다. 본 발명은 원근 투영 가상 카메라의 원점으로 사용자의 좌표 시스템을 설정한다. 그러므로 그것은 모든 추적 가능한 물체들의 상대적인 변환으로 계산된다. 이러한 맥락으로, 카메라의 뷰잉 절두체(viewing frustum)에 기반한 큰 체적은 이상적인 자기시점(egocentric) 상호작용 공간들로 정의된다.
자기시점(egocentric) 상호작용 공간들은 도 2에 도시한 바와 같이 주된(primary) 상호작용 기준들에 의존하는 두 부분으로 분리된다. 탐지 범위 내의 자기시점 공간(Egocentric Space within Detection(ESD), 이하 ESD라 한다)은 사용자의 관측시야(field of view(fov), 이하 fov라 한다)에 의해 필터된 더 큰 절두체(frustum)이다. 멀리 떨어져 있는 모든 현실 및 가상의 물체들은 여기에 상주하고 사용자 좌표와 관련 있는 그것의 변환을 가진다. 선택된 부분 공간의 변환도 이 공간에서 생성된다. 절두체(frustum)의 크기는 가상 카메라의 클리핑 디스턴스(clipping distance)에 의해 결정된다. 사실은 이것은 사용가능한 트래커(tracker) 및 목표 증강 공간을 위한 그것의 성능과 단단하게 연결되어있다. IsoScale 평면은, 자신만의 기하학적 변환을 가지며 사용하는 디스플레이 스크린의 픽셀 크기와 폭과 높이가 같은, 모든 간접 제어에서 크기가 조절된 매핑(mapping)을 위하여 유용하다. 본 발명은 다음의 두 가지 조건들로부터 IsoScale 평면의 변환을 얻을 수 있다. 첫 번째 IsoScale 평면의 위치는 ESD의 센터라인 상이다. 두 번째 IsoScale 평면의 z 거리는 ESD의 클리핑(clipping) 평면에 비례한다.
반면에, 터치 범위 내의 자기시점(egocentric) 공간(Egocentric Space within Touch(EST), 이하 EST라 한다)은 실시간 3차원 핀치-팁(pinch-tip) 탐지에 의한 프리핸드 포인터들을 위하여 뷰잉 절두체보다 작다. EST의 크기는 모터 공간과 ESD 사이에 겹쳐진 공간에 맞먹는다. 그러므로 이것은 양 손들을 사용하는 사용자의 동작을 위하여 3차원 지역에서 도달 가능하고 볼 수 있다.
Figure PCTKR2015009396-appb-I000001
은 너무 가깝기 때문에 프리핸드 포인터들과 함께 불편한 영역이다. 한편,
Figure PCTKR2015009396-appb-I000002
는 어떤 위치에 있는 양 손들에 의해 포인터들의 편안한 범위로 예정되어 있다. 이 아이디어는 개인 공간의 근접 영역(intimate zone)으로부터 왔다.
Figure PCTKR2015009396-appb-I000003
와
Figure PCTKR2015009396-appb-I000004
사이의 차이는 간접적인 1차원 컨트롤을 위하여 만질 수 있는 거리를 위하여 이용된다.
부분 공간은 인접한 관심 물체(object of interest)들(OoIs)의 상황 정보 및 그것의 환경들을 포함하는 기하학적 변환을 이용하여 3차원 물체로 새롭게 생성된다.
본 발명을 통해 풀고자 하는 문제는 기존의 단일 객체 선택이나 레퍼런싱(referencing)을 돕기 위한 여러 볼륨 선택(volumetric selection)과 달리, 정교하게 원거리의 관심 삼차원 영역을 얻기 위한 자기시점 선택(egocentric selection)을 제시하는 것이다.
단안 비디오 투과(monocular video see-through) HWD를 사용하는 환경에 집중하므로 부분 공간 선택은 하나의 시각 절두체(view frustum) 내에서 이루어진다. 이 절두체(view frustum)를 상호작용 대상에 따라 두 자기시점 공간(egocentric space)으로 구분하면 다음과 같다. 먼저 ESD는 검출과 추적 기술(detection and tracking)이 동작하는 시각 절두체 내 큰 절두체로 손에 닿지 않는 거리의 실제와 가상의 객체들이 주로 상주하는 공간이다. 그러므로 객체들을 포함하는 선택된 부분 공간은 ESD에 존재한다. 반면, EST는 운동 공간(motor space)과 ESD의 교집합으로 이루어지는 작은 절두체(smaller frustum)이다. EST는 부분 공간(subspace) 선택을 위해 양손에 의한 삼차원 손 입력(3D hand input)이 동작하는 공간이다.
본 발명은 ESD 내 관심 객체들과 그 주변 영역을 포함하는 임의의 크기와 형태를 갖는 부분 공간(subspace)을 새롭게 정의한다. 부분 공간(subspace)은 다음의 고려사항들을 만족하는 직육면체(cuboid)로 정한다.
1. 적어도 하나 이상의 객체를 포함하는 공간이다. 객체가 영향을 미치지 않는 비어있는 공간은 사용자에 의해 선택되더라도 활용될 가능성이 거의 없기 때문이다.
2. 전역 좌표 시스템(global coordinate system)을 기준으로 하는 위치(position), 회전(rotation), 스케일(scale) 값을 포함하는 삼차원 기하정보를 반드시 가진다.
3. 정형화된 기하 형태로 표현이 가능해야 한다. 착용형 증강현실 시스템의 관점에서 원거리 삼차원 부분 공간을 기술하고 조작하기 위한 계산 비용(computational cost)을 줄이는 것이 중요하다. 시간과 장소의 구애를 덜 받는 맨손 입력을 이용하는 착용형 컴퓨팅 시스템이니 만큼, 부분 공간 기술에 필요한 데이터와 계산이 적을수록 좋은 시스템 퍼포먼스를 유지할 수 있다. 규칙이 없는 비정형의 기하 부분 공간은 계산 부담(computational load)를 가중시키고 사용자의 조작을 복잡하게 만든다.
4. 비균일 스케일(non-uniform scale)의 공간도 커버 할 수 있는 형태이어야 한다. 구체나 큐브와 같은 균일 스케일 형태는 길쭉하거나(longish) 넓고 평평한(wide and flat) 관심 삼차원 영역을 기술하기에 적합하지 않다. 특히, 구체는 사용자가 추가적인 정보 없이 회전을 판단하기가 어렵다.
위의 고려사항을 토대로, 본 발명은 증강 공간에서의 부분 공간 획득을 EST에서 삼차원 맨손 입력을 이용하여 ESD상의 관심 객체를 포함하는 임의의 원거리 직육면체의 위치, 회전, 스케일을 효과적으로 결정하는 문제로 단순화한다.
인지(Perception)는 증강 장면(augmented scene) 내 사용자가 원하는 부분 공간에 대응하는 예상 부분 공간(imaginary subspace)을 얻는 단계이다. 이는 사용자의 맨손 상호작용에 의한 부분 공간 구체화를 위해 필수적인 정신적 선택 과정(mental selection process)이다. 먼저 사용자는 사용자의 위치와 증강 객체들의 시각(perspective)을 고려한 fov를 찾는다. 이 때의 시점(viewport)은 추후 공간 단위의 상호작용 의도를 충분히 반영한다. 특히, 공간 상에서의 사용자가 바라보는 fov는 부분 공간 선택시 회전 정보를 시스템에게 제공하는 중요한 단서이다. 사용자가 머무른 fov에서, 관심 영역을 한정 짓기 위한 시각 인지 과정(human visual recognition process)에 의해 예상 공간 그리기(imaginary subspace drawing)를 매우 빠르게 수행한다. 사람의 눈은 시야 내 관심도에 따라 중심시각(central vision)에 의해 집중되는 영역과 중심외시각(peripheral vision)에 의해 집중되지 않는 영역으로 구분된다. 따라서, 중심시각의 자취(trace)에 의한 연속적인 포커스 영역(focused area)은 곧 사용자 시선에서의 관심 영역이라 할 수 있다. 이와 같이 자기시점에서의 인지 단계는 비정형화된 삼차원 관심 부분 영역을 기억하고 타겟팅(targeting)과 개선(refinement) 단계를 통해 자연스럽게 이를 정형화된 영역으로 재현한다.
도 3은 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템의 구성을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템은 깊이 영상 획득 장치(300), 디스플레이 장치(310), 타겟팅부(320) 및 개선부(330)을 포함한다.
깊이 영상 획득 장치(300)는 마이크로소프트(Microsoft)사에서 출시된 키넥트가 사용될 수 있으나 이에 한정되는 것은 아니고, 깊이 정보를 제공할 수 있는 장치라면 모두 사용 가능하다.
깊이 영상 획득 장치(300)는 RGB Color 카메라, 3D Depth 센서, 4개의 마이크로폰 어레이 및 센서를 상하로 움직일 수 있는 틸트 모터를 주요하게 포함하여 구성된다. 따라서 깊이 영상 획득 장치(300)는 상기 3D Depth 센서로부터 3D 이미지를 획득하는 것이 가능하다.
디스플레이 장치(310)는 단안 비디오 투과(monocular video see-through) HWD 일 수 있으나 이에 한정되는 것은 아니고 상기 깊이 영상 획득 장치(300)로부터 획득된 3D 이미지를 디스플레이 가능한 것이면 모두 가능하다.
타겟팅부(320)는 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득한다.
개선부(330)는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득한다.
도 4는 3D 핀치-팁(pinch-tip) 입력을 구현하는 방법을 나타낸 도면이다.
본 발명은 직접 도달하기 어려운 증강 공간 내 부분 공간을 원거리에서 선택하기 위한 실시간 맨손 입력을 직접 구현하였다. HWD(Head worn display)에 부착된 RGBD 카메라에 의해 추가 장치의 도움 없이 EST(Egocentric Space within Touch)에서 3D 핀치 위치와 동작을 인식한다.
윌슨(Wilson)과 하(Ha)의 방식으로부터 빠르고 강건한 착용형 AR 환경에서의 삼차원 핀치 입력 도구로의 영감을 얻었다. 복잡한 손 특징 검출이나 학습 알고리즘과 달리, 윌슨은 고정된 RGB 입력에서의 차영상(image subtraction)을 통해 간단하고 강건한 핀칭 홀 검출 방법을 제안하였다. 또한, 하는 1인칭 시점(egocentric metaphor)에서 HWD에 부착된 RGB-D 카메라로부터 검출된 팜의 좌표를 통합한 착용형 AR 좌표 시스템을 제안하였다.
본 발명은 HWD에 부착된 깊이 센서(깊이 영상 획득 장치)로부터 핀치 홀에 의한 핀치 팁 위치를 보다 빠르게 검출하고 이를 HWD를 기준으로 하는 삼차원 좌표 시스템에 결합하였다.
도 4는 양손 구분이 가능한 positional 3DoF 핀치팁 입력의 구현 결과이다. 1인칭 시점 환경에서 운동학적으로 팔이 화면 가장자리(boundary)와 만나는 조건과 홀 중심으로부터의 픽셀 두께 검사를 통해 일반적인 상황에서 양손을 빠르고 강건하게 구별하도록 구현하였다.
검출된 3D 위치는 EST 내 가상 손 메타포로 사용이 가능하다. 하지만 본 발명에서는 2차원 RGB화면에 매핑되어 타겟팅부(320)에서 2D 커서로 활용하고 개선부(330)에서 cuboid의 깊이 조절을 위한 1D 컨트롤러로 분리하여 활용한다. 핀치 입력 도구의 상태는 유휴(idle), 핀칭(pinch), 그리고 해제(release)로 구분되며 선택(selection trigger)은 하이젠버그 효과(Heisenberg effect)를 줄이기 위한 선택하기 위해 해재(release to select) 방식을 적용하였다.
도 4를 참조하면, (1) HWD에 부착된 깊이 영상으로부터 얻은 이진 이미지와 구멍을 채운 이미지를 얻고, (2) 이 두 이미지 간의 차영상으로부터 핀치 홀에 해당하는 영상을 획득한다.
(3) 타원 피팅에 의한 중심점 계산 및 손 구별 조건을 통해 해당 핀치의 손을 구별한다. 이를 자세히 살펴보면, (a)1인칭 시점에 정상적으로 손이 들어온다는 가정하에 검출 타원의 중심점으로부터 x축(수평 방향)으로 두께 검사(픽셀개수를 비교)를 수행한다(예를 들면, 왼쪽이 두꺼울 경우 왼 손). (b)1차검사 시 왼쪽 또는 오른쪽의 바운더리와 만날 시에는 해당 손의 이미지 바운더리 접촉 검사 추가 수행한다.
(4) 손 구별 후 convex점들 중 가장 먼 거리의 핀치 팁을 선택한다.
(5) 사전에 주어진 캘리브레이션에 따라 2D 포인트를 RGB 영상의3D (2D 위치+깊이)로 프로젝션한다.
도 5는 타겟팅부의 내부 구성을 나타낸 도면이고, 도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이다.
타겟팅부(320)는 fov에 등장하는 객체들의 공간 맥락(spatial context)을 고려하여 예상 부분 공간(imaginary subspace)을 포함하는 최대 스케일의 초기 부분 공간을 구하는 부분이다.
사용자에 의해 그려지는 2D 관심 영역(Region of Interest(RoI),이하 RoI라 한다)를 지나는 터널 내 객체 충돌 정보를 활용하여 초기 부분 공간에 해당하는 큰 직육면체를 얻는다. 이렇게 얻어낸 공간은 반드시 예상 부분 공간을 포함한다.
도 5 및 도 6을 참조하면, 타겟팅부(320)는 이벤트 감지부(321), 투영부(322), 터널 캐스팅 수행부(323) 및 제1변환부(324)를 포함한다.
이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정한다.
즉, 이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정한다.
구체적으로 이벤트 감지부(321)는 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작을 이용하여 HWD 화면 상에 관심 삼차원 영역이 포함되는 RoI 프레임을 그린다. 이 때의 프레임 크기는 이후 설명될 사용자의 눈으로부터 생성되는 터널의 너비와 높이를 결정하는 핵심 정보이다.
투영부(322)는 상기 이벤트 감지부(321)에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성한다.
즉, 투영부(322)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성한다.
구체적으로, 투영부(322)는 상기 이벤트 감지부(321)에서 관심 삼차원 영역이 포함되어 그려진 RoI 프레임을 터널로 확장하기 위해 먼저 화면에 그려진 2D 프레임을 3D 공간으로 프로젝션(projection)한다. 이는 HWD의 픽셀 해상도(pixel resolution)와 같은 스케일(isomorphic scale)을 가지는 동일 스케일 평면(IsoScale plane)을 이용하여 해결한다. 이 때의 동일 스케일 평면은 z 값을 제외하고, 카메라 좌표계의 원점과 동일한 이동(translation)과 회전(rotation)을 가지는 삼차원 상의 이차원 평면이다. 동일 스케일 평면의 z값은 카메라 절두체를 구성하는 가까운(near) 또는 먼 평면(far plane)과의 비례식을 이용하여 쉽게 계산할 수 있다. 이처럼 동일 스케일 평면은 스크린 좌표를 사용하는 여러 가림 선택(occlusion selection)에 효과적으로 활용 가능하다. 이렇게 RoI를 지나는 터널에서의 유효 영역은 이후 설명될 양방향 터널 캐스팅(Two-way tunnel-casting)을 통해 결정한다.
터널 캐스팅 수행부(323)는 상기 투영부(322)에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행한다.
즉, 터널 캐스팅 수행부(323)는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행한다.
구체적으로, 터널 캐스팅 수행부(323)의 양방향 터널 캐스팅은 시각 절두체의 끝까지 뻗어나가는 터널에서 객체들이 존재하는 유효 영역만을 한정하는 자동 선별 방법이다. 기본적으로 부분 공간은 객체들을 중심으로 이루어지므로, 전체 터널에서 맨 앞과 맨 뒤 빈(void) 영역을 제외한다. 본 발명에서는 이를 포함 절두체(inclusive frustum)라고 부른다. 양방향 터널 캐스팅에서는 터널 캐스팅을 수행하는 광선 그룹(set of rays)과 충돌하는 증강 객체들의 맥락을 충분히 활용한다. 먼저, 눈으로부터 가장 가까운, 최초 충돌지점을 찾는 포워드 캐스팅(forward casting)을 수행한다. 이 때, 최단거리 충돌점을 포함하는 터널과 평행한 슬라이스 평면을 포함 절두체의 가까운 평면(near-plane)(제1평면)으로 정한다. 포함 절두체의 먼 평면(far-plane)을 정하기 위해서는 백워드 캐스팅을 수행한다. 이는 눈에서 가장 먼 충돌점을 찾기 위한 과정으로, 포워드 캐스팅과 동일한 광선 그룹을 반대 방향에서 발사하여 최초 충돌지점을 찾는다. 이렇게 얻은 충돌지점을 포함하는 터널과 평행한 슬라이스 평면은 포함 절두체의 먼 평면(far-plane)(제2평면)으로 정한다. 터널 내 슬라이스 된 제1 및 제2평면으로 포함 절두체의 크기가 결정된다.
제1변환부(324)는 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득한다.
즉, 제1변환부(324)는 상기 터널 캐스팅 수행부(323)에서 설명한 바와 같이 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득한다.
제1변환부(324)에서 변환한 제1 입체형상은 직육면체인 것이 적합하나 입체형상의 모양이 이에 한정되는 것은 아니다.
도 7은 개선부의 내부 구성을 나타낸 도면이고, 도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
개선부(330)는 유사한 핀치 인터랙션을 통해 초기 부분 공간 범위 내에서 위치와 스케일을 조절하여 최종 부분 공간인 제2 입체형상의 제2 부분 공간을 결정한다. 상기 타겟팅부(320)에서 앞과 뒤 쪽의 빈 공간이 제외되었지만, 여전히 자기시점에서 가림이나 깊이 인지 등에 의해 원치 않는 객체들이 포함되는 경우가 있기 때문이다. 따라서 사용자 슬라이싱에 의하여 앞과 뒤쪽에 포함된 불필요한 공간을 다시 제거한다. 사용자는 포함 절두체의 가까운 그리고 먼 평면의 위치를 직접 변경하여 원하는 부분 공간에 근접한 결과를 얻을 수 있다.
도 7 및 도 8을 참조하면, 개선부(330)는 조절부(331), 탑뷰 제공부(332) 및 제2변환부(333)을 포함한다.
조절부(331)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성한다.
즉, 조절부(331)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성한다.
구체적으로 조절부(331)는 포함 절두체의 두 평면은 양 손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 수행한다. 이는 정해진 운동 공간에서 가변 깊이를 가지는 포함 절두체를 효과적으로 슬라이스하기 위함이다. 따라서 타겟팅부(320)에서 포함 절두체의 물리적인 거리가 결정될 때, 핀치 입력의 깊이 측정 허용 범위에 맞게 스캐일 매핑 비(scale mapping ratio)가 조금씩 변할 수 있다. 이는 아주 세밀한 깊이 조절에는 적합하지 않지만, 빈번한 클러칭(clutching)을 없이 처음과 끝을 탐색하기에 효과적이다. 본 발명은 주사용(dominant)과 아닌(nondominant) 손을 각각 가까운 그리고 먼 평면에 각각 대응한다. 각 손에 대응된 면의 이동은 포함 절두체를 내에서 독립적으로 동작하며 먼 평면은 가까운 평면을 넘어가지 못하도록 설계한다. 해당 면의 이동이 이루어질 때마다, 새로운 직육면체 변환이 수행된 결과가 사용자에게 제공된다.
탑뷰 제공부(332)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부(331)가 부분공간을 형성하는 것을 돕는다.
즉, 탑뷰 제공부(332)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부(331)가 부분공간을 형성하는 것을 돕는다.
구체적으로, 탑뷰 제공부(332)는 사용자의 깊이 조절을 돕기 위해 가상 카메라인 즉시적인 맵(instant map)을 추가로 제공한다. 초기 부분 공간에의 고정된 회전이 사용자의 이동에 따른 뷰포트 전환에도 깊이 조절을 가능하게 하지만, 매번 가림을 피하고 깊이를 확인하는 작업은 매우 불편하다. 이를 해결하기 위해 즉시적인 맵은 게임이나 네비게이션과 같이 사용자가 자기시점에서 볼 수 없는 관심 영역의 탑 뷰를 제공해준다. 구글글래스 디스플레이와 유사한 우측상단에 포함 절두체의 위치에서 그 스케일을 고려한 직교 투영(orthogonal projection)에 의한 가상 탑뷰 카메라를 제공한다. 따라서 사용자는 보다 쉽고 빠르게 양 면의 깊이 이동과 그에 따른 부분 공간 변환 결과를 눈으로 확인할 수 있다.
제2변환부(333)는 상기 조절부(331)에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득한다.
제2변환부(333)는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득한다.
제2변환부(333)에서 변환한 제2 입체형상은 직육면체인 것이 적합하나 입체형상의 모양이 이에 한정되는 것은 아니다.
도 9는 본 발명의 일 실시예에 의한 증강 공간 내 부분 공간 획득 방법을 나타낸 흐름도이다.
도 9를 참조하면, 이벤트 감지부(321)가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정한다(S900). 즉, 상기 이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정한다.
투영부(322)가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성한다(S910). 즉, 상기 투영부(322)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성한다.
터널 캐스팅 수행부(323)가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행한다(S920). 즉, 상기 터널 캐스팅 수행부(323)는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행한다.
제1변환부(324)가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득한다(S930). 즉, 상기 제1변환부(324)는 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득한다.
조절부(331)가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성한다(S940). 즉, 상기 조절부(331)는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성한다.
제2변환부(333)가 상기 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득한다(S950). 즉, 상기 제2변환부(333)는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득한다.
도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이고, 도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
도 6 및 도 8을 참조하면, 본 발명의 타겟팅부(320) 및 개선부(330)에 의하여 획득된 제2 입체형상의 제2 부분 공간의 중심을
Figure PCTKR2015009396-appb-I000005
라 하면,
회전(
Figure PCTKR2015009396-appb-I000006
)은
Figure PCTKR2015009396-appb-I000007
이다. 즉, 사용자가 바라보는 방향과 같다.
위치(
Figure PCTKR2015009396-appb-I000008
)는 [수학식 1]로 표현된다.
Figure PCTKR2015009396-appb-M000001
여기에서, 새로운 평면의 중심 위치
Figure PCTKR2015009396-appb-I000009
및
Figure PCTKR2015009396-appb-I000010
의 중간이 새로운 제2 부분 공간의 중심이다.
또한, α는 오른손, 즉 가까운 평면과 연관된 계수이고, β는 왼손, 즉 면 평면과 연관된 계수이다. α값은 오른손이 z 축으로 움직인 거리와 연관되고, β는 왼손이 z 축으로 움직인 거리와 연관된다.
스케일(
Figure PCTKR2015009396-appb-I000011
)은 [수학식 2]로 표현된다.
Figure PCTKR2015009396-appb-M000002
여기에서,
Figure PCTKR2015009396-appb-I000012
는 벡터를 스칼라로 변환하기 위한 기호이고,
Figure PCTKR2015009396-appb-I000013
는 가까운 평면의 x 축 상의 extent 값이고,
Figure PCTKR2015009396-appb-I000014
는 먼 평면의 x 축상의 extent 값이다.
본 발명은 교육, 비즈니스, 원격진료 및 다자간 학습 등에 이용 가능하고, 부분 공간을 획득하여 부분 공간 안에 존재하는 객체들과의 상호작용이 필요한 분야라면 어떤 분야에도 적용 가능하다.
이상에서 본 발명에 의한 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구의 범위에 기재된 본 발명의 사상 및 영역의 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부; 및
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부(Refinement)를 포함하는 증강 공간 내 부분 공간 획득 시스템.
  2. 제1항에 있어서,
    상기 타겟팅부는
    상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 이벤트 감지부;
    상기 이벤트 감지부에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성하는 투영부;
    상기 투영부에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행하는 터널 캐스팅 수행부; 및
    상기 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제1변환부
    를 포함하는 증강 공간 내 부분 공간 획득 시스템.
  3. 제1항에 있어서,
    상기 개선부는
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 조절부;
    상기 타겟팅부가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 탑뷰제공부; 및
    상기 조절부에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제2변환부
    를 포함하는 증강 공간 내 부분 공간 획득 시스템.
  4. 제2항에 있어서,
    상기 이벤트 감지부는
    상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정하는 증강 공간 내 부분 공간 획득 시스템.
  5. 제2항에 있어서,
    상기 투영부는
    상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성하는 증강 공간 내 부분 공간 획득 시스템.
  6. 제2항에 있어서,
    상기 터널 캐스팅 수행부는
    사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행하는 증강 공간 내 부분 공간 획득 시스템.
  7. 제2항에 있어서,
    상기 제1변환부는
    상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템.
  8. 제3항에 있어서,
    상기 조절부는
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성하는 증강 공간 내 부분 공간 획득 시스템.
  9. 제3항에 있어서,
    상기 탑뷰제공부는
    상기 타겟팅부가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 증강 공간 내 부분 공간 획득 시스템.
  10. 제3항에 있어서,
    상기 제2변환부는
    상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템.
  11. 제1항에 있어서,
    상기 제1 및 제2 입체형상은 직육면체인 증강 공간 내 부분 공간 획득 시스템.
  12. 이벤트 감지부가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 제1 단계;
    투영부가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성하는 제2 단계;
    터널 캐스팅 수행부가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행하는 제3 단계;
    제1변환부가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제4 단계;
    조절부가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 제5 단계; 및
    제2변환부가 상기 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제6 단계
    를 포함하는 증강 공간 내 부분 공간 획득 방법
  13. 제12항에 있어서,
    상기 제1 단계의 사용자의 동작은 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작인 증강 공간 내 부분 공간 획득 방법.
PCT/KR2015/009396 2015-07-13 2015-09-07 증강 공간 내 부분 공간 획득 시스템 및 방법 WO2017010614A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/744,717 US10409447B2 (en) 2015-07-13 2015-09-07 System and method for acquiring partial space in augmented space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150099124A KR101666561B1 (ko) 2015-07-13 2015-07-13 증강 공간 내 부분 공간 획득 시스템 및 방법
KR10-2015-0099124 2015-07-13

Publications (1)

Publication Number Publication Date
WO2017010614A1 true WO2017010614A1 (ko) 2017-01-19

Family

ID=57256701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009396 WO2017010614A1 (ko) 2015-07-13 2015-09-07 증강 공간 내 부분 공간 획득 시스템 및 방법

Country Status (3)

Country Link
US (1) US10409447B2 (ko)
KR (1) KR101666561B1 (ko)
WO (1) WO2017010614A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
JP7133470B2 (ja) * 2016-02-18 2022-09-08 イーディーエックス テクノロジーズ インコーポレイテッド ネットワークの拡張現実表現のためのシステムおよび方法
US10311630B2 (en) 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10586377B2 (en) 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
US10445947B2 (en) * 2017-08-01 2019-10-15 Google Llc Methods and apparatus for interacting with a distant object within a virtual reality environment
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
FR3075985B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute porte pour rendre conforme l'affichage d'informations de pilotage d'un aeronef avec le monde reel exterieur
KR20190078475A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
USD884018S1 (en) * 2018-04-10 2020-05-12 Spatial Systems Inc. Display screen or portion thereof with animated graphical user interface with augmented reality
KR102528240B1 (ko) * 2018-08-30 2023-05-02 삼성중공업 주식회사 3d 클리핑 기능을 가진 3d 뷰어
TWI701575B (zh) * 2019-03-07 2020-08-11 緯創資通股份有限公司 手勢辨識方法以及手勢辨識裝置
US11176745B2 (en) * 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
KR20240048522A (ko) * 2021-09-22 2024-04-15 애플 인크. 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083929A2 (ko) * 2010-01-11 2011-07-14 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
US20120194516A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Three-Dimensional Environment Reconstruction
US20130135315A1 (en) * 2011-11-29 2013-05-30 Inria Institut National De Recherche En Informatique Et En Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3d computer-generated animation
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665272B2 (en) * 2007-09-26 2014-03-04 Autodesk, Inc. Navigation system for a 3D virtual scene
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
KR20130053466A (ko) 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083929A2 (ko) * 2010-01-11 2011-07-14 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
US20120194516A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Three-Dimensional Environment Reconstruction
US20130135315A1 (en) * 2011-11-29 2013-05-30 Inria Institut National De Recherche En Informatique Et En Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3d computer-generated animation
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE, HYEONG MOOK ET AL., EGOCENTRIC SUBSPACE ACQUISITION WITH FREEHAND PINCHES IN AUGMENTED SPACE, 20 January 2015 (2015-01-20), pages 1 - 10 *
LEE, HYEONG MOOK, TOWARD 'INVOKING SUBSPACE': EFFICIENT ACQUISITION OF TARGET SPACE WITH ROBUST PINCHES IN WEARABLE AUGMENTED REALITY, 5 September 2014 (2014-09-05), pages 1 - 16 *

Also Published As

Publication number Publication date
US20180210627A1 (en) 2018-07-26
KR101666561B1 (ko) 2016-10-24
US10409447B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
WO2017010614A1 (ko) 증강 공간 내 부분 공간 획득 시스템 및 방법
JP5966510B2 (ja) 情報処理システム
CN107683497B (zh) 信息处理设备、信息处理方法及程序
JP6304241B2 (ja) 表示制御装置、表示制御方法およびプログラム
KR101171660B1 (ko) 증강현실의 포인팅 장치
WO2014162852A1 (ja) 画像処理装置、画像処理方法およびプログラム
TWI501130B (zh) 虛擬觸控輸入系統
US20100315414A1 (en) Display of 3-dimensional objects
WO2010062117A2 (en) Immersive display system for interacting with three-dimensional content
US20160049011A1 (en) Display control device, display control method, and program
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP6601402B2 (ja) 制御装置、制御方法およびプログラム
CN105264572A (zh) 信息处理设备、信息处理方法和程序
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
Rekimoto The magnifying glass approach to augmented reality systems
WO2017082539A1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
CN108885342A (zh) 用于低延迟渲染的宽基线立体
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US9760180B2 (en) User interface device and user interface method
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
US20170300121A1 (en) Input/output device, input/output program, and input/output method
WO2021029256A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15898375

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15744717

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15898375

Country of ref document: EP

Kind code of ref document: A1