Nothing Special   »   [go: up one dir, main page]

WO2018074821A1 - 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 - Google Patents

터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 Download PDF

Info

Publication number
WO2018074821A1
WO2018074821A1 PCT/KR2017/011477 KR2017011477W WO2018074821A1 WO 2018074821 A1 WO2018074821 A1 WO 2018074821A1 KR 2017011477 W KR2017011477 W KR 2017011477W WO 2018074821 A1 WO2018074821 A1 WO 2018074821A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
touch
movement
path
virtual camera
Prior art date
Application number
PCT/KR2017/011477
Other languages
English (en)
French (fr)
Inventor
이동훈
천솔지
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160136073A external-priority patent/KR101743888B1/ko
Priority claimed from KR1020160140301A external-priority patent/KR102705094B1/ko
Application filed by (주)잼투고 filed Critical (주)잼투고
Publication of WO2018074821A1 publication Critical patent/WO2018074821A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a user terminal device and a computer implementation method for synchronizing a movement path and a movement time of a camera using a touch user interface. More particularly, the present invention relates to a touch user interface that allows a general user to conveniently set a camera operation. The present invention relates to a user terminal device and a computer implemented method for synchronizing a movement path and a movement time of a camera.
  • UGC User Generated Contents
  • the desire for high quality UGC generation by the general public who is familiar with such contents has also increased.
  • an automatic karaoke studio that automatically creates a music video by synthesizing a virtual background
  • the general public can create a music video without the help of an expert.
  • these auto karaoke studios use stationary cameras. Therefore, compared to the professional contents reflecting the camera walk implemented by the shooting specialist, the music video generated by the auto karaoke studio is limited to the camera walk, so that the music video generated by applying the virtual background is monotonous and can be edible. have.
  • a robot camera is required to automatically implement various camera walks.
  • the robot camera is a type in which a camera is mounted on a movable robot.
  • An example of a robotic camera is a commercial product such as Furio Robo, Ross Video's robotic camera system that is primarily used for broadcast photography. These robot cameras can be controlled by professionals using professional manipulation programs and manipulation devices.
  • the general public has a problem in that it is difficult to use a professional operation program and a control device for controlling the robot camera.
  • the subject may be photographed at various angles of view according to the corresponding path of the camera to be moved. Therefore, there is a need for a technology that allows the public to conveniently set the movement path of the robot camera in advance.
  • various camera walks can be implemented according to the moving speed of the camera to be photographed, so that a technology that allows the general public to conveniently set the moving speed of the robot camera in advance is required.
  • the contents of the generated video may be different. Therefore, there is a need for a user interface that allows the general public to conveniently set various angles of view, camera work, and application time of the robot camera in advance.
  • U.S. Patent No. 8,817,078 to Gay et al. describes a method of controlling the movement of an actual camera according to a virtual camera movement path set for each time. However, it is still difficult for the general public to implement the movement path of the camera for each corresponding time without a professional program. It also does not specifically describe how to conveniently set the time. In addition, it does not describe a method for facilitating camera speed control for applying various camera walks.
  • the present invention is to solve the above problems, and the user terminal device and method for synchronizing the movement path and the movement time of the camera using the touch user interface according to the present invention, the general user conveniently various cameras according to the camera movement speed Its purpose is to provide a user interface for implementing work and proper travel time settings.
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface according to the present invention can provide efficient use of the display area by providing a user interface suitable for space utilization of a smartphone having a small display area. For other purposes.
  • the user terminal device and method for synchronizing a movement path and a movement time of a camera using a touch user interface allow a user to select a displayed zoom sample in a touch manner, Another object is to enable convenient input of the zoom setting of a corresponding camera.
  • a user terminal device and method for synchronizing a movement path and a movement time of a camera using a touch user interface include a pan touch trace, a tilt touch trace, and a zoom on a movement path touch trace.
  • the touch trajectory is input via a touch screen in a touch manner (including a swipe), so that a pan, tilt, and zoom of the camera corresponding to the movement time of each movement path zoom) has another purpose that allows you to set the behavior.
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface when receiving a movement time related to a camera operation, respectively, events to occur when the actual camera is taken on the touch screen
  • Another goal is to make it easier to correct the timing of events that were mistyped in the time series by displaying the reference timeline window listed in the time series.
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface display a virtual subject on the camera path setting window, and display the virtual subject by using the camera control data. Another purpose is to animate on the routing window to provide the user with the results of the camera walk in advance in simulation.
  • the present invention is to solve the above problems, the user terminal device for synchronizing the movement path and the movement time of the camera using the touch user interface according to the present invention, a touch screen, a processor; And a storage module for storing a camera setting application, wherein the camera setting application comprises: displaying, by the processor, a camera routing window and a camera timing setting window on the touch screen; And touch inputting a virtual camera path start point and a virtual camera path end point from the user through the camera path setting window and a touch input of a virtual camera movement start time and a virtual camera movement end time through the camera timing setting window. And generating camera control data by using the virtual camera path starting point, the virtual camera path ending point, the virtual camera movement starting point, and the virtual camera movement ending point.
  • a computer-implemented method for synchronizing a movement path and a movement time of a camera using a touch user interface includes: displaying, by a camera setting application, a camera routing window and a camera timing setting window on a touch screen;
  • the camera setting application receives a touch input of a virtual camera path start point and a virtual camera path end point from the user through the camera routing window, and receives a touch input of a virtual camera movement start point and a virtual camera movement end point through the camera timing setting window.
  • step And generating, by the camera setting application, camera control data using the virtual camera path starting point, the virtual camera path ending point, the virtual camera movement starting point, and the virtual camera movement ending point. It is done.
  • the user terminal device and the method for synchronizing the movement path and the movement time of the camera using the touch user interface according to the present invention the general user can conveniently and various camera walk according to the camera movement speed Providing a user interface capable of implementing proper travel time settings provides the effect of applying a complex control interface to devices such as smartphones with a small display area.
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface provide a user interface suitable for space utilization of a smartphone having a small display area, thereby effectively using the display area. Provide the effect of enabling it.
  • the user terminal device and the method for synchronizing the movement path and the movement time of the camera using the touch user interface according to the present invention can display a zoom sample and select a touch method to set the zoom of the camera corresponding to each movement time. Provides the effect of convenient input.
  • a user terminal device and method for synchronizing a movement path and a movement time of a camera using a touch user interface include a pan touch trace, a tilt touch trace, and a zoom on a movement path touch trace.
  • the touch trace is input through the touch screen in a touch method (including a swipe), and pan, tilt and zoom operations corresponding to the movement time of each movement path are performed. Provides the effect of making the setting convenient.
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface according to the present invention, when receiving a movement time related to a camera operation, respectively, events to occur when the actual camera is taken on the touch screen
  • a user terminal device and a method for synchronizing a movement path and a movement time of a camera using a touch user interface display a virtual subject on the camera path setting window, and display the virtual subject by using the camera control data. Animating on the path setting window, the user can simulate the result of the camera walk in advance.
  • FIG. 1 is a block diagram showing a user terminal device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating display of a camera routing window and a camera timing setting window of a setting application according to an embodiment of the present invention
  • FIG 3 is an exemplary view showing a vertical plane (x-y plane) in which the camera according to an embodiment of the present invention can move.
  • FIG. 4 is an exemplary diagram illustrating a swipe input of a movement path touch trace from a user through a touch screen according to an embodiment of the present invention.
  • FIG 5 is an exemplary view showing a movement path of a real plane and a real camera according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram illustrating receiving a touch input from a user through a touch screen with a movement path touch trace according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view showing a movement path of a real plane and a real camera according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram illustrating receiving a moving time from a user through a touch screen according to an embodiment of the present invention.
  • FIG 9 is an exemplary diagram showing movement time of an actual timeline and an actual camera according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram illustrating receiving a first synchronization touch trace through a touch screen according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating receiving a second synchronization touch trace through a touch screen according to an embodiment of the present invention.
  • FIG. 12 is an exemplary diagram illustrating a virtual camera movement path according to an embodiment of the present invention.
  • FIG. 13 illustrates an example of receiving a curved first synchronization touch trace through a touch screen according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating receiving a second synchronization touch trace having a short interval between a virtual camera movement start time and a virtual camera movement end time according to an embodiment of the present invention through a touch screen.
  • 15 is an exemplary diagram illustrating a virtual camera movement path using a curved first synchronization touch trace according to an embodiment of the present invention.
  • 16 is an exemplary diagram for implementing a touch input of a camera zoom sample according to an embodiment of the present invention.
  • 17 is an exemplary diagram for implementing a pan touch trace input of a camera according to an embodiment of the present invention.
  • FIG. 18 is an exemplary diagram for implementing a tilt touch trace input of a camera according to an embodiment of the present invention.
  • FIG. 19 is an exemplary diagram for implementing a zoom touch trace input of a camera according to an embodiment of the present invention.
  • 20 is an exemplary diagram for implementing a zoom touch trace input at a tilt touch trace input position of a camera according to an embodiment of the present invention.
  • 21 illustrates an example of a display of a reference timeline window and an indicator according to an embodiment of the present invention.
  • FIG. 22 illustrates an enlarged display of a reference timeline window and an indicator according to an embodiment of the present invention.
  • FIG. 23 illustrates an example of including camera control data as an event in a reference timeline window according to an embodiment of the present invention.
  • FIG. 24 illustrates an example of changing a time point of an event of a reference timeline window according to an embodiment of the present invention.
  • 25 is an exemplary diagram of displaying a reference timeline window and a reference timeline window on different sides according to an embodiment of the present invention.
  • FIG. 26 is a view illustrating animating a virtual subject when a touch input of a fan touch trace near a virtual camera path end point is displayed on a camera routing window according to an embodiment of the present invention.
  • FIG. 27 is a flowchart illustrating a computer-implemented method for synchronizing a movement path and a movement time of a camera using a touch user interface according to an embodiment of the present invention.
  • FIG. 28 is a flowchart illustrating a computer-implemented method for touch input of a camera zoom sample in accordance with an embodiment of the present invention.
  • 29 is a flowchart illustrating a computer-implemented method for inputting a pan touch trace, a tilt touch trace, and a zoom touch trace of a camera according to an embodiment of the present invention.
  • FIG. 30 is a flow diagram illustrating a computer implemented method for implementing markers and magnification of a reference timeline window in accordance with one embodiment of the present invention.
  • FIG. 31 is a flow diagram illustrating a computer implemented method of changing the time of an event of a reference timeline window in accordance with one embodiment of the present invention.
  • FIG. 32 is a flow chart illustrating a computer implemented method of virtual subject animation on a camera routing window in accordance with one embodiment of the present invention.
  • Virtual Camera Path Entry Point (411) Virtual Camera Path Entry Point (412)
  • Camera timing setting window 420 Virtual camera movement start time point 421-a
  • a part includes a certain component means that the component may further include other components, except for the absence of a special objection thereto.
  • the terms ".. module”, “.. unit”, “.. system”, etc. described in the specification mean a unit that processes at least one function or operation, which is hardware or software or a combination of hardware and software. It may be implemented, and may be included in one device or each other device.
  • a user terminal device 100 for synchronizing a movement path and a movement time of a camera using a touch user interface according to the present invention will be described with reference to the drawings.
  • the user terminal device 100 for synchronizing a movement path and a movement time of a camera using a touch user interface includes a touch screen 110, a processor 120, and a storage module 130. It is composed.
  • the user terminal device 100 may be a general information processing terminal device such as, for example, a smartphone or a tablet PC, or an information processing terminal device specialized for a specific function such as a vehicle infotainment device or a video player device for playing a multimedia file. have.
  • the touch screen 110 includes a touch sensing device for a touch-sensitive user interface formed on the display.
  • the touch sensing device detects a touch of an object including a user's finger or an object such as a stylus pen and detects a slide motion implemented by moving a touch point in a predetermined direction.
  • Contact for the touch screen 110 herein includes not only direct contact with the surface of the touch screen 110, but also proximity (close touch, hovering) within 20 mm to the surface of the touch screen 110.
  • the implementation manner of the touch screen 110 is not particularly limited, and may be, for example, a capacitive type or a pressure sensitive type using a resistive overlay, or may be implemented using a surface ultrasonic wave or an infrared ray.
  • the touch screen 110 in the present invention does not include a touch-sensitive interface that is not coupled to the display, such as a touchpad or a touch-sensitive mouse installed at the bottom of the keyboard of the laptop computer.
  • the processor 120 may exemplify the central processing unit or the mobile processor 120 and perform calculation processing according to an instruction set of an application / program.
  • the processor 120 may be configured as a single processing unit or a plurality of processing units.
  • the storage module 130 performs a function of storing the camera setting application 140 and a function of storing data necessary for the camera setting application 140.
  • the storage module 130 is not particularly limited and may be implemented as a memory device, a magnetic storage medium, an optical storage medium, and the like.
  • the camera setting application 140 may be driven through an application or a web browser installed on a smartphone through a download, for example.
  • the camera setting application 140 is installed in the storage module 130 of the user terminal device 100 and is driven by the processor 120 and is configured by a combination of instructions for the processor 120 to perform the following steps.
  • the camera setting application 140 causes the processor 120 to perform the following steps.
  • a step of displaying the camera routing window 410 and the camera timing setting window 420 on the touch screen 110 is performed (S110).
  • the camera routing window 410 is a user interface for setting a path of a camera that can be remotely controlled.
  • the camera timing setting window 420 is a user interface for setting a timing corresponding to a specific coordinate of a camera that can be remotely controlled.
  • the remote controllable camera may be directly connected to the user terminal device 100 through the communication module 150 or as shown in FIG. 1 through a communication network. That is, the user terminal device 100 is connected to the camera 210 connected to the automatic studio control server 200 provided in the automatic studio through a communication network, and the path and the path of the camera 210 using the camera setting application 140. You can set the timing.
  • the camera 210 may be a camera module of a camcorder, a broadcast camera, or a smartphone capable of capturing a video. In addition, the camera 210 may be mounted on a separate movable mounting apparatus to implement a pan and a tilt.
  • the camera routing window 410 is a plane in which the camera 210 can actually move, for example, a virtual plane corresponding to the real plane 510 shown in FIG. 5 or 7.
  • the actual plane 510 is a plane perpendicular to the ground (x-y plane) as shown in FIG. 3, but is not limited thereto.
  • the camera 210 of FIG. 3 is set to be movable along the x-axis and the y-axis while looking at the subject.
  • the camera timing setting window 420 is a virtual timeline corresponding to a timing corresponding to the coordinates at which the camera 210 actually moves, for example, the actual timeline 620 shown in FIG. 9.
  • the user terminal device 100 such as a smart phone does not have a large display area.
  • the camera path setting window 410 needs to input two-dimensional information, that is, the x coordinate and the y coordinate on a plane, the size of the camera path setting window 410 is preferably as large as possible for the convenience of accurate coordinate input.
  • the camera routing window 410 occupies most of the display area of the user terminal 100.
  • the camera routing window 410 may occupy more than 85% of the display area of the touch screen 110.
  • the camera timing setting window 420 since the camera timing setting window 420 only needs to input the one-dimensional information, that is, the movement time by a touch method, while taking up as little space in the display area of the touch screen 110 as possible, accurate timing In order to enable input, it is preferable to form, for example, in the form of a thin strip. Since the movement time can be selected only by the simple camera timing setting window 420, even when applied to a smartphone having a narrow display area, the touch input is not a big obstacle.
  • the user may conveniently control the speed according to the movement path of the camera 210. For example, when the movement path is long touched and the movement time is touched shortly, the movement speed of the camera 210 is increased. That is, although the user interface is simple, various camera angles of view and camera speed can be controlled by simply modifying the length of the movement path and the interval of the movement time.
  • the camera timing setting window 420 may be formed near one side inside the camera routing window 410. In this case, the space of the display area of the touch screen 110 may be further saved. It is also possible to make the camera timing setting window 420 translucent or to make the camera timing setting window 420 completely transparent and to display the identification mark on one side thereof. In addition, when the user becomes accustomed to using the setting application 140, the camera timing setting window 420 is completely transparent and the area is used as the camera routing window 410 to display the touch screen 110. You can make the most of the realm. The camera timing setting window 420 may contact one side 416, as shown in FIG. 25, to better utilize the display area.
  • the camera timing setting window 420 is made transparent, the camera timing setting window 420 is disposed not only near one side 416 inside the camera routing window 410 but also near the other side, so that the user can set the camera routing window 410.
  • a touch input may be performed through the transparent camera timing setting window 420 disposed near one side of the near side.
  • the virtual camera path start point 411, the virtual camera path end point 412, the virtual camera move start point 421-a, and the virtual camera move end point 421-b receive touch input from the user through the touch screen. Perform the step (S120).
  • the order of touch input of the virtual camera path start point 411, the virtual camera path end point 412, the virtual camera move start point 421-a, and the virtual camera move end point 421-b may be variously combined.
  • the virtual camera path start point 411 and the virtual camera path end point 412 may be first touch input
  • the virtual camera move start point 421-a and the virtual camera move end point 421-b may be touch input.
  • the virtual camera movement start time point 421-a and the virtual camera movement end time point 421-b may be first touch input
  • the virtual camera path start point 411 and the virtual camera path end point 412 may be touch input.
  • the virtual camera path start point 411 and the virtual camera movement start time point 421-a may be first touch input
  • the virtual camera path ending point 412 and the virtual camera movement end time point 421-b may be touch input.
  • FIG. 4 illustrates an example of touch input of a virtual camera path start point 411 and a virtual camera path end point 412.
  • 8 illustrates an example of touch input of a virtual camera movement start time point 421-a and a virtual camera movement end time point 421-b.
  • 10 and 11 first touch input the virtual camera path start point 411, the virtual camera move start point 421-a, and touch the virtual camera path end point 412 and the virtual camera move end point 421-b. This is an example.
  • the overall camera movement path and travel time are touch inputs to a single virtual camera path start point, virtual camera path end point, virtual camera move start point and virtual camera move end point, or multiple virtual camera path start points, virtual camera path end points, and virtual cameras.
  • the touch input may be a touch start time and a virtual camera movement end time.
  • the touch input order may be variously combined.
  • the movement path in the step of inputting the input virtual camera path start point 411, the virtual camera path end point 412, the virtual camera movement start time point (421-a) and the virtual camera movement end time point (421-b) At least one of the touch trace 413, the first synchronization touch trace 426, and the second synchronization touch trace 427 may be generated (S130).
  • the generated touch trajectory may be a path in which the camera moves.
  • touch trajectory can be used to include points at both ends of the trajectory.
  • the touch trace generation may be performed by the following embodiment.
  • the first embodiment provides a movement path through a swipe operation including a virtual camera path start point 411 and a virtual camera path end point 412 on the camera routing window 410.
  • the touch trace 413 is input from the user through the touch screen 110.
  • the swipe operation may be performed using an operation of releasing a finger after moving to the virtual camera path end point 412 without releasing a finger while touching a virtual camera path start point 411 on the touch screen 110 with a finger.
  • a movement path touch trace 413 performed in step S130 is generated through a swipe operation including the virtual camera path start point 411 and the virtual camera path end point 412.
  • various types of paths may be generated, for example, straight lines, grains, or a combination thereof.
  • the movement path touch traces interconnected in a predetermined trajectory form may be generated.
  • 7 illustrates a case in which a preset trajectory in the form of a straight line is set as the movement path touch trace 414.
  • the predetermined trajectory form may have various lines such as a straight line and a curve.
  • the movement path touch trace 413 may be a part of the entire movement path of the camera 210, and the various movement path touch traces 413 may constitute the entire movement path.
  • the third embodiment is a virtual camera path start point 411 on the camera routing window 410 and a virtual camera movement start point on the camera timing setting window 420, as shown in FIGS. 10, 11, 13, and 14.
  • the second synchronization touch trace 427 including the view point 421-b is received.
  • FIG. 10 illustrates an operation of touching a virtual camera path starting point 411 of the touch screen 110 with a user's finger while moving to the virtual camera moving start time point 421-a without lifting a finger, and then releasing a finger. It is.
  • the synchronized touch traces 426 and 427 are interconnected in a predetermined trajectory form, respectively. ) May be generated.
  • the virtual camera path starting point 411 and the camera timing setting window 420 on the camera path setting window 410 are sequentially touched (or vice versa). If it is input, a first synchronization touch trace 426 connecting between the virtual camera path start point 411 and the virtual camera movement start point 421-a is generated. Then, the virtual camera path end point 412 and the virtual camera movement end point 421-b are sequentially inputted (or vice versa) on the camera path setting window 410. Then, a second synchronization touch trace 427 is connected between the virtual camera path end point 412 and the virtual camera movement end point 421-b. In this case, the synchronization touch traces 426 and 427 may be generated in a preset trajectory form.
  • the first synchronization touch trace 426 or the second synchronization touch trace 427 may be used as the movement path touch trace 413 connecting the virtual camera path start point 411 and the virtual camera path end point 412.
  • 12 illustrates an example in which a first synchronization touch trace received in a straight line form is used as a movement path touch trace 413 connecting between a virtual camera path start point 411 and a virtual camera path end point 412.
  • the first synchronization touch trajectory 426 such that the virtual camera path start point 411 is the rotation axis among the first synchronization touch trajectories 426, and the virtual camera movement start point 421-a is positioned at the virtual camera path end point 412. While rotating the, it may be enlarged or reduced to a scale of the first synchronization touch trace 426. Accordingly, the first synchronization touch trajectory 426, which has been rotated, is generated as the movement path touch trajectory 413.
  • the shape of the virtual camera movement path 413 is not reflected, touch and pull a portion of the linear virtual camera movement path 413, the curved virtual shape
  • the camera movement path 413 can be changed later.
  • the first synchronization touch trajectory 426 or the second synchronization touch trajectory 427 may be a part of the entire movement path and movement time of the camera 210, and various synchronization touch trajectories may constitute the entire movement path and movement time. .
  • the virtual camera path start point 411, the virtual camera path end point 412, the virtual camera move start point 421-a, the virtual camera move end point 421-b, and the generated touch trajectory 413 are used. And calculating the actual camera movement path 414 and the actual camera movement times 423-a and 423-b matched thereto.
  • operation in the present invention may include a process of mathematically calculating the data obtained in the setting window, or may include a process of converting the obtained virtual coordinate data, virtual time data into real coordinate data, real time data. have.
  • the actual camera movement path 414 can be easily obtained.
  • the actual camera movement time 423-a, 423-b may be obtained by calculating the movement time 421-a, 421-b received from the user.
  • data related to the movement time of the actual camera may be provided using the same.
  • data related to the actual camera movement time may be provided using the widths of the virtual camera movement start time point and the virtual camera movement end time point.
  • the camera timing setting window of the movement time 421-a, 421-b ( The relative ratio to the full width of 420 is first calculated.
  • the actual camera movement times 423-a and 423-b may be calculated by multiplying the calculated relative ratio by the predetermined total time of the actual timeline 620.
  • the actual camera movement path length is 2.5 m.
  • the length of the camera timing setting window 420 is 10 cm and the total shooting time is 10 minutes
  • the length between the moving times 421-a and 421-b is 2 cm (Case: FIG. 8) and 1 cm ( Case: 1, not shown) can be set to different speeds.
  • the user can easily set various speeds for each movement path touch trajectory 413, thereby generating various camera walks.
  • the actual camera moving path 414 may be calculated before the actual camera moving times 423-a and 423-b. It may be.
  • the camera control data is generated using the virtual camera path starting point, the virtual camera path ending point, the virtual camera moving start time point and the virtual camera moving end time point (S140).
  • the virtual camera path start point 411, the virtual camera path end point 412, the virtual camera move start point 421-a, the virtual camera move end point 421-b, and the generated touch trajectory 413 are used. Calculates the actual camera movement path 414 and the actual camera movement time 423-a, 423-b that match the actual camera movement path 414 and the actual camera movement time 423-a, 423-b.
  • the camera control data can be generated based on. Or a virtual camera path start point 411, a virtual camera path end point 412, a virtual camera move start point 421-a and a virtual camera move end point 421-b obtained on the setting window, and a generated movement path touch trace. Data relating to 413 can be used directly for generation of camera control data.
  • the camera control data consists of a set of control signals that define the operation of the camera 210.
  • the generated camera control data may be stored in the storage module 130 or another storage device so that the user can automatically create a video by controlling the remotely controllable camera 210 without a video shooting expert.
  • the camera zoom sample 430 includes a full shot image, a knee shot image, a waste shot image, a bust shot image, and Contains a close-up image.
  • a zoom sample touch point 431 of a plurality of different camera zoom samples 430 is received from the user through the touch screen 110 (S220). Although the operation of touching the full shot image is illustrated in FIG. 16, another sample may be touched.
  • all of the two or more camera zoom samples that are input are corresponding to the actual camera movement path 414 and the actual camera movement time (423-a, 423).
  • the zoom size between the two or more camera zoom samples may be continuously increased or decreased according to the input order.
  • the actual camera zoom is performed for each zoom sample corresponding to the input sample touch point 431 by referring to the size and lens specification of the preset image sensor according to each camera. Calculate the action.
  • the camera control data is generated based on the actual camera zoom operation (S240).
  • the plurality of different camera zoom samples 430 immediately after receiving the movement path touch trace 413 and the movement time 421-a and 421-b from the user.
  • the display may be automatically displayed on the touch screen 110, and the display on the touch screen 110 may be stopped after receiving the zoom sample touch point 431 from the user.
  • a plurality of different camera zoom samples 430 are displayed on the touch screen 110, and the zoom is performed. After receiving the sample touch point 431 from the user, the display on the touch screen 110 may be stopped.
  • the display method of the zoom sample 430 additionally maintains a clean display area on the touch screen 110.
  • a step of receiving a camera focus sample that implements the focus of the camera in various ways may be performed.
  • a step of displaying the movement path touch trace 413 on the touch screen 110 is performed (S310).
  • the touch input input on the touch screen 110 is illustrated in FIG. 17, when the horizontal pan touch trace 440 for moving the camera pan is input (S330), the input pan is input.
  • operation S360 an operation of calculating an actual camera pan operation matched with the touch trace 440 is performed.
  • 17 illustrates a swipe trajectory in a horizontal direction, which is an example of the fan touch trajectory 440. Specifically, an operation of releasing a finger after moving to the right side of the virtual camera path starting point 411 without lifting a finger while touching the left portion of the virtual camera path starting point 411 with a finger is illustrated.
  • the distance from the left part to the right part of the virtual camera path start point 411 corresponds to the angle of the camera pan
  • the swipe direction from left to right corresponds to the direction of the camera pan.
  • touching two points is possible, and other touch operations are possible.
  • the rotation speed of the fan has not been described in detail, the speed of the swipe operation and the speed of the operation of touching the two points may also be measured and utilized, or the preset speed may be utilized.
  • both the angle and direction of the camera pan can be calculated directly through the fan touch trace 440.
  • the rotational speed of the fan may be calculated by scaling the speed of the above-described swipe operation or the speed of the operation of touching two points at a predetermined ratio.
  • the touch input input on the touch screen 110 is shown in FIG. 18, when the vertical tilt touch trace 450 for moving the camera tilt is input (S340), the input tilt An operation of calculating a matched actual camera tilt operation using the touch trace 450 is performed (S370). 18 illustrates a swipe trajectory in the vertical direction, which is an example of the tilt touch trace 450.
  • an operation of releasing a finger after moving to a lower portion of a specific portion without removing a finger while touching a portion above the specific portion of the movement path touch trace 413 with a finger is illustrated.
  • the distance from the upper portion to the lower portion of the specific portion corresponds to the angle of the camera tilt
  • the swipe motion from the upper side to the lower portion corresponds to the direction of the camera tilt.
  • the swipe operation In addition to the swipe operation, touching two points is possible, and other touch operations are possible. Meanwhile, although the rotation speed of the tilt has not been described in detail, the speed of the swipe operation and the speed of the operation of touching two points may also be measured and used, or the preset speed may be utilized.
  • both the angle and the direction of the camera tilt can be calculated directly through the tilt touch trace 450.
  • the rotational speed may be calculated by scaling the speed of the above-described swipe motion and the speed of the motion of touching two points at a predetermined ratio.
  • FIG. 19 illustrates a swipe trajectory in a circular direction, which is an example of the zoom touch trace 460. Specifically, an operation of releasing a finger after rotating a clockwise direction by a specific angle without lifting a finger while touching a portion below a specific portion of the movement path touch trace 413 with a finger is illustrated.
  • the specific angle corresponds to the degree of the camera zoom
  • the clockwise swipe operation corresponds to the zoom mode or the zoom mode of the camera zoom.
  • other touch gestures are possible.
  • the zoom speed has not been described in detail, the speed of the swipe operation in the circular direction may be measured and used, and the preset speed may be utilized.
  • the degree of the camera zoom refers to the angle of the zoom touch trace 460 and the lens specification of the camera, and the selection of the enlargement or reduction mode can be directly calculated through the direction of the zoom touch trace 460.
  • the rotational speed of the zoom may be calculated by scaling the speed of the swipe operation described above at a predetermined ratio.
  • FIG. 20 illustrates an embodiment in which the tilt touch trace 450 and the zoom touch trace 460 are sequentially input to a specific position on the movement path touch trace 413.
  • the tracking mode may be implemented by a touch method, for example, a touch operation such as a preset two-finger tap operation or a two-finger swipe operation may be input to track a subject through a motion detection sensor.
  • a video camera with depth-sensing For motion detection, it is also possible to use a video camera with depth-sensing.
  • the depth measurement method of the image is realized through the infrared pattern recognition method commercialized by Microsoft's Kinnect and Intel's RealSense Camera or the light field method through the Micro Lens Array commercialized by Lytro. It can be illustrated.
  • a separate sensor may not be required.
  • the camera 210 may always be facing the subject by automatically controlling the pan and tilt operations of the camera 210 using the obtained coordinates.
  • the camera control data is generated using at least one of an actual camera pan operation, an actual camera tilt operation, and an actual camera zoom operation (S390).
  • the actual camera pan operation, the actual camera tilt operation, and the actual camera zoom operation are all generated by receiving a touch operation with reference to the movement path touch trace 413 on the camera path setting window 410, but the camera timing setting window ( The touch operation may be generated by referring to the movement times 421-a and 421-b on the 420. In this case, due to the size limitation of the camera timing setting window 420, the touch operation may be input through the touch screen 110 outside the camera timing setting window 420.
  • the reference timeline window 470 displaying events on the touch screen 110 that occur when the actual camera is photographed is arranged in time series (S430).
  • the reference timeline window 470 may be displayed each time the movement times 421-a and 421-b are received.
  • the reference timeline window 470 maintains the display state when the first virtual camera movement start time 421-a is received. If the user's hand falls from the touch screen 110 after receiving the last virtual camera movement end time 421-b, the display may not be displayed.
  • the events include the wallpaper listed in the first row of the reference timeline window 470, the volume size and pitch of the background music listed in the second row, the direction of the lights listed in the third row, and the like. There is this.
  • the events listed in each row are merely examples, and the reference timeline window 470 may include various events.
  • the marker 471 is displayed on an event corresponding to the actual camera movement times 423-a and 423-b that match the input movement times 421-a and 421-b (S440).
  • the marker 471 moves together as the user's hand moves until the user's hand falls off the touch screen 110.
  • the marker 471 corresponding to the touch of the previous user may be displayed differently from the marker 471 corresponding to the touch of the current user, for example, as a dotted line.
  • the reference timeline window 470 displays various events all listed in time series. Therefore, readability of all the reference timeline windows 470 on the touch screen 110 of the small user terminal 100 such as a smart phone may be poor.
  • the reference timeline window 470 may be enlarged and displayed based on the marker 471. That is, the reference criterion of readability may be set in advance, and the reference timeline window 470 may be automatically enlarged and displayed (S450).
  • the reference timeline window 470 may be enlarged and displayed through additional input such as a user's special touch operation, for example, two-finger swipe and multi-touch.
  • the camera control data generated through the above-described steps may be one of events that will eventually occur during actual camera shooting
  • the camera control data may be included in the reference timeline window 470 as an event.
  • the camera control data is displayed as an event in the reference timeline window 470 as an event.
  • the camera control data is represented by a camera control event 491 in a form that can be easily recognized by the user.
  • the camera control data is set in accordance with a specific event of the reference timeline window 470, it is necessary to change the viewpoint of the event when the generated video may be awkward because the timing does not match with other events.
  • a method of changing a specific event of the reference timeline window 470 will be described. Hereinafter, each step will be described in detail with reference to FIG. 31.
  • the camera control data is included in the reference timeline window as an event and displayed on the touch screen 110 (S510).
  • an event point change touch trace 472 is input from the user through the touch screen 110 on the reference timeline window 470 (S510).
  • the user's finger touches the drum background image which is one of the events and moves in the direction of the arrow to generate a touch trace 472 (S520).
  • the reference timeline window 470 that lists and displays various events may occupy most of the display area.
  • the camera timing setting window 420 is formed near one side 416 inside the camera routing window 410, and the reference timeline window 470 is one side 416. It is formed near one side 417 inside the camera routing window 410 that is different from the other, so that the narrow display area of the touch screen 110 can be utilized.
  • the timing setting window 420 is transparently formed on one side 416 and the other side 417, the display area may be better utilized.
  • the reference timeline window 470 may be enlarged and displayed around the marker 471 to increase readability of the reference timeline window 470.
  • the camera routing window 410 occupies most of the display area of the touch screen 110, the movement time 421-a that may be located near the one side and the space where the movement path touch trace 413 is inputted. , Space other than the space where 421-b) is input is rarely used. Therefore, it is desirable to utilize this unused space appropriately so that the user can more conveniently synchronize the movement path and the movement time of the camera.
  • a method of utilizing empty space on the routing window 410 will be described. Hereinafter, each step will be described in detail with reference to FIG. 32.
  • the virtual subject 480 is displayed on the camera path setting window 410 (S610). Although one virtual subject 480 is illustrated in FIG. 26, a plurality of virtual subjects 480 may be displayed on the camera routing window 410 according to a shooting situation. The size and position of the virtual subject 480 may be set similarly to the size and position of the actual subject to be photographed by the image pickup device of the camera 210.
  • the virtual subject 480 is animated on the camera path setting window 410 using camera control data. If the user's finger touches one of the zoom sample touch points 431 of the camera zoom samples 430, the size of the virtual subject 480 may be applied to the camera zoom samples 430 corresponding to the touch points 431. It can be animated to correspond. In addition, as shown in FIG. 26, when the user's finger touches the finger after leaving the horizontal camera touch point 412 in the horizontal direction, the virtual subject 480 touches the movement path. The animation may correspond to the trajectory 413 and the fan touch trajectory 440. In detail, as the virtual camera moves to the lower right side, the virtual subject 480 may move to the left side and then move to the center of the touch screen 110 area according to the pan operation of the virtual camera.
  • a playback function may be added to the reference timeline window 470.
  • the playback function may actually implement events included in the reference timeline window 470.
  • the user may, through the playback function, actually connect the camera 210, the lighting 220, and the audio device 230 connected to the automatic studio control server 200 shown in FIG. 1 to the reference timeline window 470. You can implement them in the order listed.
  • the user can check in advance whether the camera control data is generated or in harmony with other events after the generation, and whether the desired camera effect is properly implemented.
  • the user can create a more natural and professional video by adjusting the timing of the event as needed. You can actually implement the events directly, but you can also implement them indirectly.
  • the virtual subject 480 is animated in conjunction with the animation function of the virtual subject 480 and included in the virtual illumination and reference timeline window 470 corresponding to the illumination included in the reference timeline window 470.
  • the displayed background image may be displayed on the camera routing window 410 of the touch screen 110, and the background music may be played using the audio device of the user terminal device 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법에 관한 것으로, 보다 상세하게는 일반 사용자가 편리하게 카메라 동작을 설정할 수 있도록, 터치스크린, 프로세서; 및 카메라 설정 애플리케이션을 저장하는 저장모듈;을 포함하여 구성되는 사용자 단말장치에 있어서, 상기 카메라 설정 애플리케이션은, 상기 프로세서가, 상기 터치스크린 상에 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우를 디스플레이하는 단계;와 사용자로부터 상기 카메라 경로설정 윈도우를 통해 가상 카메라 경로 시작점 및 가상 카메라 경로 종료점을 터치입력 및 상기 카메라 타이밍 설정 윈도우를 통해 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력 받는 단계; 및 상기 가상 카메라 경로 시작점, 상기 가상 카메라 경로 종료점, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계;를 포함하여 수행하도록 구성되는 특징이 있다.

Description

터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
본 발명은 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법에 관한 것으로, 보다 상세하게는 일반 사용자가 편리하게 카메라 동작을 설정할 수 있는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법에 관한 것이다.
최근에, 미디어 및 통신 기술의 발전으로, UGC(User Generated Contents)의 품질이 높아지고 있다. 또한, 이러한 컨텐츠에 익숙한 일반인들의 고품질의 UGC 생성에 대한 욕구도 커져 왔다. 가상의 배경을 합성하여 뮤직비디오를 자동으로 만들어주는 자동 가라오케 스튜디오가 등장함에 따라 일반인들도 뮤직비디오를 전문가의 도움 없이 생성할 수 있게 되었다. 하지만, 이러한 자동 가라오케 스튜디오는 고정식의 카메라를 사용한다. 따라서, 촬영 전문가가 구현한 카메라 워크가 반영된 전문적인 컨텐츠에 비해, 자동 가라오케 스튜디오에서 생성된 뮤직비디오는 카메라 워크가 제한됨에 따라 가상의 배경에 적용하여 생성된 뮤직비디오는 단조롭고 식상할 수 있는 문제점이 있다.
자동으로 다양한 카메라 워크를 구현하기 위해서는 로봇 카메라가 필요하다. 로봇 카메라는 이동이 가능한 로봇에 카메라가 탑재된 형태이다. 로봇 카메라의 일례로, 방송 촬영용으로 주로 사용되는 Ross Video사의 로봇 카메라 시스템인 Furio Robo와 같은 상용 제품이 있다. 이러한 로봇 카메라는 전문가들이 전문적인 조작 프로그램 및 조작 장치를 이용하여 제어할 수 있다. 그러나, 일반인들은 로봇 카메라를 제어하는 전문적인 조작 프로그램 및 조작장치를 이용하기 어려운 문제점이 있다.
촬영 대상인 피사체를 중심으로 카메라를 이동시키면, 이동되는 카메라의 해당 경로에 따라 다양한 화각으로 피사체를 촬영 할 수 있다. 따라서, 로봇 카메라의 이동 경로를 미리 편리하게 일반인들이 설정할 수 있는 기술이 요구된다. 또한, 촬영하는 카메라의 이동 속도에 따라 다양한 카메라 워크를 구현할 수 있어, 일반인들이 편리하게 로봇 카메라의 이동 속도를 미리 설정할 수 있는 기술이 요구된다. 동영상 촬영시에 이러한 다양한 화각 및 카메라 워크를 언제 적용하느냐에 따라 생성되는 동영상의 내용이 다를 수 있다. 따라서, 로봇 카메라의 다양한 화각, 카메라 워크, 및 적용 시점을 일반인도 편리하게 미리 설정할 수 있는 유저 인터페이스가 요구된다.
Gay et al.의 미국 등록특허 제8,817,078호 "Augmented reality videogame broadcasting programming"은 해당 시간 별 설정된 가상의 카메라 이동경로에 따라, 실제 카메라의 이동을 제어하는 방법에 대해 기술하고 있다. 그런데, 이러한 해당 시간 별로 카메라의 이동경로를 일반인들이 전문적인 프로그램 없이 직접 구현하긴 여전히 어렵다. 또한 해당 시간을 편리하게 설정하는 방법에 대해서도 구체적으로 기술되어 있지 않다. 게다가, 다양한 카메라 워크를 적용하기 위한 카메라 속도 제어를 편리하게 하는 방법에 대해서도 기술하고 있지 않다.
본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 일반 사용자가 편리하게 카메라 이동 속도에 따른 다양한 카메라 워크와 적절한 이동시간 설정을 구현할 수 있는 유저 인터페이스를 제공하는 것을 목적으로 한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 디스플레이 영역이 작은 스마트폰의 공간활용에 적합한 유저 인터페이스를 제공함으로써 디스플레이 영역의 효율적인 사용을 가능하게 하는 것을 다른 목적으로 한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 디스플레이된 줌(zoom) 샘플을 사용자가 터치 방식으로 선택할 수 있도록 하여, 각각의 이동시간에 대응하는 카메라의 줌 설정을 편리하게 입력할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 이동경로 터치궤적 상에 팬(pan) 터치궤적, 틸트(tilt) 터치궤적 및 줌(zoom) 터치궤적을 터치스크린을 통해 터치 방식(스와이프(swipe) 포함)으로 입력받도록 하여, 각각의 이동경로의 이동시간에 대응하는 카메라의 팬(pan) 동작, 틸트(tilt) 동작, 및 줌(zoom) 동작을 설정할 수 있도록 하는 다른 목적이 있다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 카메라 동작에 관한 이동시간을 각각 입력받을 시, 터치스크린 상에 실제 카메라 촬영 시 일어날 이벤트들을 시계열 상으로 나열한 레퍼런스 타임라인 윈도우를 디스플레이 함으로써, 시계열상 잘못 입력된 이벤트들의 시점을 보다 간편하게 보정할 수 있도록 하는 다른 목적이 있다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 가상 피사체를 상기 카메라 경로설정 윈도우 상에 디스플레이 하고, 가상 피사체를 카메라 제어 데이터를 이용하여 카메라 경로설정 윈도우 상에 애니메이션 하여, 사용자에게 미리 카메라 워크의 결과를 시뮬레이션으로 제공하기 위한 다른 목적이 있다.
본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치는, 터치스크린, 프로세서; 및 카메라 설정 애플리케이션을 저장하는 저장모듈;을 포함하여 구성되는 사용자 단말장치에 있어서, 상기 카메라 설정 애플리케이션은, 상기 프로세서가, 상기 터치스크린 상에 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우를 디스플레이하는 단계;와 사용자로부터 상기 카메라 경로설정 윈도우를 통해 가상 카메라 경로 시작점 및 가상 카메라 경로 종료점을 터치입력 및 상기 카메라 타이밍 설정 윈도우를 통해 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력 받는 단계; 및 상기 가상 카메라 경로 시작점, 상기 가상 카메라 경로 종료점, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법은, 카메라 설정 애플리케이션이, 터치스크린 상에 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우를 디스플레이하는 단계;와 상기 카메라 설정 애플리케이션이, 사용자로부터 상기 카메라 경로설정 윈도우를 통해 가상 카메라 경로 시작점 및 가상 카메라 경로 종료점을 터치입력 받고, 상기 카메라 타이밍 설정 윈도우를 통해 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력 받는 단계; 및 상기 카메라 설정 애플리케이션이, 상기 가상 카메라 경로 시작점, 상기 가상 카메라 경로 종료점, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계;를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 상기의 구성에 따라, 본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 일반 사용자가 편리하게 카메라 이동 속도에 따른 다양한 카메라 워크와 적절한 이동시간 설정을 구현할 수 있는 유저 인터페이스를 제공함으로써, 복잡한 제어 인터페이스를 작은 디스플레이 영역을 갖는 스마트폰과 같은 장치에 적용하도록 하는 효과를 제공한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 디스플레이 영역이 작은 스마트폰의 공간활용에 적합한 유저 인터페이스를 제공함으로써, 디스플레이 영역의 효율적인 사용을 가능하게 하는 효과를 제공한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 줌 샘플을 디스플레이하고 터치 방식으로 선택할 수 있도록 하여, 각 이동시간에 대응하는 카메라의 줌 설정을 편리하게 입력할 수 있도록 하는 효과를 제공한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 이동경로 터치궤적 상에 팬(pan) 터치궤적, 틸트(tilt) 터치궤적 및 줌(zoom) 터치궤적을 터치스크린을 통해 터치 방식(스와이프(swipe) 포함)으로 입력받도록 하여, 각각의 이동경로의 이동시간에 대응하는 팬(pan) 동작, 틸트(tilt) 동작 및 줌(zoom) 동작의 설정을 편리하게 하는 효과를 제공한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 카메라 동작에 관한 이동시간을 각각 입력받을 시, 터치스크린 상에 실제 카메라 촬영 시 일어날 이벤트들을 시계열 상으로 나열한 레퍼런스 타임라인 윈도우를 디스플레이함으로써, 시계열상 잘못 입력된 이벤트들의 시점을 간편하게 보정할 수 있는 효과를 제공한다.
본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 방법은, 가상 피사체를 상기 카메라 경로설정 윈도우 상에 디스플레이 하고, 가상 피사체를 카메라 제어 데이터를 이용하여 카메라 경로설정 윈도우 상에 애니메이션 하여, 사용자가 미리 카메라 워크의 결과를 시뮬레이션 해 볼 수 있는 효과를 제공한다.
도 1은 본 발명의 일실시예에 따른 사용자 단말장치를 도시하는 구성도.
도 2는 본 발명의 일실시예에 따른 설정 애플리케이션의 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우의 디스플레이 예시도.
도 3은 본 발명의 일실시예에 따른 카메라가 이동할 수 있는 수직 평면(x-y 평면)을 도시하는 예시도.
도 4는 본 발명의 일실시예에 따른 이동경로 터치궤적을 터치스크린을 통해 사용자로부터 스와이프 입력받는 것을 도시하는 예시도.
도 5는 본 발명의 일실시예에 따른 실제평면 및 실제 카메라의 이동경로를 도시하는 예시도.
도 6은 본 발명의 일실시예에 따른 이동경로 터치궤적을 터치스크린을 통해 사용자로부터 터치 입력받는 것을 도시하는 예시도.
도 7은 본 발명의 일실시예에 따른 실제평면 및 실제 카메라의 이동경로를 도시하는 예시도.
도 8은 본 발명의 일실시예에 따른 이동시간을 터치스린을 통해 사용자로부터 입력받는 것을 도시하는 예시도.
도 9는 본 발명의 일실시예에 따른 실제 타임라인 및 실제 카메라의 이동시간을 도시하는 예시도.
도 10은 본 발명의 일실시예에 따른 제 1 동기화 터치궤적을 터치스크린을 통해 입력받는 것을 도시하는 예시도.
도 11은 본 발명의 일실시예에 따른 제 2 동기화 터치궤적을 터치스크린을 통해 입력받는 것을 도시하는 예시도.
도 12는 본 발명의 일실시예에 따른 가상 카메라 이동경로를 도시하는 예시도.
도 13은 본 발명의 일실시예에 따른 곡선 모양의 제 1 동기화 터치궤적을 터치스크린을 통해 입력받는 것을 도시하는 예시도.
도 14는 본 발명의 일실시예에 따른 가상 카메라 이동 시작 시점과 가상 카메라 이동 종료 시점 간의 간격이 짧은 제 2 동기화 터치궤적을 터치스크린을 통해 입력 받는 것을 도시하는 예시도.
도 15는 본 발명의 일실시예에 따른 곡선 모양의 제 1 동기화 터치궤적을 이용한 가상 카메라 이동경로를 도시하는 예시도.
도 16은 본 발명의 일실시예에 따른 카메라 줌샘플의 터치 입력을 구현하는 예시도.
도 17은 본 발명의 일실시예에 따른 카메라의 팬 터치궤적 입력을 구현하는 예시도.
도 18은 본 발명의 일실시예에 따른 카메라의 틸트 터치궤적 입력을 구현하는 예시도.
도 19는 본 발명의 일실시예에 따른 카메라의 줌 터치궤적 입력을 구현하는 예시도.
도 20은 본 발명의 일실시예에 따른 카메라의 틸트 터치궤적 입력 위치에 줌 터치궤적 입력을 구현하는 예시도.
도 21은 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우 및 표식자의 디스플레이 예시도.
도 22는 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우 및 표식자의 확대 디스플레이 예시도.
도 23은 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우에 카메라 제어 데이터를 이벤트로서 포함하여 도시하는 예시도.
도 24는 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우의 이벤트의 시점을 변경하는 것을 도시하는 예시도.
도 25는 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우 및 레퍼런스 타임라인 윈도우를 서로 다른 일측에 디스플레이하는 예시도.
도 26은 본 발명의 일실시예에 따른 카메라 경로설정 윈도우 상에 가상 카메라 경로 종료점 근처에 팬 터치궤적을 터치 입력시 가상 피사체를 애니메이션하는 것을 디스플레이하는 예시도.
도 27은 본 발명의 일실시예에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 28은 본 발명의 일실시예에 따른 카메라 줌샘플의 터치 입력을 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 29는 본 발명의 일실시예에 따른 카메라의 팬 터치궤적, 틸트 터치궤적, 및 줌 터치궤적의 입력을 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 30은 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우의 표식자 및 확대의 구현을 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 31은 본 발명의 일실시예에 따른 레퍼런스 타임라인 윈도우의 이벤트의 시점 변경의 컴퓨터 구현 방법을 도시하는 흐름도.
도 32는 본 발명의 일실시예에 따른 카메라 경로설정 윈도우 상에 가상 피사체 애니메이션의 컴퓨터 구현 방법을 도시하는 흐름도.
사용자 단말장치(100) 터치스크린(110)
프로세서(120) 저장모듈(130)
카메라 설정 애플리케이션(140) 통신모듈(150)
카메라(210) 카메라 경로설정 윈도우(410)
가상 카메라 경로 시작점(411) 가상 카메라 경로 종료점(412)
이동경로 터치궤적(413) 실제 카메라의 이동경로(414)
카메라 타이밍 설정 윈도우(420) 가상 카메라 이동 시작 시점(421-a)
가상 카메라 이동 종료 시점(421-b) 실제 카메라 이동 시작 시점(423-a)
실제 카메라 이동 종료 시점(423-b) 카메라 줌 샘플(430)
줌 샘플 터치지점(431) 팬 터치궤적(440)
틸트 터치궤적(450) 줌 터치궤적(460)
레퍼런스 타임라인 윈도우(470) 표식자(471)
이벤트 시점변경 터치궤적(472) 가상 피사체(480)
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안 되며, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 "포함"한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 "..모듈", "..부", "..시스템" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치(100)을 설명한다.
도 1은 본 발명의 실시예에 따른 사용자 단말장치를 도시하는 구성도이다. 도 1에 도시된 바와 같이, 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치(100)는 터치스크린(110), 프로세서(120), 저장모듈(130)을 포함하여 구성된다. 사용자 단말장치(100)는 예컨대 스마트폰, 태블릿 PC 등과 같은 범용적 정보처리 단말장치이거나 차량용 인포테인먼트 장치 또는 멀티미디어 파일을 재생하기 위한 동영상 플레이어 장치와 같은 특정기능에 특화된 정보처리 단말장치 등을 예시할 수 있다.
터치스크린(110)은 디스플레이 상에 형성되는 터치 감응식 유저 인터페이스를 위한 터치 감지장치를 포함하여 구성된다. 터치 감지장치는 사용자의 손가락을 포함하는 신체의 접촉 또는 스타일러스 펜과 같은 물체의 접촉을 감지하고, 일정 방향으로의 접촉점의 이동으로 구현되는 슬라이드 동작을 감지하는 기능을 수행한다. 본 명세서에서의 터치스크린(110)에 대한 접촉은 터치스크린(110) 표면에 대한 직접 접촉뿐 아니라 터치스크린(110) 표면에 대한 20 mm 이내의 근접(근접 터치, hovering)을 포함한다. 터치스크린(110)의 구현방식은 특별히 제한되지 않으며 예컨대 정전용량방식 또는 저항막(resistive overlay)을 이용한 감압식으로 구현될 수 있고, 표면 초음파 또는 적외선을 이용한 방식 등으로 구현될 수 있다. 본 발명에서의 터치스크린(110)은 예컨대 랩탑 컴퓨터의 키보드 하단에 설치되는 터치패드 또는 터치 감응식 마우스 등과 같이 디스플레이와 결합되지 않는 터치 감응식 인터페이스는 포함하지 않는다.
프로세서(120)는 중앙처리장치 또는 모바일 프로세서(120)를 예시할 수 있으며 애플리케이션/프로그램의 명령어 집합에 따른 연산처리를 수행한다. 프로세서(120)는 단일의 연산처리장치 또는 복수개의 연산처리장치로 구성될 수 있다.
저장모듈(130)은 카메라 설정 애플리케이션(140)을 저장하는 기능을 수행하며, 카메라 설정 애플리케이션(140)을 위해 필요한 데이터를 저장하는 기능을 수행한다. 저장모듈(130)은 특별히 제한되지 않으며 메모리 소자, 자기적 저장매체, 광학적 저장매체 등으로 구현될 수 있다.
카메라 설정 애플리케이션(140)은 예컨대 다운로드를 통해 스마트폰에 설치되는 애플리케이션 또는 웹브라우저를 통해 구동될 수 있다. 카메라 설정 애플리케이션(140)은 사용자 단말장치(100)의 저장모듈(130)에 설치되고 프로세서(120)에 의해 구동되어 다음의 단계들을 프로세서(120)가 수행하도록 하는 명령어의 조합으로 구성된다. 카메라 설정 애플리케이션(140)에 의해 프로세서(120)는 다음의 단계들을 수행하게 된다.
도 1 및 도 27을 참조하여 각 단계를 상세히 설명한다.
먼저, 터치스크린(110) 상에 카메라 경로설정 윈도우(410) 및 카메라 타이밍 설정 윈도우(420)를 디스플레이하는 단계를 수행한다(S110).
카메라 경로설정 윈도우(410)는 원격제어 가능한 카메라의 경로를 설정하기 위한 유저 인터페이스이다. 카메라 타이밍 설정 윈도우(420)는 원격제어 가능한 카메라의 특정 좌표에 대응하는 타이밍을 설정하기 위한 유저 인터페이스이다. 여기서 원격제어 가능한 카메라는 사용자 단말장치(100)에 통신모듈(150)을 통해 직접 연결되거나, 도 1에 도시된 바와 같이, 통신망을 거쳐서 연결될 수 있다. 즉, 사용자 단말장치(100)는 통신망을 거쳐서 자동 스튜디오에 구비된 자동 스튜디오 제어서버(200)에 연결된 카메라(210)와 연결되고, 카메라 설정 애플리케이션(140)을 이용하여 카메라(210)의 경로 및 타이밍을 설정할 수 있다. 카메라(210)는 동영상 촬영이 가능한 캠코더, 방송용 카메라, 스마트폰의 카메라 모듈일 수 있다. 또한, 카메라(210)는 별도의 이동 가능한 마운팅 장치에 탑재되어, 팬(pan) 및 틸트(tilt)를 구현할 수 있다.
한편, 카메라 경로설정 윈도우(410)는 카메라(210)가 실제로 이동할 수 있는 평면, 예컨대 도 5 또는 도 7에 도시된 실제평면(510)에 대응하는 가상의 평면이다. 여기서 실제평면(510)은, 도 3에 도시된 바와 같이, 지면에서 수직인 평면(x-y 평면)이나, 여기에 한정되는 것은 아니다. 여기서 도 3의 카메라(210)는 피사체를 바라보며 x축 및 y축을 따라 이동가능 하도록 설정되어 있다. 카메라 타이밍 설정 윈도우(420)는 카메라(210)가 실제로 이동하는 좌표에 대응하는 타이밍, 예컨대 도 9에 도시된 실제 타임라인(620)에 대응하는 가상의 타임라인이다.
일반적으로, 스마트폰과 같은 사용자 단말장치(100)는 디스플레이 영역이 크지 않다. 그런데, 카메라 경로설정 윈도우(410)는 2차원 정보, 즉, x좌표 및 y좌표를 평면 상에서 터치 방식으로 입력해야 하므로, 정확한 좌표 입력의 편의를 위해 그 크기가 가급적 큰 것이 바람직하다. 도 2에 도시된 바와 같이, 카메라 경로설정 윈도우(410)는 사용자 단말장치(100)의 디스플레이 영역의 대부분을 점유한다. 예컨대, 카메라 경로설정 윈도우(410)는 터치스크린(110)의 디스플레이 영역의 85% 이상을 점유할 수 있다. 한편, 도 2에 도시된 바와 같이, 카메라 타이밍 설정 윈도우(420)는 1차원 정보, 즉, 이동시간 만 터치 방식으로 입력하면 되므로 터치스크린(110)의 디스플레이 영역의 공간을 최대한 적게 차지하면서도 정확한 타이밍 입력이 가능하도록, 예컨대, 가는 띠 형태로 구성하는 것이 바람직하다. 이러한 단순한 카메라 타이밍 설정 윈도우(420)만으로 이동시간을 선택할 수 있으므로, 디스플레이 영역이 좁은 스마트폰에 적용하여도 터치 입력에 큰 장애가 되지 않는다.
단순히 빈 공간으로 구성된 카메라 경로설정 윈도우(410) 및 카메라 타이밍 설정 윈도우(420)를 이용하여, 사용자는 카메라(210)의 이동경로에 따른 속도도 편리하게 제어할 수 있다. 예컨대, 이동경로를 길게 터치하고, 이동시간을 짧게 터치하면 카메라(210)의 이동 속도는 빨라진다. 즉, 유저 인터페이스는 단순하지만, 이동경로의 길이 및 이동시간의 간격을 간단하게 변형하면, 다양한 카메라 화각 및 카메라 속도 제어가 가능하다.
카메라 타이밍 설정 윈도우(420)는 카메라 경로설정 윈도우(410) 내부의 일측변 근처에 형성될 수 있다. 이 경우 터치스크린(110)의 디스플레이 영역의 공간을 더욱 절약할 수 있다. 카메라 타이밍 설정 윈도우(420)를 반투명하게 하거나, 카메라 타이밍 설정 윈도우(420)를 완전히 투명하게 하고 해당 일측변에 식별표시를 하는 것도 가능하다. 또한, 사용자가 설정 애플리케이션(140)의 사용에 익숙해 질 경우, 카메라 타이밍 설정 윈도우(420)를 완전히 투명하게 하고, 해당 영역을 카메라 경로설정 윈도우(410)로 활용 하여, 터치스크린(110)의 디스플레이 영역을 최대한 활용할 수 있다. 카메라 타이밍 설정 윈도우(420)는 디스플레이 영역을 보다 잘 활용하기 위해, 도 25에 도시된 바와 같이, 일측변(416)에 접할 수도 있다.
한편, 카메라 타이밍 설정 윈도우(420)를 투명하게 할 경우, 카메라 경로설정 윈도우(410) 내부의 일측변(416) 근처뿐만 아니라 나머지 측변 근처들에도 모두 배치하여, 사용자가 카메라 경로설정 윈도우(410)를 통한 터치 입력을 종료한 후, 가까운 일측변 근처에 배치된 투명한 카메라 타이밍 설정 윈도우(420)를 통한 터치 입력을 할 수 있다. 따라서, 이러한 구성은 최단의 터치를 가능하게 하는 유저 인터페이스를 제공할 수 있다.
다음으로, 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 터치스크린을 통해 사용자로부터 터치입력받는 단계를 수행한다(S120).
가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력하는 순서는 다양하게 조합될 수 있다. 예를 들어, 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412)을 먼저 터치입력하고 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력할 수 있다. 또는 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 먼저 터치입력하고, 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412)을 터치입력할 수 있다. 또는 가상 카메라 경로 시작점(411), 가상 카메라 이동 시작 시점(421-a)을 먼저 터치입력하고 가상 카메라 경로 종료점(412) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력할 수 있다.
도 4는 가상 카메라 경로 시작점(411) 및 가상 카메라 경로 종료점(412)을 터치입력하는 예이다. 도 8은 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력하는 예이다. 도 10 및 도 11은 가상 카메라 경로 시작점(411), 가상 카메라 이동 시작 시점(421-a)을 먼저 터치입력하고 가상 카메라 경로 종료점(412) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력하는 예이다.
전체 카메라 이동 경로 및 이동 시간은 단일의 가상 카메라 경로 시작점, 가상 카메라 경로 종료점, 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점으로 터치입력되거나, 복수의 가상 카메라 경로 시작점, 가상 카메라 경로 종료점, 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점으로 터치입력될 수 있다.
복수의 가상 카메라 경로 시작점, 가상 카메라 경로 종료점, 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력하는 경우 터치입력 순서를 다양하게 조합될 수 있다.
본 발명에서는 입력된 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b)을 터치입력 하는 단계에서 이동경로 터치궤적(413) 또는 제 1 동기화 터치궤적(426) 또는 제 2 동기화 터치궤적(427) 중 적어도 어느 하나 이상을 생성할 수 있다(S130).
생성된 터치궤적은 카메라가 움직이는 경로가 사용될 수 있다. 용어 "터치궤적"은 궤적의 양 말단의 점을 포함하는 의미로 사용될 수 있다.
터치궤적 생성은 다음의 실시예에 의해 수행될 수 있다.
첫 번째 실시예는 도 4에 도시된 바와 같이, 카메라 경로설정 윈도우(410) 상에 가상 카메라 경로 시작점(411)과 가상 카메라 경로 종료점(412)을 포함하는 스와이프(swipe) 동작을 통해 이동경로 터치궤적(touch trace)(413)을 터치스크린(110)을 통해 사용자로부터 입력 받는다.
스와이프 동작은 사용자가 손가락으로 터치스크린(110) 상에서 가상 카메라 경로 시작점(411)을 터치하면서 손가락을 떼지 않고 가상 카메라 경로 종료점(412)까지 이동한 후 손가락을 떼는 동작을 이용하여 수행할 수 있다.
이 경우, 가상 카메라 경로 시작점(411)과 가상 카메라 경로 종료점(412)을 포함하는 스와이프 동작을 통해 S130 단계에서 수행되는 이동경로 터치궤적(touch trace)(413)이 생성된다.
스와이프 동작에 의하여 다양한 형태의 경로 예를 들어, 직선, 곡산 또는 이의 조합 형태로 경로를 생성시킬 수 있다.
두 번째 실시예는 도 6에 도시된 바와 같이 가상 카메라 경로 시작점(411)과 가상 카메라 경로 종료점(412)을 터치입력하면 기설정된 궤적형태로 상호 연결된 이동경로 터치궤적이 생성될 수 있다. 도 7은 직선 형태의 기 설정된 궤적이 이동경로 터치궤적(414)으로 설정된 경우이다. 기설정된 궤적형태는 직선, 곡선 등 다양한 선의 형태를 가질 수 있다.
이동경로 터치궤적(413)은 카메라(210)의 전체 이동경로의 일부 일 수 있으며 다양한 이동경로 터치궤적(413)이 전체 이동경로를 구성할 수 있다.
세 번째 실시예는 도 10, 11, 13 및 14에 도시된 바와 같이, 카메라 경로설정 윈도우(410) 상에 가상 카메라 경로 시작점(411)과 카메라 타이밍 설정 윈도우(420) 상에 가상 카메라 이동 시작 시점(421-a)을 포함하는 제 1 동기화 터치궤적(426)을 입력받고, 카메라 경로설정 윈도우(410) 상에 가상 카메라 경로 종료점(412)과 카메라 타이밍 설정 윈도우(420) 상에 가상 카메라 이동 종료 시점(421-b)을 포함하는 제 2 동기화 터치궤적(427)을 입력 받는다.
이때, 제 1 동기화 터치궤적(426) 및 제 2 동기화 터치궤적(427)은 스와이프(swipe) 동작으로 입력될 수 있다. 구체적으로, 도 10에는 사용자의 손가락으로 터치스크린(110)의 가상 카메라 경로 시작점(411)을 터치하면서 손가락을 떼지 않고 가상 카메라 이동 시작 시점(421-a)까지 이동한 후 손가락을 떼는 동작이 도시되어 있다.
스와이프 입력 대신 가상 카메라 경로 시작점과 상기 가상 카메라 이동 시작 시점을 터치입력하면 또는 가상 카메라 경로 종료점과 상기 가상 카메라 이동 종료 시점을 터치입력하면 각각 기설정된 궤적형태로 상호 연결된 동기화 터치궤적(426, 427)이 생성될 수 있다. 구체적으로, 카메라 경로설정 윈도우(410) 상에 가상 카메라 경로 시작점(411)과 카메라 타이밍 설정 윈도우(420) 상에 가상 카메라 이동 시작 시점(421-a)을 각각 순차적(또는 반대의 순서)으로 터치 입력하면, 가상 카메라 경로 시작점(411)과 가상 카메라 이동 시작 시점(421-a) 사이를 연결하는 제 1 동기화 터치궤적(426)이 생성된다. 그리고, 카메라 경로설정 윈도우(410) 상에 가상 카메라 경로 종료점(412)과 카메라 타이밍 설정 윈도우(420) 상에 가상 카메라 이동 종료 시점(421-b)을 각각 순차적(또는 반대의 순서)으로 터치 입력하면, 가상 카메라 경로 종료점(412)과 가상 카메라 이동 종료 시점(421-b) 사이를 연결하는 제 2 동기화 터치궤적(427)이 생성된다. 이 경우, 기설정된 궤적형태로 동기화 터치궤적(426, 427)이 생성될 수 있다.
제 1 동기화 터치궤적(426) 또는 제 2 동기화 터치궤적(427)은 가상 카메라 경로 시작점(411)과 가상 카메라 경로 종료점(412) 사이를 연결하는 이동경로 터치궤적(413)으로 사용될 수 있다. 도 12는 직선 형태로 입력받는 제 1 동기화 터치궤적이 가상 카메라 경로 시작점(411)과 가상 카메라 경로 종료점(412) 사이를 연결하는 이동경로 터치궤적(413)으로 사용된 예이다.
제 1 동기화 터치궤적(426) 중에서 가상 카메라 경로 시작점(411)을 회전축으로 하고, 가상 카메라 이동 시작 시점(421-a)을 가상 카메라 경로 종료점(412)에 위치하도록 제 1 동기화 터치궤적(426)을 회전시키되, 제 1 동기화 터치궤적(426)의 스케일(scale)로 확대 또는 축소할 수 있다. 이에 따라, 회전이 완료된 제 1 동기화 터치궤적(426)이 이동경로 터치궤적(413)으로 생성된다.
한편, 제 1 동기화 터치궤적(426)을 입력 시, 가상 카메라 이동경로(413)의 모양을 반영하지 않는 경우, 직선 형태의 가상 카메라 이동경로(413) 상의 일부분을 터치하고 잡아당겨 곡선 형태의 가상 카메라 이동경로(413)로 추후에 변경하는 것도 가능하다.
제 1 동기화 터치궤적(426) 또는 제 2 동기화 터치궤적(427)은 카메라(210)의 전체 이동경로 및 이동시간의 일부일 수 있으며, 다양한 동기화 터치궤적이 전체 이동경로 및 이동시간을 구성할 수 있다.
본 발명에서는 터치궤적을 생성시키는 다양한 방법들이 조합되어 사용될 수 있다.
본 발명에서는 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b) 및 생성된 터치궤적(413)을 이용하여 이에 매칭되는 실제 카메라 이동경로(414) 및 실제 카메라 이동 시간(423-a, 423-b)을 연산하는 과정을 포함할 수 있다.
본 발명에서의 용어 "연산"은 설정 윈도우에서 수득된 데이터를 수학적으로 계산하는 과정을 포함하거나, 수득된 가상 좌표 데이터, 가상 시간 데이터를 실제 좌표 데이터, 실제 시간 데이터로 전환하는 과정을 포함할 수 있다.
도 5 및 도 7에 도시된 바와 같이, 실제평면(510) 상의 실제 카메라 이동경로(414)를 구하기 위해서는, 가상의 평면에 해당하는 카메라 경로설정 윈도우(410) 상에서 입력받은 이동경로 터치궤적(413)의 각각의 궤적을 수치해석을 통해 연결한 매끄러운 곡선 또는 직선 형태의 가상의 경로를 구한 뒤, 해당 스케일로 변환하면 용이하게 실제 카메라 이동경로(414)를 얻을 수 있다.
또한, 실제 카메라 이동시간(423-a, 423-b)은 사용자로부터 입력받은 이동시간(421-a, 421-b)을 연산하여 얻을 수 있다.
가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점은 자체적으로 시간 정보를 포함할 수 있으므로 이를 이용하여 실제 카메라의 이동시간과 관련된 데이터를 제공할 수 있다. 또는 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점의 폭을 이용하여 실제 카메라의 이동시간과 관련된 데이터를 제공할 수 있다.
도 9에 도시된 바와 같이, 실제 타임라인(620) 상의 실제 카메라 이동시간(423-a, 423-b)을 계산하기 위해, 이동시간(421-a, 421-b)의 카메라 타이밍 설정 윈도우(420)의 전체 폭에 대한 상대적 비율을 먼저 계산한다. 실제 타임라인(620)의 기 설정된 전체 시간에 계산된 상대적 비율을 곱하면 실제 카메라 이동시간(423-a, 423-b)을 계산할 수 있다.
예컨대, 이동경로 터치궤적(413)의 길이가 5cm이고, 스케일이 50배 축소인 경우, 실제 카메라 이동경로 길이는 2.5m가 된다. 카메라 타이밍 설정 윈도우(420)의 길이가 10cm이고 전체 촬영 시간이 10분이면, 이동시간(421-a, 421-b) 간 길이가 2cm인 경우(Case: 1, 도 8)와 1cm인 경우(Case: 1, 미도시)에 따라 속도를 다르게 설정할 수 있다. 결국, 사용자가 간편하게 각각의 이동경로 터치궤적(413) 마다 다양한 속도를 설정할 수 있어서, 다양한 카메라 워크를 생성할 수 있다.
한편, 카메라 경로설정 윈도우(410) 보다 카메라 타이밍 설정 윈도우(420)에서 터치 입력을 먼저 입력받을 경우, 실제 카메라 이동시간(423-a, 423-b)보다 실제카메라 이동경로(414)를 먼저 계산할 수도 있다.
다음으로, 가상 카메라 경로 시작점, 가상 카메라 경로 종료점, 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계를 수행한다(S140).
본 발명에서는 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a), 가상 카메라 이동 종료 시점(421-b) 및 생성된 터치궤적(413)을 이용하여 이에 매칭되는 실제 카메라 이동경로(414) 및 실제 카메라 이동시간(423-a, 423-b)을 연산하고, 실제 카메라 이동경로(414) 및 실제 카메라 이동시간(423-a, 423-b)에 근거하여 카메라 제어 데이터를 생성할 수 있다. 또는 설정 윈도우 상에서 수득된 가상 카메라 경로 시작점(411), 가상 카메라 경로 종료점(412), 가상 카메라 이동 시작 시점(421-a) 및 가상 카메라 이동 종료 시점(421-b) 및 생성된 이동경로 터치궤적(413)에 관한 데이터를 직접적으로 카메라 제어 데이터의 생성에 사용할 수 있다.
카메라 제어 데이터는 카메라(210)의 동작을 정의하는 제어신호들의 집합으로 구성된다. 여기서 생성된 카메라 제어 데이터는 저장모듈(130) 또는 다른 저장장치에 저장되어, 동영상 촬영 전문가 없이 원격 제어 가능한 카메라(210)를 제어하여 사용자가 자동으로 동영상을 만들 수 있도록 할 수 있다.
지금까지는 카메라(210) 전체가 한 평면에서 이동할 수 있도록 하는 카메라 제어에 대해서 설명했지만, 보다 다양한 촬영효과를 위해 카메라의 줌 설정을 제어하는 방법에 대해 설명한다. 이하에서는 도 28을 참조하여 각 단계를 상세히 설명한다.
우선, 터치스크린(110) 상에 복수의 서로 다른 카메라 줌 샘플(430)을 디스플레이하는 단계를 수행한다(S210). 도 16에 도시된 바와 같이, 카메라 줌 샘플(430)은 동일 피사체의 풀샷(full shot) 이미지, 무릎샷(knee shot) 이미지, 웨이스트샷(waist shot) 이미지, 바스트샷(bust shot) 이미지, 및 클로즈업(close-up) 이미지를 포함한다.
다음으로, 복수의 서로 다른 카메라 줌 샘플(430) 중 줌 샘플 터치지점(431)을 터치스크린(110)을 통해 상기 사용자로부터 입력받는 단계를 수행한다(S220). 도 16에는 풀샷 이미지를 터치하는 동작이 도시되어 있지만, 추가로 다른 샘플을 터치할 수 있다. 디스플레이된 줌 샘플(430) 중에서 사용자의 터치에 의해 둘 이상의 카메라 줌 샘플이 입력된 경우, 입력된 둘 이상의 카메라 줌 샘플 모두 해당 실제 카메라 이동경로(414) 및 실제 카메라 이동시간(423-a, 423-b)과 동기화된다. 예컨대, 사용자의 선택에 의해 둘 이상의 카메라 줌 샘플이 스와이프 동작으로 입력된 경우, 둘 이상의 카메라 줌 샘플 사이의 줌 크기는 입력된 순서에 따라 연속적으로 커지거나 작아질 수 있다.
다음으로, 줌 샘플 터치지점(431)을 이용하여 이에 매칭되는 실제 카메라 줌동작을 연산하는 단계를 수행한다(S230).
카메라마다 이미지 센서의 크기 및 렌즈의 스펙이 다르므로, 각 카메라에 따라 미리 설정된 이미지 센서의 크기 및 렌즈 스펙을 참조하여, 입력받은 샘플 터치지점(431)에 대응하는 각각의 줌 샘플 별로 실제 카메라 줌 동작을 계산한다.
다음으로, 실제 카메라 줌 동작에 추가로 근거하여 카메라 제어 데이터를 생성하는 단계를 수행한다(S240).
한편, 복수의 서로 다른 카메라 줌 샘플(430)은 터치스크린(110)의 디스플레이 영역을 절약하기 위해 이동경로 터치궤적(413) 및 이동시간(421-a, 421-b)을 사용자로부터 입력받은 직후 터치스크린(110) 상에 자동으로 디스플레이 되도록 하고, 줌 샘플 터치지점(431)을 사용자로부터 입력받은 후 터치스크린(110)에서의 디스플레이를 중단 할 수 있다. 반대로, 이동경로 터치궤적(413) 및 이동시간(421-a, 421-b)을 사용자로부터 입력받기 전에, 터치스크린(110) 상에 복수의 서로 다른 카메라 줌 샘플(430)을 디스플레이하고, 줌 샘플 터치지점(431)을 사용자로부터 입력받은 후 터치스크린(110)에서의 디스플레이를 중단 할 수 있다. 이러한 줌 샘플(430)의 디스플레이 방식은 부가적으로 터치스크린(110) 상의 디스플레이 영역을 깔끔하게 유지할 수 있도록 한다.
줌 샘플(430) 외에, 카메라의 초점을 다양하게 구현한 카메라 초점 샘플을 터치 동작으로 입력받는 단계도 수행할 수 있다.
한 평면에서의 x축 및 y축에 대한 카메라(210)의 위치 제어에 대해서 전술했지만, 보다 다양한 카메라 워크를 구현하기 위해, 카메라(210)의 팬(pan) 이동, 틸트(tilt) 이동, 및 줌(zoom) 동작을 제어하는 방법에 대해 설명한다. 이하에서는 도 17 내지 도 20 및 도 29를 참조하여 각 단계를 상세히 설명한다.
우선, 터치스크린(110) 상에 이동경로 터치궤적(413)을 디스플레이하는 단계를 수행한다(S310).
다음으로, 터치스크린(110) 상에 디스플레이된 이동경로 터치궤적(413) 상에 터치입력을 수신한다(S320).
만약, 터치스크린(110) 상에 입력된 터치입력이 도 17에 도시된 바와 같이, 카메라 팬(pan) 이동을 위한 수평방향의 팬 터치궤적(440)이 입력된 경우(S330), 입력된 팬 터치궤적(440)을 이용하여 이에 매칭되는 실제 카메라 팬 동작을 연산하는 단계를 수행한다(S360). 도 17에는 팬 터치궤적(440)의 일례인 수평 방향의 스와이프 궤적이 도시되어 있다. 구체적으로, 손가락으로 가상 카메라 경로 시작점(411)의 왼쪽 부분을 터치하면서 손가락을 떼지 않고 가상 카메라 경로 시작점(411)의 오른쪽 부분까지 이동한 후 손가락을 떼는 동작이 도시되어 있다. 여기서 가상 카메라 경로 시작점(411)의 왼쪽 부분에서 오른쪽 부분까지의 거리는 카메라 팬의 각도에 해당하고, 왼쪽에서 오른쪽으로의 스와이프 방향은 카메라 팬의 방향에 해당한다. 스와이프 동작 이외에 두 지점을 터치하는 동작도 가능하며, 이외의 다른 터치 동작도 가능하다. 한편, 팬의 회전 속도에 대해서는 구체적으로 설명하지 않았지만, 스와이프 동작의 속도 및 두 지점을 터치하는 동작의 속도도 측정하여 활용할 수 있고, 기 설정된 속도를 활용할 수도 있다.
또한, 카메라 팬의 각도 및 방향을 모두 팬 터치궤적(440)을 통해 바로 계산할 수 있다. 실제 카메라 팬동작에 팬의 회전 속도가 추가될 경우, 그 회전 속도는 상술한 스와이프 동작의 속도 또는 두 지점을 터치하는 동작의 속도를 일정 비율로 스케일하여 계산할 수 있다.
만약, 터치스크린(110) 상에 입력된 터치입력이 도 18에 도시된 바와 같이, 카메라 틸트(tilt) 이동을 위한 수직방향의 틸트 터치궤적(450)이 입력된 경우(S340), 입력된 틸트 터치궤적(450)을 이용하여 매칭되는 실제 카메라 틸트 동작을 연산하는 단계를 수행한다(S370). 도 18에는 틸트 터치궤적(450)의 일례인 수직 방향의 스와이프 궤적이 도시되어 있다. 구체적으로, 손가락으로 이동경로 터치궤적(413)의 특정 부위 위쪽 부분을 터치하면서 손가락을 떼지 않고 특정 부위 아래쪽 부분까지 이동한 후 손가락을 떼는 동작이 도시되어 있다. 여기서 특정 부위의 위쪽 부분에서 아래쪽 부분까지의 거리는 카메라 틸트의 각도에 해당하고, 위쪽에서 아래쪽으로의 스와이프 동작은 카메라 틸트의 방향에 해당한다. 스와이프 동작 이외에 두 지점을 터치하는 동작도 가능하며, 이외의 다른 터치 동작도 가능하다. 한편, 틸트의 회전 속도에 대해서는 구체적으로 설명하지 않았지만, 스와이프 동작의 속도 및 두 지점을 터치하는 동작의 속도도 측정하여 활용할 수 있고, 기 설정된 속도를 활용할 수도 있다.
또한, 카메라 틸트의 각도 및 방향을 모두 틸트 터치궤적(450)을 통해 바로 계산할 수 있다. 실제 카메라 틸트동작에 틸트의 회전 속도가 추가될 경우, 그 회전 속도는 상술한 스와이프 동작의 속도 및 두 지점을 터치하는 동작의 속도를 일정 비율로 스케일하여 계산할 수 있다.
마직막으로, 터치스크린(110) 상에 입력된 터치입력이 도 19에 도시된 바와 같이, 카메라 줌(zoom) 이동을 위한 원형 방향의 줌 터치궤적(460)이 입력된 경우(S350), 입력된 줌 터치궤적(460)을 이용하여 이에 매칭되는 실제 카메라 줌 동작을 연산하는 단계를 수행한다(S380). 도 19는 줌 터치궤적(460)의 일례인 원형 방향의 스와이프 궤적이 도시되어 있다. 구체적으로, 손가락으로 이동경로 터치궤적(413)의 특정 부위 아래쪽 일 부분을 터치하면서 손가락을 떼지 않고 시계방향으로 특정 각도만큼 회전 이동한 후 손가락을 떼는 동작이 도시되어 있다. 여기서 특정 각도는 카메라 줌의 정도에 해당하고, 시계방향의 스와이프 동작은 카메라 줌의 확대 모드 또는 축소 모드에 해당한다. 원형 방향의 스와이프 동작 이외에 다른 터치 동작도 가능하다. 한편, 줌의 속도에 대해서는 구체적으로 설명하지 않았지만, 원형 방향의 스와이프 동작의 속도를 측정하여 활용할 수 있고, 기 설정된 속도를 활용할 수도 있다.
또한, 카메라 줌의 정도는 줌 터치궤적(460)의 각도와 카메라의 렌즈 스펙을 참조하고, 확대 또는 축소 모드의 선택은 줌 터치궤적(460)의 방향을 통해 바로 계산할 수 있다. 실제 카메라 줌동작에 줌의 회전 속도가 추가될 경우, 그 회전 속도는 상술한 스와이프 동작의 속도를 일정 비율로 스케일하여 계산할 수 있다.
도 20은 이동경로 터치궤적(413) 상의 특정 위치에 틸트 터치궤적(450)과 줌 터치궤적(460)을 순차적으로 입력받는 일구현예를 나타내고 있다.
한편, 도 17 및 도 18에는 수평 방향의 스와이프 동작인 팬 터치궤적(440) 및 수직 방향의 스와이프 동작인 틸트 터치궤적(450)이 도시되어 있지만, 한 번의 사선 방향의 스와이프 동작을 통해 동시에 카메라(210)의 팬동작과 틸트동작을 제어할 수 있는 사선 방향의 터치궤적도 구현 가능하다. 결국, 사선 방향의 터치궤적을 이용하여 사선 방향의 카메라 이동 제어를 손쉽게 구현할 수 있다. 한편, 피사체가 예상 밖의 위치로 이동할 수도 있으므로, 자동으로 항상 카메라가 피사체를 향하도록 할 수도 있다. 구체적으로, 추적 모드를 터치 방식으로 구현하여, 예컨대, 기 설정된 두 손가락 탭 동작 또는 두 손가락 스와이프 동작과 같은 터치 동작을 입력받아, 동작 감지 센서를 통해 피사체를 추적하도록 할 수 있다. 동작감지를 위해, 깊이 측정(depth-sensing) 기능이 있는 비디오카메라를 사용하는 것도 가능하다. 영상의 깊이 측정방식은 Microsoft사의 Kinnect 및 Intel사의 RealSense Camera를 통해 상용화된 적외선 패턴 인식 방식을 통해 구현하거나 Lytro사에 의해 상용화된 마이크로 렌즈 어레이(Micro Lens Array)를 통한 라이트필드(Light Field) 방식을 예시할 수 있다. 일반적인 멀티 카메라 방식에 의한 깊이 측정의 경우 별도의 센서가 필요하지 않을 수도 있다. 이때 얻어진 좌표로 자동으로 카메라(210)의 팬동작 및 틸트동작을 제어하여 카메라(210)가 항상 피사체를 향하도록 구현할 수 있다.
다음으로, 실제 카메라 팬동작, 실제 카메라 틸트동작, 및 실제 카메라 줌 동작 중 적어도 어느 하나 이상을 이용하여 카메라 제어 데이터를 생성하는 단계를 수행한다(S390).
한편, 실제 카메라 팬 동작, 실제 카메라 틸트 동작, 및 실제 카메라 줌 동작은 모두 카메라 경로설정 윈도우(410) 상의 이동경로 터치궤적(413)을 참조하여 터치 동작을 입력받아 생성되지만, 카메라 타이밍 설정 윈도우(420) 상의 이동시간(421-a, 421-b)을 참조하여 터치 동작을 입력받아 생성될 수도 있다. 이 경우 카메라 타이밍 설정 윈도우(420)의 크기 제한 때문에, 터치 동작은 카메라 타이밍 설정 윈도우(420)를 벗어나서 터치스크린(110)을 통해 입력받을 수도 있다.
일반적으로 동영상 촬영은 단독으로 영상만 촬영하는 것이 아니고, 어떤 주제를 최대한 효과적으로 표현하기 위해 배경, 음악, 및 조명을 적극적으로 활용한다. 이에 따라, 삽입되는 음악 및 배경, 촬영 시 이용되는 조명을 참조하여 카메라 워크를 설정하는 것이 바람직하다. 실제 카메라의 이동시간(423-a, 423-b)에 해당하는 카메라 타이밍 설정 윈도우(420) 상의 이동시간(421-a, 421-b)을 결정하기 위해 참조 데이터를 활용하는 방법에 대해 설명한다. 우선, 도 21 및 도 31에 도시된 바와 같이, 카메라 타이밍 설정 윈도우(420)에서 터치입력을 수신하는 경우(S410), 카메라 타이밍 설정 윈도우(420)는 입력되는 가상 카메라 이동 시작 시점(421-a)과 가상 카메라 이동 종료 시점(421-b)을 수신하여 이동시간(421-a, 421-b)을 생성한다(S420).
이후, 터치스크린(110) 상에 실제 카메라 촬영 시 일어날 이벤트들을 시계열 상으로 나열한 레퍼런스 타임라인 윈도우(470)를 디스플레이한다(S430).
레퍼런스 타임라인 윈도우(470)는 이동시간(421-a, 421-b)을 입력받을 때마다 각각 디스플레이할 수도 있고, 처음 가상 카메라 이동 시작 시점 (421-a)을 입력받을 때 디스플레이 상태를 유지하다가 마지막 가상 카메라 이동 종료 시점(421-b)을 입력받고 사용자의 손이 터치스크린(110)에서 떨어지면 디스플레이하지 않을 수도 있다. 여기서 이벤트들은 도 22에 도시된 바와 같이 레퍼런스 타임라인 윈도우(470)의 첫 번째 행에 나열된 배경화면, 두 번째 행에 나열된 배경음악의 볼륨 크기 및 피치의 높낮이, 세 번째 행에 나열된 조명의 방향 등이 있다. 각 행에 나열된 이벤트들은 예시에 불과하며, 레퍼런스 타임라인 윈도우(470)는 다양한 이벤트를 포함할 수 있다.
다음으로, 입력받은 이동시간(421-a, 421-b)과 매칭되는 실제 카메라 이동시간(423-a, 423-b)에 해당하는 이벤트 상에 표식자(471)를 디스플레이한다(S440).
표식자(471)는 사용자의 손이 터치스크린(110)에서 떨어지기 전까지 사용자의 손이 움직임에 따라 같이 움직인다. 이전의 사용자의 터치에 해당하는 표식자(471)는 현재 사용자의 터치에 해당하는 표식자(471)와 구별되게, 예컨대, 점선으로 디스플레이 할 수 있다.
레퍼런스 타임라인 윈도우(470)는 다양한 이벤트들이 시계열상으로 모두 나열되어 디스플레이 된다. 따라서, 스마트폰과 같은 소형의 사용자 단말장치(100)의 터치스크린(110)에 레퍼런스 타임라인 윈도우(470)를 모두 디스플레이 하기에는 가독성이 떨어질 수 있다. 이 경우, 도 22에 도시된 바와 같이, 표식자(471)를 중심으로 상기 레퍼런스 타임라인 윈도우(470)를 확대하여 디스플레이할 수 있다. 즉, 가독성의 판단 기준을 미리 설정하여 자동으로 레퍼런스 타임라인 윈도우(470)를 확대하여 디스플레이할 수도 있다(S450). 또한, 사용자의 특별한 터치 동작, 예컨대, 두손가락 스와이프, 멀티 터치와 같은 추가 입력을 통해 레퍼런스 타임라인 윈도우(470)를 확대하여 디스플레이할 수도 있다.
상술한 단계를 거쳐 생성된 카메라 제어 데이터도 결국 실제 카메라 촬영 시 일어날 이벤트들 중 하나일 수 있으므로, 레퍼런스 타임라인 윈도우(470)에 카메라 제어 데이터를 이벤트로서 포함시킬 수 있다. 따라서, 도 23 및 도 31에 도시된 바와 같이, 카메라 제어 데이터를 이벤트로서 레퍼런스 타임라인 윈도우(470)에 이벤트로서 디스플레이 한다. 도 23에 도시된 바와 같이, 카메라 제어 데이터는 사용자가 쉽게 인식할 수 있는 형태인 카메라 제어 이벤트(491)로 표현된다.
그런데, 카메라 제어 데이터를 레퍼런스 타임라인 윈도우(470)의 특정 이벤트에 맞추어 설정하였지만, 다른 이벤트와 시점이 맞지 않아 생성될 동영상이 어색할 수 있을 경우 그 이벤트의 시점을 변경할 필요가 있다. 레퍼런스 타임라인 윈도우(470)의 특정 이벤트를 변경하는 방법에 대해 설명한다. 이하에서는 도 31를 참조하여 각 단계를 상세히 설명한다.
카메라 제어 데이터를 이벤트로서 레퍼런스 타임라인 윈도우에 포함하여 터치스크린(110) 상에 디스플레이 한다(S510).
우선, 도 24에 도시된 바와 같이 레퍼런스 타임라인 윈도우(470) 상에 이벤트 시점변경 터치궤적(472)을 터치스크린(110)을 통해 사용자로부터 입력받는 단계)를 수행한다(S510). 사용자의 손가락이 이벤트의 하나인 드럼 배경이미지를 터치하고 화살표 방향으로 이동시켜 터치궤적(472)을 생성한다(S520).
다음으로, 이벤트 시점변경 터치궤적(472)을 이용하여 해당 이벤트의 시점을 변경하는 단계를 수행한다(S530). 도 24에 도시된 바와 같이, 이벤트의 시점을 변경한 후, 드럼 배경이미지를 변경된 이벤트의 시점에 따라 이동시킬 수 있다.
한편, 터치스크린(110)의 디스플레이 영역이 넓지 않은 스마트폰 같은 경우, 다양한 이벤트를 모두 나열하여 표시하는 레퍼런스 타임라인 윈도우(470)는 디스플레이 영역의 대부분을 차지할 수 있다. 따라서, 도 25에 도시된 바와 같이, 카메라 타이밍 설정 윈도우(420)를 카메라 경로설정 윈도우(410) 내부의 일측변(416) 근처에 형성하고, 레퍼런스 타임라인 윈도우(470)는 일측변(416) 근처와 다른 카메라 경로설정 윈도우(410) 내부의 일측변(417) 근처에 형성하여 터치스크린(110)의 좁은 디스플레이 영역을 잘 활용할 수 있다. 이 경우, 타이밍 설정 윈도우(420)를 일측변(416)과 다른 일측변(417)에 투명하게 형성할 경우 디스플레이 영역을 더 잘 활용할 수 있다. 게다가, 도 22에 도시된 바와 같이, 표식자(471)를 중심으로 레퍼런스 타임라인 윈도우(470)를 확대하여 디스플레이하여 레퍼런스 타임라인 윈도우(470)의 가독성을 높일 수도 있다.
한편, 카메라 경로설정 윈도우(410)는 터치스크린(110)의 디스플레이 영역의 대부분을 차지하지만, 이동경로 터치궤적(413)이 입력되는 공간 및 일측변 근처에 위치할 수 있는 이동시간(421-a, 421-b)이 입력되는 공간 이외의 공간은 거의 사용되지 않는다. 따라서, 이 사용되지 않는 공간을 카메라의 이동경로와 이동시간의 동기화를 사용자가 보다 편리하게 할 수 있도록 적절히 활용하는 것이 바람직하다. 경로설정 윈도우(410) 상의 빈 공간을 활용하는 방법에 대해 설명한다. 이하에서는 도 32을 참조하여 각 단계를 상세히 설명한다.
우선, 도 32에 도시된 바와 같이, 가상 피사체(480)를 카메라 경로설정 윈도우(410) 상에 디스플레이 하는 단계를 수행한다(S610). 도 26에는 가상 피사체(480)가 1개 도시되어 있지만, 촬영 상황에 따라서, 복수의 가상 피사체(480)를 카메라 경로설정 윈도우(410) 상에 디스플레이할 수 있다. 여기서 가상 피사체(480)의 크기 및 위치는 카메라(210)의 촬상소자에 촬영될 실제 피사체의 크기 및 위치와 유사하게 설정하는 것이 바람직하다.
다음으로, 가상 피사체(480)를 카메라 제어 데이터를 이용하여 카메라 경로설정 윈도우(410) 상에 애니메이션 하는 단계를 수행한다(S620). 만약, 사용자의 손가락이 카메라 줌 샘플(430) 중 어느 하나의 줌 샘플 터치지점(431)을 터치하면, 가상 피사체(480)의 크기가 터치지점(431)에 대응하는 카메라 줌 샘플(430)에 대응하도록 애니메이션될 수 있다. 또한, 도 26에 도시된 바와 같이, 사용자의 손가락이 가상 카메라 경로 종료점(412) 이후, 그 근처에 수평방향의 팬 터치궤적(440)을 남기고 손가락을 때면, 가상 피사체(480)가 이동경로 터치궤적(413) 및 팬 터치궤적(440)에 대응하도록 애니메이션될 수 있다. 구체적으로, 가상의 카메라가 우측 하단으로 이동함에 따라 가상 피사체(480)는 좌측으로 이동하고, 이 후 가상의 카메라의 팬동작에 따라 터치스크린(110) 영역의 가운데로 이동할 수 있다. 이와 같은 애니메이션 효과를 통해 사용자는 미리 카메라 워크의 결과를 실시간으로 볼 수 있으며, 카메라의 이동경로와 동기화될 이동시간의 설정을 보다 편리하고 정확하게 할 수 있다. 결국, 다른 이벤트들과 대응되는 시점이 정확하여 자연스런 동영상 생성을 가능하게 하는 카메라 제어 데이터를 얻을 수 있다.
한편, 레퍼런스 타임라인 윈도우(470)에 재생 기능을 추가할 수 있다. 재생 기능을 통해 레퍼런스 타임라인 윈도우(470)에 포함된 이벤트들을 실제로 구현할 수 있다. 예컨대, 사용자는 재생 기능을 통해, 도 1에 도시된, 자동 스튜디오 제어서버(200)에 연결된 카메라(210), 조명(220), 및 오디오 장치(230)를 실제로 레퍼런스 타임라인 윈도우(470)에 나열된 순서대로 구현할 수 있다. 따라서, 사용자는 카메라 제어 데이터를 생성 도중이거나 생성 후에 다른 이벤트들과 조화로운지, 원하는 카메라 효과가 제대로 구현되는지 미리 확인할 수 있다. 사용자는 필요에 따라 해당 이벤트의 시점 조정을 통해 보다 자연스럽고 전문적인 동영상을 생성할 수 있다. 직접적으로 이벤트들을 실제로 구현할 수도 있지만, 간접적으로 구현하는 것도 가능하다. 이 경우, 가상 피사체(480)의 애니메이션 기능과 연동하여 가상 피사체(480)을 애니메이션 하면서, 레퍼런스 타임라인 윈도우(470)에 포함된 조명에 대응하는 가상의 조명 및 레퍼런스 타임라인 윈도우(470)에 포함된 배경 이미지를 터치스크린(110)의 카메라 경로설정 윈도우(410)에 디스플레이하고, 배경 음악은 사용자 단말장치(100)의 오디오 장치를 이용하여 재생할 수 있다.
본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.

Claims (18)

  1. 터치스크린;
    프로세서; 및
    카메라 설정 애플리케이션을 저장하는 저장모듈;을 포함하여 구성되는 사용자 단말장치에 있어서,
    상기 카메라 설정 애플리케이션은, 상기 프로세서가,
    상기 터치스크린 상에 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우를 디스플레이하는 단계;
    사용자로부터 상기 카메라 경로설정 윈도우를 통해 가상 카메라 경로 시작점 및 가상 카메라 경로 종료점을 터치입력 및 상기 카메라 타이밍 설정 윈도우를 통해 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력 받는 단계; 및
    상기 가상 카메라 경로 시작점, 상기 가상 카메라 경로 종료점, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  2. 제 1 항에 있어서, 상기 터치입력 받는 단계에서,
    상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점을 포함하는 이동 경로 터치궤적이 생성되고, 상기 이동 경로 터치궤적을 더 이용하여 상기 카메라 제어 데이터가 생성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  3. 제 2 항에 있어서,
    상기 이동 경로 터치궤적은 상기 사용자에 의해 상기 터치스크린에서 상기 가상 카메라 경로 시작점부터 상기 가상 카메라 경로 종료점까지의 스와이프(swipe)로 입력되거나, 상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점을 기설정된 궤적형태로 상호 연결하여 생성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  4. 제 1 항에 있어서, 상기 터치입력 받는 단계에서,
    상기 가상 카메라 경로 시작점과 상기 가상 카메라 이동 시작 시점을 포함하는 제 1 동기화 터치궤적이 생성되거나, 상기 가상 카메라 경로 종료점과 상기 가상 카메라 이동 종료 시점을 포함하는 제 2 동기화 터치궤적이 생성되며, 상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적 중 어느 하나를 더 이용하여 상기 카메라 제어 데이터를 생성하되, 상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적 중 상기 카메라 제어 데이터의 생성에 사용된 동기화 터치궤적의 형태를 상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점에서의 이동 경로 터치궤적으로 사용되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  5. 제 4 항에 있어서,
    상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적은 상기 사용자에 의해 상기 터치스크린에서 스와이프(swipe)로 입력되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  6. 제 2 항 또는 제 4 항에 있어서,
    상기 카메라 설정 애플리케이션은, 상기 프로세서가,
    상기 터치스크린 상에 상기 이동경로 터치궤적을 디스플레이하는 단계;
    상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 팬(pan) 이동을 위한 수평방향의 팬(pan) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계;
    상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 틸트(tilt) 이동을 위한 수직방향의 틸트(tilt) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계;
    상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 줌(zoom) 이동을 위한 원형방향의 줌(zoom) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계; 및
    상기 팬(pan) 터치궤적, 상기 틸트(tilt) 터치궤적 및 상기 줌(zoom) 터치궤적 중 적어도 어느 하나를 더 이용하여 상기 카메라 제어 데이터를 생성하는 단계;
    를 더 포함하여 수행하도록 구성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  7. 제 1 항에 있어서, 상기 카메라 설정 애플리케이션은, 상기 프로세서가,
    상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점이 각각 입력되는 경우, 상기 터치스크린 상에 실제 카메라 촬영 시 일어날 이벤트들을 시계열적으로 나열한 레퍼런스 타임라인 윈도우를 디스플레이하는 단계;
    상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점과 매칭되는 상기 실제 카메라 이동시간에 대응하는 이벤트의 표식자를 상기 레퍼런스 타임라인 윈도우에 디스플레이하는 단계; 및
    상기 카메라 제어 데이터를 이벤트로서 상기 레퍼런스 타임라인 윈도우에 포함시키는 단계;
    를 추가로 포함하여 수행하도록 구성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  8. 제 1 항에 있어서, 상기 카메라 설정 애플리케이션은, 상기 프로세서가,
    가상 피사체를 상기 카메라 경로설정 윈도우 상에 디스플레이하는 단계;
    를 추가로 포함하여 수행하도록 구성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  9. 제 8 항에 있어서, 상기 카메라 설정 애플리케이션은, 상기 프로세서가,
    상기 가상 피사체를 상기 카메라 제어 데이터를 이용하여 상기 카메라 경로설정 윈도우 상에 애니메이션 하는 단계;
    를 추가로 포함하여 수행하도록 구성되는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  10. 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법에 있어서,
    카메라 설정 애플리케이션이, 터치스크린 상에 카메라 경로설정 윈도우 및 카메라 타이밍 설정 윈도우를 디스플레이하는 단계;
    상기 카메라 설정 애플리케이션이, 사용자로부터 상기 카메라 경로설정 윈도우를 통해 가상 카메라 경로 시작점 및 가상 카메라 경로 종료점을 터치입력 받고, 상기 카메라 타이밍 설정 윈도우를 통해 가상 카메라 이동 시작 시점 및 가상 카메라 이동 종료 시점을 터치입력 받는 단계; 및
    상기 카메라 설정 애플리케이션이, 상기 가상 카메라 경로 시작점, 상기 가상 카메라 경로 종료점, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 이용하여 카메라 제어 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법.
  11. 제 10 항에 있어서, 상기 터치입력 받는 단계에서,
    상기 카메라 설정 애플리케이션이, 상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점을 포함하는 이동 경로 터치궤적을 생성하고, 상기 이동 경로 터치궤적을 더 이용하여 상기 카메라 제어 데이터를 생성하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  12. 제 11 항에 있어서,
    상기 카메라 경로 애플리케이션은, 상기 사용자에 의해 상기 터치스크린에서 상기 가상 카메라 경로 시작점부터 상기 가상 카메라 경로 종료점까지의 스와이프(swipe)로 입력을 이용하여 상기 이동 경로 터치궤적을 생성하나, 상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점을 기설정된 궤적형태로 상호 연결하여 상기 이동 경로 터치궤적을 생성하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  13. 제 10 항에 있어서, 상기 터치입력 받는 단계에서,
    상기 카메라 설정 애플리케이션이, 상기 가상 카메라 경로 시작점과 상기 가상 카메라 이동 시작 시점을 포함하는 제 1 동기화 터치궤적을 생성하거나, 상기 가상 카메라 경로 종료점과 상기 가상 카메라 이동 종료 시점을 포함하는 제 2 동기화 터치궤적을 생성하며, 상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적 중 어느 하나를 더 이용하여 상기 카메라 제어 데이터를 생성하되, 상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적 중 상기 카메라 제어 데이터의 생성에 사용된 동기화 터치궤적의 형태를 상기 가상 카메라 경로 시작점과 상기 가상 카메라 경로 종료점에서의 이동경로 터치궤적으로 사용하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  14. 제 13 항에 있어서,
    상기 카메라 경로 애플리케이션은, 상기 사용자에 의해 상기 터치스크린에서의 스와이프(swipe) 입력을 이용하여 상기 제 1 동기화 터치궤적 또는 상기 제 2 동기화 터치궤적을 생성하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라 이동경로와 이동시간의 동기화를 위한 사용자 단말장치.
  15. 제 11 항 또는 제 13 항에 있어서,
    상기 카메라 설정 애플리케이션이, 상기 터치스크린 상에 상기 이동경로 터치궤적을 디스플레이하는 단계;
    상기 카메라 설정 애플리케이션이, 상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 팬(pan) 이동을 위한 수평방향의 팬(pan) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계;
    상기 카메라 설정 애플리케이션이, 상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 틸트(tilt) 이동을 위한 수직방향의 틸트(tilt) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계;
    상기 카메라 설정 애플리케이션이, 상기 디스플레이된 상기 이동경로 터치궤적 상에 카메라 줌(zoom) 이동을 위한 원형방향의 줌(zoom) 터치궤적을 상기 터치스크린을 통해 상기 사용자로부터 입력받는 단계; 및
    상기 팬(pan) 터치궤적, 상기 틸트(tilt) 터치궤적 및 상기 줌(zoom) 터치궤적 중 적어도 어느 하나를 더 이용하여 상기 카메라 제어 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법.
  16. 제 10 항에 있어서,
    상기 카메라 설정 애플리케이션이, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점을 각각 입력받는 경우, 상기 터치스크린 상에 실제 카메라 촬영 시 일어날 이벤트들을 시계열 적으로 나열한 레퍼런스 타임라인 윈도우를 디스플레이하는 단계;
    상기 카메라 설정 애플리케이션이, 상기 가상 카메라 이동 시작 시점 및 상기 가상 카메라 이동 종료 시점과 매칭되는 상기 실제 카메라 이동시간에 대응하는 이벤트의 표식자를 상기 레퍼런스 타임라인 윈도우에 디스플레이 하는 단계; 및
    상기 카메라 제어 데이터를 이벤트로서 상기 레퍼런스 타임라인 윈도우에 포함시키는 단계;
    를 추가로 포함하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법.
  17. 제 10 항에 있어서,
    상기 카메라 설정 애플리케이션이, 가상 피사체를 상기 카메라 경로설정 윈도우 상에 디스플레이 하는 단계;를 추가로 포함하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현방법.
  18. 제 17 항에 있어서,
    상기 카메라 설정 애플리케이션이, 상기 가상 피사체를 상기 카메라 제어 데이터를 이용하여 상기 카메라 경로설정 윈도우 상에 애니메이션 하는 단계;를 추가로 포함하는 것을 특징으로 하는 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 컴퓨터 구현 방법.
PCT/KR2017/011477 2016-10-19 2017-10-17 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 WO2018074821A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020160136073A KR101743888B1 (ko) 2016-10-19 2016-10-19 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR10-2016-0136073 2016-10-19
KR10-2016-0140301 2016-10-26
KR1020160140301A KR102705094B1 (ko) 2016-10-26 2016-10-26 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법

Publications (1)

Publication Number Publication Date
WO2018074821A1 true WO2018074821A1 (ko) 2018-04-26

Family

ID=62018941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011477 WO2018074821A1 (ko) 2016-10-19 2017-10-17 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법

Country Status (1)

Country Link
WO (1) WO2018074821A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688325A (zh) * 2018-12-04 2019-04-26 维沃移动通信有限公司 一种图像显示方法及终端设备
WO2019205083A1 (zh) * 2018-04-27 2019-10-31 深圳市柔宇科技有限公司 一种3d影像拍摄方法、3d拍摄设备及存储介质
CN112472137A (zh) * 2020-12-15 2021-03-12 深圳市德力凯医疗设备股份有限公司 一种基于触摸屏滑动操作轨迹的超声扫描方法及系统
US11037365B2 (en) 2019-03-07 2021-06-15 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
CN113304471A (zh) * 2020-08-26 2021-08-27 北京完美赤金科技有限公司 虚拟对象的展示方法、装置、设备
WO2024131391A1 (zh) * 2022-12-23 2024-06-27 腾讯科技（深圳）有限公司 虚拟环境的显示方法、装置、设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234303A (ja) * 2003-01-30 2004-08-19 Dainippon Screen Mfg Co Ltd 画像入力装置
KR20080074807A (ko) * 2007-02-08 2008-08-13 최상덕 이동촬영 보조장치
KR20090028673A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 자세 교정 장치
KR20090085821A (ko) * 2008-02-05 2009-08-10 연세대학교 산학협력단 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법
KR20140053764A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234303A (ja) * 2003-01-30 2004-08-19 Dainippon Screen Mfg Co Ltd 画像入力装置
KR20080074807A (ko) * 2007-02-08 2008-08-13 최상덕 이동촬영 보조장치
KR20090028673A (ko) * 2007-09-15 2009-03-19 김영대 가상 스튜디오 자세 교정 장치
KR20090085821A (ko) * 2008-02-05 2009-08-10 연세대학교 산학협력단 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법
KR20140053764A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 로봇 청소기 시스템 및 그 제어방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205083A1 (zh) * 2018-04-27 2019-10-31 深圳市柔宇科技有限公司 一种3d影像拍摄方法、3d拍摄设备及存储介质
CN109688325A (zh) * 2018-12-04 2019-04-26 维沃移动通信有限公司 一种图像显示方法及终端设备
CN109688325B (zh) * 2018-12-04 2020-08-14 维沃移动通信有限公司 一种图像显示方法及终端设备
US11037365B2 (en) 2019-03-07 2021-06-15 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
US11055901B2 (en) 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
US11341715B2 (en) 2019-03-07 2022-05-24 Alibaba Group Holding Limited Video reconstruction method, system, device, and computer readable storage medium
US11521347B2 (en) 2019-03-07 2022-12-06 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN113304471A (zh) * 2020-08-26 2021-08-27 北京完美赤金科技有限公司 虚拟对象的展示方法、装置、设备
CN112472137A (zh) * 2020-12-15 2021-03-12 深圳市德力凯医疗设备股份有限公司 一种基于触摸屏滑动操作轨迹的超声扫描方法及系统
WO2024131391A1 (zh) * 2022-12-23 2024-06-27 腾讯科技（深圳）有限公司 虚拟环境的显示方法、装置、设备、介质及程序产品

Similar Documents

Publication Publication Date Title
WO2018074821A1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
US8643598B2 (en) Image processing apparatus and method, and program therefor
WO2015141891A1 (en) Display device and method for controlling the same
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2016114610A1 (en) Virtual input device and method for receiving user input using the same
WO2014030902A1 (en) Input method and apparatus of portable device
WO2016111584A1 (en) User terminal for displaying image and image display method thereof
EP2068235A2 (en) Input device, display device, input method, display method, and program
EP3566210A1 (en) System and method for augmented reality control
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020153810A1 (en) Method of controlling device and electronic device
WO2018080152A1 (en) Portable device and method for controlling screen in the portable device
WO2018124823A1 (en) Display apparatus and controlling method thereof
CN113873151A (zh) 录像方法、装置及电子设备
WO2019017585A1 (en) ELECTRONIC DEVICE FOR CONTROLLING THE DEVELOPMENT OF A LENS AND METHOD OF CONTROLLING THE SAME
WO2016035940A1 (en) Display device and method of controlling therefor
CN112492215B (zh) 拍摄控制方法、装置和电子设备
WO2014109449A1 (en) Video display device and control method thereof
WO2014104726A1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2021040180A1 (ko) 디스플레이장치 및 그 제어방법
CN106325726A (zh) 触控互动方法
KR102705094B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17862551

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 31.07.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17862551

Country of ref document: EP

Kind code of ref document: A1