Nothing Special   »   [go: up one dir, main page]

WO2023090831A1 - Electronic device for providing sound on basis of user input and method for operating same - Google Patents

Electronic device for providing sound on basis of user input and method for operating same Download PDF

Info

Publication number
WO2023090831A1
WO2023090831A1 PCT/KR2022/018030 KR2022018030W WO2023090831A1 WO 2023090831 A1 WO2023090831 A1 WO 2023090831A1 KR 2022018030 W KR2022018030 W KR 2022018030W WO 2023090831 A1 WO2023090831 A1 WO 2023090831A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
various embodiments
sound
audio
input
Prior art date
Application number
PCT/KR2022/018030
Other languages
French (fr)
Korean (ko)
Inventor
강정우
김경태
이성욱
Original Assignee
주식회사버시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220098394A external-priority patent/KR20230073078A/en
Application filed by 주식회사버시스 filed Critical 주식회사버시스
Publication of WO2023090831A1 publication Critical patent/WO2023090831A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Definitions

  • the present disclosure relates to an electronic device that provides sound based on a user input and an operating method thereof.
  • an object is to provide a method for reproducing an immersive audio source for giving a natural musical liveliness to a user.
  • an object is to provide an immersive audio source reproducing method for imparting liveliness to music based on user interaction.
  • an object is to provide a method for reproducing an immersive audio source to provide various musical experiences to users.
  • an object is to provide a method for reproducing an immersive audio source to provide a proactive and diverse musical experience to a user.
  • one task is to provide an audio source playback method for non-linear playback of a set of audio sources.
  • a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one object; identifying a user's input to the at least one object while outputting the first sound;
  • the first condition by the identified input is satisfied: When the identified input is the first input, outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied. ; and if the identified input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied.
  • an operation of outputting a second sound having a second frequency spectrum corresponding to a second playback time associated with the music file an operating method may be provided.
  • a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum based on the music file while displaying a first screen including at least one first object; identifying a specific type of event while outputting the first sound and not receiving a user input for the at least one object;
  • the type of the identified event is the first type for controlling sound
  • a first auditory property of the first sound is changed, and the first auditory property of the first object is changed based on the change of the first auditory property.
  • An operation method may be provided, including; an operation of changing the second auditory property.
  • the solution to the problem is not limited to the above-described solution, and solutions not mentioned can be provided to those skilled in the art from this specification and the accompanying drawings. will be clearly understood.
  • a realistic audio source reproducing method for inducing a natural musical change to a user within a limited time and space based on an interaction with the user and allowing the free musical change to give a sense of liveliness may be provided.
  • a selective change to an audio source is provided based on a user interaction to create a leading musical experience for the user, but a non-selective change to the audio source is provided to provide various musical experiences to the user.
  • a realistic audio source reproduction method may be provided.
  • the possibility of continuous change to the audio source is given to the user to create a leading musical experience for the user, but the possibility of arbitrary change to the audio source is given to create various musical experiences to the user.
  • a realistic audio source reproduction method for giving may be provided.
  • an audio source reproducing method for non-linearly reproducing at least one audio source set based on a user interaction may be provided.
  • FIG. 1 is a diagram for explaining an example of an interactive music listening system according to various embodiments.
  • 2A is a diagram for explaining an example of a configuration of an electronic device according to various embodiments.
  • 2B is a diagram for explaining an example of an operation of an electronic device according to execution of an application according to various embodiments.
  • FIG. 3 is a diagram for explaining an example of an audio source set (or audio source) and content for each stage according to various embodiments.
  • FIG. 4 is a diagram for explaining an example of distribution of an interactive music listening file according to various embodiments.
  • FIG. 5 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
  • 6A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 6B is a diagram for explaining an example of an operation of controlling contents when a user input of an electronic device is received, according to various embodiments.
  • FIG. 7A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 7B is a diagram for explaining an example of an operation of controlling contents when information other than a user input of an electronic device is received, according to various embodiments.
  • 8A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 8B is a diagram for explaining an example of a mode switching operation of an electronic device according to various embodiments.
  • FIG. 9 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
  • FIG. 10 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 11A is a diagram for explaining an example of visual content provided by an electronic device according to various embodiments.
  • 11B is a diagram for explaining another example of visual content provided by an electronic device according to various embodiments.
  • 11C is a diagram for explaining another example of visual content provided by an electronic device according to various embodiments.
  • 12A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 12B is a diagram for explaining an example of an operation of setting the number of main objects of an electronic device according to various embodiments.
  • 12C is a diagram for explaining an example of an operation of controlling a property of an audio source according to movement of a main object of an electronic device, according to various embodiments.
  • 13A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 13B is a diagram for explaining an example of an operation of generating a new object of an electronic device, according to various embodiments.
  • 13C is a diagram for explaining an example of an operation of creating a new object of an electronic device, according to various embodiments.
  • 14A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 14B is a diagram for explaining an example of an operation of controlling a location of an object when a user's input of an electronic device is received on a background screen, according to various embodiments.
  • 15 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 16 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 17 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 18 is a diagram for explaining an example of an operation of assigning an audio property to each main graphic object of an electronic device according to various embodiments.
  • 19 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
  • 20 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 21A is a diagram for explaining an example of an operation of providing visual content of an electronic device according to various embodiments.
  • 21B is a diagram for explaining an example of a chain interaction of electronic devices, according to various embodiments.
  • 22 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 23A is a diagram for explaining an example of an operation of providing an avatar for control based on a distance between users of electronic devices, according to various embodiments.
  • 23B is a diagram for explaining another example of an operation of providing an avatar for control based on a distance between users of electronic devices, according to various embodiments.
  • 24 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 25 is a diagram for explaining an example of a screen switching operation of an electronic device according to various embodiments.
  • 26 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 27 is a diagram for explaining examples of types of user interaction, according to various embodiments.
  • 28 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 29 is a diagram for explaining an example of an operation of controlling visual content and auditory content based on the type of an identified object of an electronic device, according to various embodiments.
  • FIG. 30 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 31 is a diagram for explaining an example of an operation of controlling visual content and auditory content based on the type of an identified object of an electronic device, according to various embodiments.
  • 32 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 33 is a diagram for explaining an example of a switching operation between a user interaction mode and a user non-interaction mode of an electronic device, according to various embodiments.
  • 34 is a diagram for explaining an example of an operation of an electronic device, according to various embodiments.
  • 35 is a diagram for explaining an example of content provided by an electronic device according to various embodiments.
  • 36 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • FIG. 37 is a diagram for explaining an example of an event occurrence point and a time interval identified based on a musical unit of an electronic device, according to various embodiments.
  • 38A is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of an electronic device, according to various embodiments.
  • 38B is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of an electronic device, according to various embodiments.
  • 38C is a diagram for explaining an example of an operation of providing an effect based on a user's input for each time interval for a main character of an electronic device, according to various embodiments.
  • 39 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 40 is a diagram for explaining an example of a creation operation of a main graphic object of an electronic device, according to various embodiments.
  • 41A is a diagram for explaining an example of a motion generation operation of an electronic device, according to various embodiments.
  • 41B is a diagram for explaining an example of a motion control operation of an electronic device, according to various embodiments.
  • FIG. 42 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 43 is a diagram for explaining an example of an operation of providing a motion based on a musical unit of auditory content of an electronic device, according to various embodiments.
  • 44 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • 45 is a diagram for explaining an example of activating a sub-object based on a location of a main character in an electronic device, according to various embodiments.
  • 46 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 47 is a diagram for explaining an example of activating audio source playback according to sub-object acquisition of an electronic device, according to various embodiments.
  • 48 is a flowchart for explaining an example of an operation of an electronic device, according to various embodiments.
  • FIG. 49 is a diagram for explaining examples of reproduction of auditory content according to movement of the main character and movement of the main character according to reverse reproduction of the auditory content of an electronic device, according to various embodiments.
  • 50 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 51 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 52 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
  • 53 is a diagram for explaining an example of a multi-play scenario of an electronic device, according to various embodiments.
  • 54 is a diagram for explaining an example of a player (or application) including a source pool, an input pool, and a plurality of transports of an electronic field, according to various embodiments.
  • 55A is a diagram for explaining an example of an operation of one transport, according to various embodiments.
  • 55B is a diagram for explaining an example of an operation of one transport, according to various embodiments.
  • 56 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
  • 57A is a diagram for explaining an example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
  • 57B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of an electronic device, according to various embodiments.
  • 57C is a diagram for explaining another example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
  • 58 is a flowchart for explaining an example of an operation of an electronic device and a server, according to various embodiments.
  • 59A is a diagram for explaining an example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
  • 59B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of an electronic device, according to various embodiments.
  • 60 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
  • 61 is a flowchart for describing an example of an operation of an electronic device and a server, according to various embodiments.
  • 62A is a diagram for explaining an example of a time point at which graphic data is provided and a time point at which an audio source is reproduced, according to various embodiments.
  • 62B is a diagram for explaining an example of an activation period according to various embodiments.
  • 63 is a flowchart for describing an example of an operation of an electronic device and a server, according to various embodiments.
  • 64 is a diagram for explaining an example of a platform file exchanged by a server, according to various embodiments.
  • 65A is a diagram for explaining an example of an interface provided by a server, according to various embodiments.
  • 65B is a diagram for explaining an example of information for each array acquired by a server, according to various embodiments.
  • 66 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
  • 67 is a flowchart illustrating an example of operations of a plurality of electronic devices (eg, an electronic device and an external electronic device) and a server, according to various embodiments.
  • a plurality of electronic devices eg, an electronic device and an external electronic device
  • a server e.g., a server
  • 68 is a flowchart for explaining an example of an operation of an electronic device, according to various embodiments.
  • 69 is a diagram for explaining another example of a platform file according to various embodiments.
  • 70A is a diagram for explaining an example of visual content provided by a server, according to various embodiments.
  • 70B is a diagram for explaining an example of visual content provided by a server, according to various embodiments.
  • 71 is a diagram for explaining an example of a messenger function provided by a server, according to various embodiments.
  • 72 is a diagram for explaining an example of visual content that can be provided by an interactive music listening system according to various embodiments.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a processor eg, a processor of a device (eg, an electronic device) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.
  • a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one object; identifying a user's input to the at least one object while outputting the first sound;
  • the first condition by the identified input is satisfied: When the identified input is the first input, outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied. ; and if the identified input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied.
  • an operation of outputting a second sound having a second frequency spectrum corresponding to a second playback time associated with the music file an operating method may be provided.
  • the operation of obtaining the plurality of audio sources based on the music file including, wherein the plurality of audio sources is a first audio source set corresponding to a first playback time associated with the music file outputting a first sound having the first frequency spectrum based on the first set of audio sources, including a second audio source set corresponding to a second playback time associated with the music file; and outputting the second sound having the second frequency spectrum based on the second audio source set.
  • the first condition by the identified input when the first condition by the identified input is satisfied: based on outputting a specific audio source and/or applying a specific audio effect, a first signal having the first frequency spectrum outputting sound;
  • the second condition by the identified input when the second condition by the identified input is satisfied: the second sound having the second frequency spectrum based on changing the playing audio source set from the first audio source set to the second audio source set
  • An operation method may be provided, including; an operation of outputting .
  • the operation of determining whether the first condition or the second condition is satisfied by the identified input may include: identifying the number of times of the identified input for the at least one object; comparing the number of times of the identified input with a preset threshold number; and determining whether the first condition or the second condition is satisfied based on the comparison result, based on the identified input.
  • the preset threshold number when the number of the identified inputs is less than the preset threshold number, determining that the first condition is satisfied; and determining that the second condition is satisfied when the number of the identified inputs is greater than the preset threshold number.
  • a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum based on the music file while displaying a first screen including at least one first object; identifying a specific type of event while outputting the first sound and not receiving a user input for the at least one object;
  • the type of the identified event is the first type for controlling sound
  • a first auditory property of the first sound is changed, and the first auditory property of the first object is changed based on the change of the first auditory property.
  • An operation method may be provided, including; an operation of changing the second auditory property.
  • identifying information related to a time of outputting the first sound while outputting the first sound, identifying information related to a time of outputting the first sound; and identifying the specific type of event when the information associated with the time satisfies a specific condition.
  • an operation of identifying the specific type of event may be provided.
  • a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one first object;
  • the interactive music listening system 1 may be defined as a system implemented to provide (or perform) functions (or services) for enjoying music under user-led.
  • a user using the interactive music listening system 1 is provided by the interactive music listening system 1 By actively reconstructing the music, you can enjoy the music dynamically. Accordingly, through the interactive music listening system 1, the user can more actively enjoy music, escaping from the conventional music listening behavior of simply passively listening to music, and the sense of immersion in music appreciation can be further increased.
  • Examples of functions provided (or performed) by the interactive music enjoyment system 1 will be described with reference to various embodiments below.
  • FIG. 1 is a diagram for explaining an example of an interactive music listening system 1 according to various embodiments.
  • the interactive music listening system 1 may include an electronic device 110 and/or a server 120 .
  • the electronic device 110 may be an electronic device implemented to provide predetermined content 100 .
  • the electronic device 110 includes at least one electronic component (or hardware) (eg, a display) for providing visual content 100a (eg, a graphic user interface (GUI)), and hearing It may be a device implemented to include at least one electronic component (or hardware) (eg, a speaker) for providing the enemy content 100b (eg, music).
  • the electronic device 110 may include a smart phone, a television (TV), a wearable device, a head mounted display (HMD) device, etc., but is not limited to the described example and provides visual content 100a to the user. And it may include various types of electronic devices capable of providing the auditory content (100b).
  • the visual content (100a) and the auditory content (100b) provided by the electronic device 110 may be provided in a form associated with predetermined time information (100c) (eg, time after entering a specific stage).
  • predetermined time information (100c) eg, time after entering a specific stage.
  • the content 100 provided by the electronic device 110 may be dynamically controlled by a user.
  • the electronic device 110 controls and/or changes based on at least some properties of the content 100 (eg, visual content 100a, auditory content 100b, time information 100c).
  • the attributes of the remaining part of the content 100 may be controlled and/or changed.
  • the electronic device 110 based on an input for controlling at least some properties of the visual content 100a received from the user while providing the auditory content 100b, the auditory content 100b ) It is possible to control at least some properties (or characteristics) of.
  • the electronic device 110 provides the user with the visual content 100a capable of performing a function as an object that can be recognized and controlled while enjoying the auditory content 100b to the user, thereby providing the user with a dynamic auditory It is possible to control and enjoy the content 100b.
  • the server 120 may be various types of external electronic devices implemented outside the electronic device 110 .
  • the server 120 is a distribution server for providing an application (or program) implemented to provide an interactive music listening function to the electronic device 110, or information between the electronic device 110 and other external electronic devices ( Or data or file) may include at least one of a platform server for sharing.
  • the interactive music listening system 1 may be implemented to include more devices and/or fewer devices.
  • the interactive music listening system 1 is operatively connected (or communicatively connected) to the electronic device 110 to provide information (eg, images, various types of sensor information) about the external environment.
  • An external electronic device may be further included.
  • the interactive music listening system 1 may include only the electronic device 110 .
  • At least some operations of the electronic device 110 according to various embodiments described below may be performed by the server 120, and at least some operations of the server 120 according to various embodiments may be performed. Some operations may be performed by the electronic device 110 and may be understood by those skilled in the art. In other words, an on-device type in which all operations are performed by the electronic device 110, a server type in which all operations are performed by the server 120, or the electronic device 110 and the server 120 A hybrid type interactive music listening system 1 in which operations are performed by each may be implemented.
  • FIG. 2A is a diagram for explaining an example of a configuration of an electronic device 110 according to various embodiments. Hereinafter, FIG. 2A will be further described with reference to FIG. 2B.
  • FIG. 2B is a diagram for explaining an example of an operation of the electronic device 110 according to execution of an application 251 according to various embodiments. An example of content for each stage 200 provided according to the execution of the application 251 of FIG. 2B will be described with reference to FIG. 3 .
  • 3 is a diagram for explaining an example of content for each audio source set (or audio source) and stage 200 according to various embodiments.
  • the electronic device 110 may include a processor 210, a communication circuit 220, an output device 230, an input device 240, and a memory 250. Without being limited to what is shown and/or described in FIG. 2A , the electronic device 110 may be implemented to include more components or fewer components. Meanwhile, as described above, at least some of the components of the electronic device 110 are implemented in another external electronic device (eg, the server 120), so that at least some of the operations according to the various embodiments described below are implemented in an external electronic device. It is obvious to those skilled in the art that it can be performed by an electronic device.
  • the server 120 another external electronic device
  • the processor 210 may include at least one processor, at least some of which are implemented to provide different functions.
  • at least one other component eg, hardware or software component
  • the processor 210 may be controlled by executing software (eg, a program), and various data processing or calculations can be performed.
  • the processor 210 receives instructions or data from other components (eg, communication circuit 220, output device 230, input device 240). may be stored in the memory 250 (eg, volatile memory), commands or data stored in the volatile memory may be processed, and resultant data may be stored in a non-volatile memory.
  • the processor 210 may include a main processor (eg, a central processing unit or an application processor) or a secondary processor (eg, a graphic processing unit, a neural processing unit (NPU)) that may operate independently or together therewith. , image signal processor, sensor hub processor, or communication processor).
  • a main processor eg, a central processing unit or an application processor
  • a secondary processor eg, a graphic processing unit, a neural processing unit (NPU)
  • image signal processor e.g., sensor hub processor, or communication processor
  • the auxiliary processor may use less power than the main processor or may be set to be specialized for a designated function.
  • a secondary processor may be implemented separately from, or as part of, the main processor.
  • a secondary processor is an electronic device, for example, on behalf of the main processor while the main processor is in an inactive (eg sleep) state, or together with the main processor while the main processor is in an active (eg application execution) state.
  • At least some of functions or states related to at least one of the components of 110 may be controlled.
  • the co-processor eg image signal processor or communication processor
  • the co-processor is part of other functionally related components (eg communication circuit 220, output device 230, input device 240).
  • an auxiliary processor eg, a neural network processing device
  • AI models can be created through machine learning.
  • Such learning may be performed, for example, in the electronic device 110 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 120).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the communication circuit 220 establishes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 110 and an external electronic device (eg, the server 120 of FIG. 1), and Communication through an established communication channel may be supported.
  • the communication circuit 220 may include one or more communication processors that operate independently of the processor 210 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication circuit 220 may be a wireless communication module (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (eg, a local area network (LAN)). ) communication module, or power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module is a first network (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (eg, a legacy cellular network, a 5G network, It is possible to communicate with an external electronic device (eg, server 140) through a next-generation communication network, the Internet, or a long-distance communication network such as a computer network (eg, LAN or WAN).
  • a next-generation communication network eg, the Internet
  • a long-distance communication network such as a computer network (eg, LAN or WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module may identify or authenticate the electronic device 110 within a communication network such as the first network or the second network using subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module. .
  • the wireless communication module may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)). -latency communications)) can be supported.
  • the wireless communication module may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module uses various technologies for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiple-output (FD). Technologies such as full dimensional MIMO (MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • MIMO massive multiple-input and multiple-output
  • FD full-dimensional multiple-output
  • the wireless communication module may support various requirements regulated by the electronic device 110, an external electronic device (eg, the server 120), or a network system.
  • the wireless communication module may be used to realize peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (eg, down) for realizing URLLC.
  • peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency eg, down
  • link (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • the output device 230 may include electronic components (or hardware) implemented to provide the visual content 100a and/or the auditory content 100b to the outside of the electronic device 110.
  • the output device 230 may include electronic components implemented to provide a tactile sensation, such as a display 231, a speaker 233, and a haptic device 235, but is not limited to the described examples and various types of Electronic components may be further included. Since electronic components described as examples of the output device 230 are obvious to those skilled in the art, a detailed description thereof will be omitted.
  • the input device 240 may include an electronic component (or hardware) implemented to acquire information from the outside of the electronic device 110 .
  • the input device 240 may include a camera 241, a microphone 243, and a sensor 245, but is not limited to the described example and may further include various types of electronic components. Since electronic components described as examples of the input device 240 are obvious to those skilled in the art, detailed descriptions thereof are omitted.
  • the memory 250 may be implemented to store the application 251 and the database 253 .
  • the application 251 (or program) may be implemented to provide functions for interactive music enjoyment.
  • the database 253 includes various types of files (eg, graphic element set 211a) for providing visual content 100a and/or auditory content 100b by execution of the application 251. (or graphic element), an audio source set 231a (or audio source), and a database 253 (or rule information 260).
  • the database 253 (or rule information 260) is shown to be implemented separately from the application 251, at least a part of it may be implemented within the application 251 without being limited to the illustrated example.
  • the database 253 may be defined as a source pool (source pool).
  • the application 251 (or program) and/or the database 253 may be received (or downloaded) from the server 120 (eg, a distribution server) to the electronic device 110, but is not limited to the described example. It may be previously stored in the electronic device 110 .
  • the application 251 is not only an application, but also a file (eg, a music file), as well as a program and/or computer code, which can be executed by an electronic device and can be stored in a storable form.
  • a file eg, a music file
  • a program and/or computer code which can be executed by an electronic device and can be stored in a storable form.
  • the processor 210 converts the visual content 100a and/or the auditory content 100b to predetermined time information 100c (eg, stage 200a). , ?, 200n), and/or an operation of controlling electronic components (or hardware) (eg, the output device 230) to provide data according to the timeline dt).
  • the following operations of the electronic device 110 eg, the processor 210) may be understood as operations performed based on the execution of the application 251.
  • the electronic device 110 obtains graphic information/audio information from the database 253 based on the execution of the application 251, and outputs the visual content 100a to the output device 230 (eg : Output (or display) through the display 231), and/or the auditory content 100b may be output through the output device 230 (eg, the speaker 233).
  • the output device 230 eg : Output (or display) through the display 231
  • the auditory content 100b may be output through the output device 230 (eg, the speaker 233).
  • the visual content 100a may include a graphic element set 211a.
  • the graphic element set 211a may include a plurality of graphic elements.
  • the graphic elements may mean graphic objects, images, and texts that can be displayed on the display 231, and are not limited to the examples described above, and electronic information (eg, visual effects) that can be displayed on the display 231 )
  • the visual content 100a may be a concept corresponding to a visual set of the source pool 5420 to be described later.
  • the auditory content 100b may include an audio source set 231a.
  • the audio source set 231a may include a plurality of audio sources.
  • the auditory content 100b may be a concept corresponding to an audio set of a source pool 5420 to be described later.
  • the application 251 may include an audio source set 231a, a graphic element set 211a, and rule information 260 for each of the plurality of stages 301a and 301n. At least one of the audio source set 231a, the graphic element set 211a, and the rule information 260 included in each of the plurality of stages 301a and 301n may be different from each other. Accordingly, for example, when the application 251 is executed, as described above, different parts of music (e.g., verses ( The auditory content 100b corresponding to the music composition) may be provided. Also, for example, when the application 251 is executed, visual content 100a including different graphic element sets 211a may be displayed.
  • control operations may be performed, or when different user interactions are input for each of the plurality of stages 301a and 301n, control operations corresponding to each other may be performed.
  • the plurality of stages 300a and 300b may correspond to different parts of the sound source file 300 .
  • each of the plurality of audio source sets 300a, 300b, and 300c may be obtained from different parts of the sound source file 300.
  • each of the plurality of stages 301a and 301n may be implemented to provide (or include) different audio source sets 301a and 301n.
  • the electronic device 110 can provide different parts of the sound source file 300 for each of the plurality of stages 301a and 301n.
  • the plurality of stages 300a and 300b may be understood as a timeline dt in a sense corresponding to a specific time of the sound source file 300 . Switching between the plurality of stages 300a and 300b may be performed when a condition associated with a user's input is satisfied, which will be described later with reference to each embodiment.
  • the maintained times dt1 and dt2 in a state of entering a specific stage may be understood as a timeline.
  • the electronic device 110 stores rule information 260 corresponding to the maintained times dt1 and dt2, and modifies the visual content 100a and the auditory content 100b based on the stored rule information 260. can be provided.
  • FIG. 3 is a diagram for explaining an example of an audio source according to various embodiments.
  • an audio source may mean electronic data (or file, or information) generating sound. That is, a specific type of sound may be output according to the reproduction of the audio source.
  • the audio source is stored or generated in the form of a CD record stored so that sound can be output using a turntable, a CD record stored so that sound can be output using a computing device and a speaker connected thereto, and a sound wave.
  • the audio source may correspond to recorded audio data, audio data stored or generated in an analog-signal format, audio data stored or generated in a digital-signal format, and the like, but is not limited thereto.
  • the audio source may correspond to audio data stored in a data format to which audio compression techniques are applied, such as MP3 or FLAC, but is not limited thereto.
  • an audio source may include at least one or more sound data.
  • the audio source may include at least one piece of first sound data that is reproduced when the application 251 is executed.
  • an “audio source set” in the sense of including a plurality of audio sources.
  • the audio source can be understood as a concept including a single audio source as well as a concept of an audio source set including a plurality of audio sources.
  • the at least one piece of first sound data may be sound data that is reproduced regardless of a user's interaction.
  • the audio source may include at least one or more specific stem files (or stems) having corresponding (or similar) time lengths (or reproduction lengths).
  • the stem may include time-sequential sound sources constituting a song, such as vocals, musical instruments (eg, guitars, drums, pianos, cymbals, plucks, turn-tables, kicks), synths, and the like. Accordingly, when the application 251 is executed, mixed sounds may be provided as sounds based on each stem file are output during the same playing time.
  • musical instruments eg, guitars, drums, pianos, cymbals, plucks, turn-tables, kicks
  • synths synths
  • the audio source may include at least one second sound data set to be output based on user interaction.
  • a reproduction length of the at least one piece of second sound data may be shorter than that of the aforementioned stem file.
  • the at least one second sound data outputs a specific type of sound (eg, sound effect, voice of a specific word (eg, "what"), sound corresponding to a specific instrument (eg, piano, drum, symbol, etc.)) It may be data implemented to The second sound data may be sound data implemented separately from an audio source.
  • a musical meter may refer to a unit for classifying and describing music, and includes beat, bar, motive, small phrase, and period. etc. may be included.
  • the beat is a basic unit of time and may mean one beat of a reference beat, and may be understood as a beat that a person skilled in the art can understand.
  • the bar may mean a musical unit including the reference number of beats of an audio source, and may mean a minimum unit of a piece of music divided into vertical lines in a sheet music, and a bar that can be understood by a person skilled in the art. can be understood as That is, different audio sources may have different musical units.
  • the at least one musical instrument may include a piano, guitar, drum, bass, etc., but is not limited thereto, and may include both machines and instruments for generating sound.
  • the recording data may be recorded data recorded by piano, guitar, drum, and bass in concert, and recorded data in which the performance of piano, guitar, and drum bass is recorded and re-outputted through an output device such as a speaker. It may be, but is not limited thereto.
  • a source separation technique may be used to obtain an audio source.
  • an audio source may be obtained by separating an audio source recorded through an ensemble described above into audio sources corresponding to each musical instrument using a source separation model, but is not limited thereto.
  • the separated audio sources may physically correspond to each musical instrument, but are not limited thereto and semantically may include cases in which they are regarded as corresponding to each musical instrument.
  • the source separation model may be implemented using a machine learning method.
  • the source separation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
  • the source separation model may be implemented as an artificial neural network (ANN).
  • ANN artificial neural network
  • the source separation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
  • the source separation model may be implemented as a deep neural network (DNN).
  • DNN deep neural network
  • the source separation model may be implemented with a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Long Short Term Memory Network (LSTM), or Gated Recurrent Units (GRUs). may, but is not limited thereto.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short Term Memory Network
  • GRUs Gated Recurrent Units
  • data input to the source separation model may be an audio source itself obtained by recording, or may be preprocessed audio source data.
  • structure separation techniques may be used to obtain an audio source according to an embodiment.
  • the audio source recorded through the above-described ensemble may be separated into at least two or more music sections using a structural separation model to obtain the audio source, but is not limited thereto.
  • the structural separation model may be implemented by a machine learning method.
  • the structural separation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
  • the structure separation model may be implemented as an artificial neural network (ANN).
  • ANN artificial neural network
  • the structural separation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
  • the structure separation model may be implemented as a deep neural network (DNN).
  • DNN deep neural network
  • the structural separation model may be implemented as a convolutional neural network (CNN), a recurrent neural network (RNN), a long short term memory network (LSTM), or a gated recurrent units (GRUs). may, but is not limited thereto.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • LSTM long short term memory network
  • GRUs gated recurrent units
  • data input to the structural separation model may be an audio source itself obtained by recording, or may be preprocessed audio source data.
  • recording data in which performances of at least one musical instrument and vocal are recorded may be used, but is not limited thereto.
  • the at least one musical instrument may include a piano, guitar, drum, bass, etc., but is not limited thereto, and may include both machines and instruments for generating sound.
  • the recording data may be recorded data recorded by playing the piano, guitar, drums, and bass, respectively, and the sound re-outputted through an output device such as a speaker after each performance of the piano, guitar, drums, and bass is recorded. recorded data, but is not limited thereto.
  • At least one audio source may be generated to obtain an audio source.
  • At least one audio source may be generated based on a sound type, melody, genre, vocal, etc. to obtain an audio source according to an embodiment, but is not limited thereto.
  • an audio source generation model may be used to obtain an audio source.
  • the audio source generation model may be implemented using a machine learning method.
  • the sound generation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
  • the audio source generation model may be implemented as an artificial neural network (ANN).
  • ANN artificial neural network
  • the sound generation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
  • the audio source generation model may be implemented as a deep neural network (DNN).
  • DNN deep neural network
  • the sound generation model may be implemented with a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Long Short Term Memory Network (LSTM), or Gated Recurrent Units (GRUs). may, but is not limited thereto.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short Term Memory Network
  • GRUs Gated Recurrent Units
  • an audio source generation model may be applied to the obtained audio source.
  • an audio source translated into English may be obtained by applying an audio source generation model to an audio source recorded in Korean, but is not limited thereto.
  • an audio source that can be determined as a female voice may be obtained by applying an audio source generation model to an audio source recorded as a male voice, but is not limited thereto.
  • an audio source may have (or include) various types of properties that can be controlled (or adjusted, or changed). It may include auditory attributes such as height, type, size, and playback speed, and may further include various types of attributes related to hearing without being limited to the described examples.
  • whether to output may indicate whether sound data included in the audio source (eg, first sound data and/or second sound data) is output.
  • the pitch represents the pitch of sound data (eg, the first sound data and/or the second sound data) included in the audio source
  • the loudness represents the loudness of the sound data
  • the reproduction speed represents the sound It can indicate the reproduction speed of data.
  • the type may indicate a type (eg, voice, mechanical sound) of sound data (eg, first sound data and/or second sound data) included in the audio source.
  • the properties of the audio source may be changed by a user's interaction, which will be described in detail later.
  • a frequency spectrum of sound output based on the audio source may be determined according to the property of the audio source. That is, when the property of the audio source is changed, the frequency spectrum of the output sound may be changed.
  • the frequency spectrum may mean intensity (or energy) of each frequency of sound.
  • the graphic element set 201a may mean electronic data that can be displayed on a display of an electronic device.
  • the graphic element set 201a may refer to graphic objects displayed on the execution screen.
  • the properties of the graphic element set 201a may be changed by a user's input (eg, touch or drag). Based on the property of the graphic element set 201a being changed, the property of the corresponding audio source may be changed, which will be described in the table of contents of the rule information 260.
  • the graphic element set 201a may include graphic objects outputtable on the display 231 . Since the graphic objects may include graphic objects of various shapes, description will be made with reference to respective embodiments. Also, for example, the graphic element set 201a may include text (not shown). Also, for example, the graphic element set 201a may include a type of graphic object (not shown) (or visual effect) set to be displayed based on a user's interaction.
  • the graphic element set 201a may have (or include) various types of properties that can be controlled (or adjusted or changed).
  • the graphic element set 201a may include visual properties such as color, shape, size, and number, and may further include various types of visual properties without being limited to the described examples.
  • the properties of the graphic element set 201a may be changed by a user's interaction, which will be described in detail later.
  • the rule information 260 (or interaction rule) is a response to a user's interaction (eg, a touch input or a drag input), and attributes of the audio source set 203a and graphic objects. It may refer to information set to perform a control operation for changing properties and/or timelines.
  • the rule information 260 controls properties of an audio source to be reproduced by performing a specific control operation (eg, applying a first audio effect) when a user's touch input to a specific graphic object is obtained. It may be information to be changed, but is not limited thereto.
  • control operation may include operations for controlling a property of an audio source.
  • control operation may include applying an audio effect to an audio source, replacing or changing a reproduced audio source, adding an audio source different from the reproduced audio source, and controlling at least some of the reproduced audio source.
  • a non-reproducing operation may be included, but is not limited thereto.
  • the audio effects include tempo control for an audio source, low pass filter, high pass filter, pitch control, vocal audio output, playing instrument change, sound source stop, instrument sound output, sound source reconstruction, beat Beat repeater, sound output of specific voice only, voice output level control, echo, sound section movement, psychedelic mode, panning control, flanger chorus, reverberation effect (reverb), delay, etc. It may include, but is not limited to.
  • control operation may include operations for controlling properties of the graphic element set 201a.
  • control operation may include an operation of applying a visual effect to a displayed screen.
  • control operation may include, but is not limited to, changing a background color, changing a shape, size, or color of at least one graphic object, displaying lyrics for a vocal among audio sources, and the like. .
  • the rule information 260 includes at least one item corresponding to at least one of a type (or property) of a controlled graphic object (hereinafter, an interaction target) or a type of user interaction (hereinafter, an input type). It can be implemented to perform the control operation of. For example, at least one first control operation may be performed when a first graphical object is controlled by a first user interaction, and at least one second control operation may be performed when a second graphical object is controlled by a second user interaction. A control operation may be performed.
  • the user varies the interaction in the new digital single file (eg, by varying the type of interaction and/or by varying the type (or property) of the graphic object being interacted with), resulting in output Audible contents and/or visual contents can be controlled and experienced in various forms.
  • control operation may be expressed as a scheme (or method, or method), and the description of performing different control operations refers to controlling the properties of the audio source and/or the graphic element set 201a with different schemes. can be understood as
  • the rule information 260 may include properties of the aforementioned visual content 100a (eg, graphic element set 201a) and auditory content 100b (eg, audio) based on user interaction. Control (or set, or change) at least a part of the attributes of the source set 203a and/or the time information 100c (e.g., the stage 200, and/or the timelines dt, dt1, dt2) It may be information for
  • the electronic device 110 provides rule information corresponding to specific time information (eg, the stage 200a and/or timelines dt, dt1, and dt2) among a plurality of pieces of rule information and the type of user interaction.
  • To provide visual content (100a) and auditory content (100b) based on identifying and acquiring specific information among graphic elements stored in the database 253 and specific information among audio sources based on the identified rule information can be implemented
  • the information is based on the user's interaction, it may be defined as an interaction rule.
  • the object of the interaction may mean an object of an input obtained from a user.
  • the object of the interaction may mean an object of an input obtained from a user.
  • it may be an object that physically obtains an input from a user, may be an object displayed through a user's terminal to obtain an input from a user, and may mean a specific area for obtaining an input from a user.
  • It may be an object displayed through the user's terminal to guide a specific area for obtaining an input from the user, but is not limited thereto, directly and/or indirectly obtains an input from the user, or specifies the obtained input. It can mean things to do.
  • the object of the interaction may include at least one object displayed through the user's terminal.
  • the object of the interaction may include a first object and a second object, but is not limited thereto.
  • the object of the interaction may include a background object displayed through the user's terminal.
  • the interaction target is a background object
  • it may be designed to perform at least one operation when obtaining an interaction with respect to the background object from the user, but is not limited thereto.
  • the object of the interaction may include at least one hardware device.
  • the target of the interaction may include a smart phone, and may be designed to perform at least one operation when a location change interaction of a user with respect to the smart phone is acquired, but is not limited thereto.
  • the at least one hardware device may include all hardware devices and peripheral devices such as a smartphone, earphone, headphone, joycon, etc., but is not limited thereto.
  • the input type may refer to a type of input obtained from a user.
  • the input type may include a touch input using a touch panel, a drag input, a bash input, a swap input, a specific pattern input, and the like, and may include various inputs using at least one input device, and at least Motion input using a sensor such as a camera, which can include various inputs such as shake input and swing input for one hardware device.
  • In-air touch input in which the user's position and the position of an object are matched in a virtual space by tracking the user's position It may include various inputs, such as, but is not limited thereto, and may include various inputs defined as an algorithm to perform a specific operation.
  • rule information 260 in which a music theme is changed based on external information such as weather information or location information rather than a user's input may be implemented.
  • rule information may be provided for each stage 200 .
  • the electronic device 110 may control graphic elements and audio sources. .
  • stage type audio source graphic object Rule information Stage corresponding to the intro Audio source corresponding to the intro - Fluid main object in the shape of a circle - Multiple sub-objects in the shape of a cloud -
  • the audio source of the first instrument e.g., symbol
  • the audio source of the second instrument e.g. fluke
  • the audio source of the 3rd instrument e.g.
  • the music theme is randomly changed, and the visual theme is randomly changed -
  • the vocal audio source corresponding to the current playback point is played at a random pitch and visual effects are applied Stage corresponding to verse-pre Audio source compatible with verse-pre - Fluid main object in a circular shape - Sub-objects in different sizes or colors in a curved long shape -
  • the vocal audio source called "what" is played - Plays random sound effect audio sources and applies visual effects when touching different sub-objects Stage corresponding to the verse Audio source corresponding to the verse - Circle-shaped fluid main object- Curved long-shaped sub-object -
  • the audio source of the third instrument e.g., symbol
  • rule information 260 for each stage corresponding to each part of various pieces of music may be implemented.
  • rule information 260 corresponding to various types of user inputs may also be implemented.
  • Interaction rules (203) zoom-in Slow down the playback speed of an audio source zoom out Quickly control the playback speed of an audio source shake electronic devices Play the kick audio source. Repeat playing the audio source for a certain section (e.g. one bar).
  • the stored interactive music listening files (hereinafter, files) (or platform files 6400) are stored and/or can be distributed
  • the music listening file may be stored and distributed together with interaction information input by a user.
  • the distribution may be performed through the server 120 or may be performed directly between the electronic devices 110 .
  • FIG. 4 is a diagram for explaining an example of distribution of an interactive music listening file according to various embodiments.
  • the files (A', A'', A'') include the same sound source (A) and rule information (R), but the number of distributions (n) It may include interaction information (I1, I2, I3, I4) generated by the interaction of
  • the file A' may be distributed to another electronic device (eg, a second electronic device), and the second electronic device reproduces the file A' based on the first information I1 for the user interaction.
  • second information I2 for the second user interaction may be additionally stored separately.
  • a file further including the first information (I1) and the second information (I2) for the user interaction may be defined as A''.
  • the audio source A can be stored without modification, it can be easy to track the original sound source source, and each interaction can be added, deleted, changed, etc. freely.
  • each interaction can be stored time-sequentially for one sound source, can be stored time-sequentially for each of a plurality of sound source sources, and can be stored time-sequentially together with time-sequential storage of a plurality of sound source sources. may, but is not limited thereto.
  • each user may share only interactions to share modified music, but is not limited thereto.
  • each user may share a sound source and an interaction corresponding to the sound source in order to share the modified music, but is not limited thereto.
  • each user may share predetermined information about a sound source and an interaction corresponding to the sound source in order to share modified music, but is not limited thereto.
  • the following storage and reproduction technology may be applied, but is not limited thereto.
  • 5 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
  • the electronic device 110 based on receiving the control event 500, provides visual content ( 100a) (eg, graphic element set 500a), auditory content 100b (eg, audio source set 500b), or time information 100c (eg, timeline and/or stage 500c) of At least one may be controlled, and another object (eg, the audio source set 500b) corresponding to the controlled object (eg, the graphic element set 500a) may be controlled. Since the control of the electronic device 110 may be based on the rule information 260, duplicate descriptions will be omitted.
  • visual content 100a
  • auditory content 100b eg, audio source set 500b
  • time information 100c eg, timeline and/or stage 500c
  • the control event 500 may include an event caused by a user's input and an event generated when there is no user's input, which will be described with reference to the following drawings.
  • the electronic device 110 controls the visual content 100a and/or the time information 100c) ( Example: by controlling the timeline), it is possible to transform and provide the corresponding auditory content (100b).
  • FIG. 6A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 6A may be performed in various orders without being limited to the illustrated order. Further, according to various embodiments, more operations than the operations illustrated in FIG. 6A may be performed, or at least one operation less than that shown in FIG. 6A may be performed. Hereinafter, FIG. 6A will be further described with reference to FIG. 6B.
  • 6B is a diagram for explaining an example of an operation of controlling contents when a user input of the electronic device 110 is received, according to various embodiments.
  • the electronic device 110 obtains a music file corresponding to a plurality of audio sources in operation 601 and includes at least one object in operation 603. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time interval associated with the music file may be output. For example, as shown in FIG. 6B, the electronic device 110 displays the visual content 100a including the first graphic object set 601a on the display while playing the audio source set 601b. It is possible to provide the auditory content (100b). In this case, the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the first frequency spectrum.
  • the electronic device 110 identifies the user's input for the first object in operation 605, and when the user's input is identified (605-Yes) In operation 607, it is determined whether the first condition is satisfied, and when it is determined that the first condition is not satisfied (607 - No), in operation 613 it is determined whether the second condition is satisfied. For example, as shown in FIG. 6B , when the electronic device 110 determines that a user's input (eg, interaction A) for a specific object (eg, 601a) is received, the electronic device 110 associated with the user's input It is possible to determine whether the conditions are satisfied.
  • a user's input eg, interaction A
  • a specific object eg, 601a
  • the first condition associated with the user's input may be satisfied when a specific type of user's input is received less than a threshold number of times during a specified time period.
  • the first condition may be satisfied when a single touch input or a drag input is received for a specified period of time.
  • the second condition related to the user's input may be satisfied when a specific type of user's input is received more than a threshold number of times during a specified time period. For example, when a touch input is received more than a threshold number of times during a specified time period, the second condition may be satisfied.
  • rule information is pre-designated for each condition associated with a user's input, and the electronic device 110 provides content based on the specific rule information (or specific scheme) corresponding to the satisfied condition.
  • specific rule information eg, visual content 100a, auditory content 100b, and visual information 100c
  • operations 609, 611, and 615 of the electronic device 110 below may be performed.
  • the electronic device 110 in operation 609 when the first condition is satisfied (607-yes), in case of the first input, the first visual effect is applied.
  • a second sound having a second frequency spectrum is outputted while displaying two screens, and in operation 611, in case of the second input, a third sound having a third frequency spectrum is outputted while displaying a third screen to which the first visual effect is applied.
  • the electronic device 110 identifies the type of input received, and provides visual content 100a based on a method (or scheme or rule) corresponding to the identified type. It is possible to control the properties of and / or the properties of the auditory content (100b).
  • the electronic device 110 transforms and displays the shape of at least a part of the graphic element 601a, and displays at least one of the first audio source set 601b.
  • Auditory content (100b) (or sound) of a frequency spectrum (eg, intensity (or energy) per frequency) transformed by transforming and reproducing some properties (eg, whether output, pitch, type, size, playback speed) can output Accordingly, the user can enjoy sound in a different atmosphere (eg, a different frequency spectrum) by controlling the graphic element 601a while enjoying the sound.
  • the electronic device 110 moves and displays the position of at least a portion of the graphic element 601a, and displays the properties of at least a portion of the first audio source set 601b (Example: whether output, pitch, type, size, playback speed) is transformed and reproduced to output the auditory content 100b (or sound) of the transformed frequency spectrum (eg, intensity (or energy) per frequency) may be
  • the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the second frequency spectrum.
  • the intensity of sound in a high frequency band increases according to a change in the properties of a sound source, so that more heightened auditory content 100b can be provided.
  • the electronic device 110 in operation 615 when the second condition is satisfied (613-yes), the second time interval associated with the music file (eg, 613-yes).
  • a second sound having a second frequency spectrum corresponding to a different stage may be output.
  • the electronic device 110 changes the current stage (eg, the first stage 601c) to another stage (eg, the second stage (not shown)), and Visual content 100a including a graphic element set (eg, a second graphic element set (not shown)) corresponding to a stage (eg, a second stage (not shown)) is displayed, and an audio source set (eg, a second graphic element set (not shown)) is displayed.
  • a graphic element set eg, a second graphic element set (not shown)
  • an audio source set eg, a second graphic element set (not shown)
  • the electronic device 110 displays the visual content 100a and/or the time information 100c. It is possible to control at least a part of (eg, a timeline), and modify and provide the auditory content (100b) based on the control.
  • FIG. 7A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 7A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 7A may be performed, or at least one operation less than that shown in FIG. 7A may be performed. Hereinafter, FIG. 7A will be further described with reference to FIG. 7B.
  • FIG. 7B is a diagram for explaining an example of an operation of controlling contents when information other than a user's input of the electronic device 110 is received according to various embodiments.
  • the electronic device 110 obtains a music file corresponding to a plurality of audio sources in operation 701 and includes at least one object in operation 703. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time associated with the music file may be output. For example, as shown in FIG. 7B, the electronic device 110 displays the visual content 100a including the first graphic object set 701a on the display while playing the audio source set 701b. It is possible to provide the auditory content (100b). In this case, the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the first frequency spectrum.
  • the electronic device 110 determines whether an event (eg, the control event 500) has occurred, and determines whether an event (eg, the control event (eg, the control event ( 500)) occurs (705-yes), in operation 707, it is determined whether the type of event (eg, control event 500) is the first type for screen control, and if it is not the first type, (707-No) In operation 711, it may be determined whether the type of the generated event (eg, the control event 500) is the second type for sound control.
  • the electronic device 110 identifies various types of control events 500 while a user's input is not received (eg, while the mode of the electronic device 110 is set to a user non-interaction mode). action can be performed. As at least part of the operation of identifying the control event 500, the electronic device 110 responds to a change in the timeline dt (eg, a change from the first timeline 701c to the second timeline 703c). A change in a property (eg, a position of a character) of the automatically changed visual content 100a (eg, the graphic element set 701a) may be identified. The properties of the visual content 100a displayed on the display of the electronic device 110 may be pre-set to randomly change over time.
  • a change in the timeline dt eg, a change from the first timeline 701c to the second timeline 703c.
  • a change in a property (eg, a position of a character) of the automatically changed visual content 100a eg, the graphic element set 701a
  • a character displayed on a display may be pre-set to automatically move, and various types of properties of various types of graphic elements may be pre-set to be changed without being limited to the described examples.
  • the electronic device 110 may identify the stage 200 that automatically changes over time as at least part of an operation of identifying the control event 500 .
  • the electronic device 110 determines whether an elapsed time exceeds a threshold value after the aforementioned change of the timeline dt and/or the change of the stage 200 is identified; When the threshold value is exceeded, it may be determined that the control event 500 has occurred, but is not limited to the described example.
  • the electronic device 110 may identify the type of the identified control event 500 .
  • the type may include a type for controlling the property of the visual content 100a and the property of the auditory content 100b.
  • the electronic device 110 identifies a change in the timeline 200 (eg, a change from the first timeline 701c to the second timeline 703c). In this case, it may be identified that the first type of event for changing the property of the visual content 100a has occurred.
  • the electronic device 110 in operation 709 when the generated event is the first type for screen control (707-yes), the at least one first Operation when the first visual property of an object is changed and the first auditory property of the first sound is changed based on the change of the visual property, and the generated event is the second type for sound control (711-yes)
  • a second auditory property of the first sound may be changed, and a second visual property of the first object may be changed based on the change of the auditory property.
  • a specific type of event occurs to control a specific type of content (eg, visual content 100a or auditory content 100b)
  • the electronic device 110 responds to the specific type of event.
  • Properties of a specific type of content may be changed, and properties of other types of content may be sequentially changed based on the change in the properties of the specific type of content and the corresponding rule information 260 .
  • the rule information 260 may be implemented to control the auditory content 100b in response to the control of the specific visual content 100a (eg, a graphic element set).
  • the electronic device 110 controls the property of the specific visual content 100a based on the occurrence of an event (eg, a change in the timeline dt) regardless of the user's interaction (eg, a graphic
  • the first element set 701a is changed to the second graphic element set 703a), and the property of the auditory content 100b is controlled serially based on the rule information (eg, the first audio source set 701b is changed). change to the second audio source set 703b).
  • the rule information 260 may be implemented to control the visual content 100a in response to the specific auditory content 100b (eg, audio source set) being controlled.
  • the electronic device 110 may switch a mode for identifying the control event 500 .
  • the mode may include the aforementioned user interaction mode and user non-interaction mode.
  • FIG. 8A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 8A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 8A may be performed, or at least one operation less than that shown in FIG. 8A may be performed. Hereinafter, FIG. 8A will be further described with reference to FIG. 8B.
  • 8B is a diagram for explaining an example of a mode switching operation of the electronic device 110 according to various embodiments.
  • the electronic device 110 obtains a music file corresponding to a plurality of audio sources in operation 801 and includes at least one object in operation 803. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time associated with the music file may be output.
  • the electronic device 110 may, in operation 805, identify an event for determining a mode.
  • identify an event for determining a mode In operation 807, it is determined whether the identified event is a first event, and if it is not the first event (807-No), in operation 809, it is determined whether the identified event is a second event.
  • the electronic device 110 when the identified event is the first event (807-yes), the electronic device 110 operates in a mode may be set as a user interaction mode, and at least one operation described above in FIGS. 6A to 6B may be performed. If the identified event is the second event (809-yes), the electronic device 11 sets the mode of the electronic device 110 to the user non-interaction mode, and at least one of the above-described FIGS. 7A to 7B can perform the action of
  • the electronic device 110 may perform an operation to identify time-related information (eg, FIG. 8B(a)) and/or a condition associated with distance as at least part of an operation for identifying an event for determining a mode ( Example: An operation of identifying (b) of FIG. 8B may be performed.
  • the electronic device 110 determines that the first event is the first event when the time elapsed after entering a specific stage and/or running the application is less than a preset value, and the electronic device ( 110) is set to the user interaction mode, and when the preset value is exceeded, it is determined as the second event and the mode of the electronic device 110 is set to the user non-interaction mode.
  • the electronic device 110 determines the first event as a first event and sets the mode of the electronic device 110 to user interaction. mode, and if it is equal to or greater than a pre-set value, it may be determined as a second event and the mode of the electronic device 110 may be set to a user non-interaction mode.
  • 9 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
  • the electronic device 110 (eg, the processor 210) generates visual content 100a (eg, a graphic element set (eg, a set of graphic elements) based on the occurrence of a control event 500 900a)), at least a portion of the auditory content 100b (eg, the audio source set 901b), or at least one of the time information 100c (eg, the timeline and/or the stage 900c). You can control it.
  • the graphic element set 900a is implemented to include a main object 900a, a sub object 903a, and an additional object 905a, and the main object 900a is a plurality of audio source sets 901b. It may be implemented to control at least some properties of the audio sources 901b and 903b.
  • FIG. 10 is a flowchart 1000 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 10 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations illustrated in FIG. 10 may be performed, or at least one operation less than that shown in FIG. 10 may be performed. Hereinafter, FIG. 10 will be further described with reference to FIG. 11 .
  • 11A is a diagram for explaining an example of visual content provided by the electronic device 110 according to various embodiments.
  • 11B is a diagram for explaining another example of visual content provided by the electronic device 110 according to various embodiments.
  • 11C is a diagram for explaining another example of visual content provided by the electronic device 110 according to various embodiments.
  • the electronic device 110 obtains a plurality of audio sources in operation 1001 and controls at least some properties of the plurality of audio sources in operation 1003. Displays a plurality of main graphic objects (eg, graphic object 901a of FIG. 11A) and a plurality of sub-graphic objects (eg, graphic object 903a of FIG. 11A) connecting the plurality of main graphic objects to be implemented. can do.
  • Each of the main graphic objects 901a may be implemented to control different properties such as audio source pitch, playback speed, and whether or not playback is performed. For examples of the properties, “Table of Contents. 2.2.1” above, duplicate descriptions are omitted. Controllable attributes for each main graphic object 901a may be randomly assigned and/or pre-set attributes may be assigned for each location.
  • the shape of the main object 901a may be implemented as a circle in (a) and a triangle in (b) of FIG. 11a, but is not limited to the examples described and/or illustrated and various types. It can be implemented in the shape of
  • the main graphic object 901a may include a first type main graphic object 1101a and a second type main graphic object 1103a.
  • the first type of main graphic object 1101a may be referred to as a joint object
  • the second type of main graphic object 1103a may be referred to as a head object.
  • the position of the joint object 1101a and the position of the head object 1103a may be set to be displayed at different points.
  • the joint object 1101a may be located at a point where the sub-object 903a is connected and/or at one end of the sub-object 903a, but the head object 1103a may be located at a point where the sub-object 903a is connected.
  • the size of the joint object 1101a and the size of the head object 1103a may be set to be different from each other.
  • the size of the joint object 1101a may be implemented to be smaller than the size of the head object 1103a, but it may also be implemented contrary to the described example.
  • the joint object 1101a and the head object 1103a may be implemented to control properties of audio sources in different ways.
  • properties (eg, positions and shapes) of the main graphic object 901a and the sub graphic object 903a may be controlled.
  • the position of a specific main graphic object 901a may be moved (eg, left/right).
  • the shape (eg, length) of the sub graphic object 903a connecting the specific main graphic object 901a and another graphic object 901a may be changed.
  • the movement of the main graphic object 901a may include a movement by a user's input and an automatically performed random movement.
  • the main graphic object 901a When the main graphic object 901a is automatically and randomly moved, the main graphic object 901a may be moved in a cycle corresponding to a musical unit (eg, beat) identified based on the plurality of audio sources. . Accordingly, the shape of the overall object (eg, the main graphic object 901a and the sub graphic object 903a) is recognized by the user as a creature that moves (or dances) in accordance with the music, so that the user can enjoy more lively music. it could be possible
  • a predetermined shape eg, a polygon such as a triangle or a quadrangle
  • the positions of the main graphic objects 1301c, 1303c, and 1305c and the position of the sub-object 903a connecting them may be set.
  • the electronic device 110 may further display at least one additional object 905a.
  • the additional object 905a may be implemented in a cross shape, but it is apparent to those skilled in the art that it may be implemented in various shapes.
  • the additional object 905a may be created in a background area other than the positions of the main object 901a and the sub-object 903a, and may be moved in one arbitrary direction (eg, a downward direction).
  • the generation time of the additional object 905 may be determined based on a musical unit (eg, beat, measure) of the plurality of audio sources. When the additional object 905a is selected, it may provide pre-set and/or randomly set audio effects and/or visual effects.
  • a rhythm note 1100b may be provided to recognize a musical unit (eg, beat, measure) based on a plurality of audio sources.
  • the rhythm note 1100b is generated in the main object 901a (hereinafter referred to as a tail object) farthest from the head object 1103a, and is different from (or opposite to) the movement direction of the additional object 905a. It may be moved along the sub-object 903a in the direction of the head object 1103a. At this time, when the rhythm note 1100b reaches the head object 1103a, it disappears, and a visual effect may be provided and/or properties of the audio source may be controlled.
  • a musical unit eg, beat, measure
  • the rhythm note 1100b may be moved and disappear.
  • the timing at which the rhythm note 1100b overlaps with the main objects 901a while moving may be determined based on a musical unit (eg, beat, measure) of the plurality of audio sources, and accordingly, the user Through the position of the rhythm note 1100b, it is possible to recognize the musical unit of music.
  • a musical unit eg, beat, measure
  • FIG. 12A is a flowchart 1200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 12A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 12A may be performed, or at least one operation less than that shown in FIG. 12A may be performed. 12A will be further described below with reference to FIGS. 12B and 12C.
  • 12B is a diagram for explaining an example of an operation of setting the number of main objects 901a of the electronic device 110 according to various embodiments.
  • 12C is a diagram for explaining an example of an operation of controlling an audio source property according to the movement of the main object 901a of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 1201, configures a plurality of audio sources (eg, the first to fourth audio sources 1200a, 12200b, and 1200c of FIG. 12B). , 1200d)), and in operation 1203, an execution screen including a plurality of main graphic objects corresponding to the number of identified musical units is displayed while the plurality of audio sources are identified.
  • the first sound eg, music
  • the electronic device 110 displays four main graphic objects 901a, and the main graphic objects 901a It is possible to display three sub-objects 903a connecting .
  • the electronic device 110 may provide visual effects to the main object 903a based on musical units identified over time. For example, as described above, the electronic device 110 may place the rhythm note on the main object 901a according to the beat. Also, for example, the electronic device 110 may control properties (eg, size, color) of the main object 901a for each beat. Accordingly, the user's recognition rate for musical units may be improved.
  • properties eg, size, color
  • the electronic device 110 receives a user input (eg, a touch input, a drag) for controlling a specific main graphic object among a plurality of main graphic objects. input) can be identified.
  • a user input eg, a touch input, a drag
  • the electronic device 110 determines whether the movement direction is the first direction, and if it is the first direction (1207-yes), operation 1209
  • a second sound is output by controlling the properties of at least some of the plurality of audio sources based on a first method (eg, applying an audio effect with a first size), and when not in the first direction (1207-No) ), in operation 1211, it is determined whether the moving direction is the second direction, and if it is the second direction (1211-yes), in operation 1213, properties of at least some of the plurality of audio sources are set in a second method (eg: A third sound may be output by controlling based on the application of an audio effect with a second size).
  • the electronic device 110 can interact with each other according to the location of the main object 901a determined according to the moving direction and the moving distance.
  • Other audio effects 1210a and 1210b may be applied.
  • the operation of applying different audio effects may include an operation of differently applying different degree of property control, but may not be limited to the described example.
  • each main object 901a may be set to a first direction and a second direction opposite to the first direction.
  • it may be left and right as shown in FIG. 12c, but it may be implemented as upper and lower, diagonal right and diagonal left without being limited to the described example. Accordingly, the user can intuitively control the main object 901a to control the music he/she enjoys.
  • the electronic device 110 (eg, the processor 210) provides a visual effect for the background in operation 1215 when the first and second directions are not (1211-No) (Yes). : color change, providing content of a specific color) while providing audio effects. For example, when a touch input to the main object 901a is received, the electronic device 110 may apply a different audio effect (eg, a third audio effect) than when a drag input is received.
  • a visual effect for the background in operation 1215 when the first and second directions are not (1211-No) (Yes).
  • color change providing content of a specific color
  • the electronic device 110 may apply a different audio effect (eg, a third audio effect) than when a drag input is received.
  • the electronic device 110 (eg, the processor 210) provides different visual effects (eg, different colors) and/or audio effects according to touch properties (eg, strength). can do.
  • the electronic device 110 (eg, the processor 210) provides different visual effects (eg, different colors) even if the same touch input is performed according to the type of a sound source file corresponding to a plurality of audio sources. ) and/or audio effects.
  • FIG. 13A is a flowchart 1300 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 12A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 13A may be performed, or at least one operation less than that shown in FIG. 13A may be performed. Hereinafter, FIG. 13A will be further described with reference to FIG. 13B.
  • 13B is a diagram for explaining an example of an operation of generating a new object of the electronic device 110 according to various embodiments.
  • 13C is a diagram for explaining an example of an operation of generating a new object of the electronic device 110 according to various embodiments.
  • the electronic device 110 may identify a user's input in operation 1301 after performing operations 1201 to 1203 described above.
  • the electronic device 110 determines whether the identified user's input is an input for object creation, and determines whether the object is generated. If (1303-Yes), in operation 1305, an object for controlling a specific property of a plurality of audio sources may be further displayed. For example, as shown in FIG. 13B , when the electronic device 110 receives a user input for some of the plurality of sub-objects 903a, the main object 1300 is newly created at the location where the user input is received. ) can be displayed. In this case, the electronic device 110 may display new sub-objects 1310 and 1320 connecting the newly created main object 1300 and the existing main object 901a. Also, for example, although not shown, the electronic device 110 may display a new main object 901a when a specific type of user input is received with respect to the main object 901a.
  • the electronic device 110 may change a stage and/or an audio source set when the number of main objects 901a is changed.
  • the electronic device 110 when the number of main objects 901a is changed, the electronic device 110 (eg, the processor 210), based on the type of user input for the newly created main object, at least One action can be performed.
  • the electronic device 110 eg, the processor 210) applies a specific audio effect and/or controls the audio source to be played when an enlargement and reduction operation is identified after the creation of the newly created main object. You can adjust the output level (e.g. increase the output level when zooming in and decrease the output level when zooming out).
  • the electronic device 110 eg, the processor 210) may apply an audio effect when a user input (eg, touch) for the newly created main object is identified.
  • the electronic device 110 eg, the processor 210) may move to another stage when the inside of the newly created main object is touched.
  • the electronic device 110 eg, the processor 210) may provide audio and/or visual effects.
  • the electronic device 110 may change a musical unit (eg, beat) of a plurality of audio sources when the number of main objects 901a is changed. .
  • a musical unit eg, beat
  • the electronic device 110 may change the time signature from 4/4 time to 8/8 time signature.
  • the electronic device 110 may determine whether the number of main objects 901a reaches a threshold number as at least part of the operation of changing the beat.
  • the electronic device 110 refrains from the time signature change operation until the number of main objects 901a increases from 4 and reaches a critical number (eg, 8), and the number of main objects 901a is the critical number.
  • a time signature change operation may be performed.
  • the threshold number may be determined based on the first musical unit (eg, beat).
  • FIG. 14A is a flowchart 1400 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 14A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 14A may be performed, or at least one operation less than that shown in FIG. 14A may be performed. Hereinafter, FIG. 14A will be further described with reference to FIG. 14B.
  • 14B is a diagram for explaining an example of an operation of controlling a position of an object when a user's input of the electronic device 110 is received on a background screen, according to various embodiments.
  • the electronic device 110 (eg, the processor 210), in operation 1401, may identify a user input.
  • the electronic device 110 determines whether the user input is an input for an object (eg, the main graphic object 901a), and determines whether the object If it is an input for (1403-Yes), in operation 1405, a second sound is output by controlling properties of at least some of the plurality of audio sources based on a first method corresponding to the moving direction of the first graphic object. can do.
  • operations 1403 to 1405 of the electronic device 110 may be performed in the same manner as operations 1205 to 1215 of the electronic device 110 described above, and thus duplicate descriptions are omitted.
  • the electronic device 110 determines, in operation 1407, whether the user input is an input for a background, when the input is not an object input (1403-No). and in the case of a background input (1407-Yes), in operation 1409, at least one second graphic object is controlled to be moved based on the location of the user's input, and in operation 1411, the at least one second graphic object is moved.
  • a third sound may be output by controlling properties of at least some of the plurality of audio sources based on the second method corresponding to the moving direction of the audio source. For example, as shown in FIG.
  • the electronic device 110 receives a user input (eg, a touch) for areas other than the locations of graphic objects (eg, the main graphic object 901a and the sub graphic object 903a). ) can be received.
  • the electronic device 110 compares the position (eg, (x1, y1)) of the user input (eg, touch) and the position (eg, (x2, y2)) of the plurality of main graphic objects 901a.
  • the position of the main graphic object 901a identified as having the shortest distance may be moved.
  • the electronic device 110 moves the identified main graphic object (eg, (x1, y1)) from the position (eg, (x1, y1)) of the user input (eg, touch).
  • the identified main graphic object 901a may be moved in the direction of the position of 901a (eg, (x2, y2)). Accordingly, the identified main graphic object 901a may move away from the location of the user input.
  • the electronic device 110 may adjust the length of the sub graphic object 903a connected to the main graphic object 901a according to the movement of the main graphic object 901a.
  • FIG. 15 is a flowchart 1500 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 15 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations illustrated in FIG. 15 or at least one operation less than those shown in FIG. 15 may be performed.
  • the electronic device 110 identifies a musical unit based on a plurality of audio sources in operation 1501, and in operation 1503, the first type of main object ( Example: A plurality of main objects 901a including a joint object 1101a of FIG. 11) and a second type of main object (eg, head object 1103a of FIG. 11) may be displayed.
  • the first type of main object Example: A plurality of main objects 901a including a joint object 1101a of FIG. 11
  • a second type of main object eg, head object 1103a of FIG. 11
  • the electronic device 110 may, in operation 1505, identify a user input for controlling a specific main graphic object among the plurality of main graphic objects 901a. there is.
  • the electronic device 110 determines whether, in operation 1507, the type of the controlled main graphic object is the first type (eg, the joint object 1101a of FIG. 11). and if it is the first type (eg, the joint object 1101a of FIG. 11) (1507-yes), in operation 1509, the first method corresponding to the moving direction of the graphic object (eg, the joint object 1101a) ), the second sound may be output by controlling properties of at least some of the plurality of audio sources based on the audio effect assigned to).
  • Operations 1507 to 1509 of the electronic device 110 may be performed in the same manner as operations 1205 to 1215 of the electronic device 110 described above, and thus duplicate descriptions are omitted.
  • the electronic device 110 determines, in operation 1511, whether the type of the controlled main graphic object is the second type (eg, the head object 1103a of FIG. 11 ). and if it is the second type (eg, the head object 1103a of FIG. 11) (1511-yes), in operation 1513, based on the second method, attributes of at least some of the plurality of audio sources are determined. By controlling, the third sound can be output. For example, when the head object 1103a is selected, the electronic device 110 may move from the current stage to another stage and reproduce an audio source set corresponding to the moved stage to provide a different sound from the previous one. there is. Also, for example, when the head object 1103a is selected, the electronic device 110 performs an operation of changing at least a part of the current audio source set to an audio source of a different type and/or property while maintaining the stage. can be done
  • FIG. 16 is a flowchart 1600 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 16 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 16 or at least one operation less may be performed.
  • the electronic device 110 identifies a musical unit based on a plurality of audio sources in operation 1601 and, in operation 1603, performs a musical unit corresponding to the identified musical unit.
  • a first sound may be output based on the plurality of audio sources while displaying an execution screen including a plurality of main graphic objects 901a.
  • the electronic device 110 in operation 1605, when a specific time elapses, at least one additional object (eg, the additional object 905a of FIG. 11 ) is displayed, and in operation 1607, when at least one additional object (eg, the additional object 905a of FIG. 11) is selected, a specific audio effect is displayed while displaying a second execution screen based on providing a specific visual effect. Based on the provision, the second sound may be output.
  • the electronic device 110 may create an additional object 905a in the background area of the upper part of the execution screen and move it downward at a period set based on a musical unit (eg, beat, measure). .
  • a musical unit eg, beat, measure
  • FIG. 17 is a flowchart 1700 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 17 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 17 may be performed, or at least one less operation may be performed. Below, with reference to FIG. 18, FIG. 17 is further demonstrated.
  • 18 is a diagram for explaining an example of an operation of assigning an audio property to each main graphic object 901a of the electronic device 110 according to various embodiments.
  • the electronic device 110 identifies a musical unit based on a plurality of audio sources in operation 1701 and, in operation 1703, performs a musical unit corresponding to the identified musical unit.
  • a first sound may be output based on the plurality of audio sources while displaying an execution screen including a plurality of main graphic objects 901a.
  • the electronic device 110 as at least part of an operation of displaying an execution screen including a plurality of main graphic objects 901a, based on the degree of association between audio effects given to each of the plurality of main graphic objects 901a, The order and/or position of the graphic objects 901a may be determined.
  • the degree of relevance may be defined as the extent to which one audio effect affects another audio effect audibly, and the electronic device 110 pre-stores information on the degree of relevance for each audio effect, and based on the pre-stored information, A degree of association between effects can be identified, but is not limited to the described implementation example.
  • the electronic device 110 when the electronic device 110 has a high correlation between the first audio effect applied to the first main object 1800a and the second audio effect applied to the second main object 1800b. (eg, if higher than the threshold value), the first main object 1800a and the second main object 1800b may be positioned adjacent to each other.
  • the electronic device 110 may set the first main object 1800a and the second main object 1800b to be connected as one sub-object 1800c.
  • the electronic device 110 may, in operation 1705, identify a user input for controlling a specific main graphic object among the plurality of main graphic objects 901a. there is.
  • the electronic device 110 controls the specific main graphic object 901a to be moved within a movement range associated with the main graphic object 901a
  • a second sound may be output by controlling properties of at least some of the plurality of audio sources based on a method corresponding to the movement direction of the graphic object. For example, based on the position of one main object (eg, the second main object 1800b) among main objects 1800a and 1800b adjacent to each other, another main object (eg, the first main object 1800a) )
  • the movement range (MD) of the position may be set (or determined, or limited). Accordingly, the length of the sub-object 1800c may also be limited. Accordingly, when there are musical effects with a high degree of correlation, excessive control of a specific audio effect can be prevented, thereby improving the quality of music enjoyment.
  • 19 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
  • an electronic device 110 (eg, a processor 210) includes an input device 240 (eg, a camera 241, a microphone 243, and a sensor 245). It is possible to identify the occurrence of the control event 500 and control at least one of at least a portion of the graphic element set 1900a, at least a portion of the audio source set 1900b, or a timeline and/or a stage 1900c. there is.
  • the electronic device 110 may identify the occurrence of the control event 500 based on recognizing a user's gesture and/or motion using the input device 240 .
  • FIG. 20 is a flowchart 2000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 20 may be performed in various orders without being limited to the order shown. Also, according to various embodiments, more operations than the operations shown in FIG. 20 may be performed, or at least one operation less than that shown in FIG. 20 may be performed. 20 will be further described below with reference to FIGS. 21A and 21B.
  • 21A is a diagram for explaining an example of an operation of providing the visual content 101a of the electronic device 110 according to various embodiments.
  • 21B is a diagram for explaining an example of a chain interaction of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 2001, based on executing a program, creates a plurality of objects (eg, the plurality of objects 2101 of FIG. 21A ). , 2103, 2105)), the first sound may be output based on a plurality of audio sources while displaying an execution screen.
  • the electronic device 110 reproduces a plurality of audio sources while displaying a plurality of objects 2101, 2103, and 2105 on the execution screen of the application.
  • a first sound may be output.
  • At least one audio effect and/or at least one controllable audio property may be set for each of the plurality of objects 2101, 2103, and 2105.
  • objects 2101, 2103, and 2105 are set to move in a first axis direction (eg, a horizontal direction (X)) and/or a second axis direction (eg, a vertical direction (Y)). It can be.
  • the types of controllable audio sources and/or properties of the audio sources, and the types of applied audio effects may vary according to the objects 2101, 2103, and 2105 and the direction of the movement axis.
  • the type of audio source controlled for each of the objects 2101, 2103, and 2105 may be set, and the moving direction (eg, horizontal direction (X), and the vertical direction (Y), the applied effect and criterion (eg, whether the degree is changed according to the movement distance or applied according to the location criterion) may be different.
  • the moving direction eg, horizontal direction (X), and the vertical direction (Y)
  • the applied effect and criterion eg, whether the degree is changed according to the movement distance or applied according to the location criterion
  • the electronic device 110 in operation 2003, may identify a specific object selected by a user's motion from among a plurality of objects.
  • the electronic device 110 may use the input device 250 to identify motion of a user positioned in front of the electronic device 110 .
  • the user's motion may include various types of motions that can be performed by the user's hands, such as a grab motion of clenching a fist, a swing motion of waving a hand, a punch motion, and the like, and are not limited to the described examples, and other body parts (e.g., It may include various types of motions using arms, feet, legs, and faces.
  • the electronic device 110 may detect a change in the shape of a user's body part (eg, hand) identified by using a camera, and identify a motion corresponding to the detected change.
  • the electronic device 110 detects a change in the shape of a part of the user's body (eg, a hand) using a sensing device (eg, a magnetic field sensor) other than a camera, and generates a motion corresponding to the detected change. can be identified. Since various implementation examples other than the described examples are obvious to those skilled in the art, detailed descriptions are omitted.
  • the input device 250 may be provided separately from the electronic device 110 and transmit sensed information (eg, change in body part) to the electronic device 110, but as described and / or not limited to the illustrated example, the electronic device 110 may be implemented to include the input device 250.
  • the electronic device 110 (eg, the processor 210) , 2005, the second sound may be output based on controlling the property of a specific audio source among the plurality of audio sources based on the movement of the specific object. For example, as shown in FIG. 21A , the electronic device 110 may select a graphic object 2105 based on the identified user's motion (GM) (eg, grab). The electronic device 110 compares the position (eg, coordinates) of the motion (GM) with the position (eg, coordinates) of the graphic object 2105, and the graphic object 2015 at a position corresponding to the motion (GM). ) can be selected.
  • GM identified user's motion
  • the electronic device 110 compares the position (eg, coordinates) of the motion (GM) with the position (eg, coordinates) of the graphic object 2105, and the graphic object 2015 at a position corresponding to the motion (GM).
  • the electronic device 110 moves the selected graphic object 2105 in a direction corresponding to the moving direction of the motion GM, and moves the graphic object 2105
  • the property of the audio source corresponding to the moving direction of can be adjusted to a degree corresponding to the moving distance.
  • the electronic device 110 may provide a chain effect based on movement of graphic objects 2101, 2013, and 2105.
  • the electronic device 110 determines the properties of an audio source based on chained properties (eg, position, number) of the second graphic objects 2103 being changed according to the movement of the first graphic object 2105 . can be controlled serially.
  • FIG. 22 is a flowchart 2200 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 22 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 22 may be performed, or at least one operation less than that shown in FIG. 22 may be performed. 22 will be further described below with reference to FIGS. 23A and 23B.
  • 23A is a diagram for explaining an example of an operation of providing an avatar for control based on a distance between users of the electronic device 110 according to various embodiments.
  • 23B is a diagram for explaining another example of an operation of providing an avatar for control based on a distance between users of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 2201, displays an execution screen including a plurality of objects 1900a based on the execution of the program while displaying a plurality of objects 1900a.
  • the first sound may be output based on the audio sources of.
  • the electronic device 110 obtains information on a plurality of body parts of the user U in operation 2203, and in operation 2205, the plurality of Based on the first information about the first part (eg, the torso B and the palm P) of the body parts, it may be determined whether a specific condition is satisfied. For example, as shown in FIG. 23A , the electronic device 110 provides information related to a specific part of the user (eg, size information, shape information, etc.) obtained through the input device 250. Based on this, distances D1 and D2 between the user U and the electronic device 110 may be identified.
  • a specific part of the user eg, size information, shape information, etc.
  • a specific part of the user may include the torso B, which is the largest part of the user's body parts, as shown in FIG. 23A, or the palm P, as shown in FIG. 23B, Not limited to this.
  • the electronic device 110 pre-stores information about distances corresponding to the sizes of body parts (eg, torso B and palm P), and images currently obtained using the camera 250 from the pre-stored information. It is possible to identify distances D1 and D2 corresponding to the sizes of body parts (eg, torso B and palm P) detected from .
  • the operation of displaying the avatar may be refrained from.
  • the electronic device 110 may identify the distance further based on the user's personal information as at least part of an operation of identifying the distance. For example, the sizes of body parts (eg, torso B and palm P) may be photographed differently even if they are the same distance from the electronic device 110 . Accordingly, the electronic device 110 may determine the body part (eg, torso B, palm P) based on personal information (eg, gender, age, total height) that affects the size of the body part (eg, torso (B), palm (P)). It is possible to adjust the distance corresponding to the size of the torso B and the palm P.
  • personal information eg, gender, age, total height
  • the electronic device 110 may have the same body parts (eg, the torso B, the palm (eg, the body B) and the palm ( The identified distance may be recognized as greater based on the size of P)
  • the personal information may be input to the electronic device 110, or the electronic device 110 may analyze itself (eg, photographing through a camera). Personal information corresponding to a feature identified from the image may be identified).
  • the electronic device 110 displays an avatar based on the first information in operation 2209 when it is determined that the condition is satisfied in operation 2207 (2207-yes). can do.
  • the electronic device 110 determines that the identified distances D2 and D are threshold distances for controlling the plurality of graphic objects 1900a (eg, 2.5 m, but not limited), avatars 2300a and 2300b may be displayed on the display, and control authority may be granted to the user.
  • the control authority may be authority allowing the user to control graphic objects 1900a. Accordingly, the user may recognize that control authority for the graphic objects 1900a is granted to the user by recognizing the avatars 2300a and 2300b.
  • the avatars 2300a and 2300b may be pre-implemented avatars and/or avatars implemented based on body parts of the user photographed by the electronic device 110 .
  • the electronic device 110 selects the first part (eg, the torso B and the palm P) among the plurality of body parts.
  • Information on a first object (eg, object 2310) among the plurality of objects is identified based on information associated with a second part (eg, hand (H), finger (F)) different from the second part, and operation is performed.
  • a specific audio source among the plurality of audio sources corresponding to the first object (eg, object 2310) is controlled while controlling a property (eg, brightness) of the first object (eg, object 2310).
  • the second sound may be output based on controlling the property of the source.
  • the electronic device 110 may use a body part (eg, the torso B and the palm P) and other body parts (eg, the hand H and the finger F) for identifying the distance. Based on this, an operation of recognizing a user's motion and/or gesture may be performed. In other words, after the user's distance is recognized within the threshold distance, the electronic device 110 initiates an operation of recognizing other body parts (eg, hands (H) and fingers (F)) of the user U ( or perform).
  • a body part eg, the torso B and the palm P
  • other body parts eg, the hand H and the finger F
  • the electronic device 110 when recognizing that a plurality of users exist within a critical distance, the electronic device 110 (eg, the processor 210) may grant control authority to a user recognized as having the closest distance. there is.
  • FIG. 24 is a flowchart 2400 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 24 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 24 or at least one operation less may be performed. Below, with reference to FIG. 25, FIG. 24 is further demonstrated.
  • 25 is a diagram for explaining an example of a screen switching operation of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 2401, based on the execution of the program, creates a plurality of objects (eg, the plurality of objects 2511 of FIG. 25 ). )), a first sound is output while displaying an execution screen 2510 including, in operation 2403, information on a plurality of body parts of the user U is obtained, and in operation 2405, the plurality of body parts Based on the first information about the first part (eg, the torso B), it may be determined whether or not the first condition is satisfied (eg, entering within the first threshold distance).
  • the first condition eg, entering within the first threshold distance
  • the electronic device 110 may display the standby screen 2510 when the distance to the user U is outside the first threshold distance (eg, 4.5 m, but not limited thereto).
  • the standby screen 2510 may include objects 2511 of various shapes. While displaying the idle screen 2510, the electronic device 110 may output sound having relatively lower energy than the other screens 2520 and 2530 (ie, lower energy per frequency).
  • the electronic device 110 in operation 2407, when the first condition is satisfied (2407-yes), in operation 2409, the corresponding user U A second sound is output while displaying a first graphic object (eg, the graphic object 2512 of FIG. 25), and in operation 2411, based on first information about a first part among the plurality of body parts, It may be determined whether 2 conditions are satisfied (eg, entering within the second threshold distance). For example, when it is determined that the distance to the user U is within a first threshold distance, the electronic device 110 displays a standby screen 110 corresponding to a location of a specific body part (eg, neck) of the user U. ), the object 2512 may be displayed at a position on the image.
  • the electronic device 110 may provide a second sound having a property different from that of the aforementioned first sound while providing the visual directing effect.
  • the second sound is set to a sound having relatively higher energy than the first sound (ie, higher energy for at least some frequencies), so that an uplifting atmosphere can be created.
  • the power consumption of the electronic device 110 (eg, the processor 210) while providing the idle screen 2510 is reduced by the power consumption of the electronic device 110 while providing the menu screen 2520. It may be low compared to the power consumption.
  • the electronic device 110 eg, the processor 210) controls fewer electronic components (eg, the processor 210) compared to providing the menu screen 2520 while providing the idle screen 2510. control the rest of the electronic components in a sleep state). Accordingly, the electronic device 110 is relieved of operational burden while displaying the idle screen 2510 before the menu screen 2520 implemented to provide a predetermined function is provided, but the visual on the idle screen 2510 is reduced.
  • the auditory effect of effects and sounds can make the user (U) aware that he can enter a controllable state.
  • the electronic device 110 when the second condition is satisfied (2413-yes), the electronic device 110 (eg, the processor 210) outputs the third sound while performing the above operation 2415.
  • At least one third graphic object for controlling the first screen may be displayed.
  • the electronic device 110 may display a menu screen 2520 instead of the standby screen 2510 when it is determined that the distance to the user U is within the second threshold distance.
  • the menu screen 2520 may include a menu for selecting various types of information (eg, weather information, news information) and music.
  • the electronic device 110 may reproduce a plurality of audio sources corresponding to the specific music and provide an execution screen 2530 including a plurality of objects 1900a. The overlapping operation of the electronic device 110 according to the control of the plurality of objects 1900a will be omitted.
  • the electronic device 110 controls the properties of the visual content 100a (eg, a graphic object) based on various types of interactions, and the auditory content 100b ) properties can be controlled.
  • the visual content 100a eg, a graphic object
  • the auditory content 100b the auditory content 100b
  • FIG. 26 is a flowchart 2600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 26 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 26 or at least one operation less may be performed. Below, with reference to FIG. 27, FIG. 26 is further demonstrated.
  • 27 is a diagram for explaining examples of types of user interaction, according to various embodiments.
  • the electronic device 110 obtains information about the interaction in operation 2601, and determines whether a first object event has occurred in operation 2603. .
  • the type of user interaction includes not only motion but also interaction such as voice, and is not limited to the described examples and visually Interactions that can be identified from the user (eg, facial expressions, etc.) and interactions that can be audibly identified from the user (eg, hand clapping, etc.) may be further included.
  • the electronic device 110 can identify various types of interactions through the input device 250 and identify objects selected by the interactions.
  • An operation of identifying selection of the object by the electronic device 110 may be defined as an operation of identifying occurrence of an object event.
  • the electronic device 110 eg, the processor 210) determines, in operation 2605, whether the body part associated with the event is a first part (eg, a type of interaction such as grab or voice).
  • a first characteristic of the first part is identified based on the first information corresponding to the first part
  • the first object Based on the first scheme corresponding to the first property and the first property, the visual property of the first object may be controlled as the first property while controlling the audio source set being output.
  • the electronic device 110 eg, the processor 210
  • the body part associated with the event is not the first part (2605-No)
  • the body part associated with the event is a second part (eg, an interaction such as grab, voice, etc.) type of)
  • the second part e.g. an interaction such as grab, voice, etc.
  • a second characteristic by the second part is identified, and operation 2615 , based on the second scheme corresponding to the first object and the second characteristic, it is possible to control the visual property of the first object as the second property while controlling the number of audio source sets being output.
  • the electronic device 110 stores the information of [Table 2] in advance, and when an event occurs, compares the currently identified type of interaction (or type of body part) with the previously stored information, Properties of the object corresponding to the type may be controlled. For example, the electronic device 110 controls the position of an object when a grab is identified as shown in (a) of FIG. 27, and controls the position of an object when a punch is identified as shown in (b) of FIG. 27. Controlling the number of objects and, as shown in (c) to (d) of FIG. 27, when receiving an utterance including a specific word (eg, “move”, “large”), a property corresponding to the specific word (e.g. position, size) can be controlled.
  • a specific word eg, “move”, “large”
  • a specific audio effect may be applied according to the type of audio source allocated to the selected graphic object and the property of the controlled graphic object. For example, when the position of the object corresponding to “instrument” is moved to Y by grab, a high-pass filter may be applied. As another example, when the size of an object corresponding to “instrument” increases due to a voice, the output level of the instrument may increase. Accordingly, energy (eg, intensity per frequency) of the auditory content 100b (eg, music) provided by the electronic device 110 may vary.
  • energy eg, intensity per frequency
  • the auditory content 100b eg, music
  • FIG. 28 is a flowchart 2800 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 28 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 28 or at least one operation less may be performed. Below, with reference to FIG. 29, FIG. 28 is further demonstrated.
  • 29 is a diagram for explaining an example of an operation of controlling visual content 100a and auditory content 100b based on the type of object identified by the electronic device 110 according to various embodiments.
  • the electronic device 110 identifies a type of an object (eg, a stick in FIG. 29 ) associated with a part of the user's body, and in operation 2803 , the type of motion (eg, hitting in FIG. 29) by the identified object may be identified.
  • the electronic device 110 may identify an object corresponding to the shape of a specific object identified using the input device 240 (eg, a camera).
  • the input device 240 eg, a camera
  • information on properties of controllable objects for each type of object may be stored in advance. Based on the previously stored information, the electronic device 110 may change properties of a graphic object selected by motion of the object. According to the change of the property of the object, the changed visual content 100a may be provided.
  • object type motion type object properties stick sting number damage location etc other action
  • the electronic device 110 determines the type and motion of the object. It is possible to control properties of visual content and/or auditory content corresponding to the type. For example, the electronic device 110 previously stores information about the type of audio source allocated to the graphic object of [Table 3] and the properties of the graphic object to be controlled, and applies an audio effect based on the information. Based on this, the energy (eg, intensity per frequency) of the auditory content 100b (eg, music) provided by the electronic device 110 may vary.
  • the energy eg, intensity per frequency
  • the auditory content 100b eg, music
  • FIG. 30 is a flowchart 3000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 30 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 30 may be performed, or at least one operation less than that shown in FIG. 30 may be performed. Below, with reference to FIG. 31, FIG. 30 is further demonstrated.
  • 31 is a diagram for explaining an example of an operation of controlling visual content 100a and auditory content 100b based on the type of object identified by the electronic device 110 according to various embodiments.
  • the electronic device 110 may identify the occurrence of an effect event based on at least one piece of information. For example, as shown in FIG. 31, the electronic device 110 uses the input device 240 in a state where a screen is displayed on the display, as described with reference to [Table 2] and [Table 4]. , can identify various types of interactions.
  • the screen may not include graphic objects for controlling at least some of the plurality of audio sources.
  • the electronic device 110 determines, in operation 3003, whether the generated effect event is the first event, and if it is the first event (3003-yes) , In operation 3005, a first effect effect may be output to the screen based on the first event, and in operation 3007, a first property corresponding to the first effect effect of the audio source set may be controlled.
  • the electronic device 110 when the generated effect event is not the first event (3003-No), in operation 3009, the generated effect event is the second It is determined whether it is an event, and if it is a second event (3009-Yes), in operation 3011, a second effect is output to the screen based on the second event, and in operation 3013, the second effect of the audio source set A second attribute corresponding to the effect may be controlled. For example, as shown in (a) of FIG.
  • the electronic device 110 displays a first visual effect (eg, a wave effect) based on identifying the user's swing, and ( As shown in c), a second visual effect (eg, water concentric circle effect) may be displayed based on the identification of the user's punch.
  • the electronic device 110 may adjust the level of a visual effect (eg, a wave effect) according to the degree of the detected interaction, as shown in (a) of FIG. 31 .
  • the electronic device 110 may apply an audio effect set to be applied when providing the visual effect based on rule information.
  • FIG. 32 is a flowchart 3200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 32 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 32 may be performed, or at least one operation less than that shown in FIG. 32 may be performed. Below, with reference to FIG. 33, FIG. 32 is further demonstrated.
  • 33 is a diagram for explaining an example of a switching operation between a user interaction mode and a user non-interaction mode of the electronic device 110 according to various embodiments.
  • the electronic device 110 displays a first sound based on a plurality of audio sources while displaying an execution screen based on the execution of the program, in operation 3201.
  • operation 3203 information on a plurality of body parts of the user is obtained, and in operation 3205, based on first information about a first part (eg, torso B) among the plurality of body parts.
  • a specific condition eg, the distance to the user U is within a critical distance.
  • the electronic device 110 determines whether a condition is satisfied in operation 3207, and if the condition is satisfied (3207-yes), the electronic device 110 (eg, the processor 210) in operation 3209
  • the mode of 110 may be set to the first mode (eg, user interaction mode). For example, referring to (a) of FIG. 33 , when the distance to the user U is within a critical distance, the electronic device 110 controls the graphic object 1900a based on the user's interaction to provide auditory content. It can be dynamically controlled. Since the operation of the electronic device 110 performed while the mode of the electronic device 110 is the user interaction mode can be performed as described in “6.1 Table of Contents to 6.5 Table of Contents,” duplicate descriptions will be omitted.
  • the electronic device 110 when the condition is not satisfied (3207-No), the electronic device 110 (eg, the processor 210), in operation 3211, changes the mode of the electronic device 110 to the second mode ( Example: user non-interaction mode), in operation 3213, context information is obtained, and in operation 3215, properties of an audio source and/or a screen may be controlled based on the context information.
  • the electronic device 110 controls the graphic object 1900a based on context information other than the user's interaction. By doing so, it is possible to control the auditory content suitable for the surrounding environment.
  • the context information may include ambient sound received through a microphone, information about objects in an image obtained using a camera, weather/temperature information received through a server, and the like. It is not limited and may include various information that can be obtained from the surroundings of the electronic device 110 .
  • the electronic device 110 may control the properties of the graphic object according to the degree of context information obtained, as described in [Table 7] below. Accordingly, the electronic device 110 may provide a visual effect corresponding to the property of the graphic object controlled based on the rule information and/or control the property of the audio source.
  • the electronic device 110 may further use time information as at least part of an operation of setting a mode of the electronic device 110 .
  • the electronic device 110 may determine whether the distance of the user identified as within or outside the threshold distance is maintained for a threshold time period or longer, and set a mode if the distance is maintained for a threshold time period or longer.
  • 34 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments. 34 will be further described below with reference to FIG. 35 .
  • 35 is a diagram for explaining an example of content provided by the electronic device 110 according to various embodiments.
  • the electronic device 110 based on the occurrence of the control event 500, determines at least a part of the graphic element set 3400a and an audio source. At least a portion of the set 3400b, or at least one of the timeline and/or stage 3400c may be controlled.
  • the graphic element set 3400a may include a graphic space (eg, a map 3410a), a main character 3420a that can be placed on the graphic space, and a sub-object 3430a.
  • the main character 3420a may be implemented to move on a graphic space (eg, map 3410a) based on a user's input.
  • the sub-object 3430a may be a graphic object pre-arranged on a graphic space (eg, map 3410a).
  • the plurality of graphic objects may be configured to provide a specific audio source and/or apply an audio effect.
  • a specific audio source may be provided and/or audio effects may be applied.
  • the sub-object 3430a may be pre-implemented to provide a specific audio source and/or apply an audio effect according to a state.
  • the sub-object 3430a performs a function of providing a specific audio source and/or applying an audio effect in an activated state, but may refrain from performing the function in an inactive state.
  • the graphic space (eg, map 3410a) may include a plurality of regions (eg, first to ninth regions).
  • An audio source set 3400b may be allocated for each of the plurality of regions.
  • sound sources of different configurations (or themes) eg, intro, verse
  • the electronic device 110 may provide auditory content 100b (eg, music) by reproducing an audio source set corresponding to the region where the main character 3420a is located.
  • the electronic device 110 when a user input associated with the main character 3420a is received, attributes of the visual content 100a and/or the auditory content 100b ) properties can be controlled.
  • FIG. 36 is a flowchart 3600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 36 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 36 may be performed, or at least one operation less than that shown in FIG. 36 may be performed. 36 will be further described below with reference to FIGS. 37 and 38 .
  • 38A is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of the electronic device 110 according to various embodiments.
  • 38B is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of the electronic device 110 according to various embodiments.
  • 38C is a diagram for explaining an example of an operation for providing an effect based on a user's input for each time section to the main character 3420a of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 3601, displays an execution screen including a main object (eg, the main graphic object 3420a of FIGS. 34 and 35). While displaying, sound may be output based on a plurality of audio sources (eg, the audio source set 3400b of FIGS. 34 and 35).
  • a main object eg, the main graphic object 3420a of FIGS. 34 and 35.
  • sound may be output based on a plurality of audio sources (eg, the audio source set 3400b of FIGS. 34 and 35).
  • the electronic device 110 identifies a musical unit (eg, beat, bar) based on a plurality of audio sources, and in operation 3605 , A plurality of visual event occurrence times may be identified based on the identified musical unit (eg, beat, bar), and in operation 3607, a plurality of time intervals may be determined based on the plurality of visual event occurrence times. For example, referring to FIG. 37 , when identifying 6 bars as a musical unit, the electronic device 110 sends a pre-set bar (eg, 2/6 bar, 4/6 bar, 6/6 bar) as an event. It can be identified by the time of occurrence.
  • a pre-set bar eg, 2/6 bar, 4/6 bar, 6/6 bar
  • the event occurrence time may be understood as a natural musical time when a specific musical effect is applied and/or a specific audio source is output.
  • the electronic device 110 may set a plurality of types of time intervals based on the identified event occurrence time. For example, as shown in FIG. 37 , the electronic device 110 may set a first time interval including an event occurrence time and a second time interval other than the first time interval, which is a remaining time interval.
  • the first time interval may be set to form a predetermined time interval based on the event occurrence time point.
  • the electronic device 110 can improve the quality of listening to music by inducing the user to apply a musical effect to the first time interval while listening to music.
  • the electronic device 110 may guide the first time section and the second time section by providing a visual effect on the main character 3420a.
  • at least one object may be displayed at a location associated with the main character 3420a to guide the first time section and the second time section.
  • a white circle may be provided at an associated position of the main character 3420a to guide the first time interval, and the moment when the white circle becomes the largest is the first type time interval. It may be set to correspond to, but is not limited thereto. More specifically, referring to FIG. 38A, the white circle starts small as shown in (a) of FIG.
  • a time point at which the white circle becomes the largest may be set to correspond to the first time interval, but is not limited thereto.
  • a red circle may be provided to guide the second time interval, and the moment when the red circle becomes the largest may be set to correspond to the second time interval. , but not limited thereto. At this time, in the case of the above example, it may be as shown in FIG. 30 . More specifically, referring to FIG. 38B, the red circle starts small as shown in (a) of FIG. 38B, and the red circle is displayed large as shown in (b) of FIG. 38B.
  • a time point at which the red circle becomes the largest may be set to correspond to the second time interval, but is not limited thereto.
  • a motion of a character for guiding the first time section and the second time section may be provided. More specifically, the first time interval and the second time interval may be guided by the motion of the character. For example, the first time interval may be guided by the timing of the character rolling his right foot. The second time interval may be guided by the timing of the character's hand motion, but is not limited thereto, and may include various embodiments in which the first time interval and the second time interval are guided by the motion of the character.
  • the electronic device 110 obtains a user input for the main object in operation 3609 and, in operation 3611, obtains the user input during the first time interval. , and in the case of the first time interval (3611-Yes), in operation 3613, the operation of the main object (eg, the main graphic object 3420a in FIGS. 34 and 35) is controlled as the first operation, and the first operation is controlled.
  • the main object eg, the main graphic object 3420a in FIGS. 34 and 35
  • a second audio effect may be output while controlling the operation of the main object (eg, the main graphic object 3420a of FIGS. 34 and 35) as a second operation.
  • the electronic device 110 may control the main character 3420a to perform a pre-set motion (eg, a foot rolling motion), and the The foot roll motion may be displayed to correspond to the above-described musical unit (eg, beat, measure) of the audio source, but is not limited thereto.
  • the electronic device 110 eg, the processor 210) may output a visual effect when the first input is obtained from the user in the first time interval. For example, as shown in (b) of FIG. 38C, a visual effect may be output around the character, at least one character included in the audio source being played is displayed, and the main character 3420a is pre-set.
  • the at least one character may be randomly generated, or may include a character identified from an audio source by applying a technology such as NLP, TTS, or voice recognition, and/or may be generated by obtaining an audio recording from a user. . Also, as the audio source is reproduced, displayed characters may sequentially disappear. Also, referring to (a) and (b) of FIG. 38C , when the first input or the second input is obtained from the user in the first time interval or the second time interval, a background space may be displayed to the user.
  • a background space may be displayed when an interaction is obtained from the user to indicate that the field of view is secured as a reward for obtaining the interaction from the user, but is not limited thereto.
  • the electronic device 110 eg, the processor 210) may refrain from the above-described operation when the second input is obtained from the user in the second time period. That is, the electronic device 110 may control to maintain a preset motion (eg, a foot roll motion) and control not to display text, but is not limited to the described example.
  • a preset motion eg, a foot roll motion
  • the motion of the main character 3420a can be set in various ways, and an example of motion generation for this will be described with reference to “7.1.2 Table of Contents”.
  • FIG. 39 is a flowchart 3900 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 39 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 39 may be performed, or at least one operation less than that shown in FIG. 39 may be performed. 39 will be further described below with reference to FIGS. 40, 41A, and 41B.
  • 40 is a diagram for explaining an example of an operation of generating a main graphic object of the electronic device 110 according to various embodiments.
  • 41A is a diagram for explaining an example of a motion generating operation of the electronic device 110 according to various embodiments.
  • 41B is a diagram for explaining an example of a motion control operation of the electronic device 110 according to various embodiments.
  • the electronic device 110 obtains a main object (eg, the main character 3420a of FIG. 40 ) in operation 3901 and, in operation 3903, the main object (eg, at least one motion related to the main character 3420a of FIG. 40 ) may be acquired.
  • a main object eg, the main character 3420a of FIG. 40
  • the main object eg, at least one motion related to the main character 3420a of FIG. 40
  • the electronic device 110 may create a user's own character.
  • the electronic device 110 provides a pre-implemented character and edits visual properties (eg, shape for each part, color for each part, etc.) of the character.
  • An interface 4011 may be provided.
  • the electronic device 110 may create a main character 3420a by composing a character according to the visual attributes selected through the interface 4011 .
  • the electronic device 110 uses an algorithm such as 3D modeling based on information (eg, facial features) of the user U photographed using a camera to provide information corresponding to the user U. You can also create 3D characters. That is, the interactive music listening system 1 can improve the degree of immersion in listening to music by creating an atmosphere as if one is listening to music while exploring a virtual reality space by creating one's own unique character.
  • the electronic device 110 may generate a pre-realized character motion.
  • the electronic device 110 may provide a pre-implemented motion provided based on a user's input.
  • the pre-implemented motion may be produced in a form of connecting at least some of a plurality of obtained motions, but is not limited to the described example.
  • the pre-implemented motion may include a first type of motion provided when the main character 3420a is selected and a second type of motion provided when the surroundings of the main character 3420a are selected. Accordingly, when the main character 3420a is selected, the electronic device 110
  • the electronic device 110 may generate a user's own character motion and a musical effect corresponding to the motion.
  • the electronic device 110 displays a plurality of joints 4121 constituting the main character 3420a as at least part of an operation for generating a character motion, and the joints ( 4121), a character motion of the main character 3420a may be generated based on a user's input for moving a selected joint (eg, a specific joint 4122).
  • the electronic device 110 may identify movement of a selected joint based on a user's input during a specified time period and generate a character motion corresponding to the movement of a joint during a specified time period.
  • the electronic device 110 provides an interface 4123 for selecting an audio effect so that an audio effect corresponding to the generated character motion is selected, and the generated motion and the selected audio effect are stored in a form associated with each other. can Then, when a corresponding motion is performed, the electronic device 110 may apply an audio effect associated with the motion to the auditory content 100b (eg, an audio source). Meanwhile, the electronic device 110 may generate a motion for each joint, and then provide a motion corresponding thereto through the main character 3420a based on the joint selected by the user.
  • the auditory content 100b eg, an audio source
  • the electronic device 110 may provide a separate graphic object 4100b for controlling the motion of the main character 3420a.
  • the graphic object 4100b may be implemented to provide a function for selecting the type of motion of the main character 3420a. For example, as shown in FIG. 41B, when the graphic object 4100b is selected (eg, touched) by the user, the type of motion (eg, dance motion) to be performed by the main character 3420a.
  • At least one main region (4111b, 4112b, 4113b, 4114b) for selecting a sub-motion associated with the selected type of motion eg, a motion and/or a dance motion of a part of the main character 3420a
  • a part of the main character 3420a corresponding to the sub motion may include various types of parts such as an upper body part, a lower body part, arms, and legs of the main character 3420a. Referring to FIG. 41B , when a specific main area 4114b is selected by being moved while the touch to the graphic object 4100b is maintained, the electronic device 110 moves (for example, a motion corresponding to the selected main area 4114b).
  • the main character 3420a may be controlled to perform a dance motion).
  • a specific main area 4114b is selected and the electronic device 110 moves to another sub area 4120b while the touch is maintained, the electronic device 110 maintains the motion of the main character 3420a as the selected motion in the sub area. Only the motion of a part (eg, upper body part) of the main character 3420a corresponding to (4120b) may be controlled with a specific motion.
  • the electronic device 110 may control the main character 3420a by continuously maintaining the set motion, but may stop providing the motion without being limited to the described example.
  • the user can have a continuous experience of controlling the motion of the main character 3420a.
  • the graphic object 4100b has been described as providing a function for controlling the movement of the main character 3420a, but similarly based on the main areas 4111b, 4112b, 4113b, 4114b It may also be implemented to provide a function of selecting the type of audio source and controlling the properties of the audio source of the selected type based on the sub-area 4120b.
  • the electronic device 110 may provide user-customized character motion and/or audio effects.
  • the electronic device 110 generates user-specific musical information (eg, a musical pattern) based on information on how the user controls (eg, touches) a graphic object collected during a predetermined calibration period. , musical taste), and corresponding motion and/or audio effects may be provided.
  • the electronic device 110 uses information about musical information corresponding to each pre-stored piece of information controlling a user's graphic object, and/or inputs information controlling a graphic object.
  • An artificial intelligence model implemented to output musical information in response to being received may be used.
  • the electronic device 110 guides the user to touch the graphic object while playing music while providing a predetermined graphic object, and determines the user's musical taste by using the time at which the user's touch is received and pre-stored information. can be identified. For example, when the user performs a touch on a graphic object with a specific beat, the electronic device 110 may identify the user's musical taste that likes the beat. Based on the musical taste identified above, when the main character 3420a is selected, the electronic device 110, together with a specific motion (eg, rap motion), sounds (eg, drum sound, beat sound) that enhance the sense of beat as a musical effect. ) can be provided.
  • a specific motion eg, rap motion
  • sounds eg, drum sound, beat sound
  • the electronic device 110 in operation 3905, displays an execution screen including a main object (eg, the main character 3420a of FIG. 41 ) while displaying a plurality of
  • a user input for a main object eg, the main character 3420a of FIG. 41
  • a sound is output based on the audio sources of While controlling the motion of the main character 3420a to a specific motion among at least one motion, a specific audio effect may be output.
  • the electronic device 110 when receiving a user input for the main character 3420a, applies a pre-set motion and/or controls the main character to perform an action with the created motion, thereby It can be controlled to output corresponding audio effects.
  • the electronic device 110 when the electronic device 110 receives a user input in an area around the main character 3420a (eg, an area separated by a preset distance from the main character 3420a), the electronic device 110 moves the main character 3420a with a preset motion.
  • the character can be controlled to perform an action, and can be controlled to output an audio effect corresponding to the action.
  • the corresponding motion may be a motion in which the body part of the main character 3420a moves away from the location where the user's input is received.
  • the electronic device 110 may select a joint at a location closest to the location where the user's input is received, and provide a motion associated with the selected joint.
  • FIG. 42 is a flowchart 4200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 42 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 42 may be performed, or at least one operation less than that shown in FIG. 42 may be performed. 42 will be further described below with reference to FIG. 43 .
  • 43 is a diagram for explaining an example of an operation of providing a motion based on a musical unit of auditory content of the electronic device 110 according to various embodiments.
  • the electronic device 110 identifies a musical unit (eg, beat, measure) based on a plurality of audio sources in operation 4201, and in operation 4203,
  • a main object eg, main character 3420a including at least one joint (eg, joints 4310 and 4320 of FIG. 43 ) corresponding to the number of musical units (eg, beat, measure) may be provided.
  • the electronic device 110 determines the articulation of the main character 3420a based on a musical unit (eg, beat, measure) of a currently provided audio source set (or a plurality of audio sources). The number of can be set.
  • the electronic device 110 sets the number of joints of the main character 3420a to 1 for a time signature of 1/2, and sets the number of joints of the main character 3420a to 8 for a time signature of 8/8.
  • the described example is merely an example, and different numbers of joints may be set for each beat.
  • the positions of the joints formed in the main character 4320a may be different according to the number of the joints.
  • the electronic device 110 may allocate audio source sets of different configurations (eg, an intro 4301 and a verse 4302) for each region, and the main character 3420a ) may be changed according to the location where the musical unit is located, but is not limited to the described example, and the musical unit (eg, beat, unit) may be changed according to the passage of the timeline.
  • audio source sets of different configurations eg, an intro 4301 and a verse 4302
  • the main character 3420a may be changed according to the location where the musical unit is located, but is not limited to the described example, and the musical unit (eg, beat, unit) may be changed according to the passage of the timeline.
  • the electronic device 110 obtains a user input for a specific joint in operation 4205 and performs an operation of the main object based on the user input in operation 4207. While controlling with a specific operation, a specific audio effect can be output. For example, when receiving a user input for the main character 3420a as at least part of an operation of controlling the operation of the main object to a specific motion, the electronic device 110 selects a specific joint and responds to the selected specific joint. It is possible to control the motion of the main character (3420a) by the motion. Referring to FIG.
  • the selected joint may be different according to the number of joints implemented in the main character 3420a. Accordingly, motions applied to the main character 3420a may be different, and as a result, different character motions may be provided for each musical unit, audio effects corresponding to different motions may be applied, and/or audio sources may be output. there is.
  • FIG. 44 is a flowchart 4400 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 44 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 44 may be performed, or at least one less operation may be performed. Below, with reference to FIG. 45, FIG. 44 is further demonstrated.
  • 45 is a diagram for explaining an example of activating a sub-object 3430a based on a position of a main character 3420a of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 4401, outputs a first sound based on a plurality of audio sources and outputs a first object (eg, the main character 3420a). )) to the graphic space, and in operation 4403, a user's input for moving the first object (eg, the main character 3420a) may be received.
  • the electronic device 110 determines, in operation 4405, whether the first sub-object (eg, the structure 3430a of FIG. 45 ) for which the distance condition is satisfied is identified. is determined, and when the first sub-object (eg, the structure 3430a of FIG. 45) is identified (4405-Yes), in operation 4407, a second sound different from the first sound is output based on the first scheme. and if the first sub-object (eg, the structure 3430a of FIG. 45) is not identified (4405-No), in operation 4409, a third sound different from the first sound is output based on the second scheme.
  • the first sub-object eg, the structure 3430a of FIG. 45
  • the electronic device 110 compares the position of the main character 3420a (eg, coordinates in graphic space) with the position of the sub-object 3430a (eg, coordinates in graphic space). Based on this, a distance between the main character 3420a and the sub-object 3430a may be identified.
  • the electronic device 110 controls the state of the sub-object 3430a to an inactive state when the distance is greater than the threshold value, and controls the state of the sub-object 3430a to an active state when the distance is less than the threshold value.
  • the electronic device 110 may apply an audio effect set to be provided by the sub-object 3430a and/or reproduce an audio source.
  • FIG. 46 is a flowchart 4600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 46 may be performed in various orders without being limited to the order shown. Also, according to various embodiments, more operations than the operations shown in FIG. 46 or at least one operation less may be performed. Below, with reference to FIG. 47, FIG. 46 is further demonstrated.
  • FIG. 47 is a diagram for explaining an example of activating audio source playback according to sub-object acquisition of the electronic device 110 according to various embodiments.
  • the electronic device 110 in operation 4601, outputs a first sound based on a plurality of audio sources and outputs a first object (eg, the main object of FIG. 47 ).
  • the character 3420a may be provided in the graphic space, and in operation 4603, a user's input for moving the first object (eg, the main character 3420a of FIG. 47) may be received.
  • the electronic device 110 in operation 4605, selects some sub-objects (eg, a drawing) among the plurality of sub-objects based on the movement of the first object. 47 sub-object 4712) is obtained, and in operation 4607, based on outputting at least one audio source selected from among the plurality of audio sources, a second sound is output, and in operation 4609, the second sound If a user input for the first object (eg, the main character 3420a of FIG. 47) is received while outputting the sound, a third sound may be output by changing at least some properties of the selected at least one audio source.
  • a user input for the first object eg, the main character 3420a of FIG. 47
  • a third sound may be output by changing at least some properties of the selected at least one audio source.
  • the electronic device 110 may provide sub-objects 4712 obtainable by the main character 3420a in a graphic space.
  • the audio effect and/or audio source assigned to each of the sub-objects may be applied and/or reproduced when obtained by the main character 3420a.
  • the electronic device 110 compares the location of the main character 3420a and the location of the sub-object 4712 when the main character 3420a moves, and the sub-object at a position corresponding to the position of the main character 3420a.
  • An operation of selecting 4712 may be performed.
  • the electronic device 110 provides interfaces 4711 and 4721 for controlling the reproduction of audio sources corresponding to the sub-object 4712 acquired on the execution screen, and reproduces the audio sources based on the user's input based on the interface. You can play audio sources that are selected as being.
  • FIG. 48 is a flowchart 4800 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 48 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 48 may be performed, or at least one operation less than that shown in FIG. 48 may be performed. Below, with reference to FIG. 49, FIG. 48 is further demonstrated.
  • 49 is a view for explaining an example of the movement of the main character according to reproduction of auditory content and reverse reproduction of auditory content according to the movement of the main character of the electronic device 110 according to various embodiments of the present disclosure; am.
  • the electronic device 110 in operation 4801, the electronic device 110 (eg, the processor 210) provides a first object (eg, the main character 3420a) to the graphic space, and in operation 4803, a plurality of The first sound may be output by reproducing at least a first part of the sound sources of the .
  • the electronic device 110 reproduces only an audio source corresponding to an area where the main character 3420a is currently located (eg, a first theme area) to play a sound of a specific theme ( Example: a first theme sound) may be provided.
  • the audio source for providing the sound of the specific theme that is, the audio source assigned to the region
  • the electronic device 110 determines, in operation 4805, whether a user input for movement is received, and if the user input is received (4805-yes), In operation 4807, at least a second part (eg, the main character 3420a) of the plurality of sound sources together with the first part (eg, first theme sound) of the plurality of sound sources is set to be output when moving. audio source) to output the second sound, and if no user input is received (4805-No), in operation 4809, the output of the first sound of the first theme (eg, the first theme sound) is maintained.
  • a second part eg, the main character 3420a
  • the first part eg, first theme sound
  • the electronic device 110 determines, in operation 4805, whether a user input for movement is received, and if the user input is received (4805-yes)
  • a specific audio source provided as the main character 4320a moves may be different from an audio source corresponding to a region where the main character 4320a is located. For example, when the main character 4320a moves, a specific audio source may be an audio source corresponding to a drum.
  • the electronic device 110 may stop playing the specific audio source.
  • the electronic device 110 may change to a different type of audio source and perform playback.
  • the audio source corresponding to the area where the main character 3420a is located is the melody
  • the audio source provided when the main character 3420a is moved is the drum. Conversely, it can also be implemented.
  • the main character 3420a may automatically move to a random location in a state where a user's input is not received.
  • the electronic device 110 may reproduce an audio source different from that in the case where the main character 3420a is moved by a user's input and/or reproduce the same audio source by applying a specific audio effect.
  • the electronic device 110 reproduces a specific audio source corresponding to the location of the main character 3420a in the graphic space according to the movement of the main character 3420a. can identify.
  • the location of the main character 3420a in the graphic space and the playback time of a specific audio source may be mapped to each other. Accordingly, referring to (b) of FIG. 49 , in the electronic device 110, when a specific audio source is played backward and the playback time of the specific audio source is reversed, the position of the main character 3420a is reversed.
  • the electronic device 110 stores information in which the position of the main character 3420a in the graphic space and the playback time of a specific audio source are mapped to each other in advance, and based on the previously stored information, the main character 3420a is mapped to each other.
  • the position of 3420a is reversed, it can be set as a playback time of a specific audio source corresponding to the moved position.
  • FIG. 50 is a flowchart 5000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 50 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 50 may be performed, or at least one operation less than that shown in FIG. 50 may be performed.
  • the electronic device 110 selects a specific audio effect from among a plurality of audio effects in operation 5001, and selects a specific audio effect from among the plurality of sound sources in operation 5003.
  • a second sound may be output by reproducing at least a second part of the plurality of sound sources together with the at least first part.
  • the electronic device 110 may select and apply a specific audio effect whenever the main character 3420a moves.
  • the electronic device 110 may select a specific audio effect from among a plurality of audio effects whenever the main character 3420a moves, and apply the selected audio effect to playback of the audio source.
  • FIG. 51 is a flowchart 5100 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 51 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 51 or at least one operation less may be performed.
  • the electronic device 110 eg, the processor 210) provides a first object (eg, the main character 3420a) to a graphic space, and in operation 5103, a plurality of A first sound of a first theme corresponding to a first area in which the first object (eg, the main character 3420a) is located among the areas of may be output.
  • a first object eg, the main character 3420a
  • a plurality of A first sound of a first theme corresponding to a first area in which the first object (eg, the main character 3420a) is located among the areas of may be output.
  • the electronic device 110 determines, in operation 5105, whether a user input for movement is received, and if the user input is received (5105-yes)
  • a first sound source of a specific type is selected from among a plurality of sound sources of a specific type, and in operation 5109, the first sound source of the specific type is further output while outputting the first sound of a first theme.
  • the second sound is output, and when the user input is not received (5105 - No), in operation 5111, the output of the first sound of the first theme may be maintained.
  • FIG. 52 is a flowchart 5200 for describing an example of an operation of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 52 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 52 may be performed, or at least one operation less than that shown in FIG. 52 may be performed. 52 will be further described below with reference to FIG. 53 .
  • 53 is a diagram for explaining an example of a multi-play scenario of the electronic device 110 according to various embodiments.
  • the server 120 may identify a connection between a plurality of electronic devices (eg, a first electronic device 5200a and a second electronic device 5200b). there is.
  • a plurality of electronic devices eg, a first electronic device 5200a and a second electronic device 5200b.
  • the server 120 performs a main graphic object (eg, FIG. 53 ) for each of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b).
  • the main characters 5311 and 5312 of may be generated and provided to the graphic space.
  • the server 120 may receive information of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) in operations 5207 and 5209. there is.
  • the received information may include information for controlling the position of the main characters 5311 and 5312 (eg, user input information).
  • the server 120 may move the positions of the main characters 5311 and 5312 and store information on the moved positions.
  • the received information may directly include information about the location of the main characters 5311 and 5312.
  • the server 120 determines, in operation 5211, a condition related to a plurality of main graphic objects (eg, main characters 5311 and 5312 of FIG. 53) based on the received information. After determining satisfaction, an operation of providing a first sound to a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) may be performed in operations 5213 and 5215 .
  • a condition related to a plurality of main graphic objects eg, main characters 5311 and 5312 of FIG. 53
  • an operation of providing a first sound to a plurality of electronic devices may be performed in operations 5213 and 5215 .
  • the server 120 when the main characters 5311 and 5312 are positioned adjacent to each other (eg, within a pre-set distance), the main character It is determined that the conditions associated with the characters 5311 and 5312 are satisfied, and a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) provide auditory content of other electronic devices. function can be performed.
  • the server 120 converts one electronic device (eg, the first electronic device 5200a) corresponding to one character (eg, the first main character 5311) to another character (eg, the second main character).
  • an interface 5313 for enjoying auditory content provided to another electronic device (eg, the second electronic device 5200b) may be provided.
  • the server 120 provides the auditory content to the first electronic device 5200a, and allows the playback time of the auditory content to be adjusted.
  • the server 120 when the server 120 determines that the conditions associated with the main characters 5311 and 5312 are satisfied, it may provide a function of playing together. . As at least part of an operation of determining that a condition associated with the main characters 5311 and 5312 is satisfied, the server 120 places the main characters 5311 and 5312 adjacent to each other (eg, a position within a preset distance). location can be determined. In addition, the server 120 determines the similarity of the moving path on the graphic space of each of the main characters 5311 and 5312 determined to be adjacent to each other, and if the similarity is equal to or greater than a preset value, the above condition is deemed to be satisfied. It can be judged, but is not limited to the examples described.
  • the server 120 performs an ensemble of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) corresponding to the main characters 5311 and 5312. You can create a party for The server 120 provides the same audio source to the plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b), while providing the plurality of electronic devices (eg, the first electronic device ( The audio sources 5321 and 322 corresponding to the obtained sub-objects for each of the 5200a) and the second electronic device 5200b may be reproduced.
  • a plurality of electronic devices eg, the first electronic device 5200a and the second electronic device 5200b
  • a plurality of electronic devices eg, the first electronic device 5200a and the second electronic device 5200b included in the party play the same audio source and generate the sub-object as described above.
  • Corresponding audio sources 5321 and 322 can be reproduced.
  • 54 is a diagram for explaining an example of a player (or application) including a source pool, an input pool, and a plurality of transports of the electronic device 110, according to various embodiments. 54 will be further described below with reference to FIGS. 55A and 55B.
  • 55A is a diagram for explaining an example of an operation of one transport, according to various embodiments.
  • 55B is a diagram for explaining an example of an operation of one transport, according to various embodiments.
  • the interactive music listening system 1 may include a player 5410, a source pool 5420, and an input pool 5430.
  • the player 5410 refers to the application 251 described in FIG. 2
  • the source pool 5420 and the input pool 5430 may be information stored in the database 252 described in FIG. 2 .
  • the source pool 5420 may be implemented to include the type of data shown in Table 8 below. As described in [Table 8] below, as the source pool 5420 is implemented to include information for each visual set and audio set classification, the player 5410 can obtain at least one of the visual set information based on the transport 5400. At least some of the information and audio set information may be obtained.
  • the input pool 5430 may refer to various types of information that triggers the control event 500, such as user interaction, context information, and information received from the server 120.
  • the plurality of transports 5400 are a kind of playback module that reproduces information to provide visual content 100a and auditory content 100b, and when executed, a certain number of transports 5400 are set to provide certain functions. It may be implemented in the form of a program, computer code, API, and/or function.
  • the processor 210 performs at least one operation to provide visual and/or auditory content. can do.
  • the operation of the transport 5400 may be understood as an operation performed by the processor 210 when the transport 5400 is executed.
  • a plurality of transports 5400 may be switched each other. For example, when a specific condition is satisfied while a function is provided based on the execution of one transport (eg, a control object 5712 described later is selected), another transport is entered, and a specific condition is not satisfied. (e.g., the control object 5712 is deselected), it may return to one transport, but is not limited to the described example.
  • the information provided by the electronic device 110 Visual content and auditory content can also be changed.
  • the plurality of transports 5400 may include a basic transport and an event transport, which will be described in detail later.
  • a basic transport for example, as shown in Figure 54, after entering an event transport from a basic transport, another sub-event transport can be entered from an event transport.
  • the condition for each transport entering another transport may be set identically and/or differently.
  • a transport 5400 may include a sink module 5521, an interaction module 5523, and an output module 5525.
  • the sync module 5521 may be a module that generates visual content 100a and auditory content 100b based on audio information and graphic information.
  • the sync module 5521 includes an audio set acquisition module 5521a for acquiring at least a portion of the audio set 5511 from the source pool 5420, a visual set acquisition module 5521b for acquiring at least a portion of the visual set, and generating visual content 100a based on at least a part of the obtained audio set and generating auditory content 100b based on at least a part of the visual set, combining the generated contents and outputting them through the output module 5525 It may include an audio set-visual set sync module 5521c.
  • the interaction module 5523 may be a module for controlling information that the sink module 5521 acquires from a source pool.
  • the interaction module 5523 uses an input identification module 5523a for acquiring interaction information and an interaction system controlled by the sync module 5520 with specific graphic information based on rule information corresponding to the interaction information module 5523b (ie refer to rule information).
  • the interaction module 5523 may simply be replaced with rule information, and in this case, each transport may be implemented to obtain specific graphic information and specific audio information based on specific rule information.
  • the output module 5525 may be a module that transfers each content to an output device to be provided to a user.
  • one transport uses the sink module 5521 to generate a source pool 5420.
  • First audio information and first graphic information may be obtained from, based on this, visual content 100a and auditory content 100b may be generated and output through the output module 5525.
  • the second transport controls the sync module 5521 to acquire audio information and graphic information different from those of the first transport based on information about the interaction identified based on the interaction module 5523, and based on this Thus, the visual content 100a and the auditory content 100b may be generated and output through the output module 5525.
  • the electronic device 110 initiates a music listening operation based on event transport according to a user's interaction while performing a basic transport-based music listening operation, thereby providing rapid visual content (100a). ) It is possible to provide a function for controlling the auditory content (100b) with the conversion. According to the sudden change, the degree of immersion in interactive music appreciation can be encouraged.
  • FIG. 56 is a flowchart 5600 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 56 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 56 may be performed, or at least one operation less than that shown in FIG. 56 may be performed. 55 will be further described below with reference to FIGS. 57A and 57B.
  • 57A is a diagram for explaining an example of a switching operation between a basic transport and an event transport of the electronic device 110 according to various embodiments.
  • 57B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of the electronic device 110 according to various embodiments.
  • 57C is a diagram for explaining another example of a conversion operation between a basic transport and an event transport of the electronic device 110 according to various embodiments.
  • the electronic device 110 may execute a program in operation 5601 and determine whether an interaction is received in operation 5603.
  • the plurality of transports 5400 described above may include a basic transport and an event transport.
  • the electronic device 110 provides visual and auditory content based on basic transport when an interaction is not received, and provides visual and auditory content based on event transport while an interaction is received. can provide.
  • visual content (eg, a first execution screen 5701) provided based on the basic transport includes a main character 5711, a control object 5712, and other additional objects 5713.
  • the electronic device 110 provides the visual content 5701 based on the basic transport, and reproduces at least one audio source (eg, a main audio source set) to provide sound (eg, music) to the user.
  • the electronic device 110 controls the main character 5711 to perform a running motion along the additional object 5713, thereby improving the sense of immersion in listening to music.
  • the electronic device 110 may control the main character 5711 to perform a dance motion on a planet-shaped graphic object 5713.
  • the graphic object 5713 may be implemented to provide a function of controlling the motion of the main character 5711 .
  • visual content (eg, a second execution screen 5703) provided based on event transport includes a main character 5711, a control object 5712, and other additional objects 5731.
  • the electronic device 110 provides the visual content 5703 based on the event transport and reproduces at least one audio source (eg, a set of sub-audio sources) to provide sound (eg, music) to the user. can be provided to
  • the visual content 7503 includes visual content with a different atmosphere from that of the visual content 5701, and a graphic space in which the main character 5711 can move may be provided.
  • the graphic space may be provided by the additional object 5731. In this case, the provided sound may be different from the sound provided based on the basic transport.
  • the electronic device 110 eg, the processor 210
  • the first object including the main object and the control object.
  • the first audio is played
  • the state of the control object eg, the control object 5712
  • the main character 5711 is changed to the main object.
  • the electronic device 110 determines that an interaction (eg, the control object 5712) is received (5603-yes)
  • the The state of the control object eg, the control object 5712
  • a second state eg, an active state
  • the main object eg, the main character 5711
  • the main object eg, the main character 5711
  • the second audio is reproduced, and in operation 5613, the position of the main object (eg, the main character 5711) is moved based on the control object (eg, the control object 5712) and the second execution screen (eg, the control object 5712) is reproduced.
  • the property of the second audio may be controlled based on the time associated with the time of entering the second execution screen 5703).
  • the electronic device 110 when an input to the control object 5712 is received while the first execution screen 5701 is provided based on the basic transport, the electronic device 110 changes the basic transport to an event transport, Based on the basic transport, while providing the second execution screen 5703, sound may be output based on an audio source (eg, a sub audio source set).
  • the electronic device 110 can improve the degree of immersion in listening to music by switching from the first execution screen 5701 to the second execution screen 5703 at the moment the control object 5712 is touched.
  • properties of an audio source can be controlled. do.
  • the electronic device 110 may control properties of an audio source (eg, a sub audio source set) based on the position of the main character 5711 .
  • the electronic device 110 moves the main character 5711 on the additional object 5731 according to the movement of the control object 5712 by the user's input, and the position 5733 of the main character 5711 (eg: Based on the x-coordinate, y-coordinate), additionally output a specific audio source, control the properties of the audio source (e.g.
  • the electronic device 110 may additionally output a specific audio source or output audio when the position 5733 (eg, x coordinate, y coordinate) of the main character 5711 in the graphic space satisfies a specific condition.
  • a property of a source eg, a sub-audio source set
  • the specific condition may include, for example, obtaining a specific sub-object 5732 by reaching a position of the specific sub-object 5732 disposed on the graphic space, or reaching a position of a specific area. .
  • the electronic device 110 controls the properties of an audio source (eg, a set of sub-audio sources) and/or controls the audio source based on the duration dt of the user's touch on the control object 5712. You can apply audio effects to a source (e.g. a set of sub-audio sources). For example, the electronic device 110 may reduce the energy of the output sound (eg, reduce the volume) when the time dt for which the touch is maintained exceeds a threshold time.
  • an audio source eg, a set of sub-audio sources
  • You can apply audio effects to a source e.g. a set of sub-audio sources.
  • the electronic device 110 may reduce the energy of the output sound (eg, reduce the volume) when the time dt for which the touch is maintained exceeds a threshold time.
  • the electronic device 110 determines, in operation 5615, whether an interaction is maintained, and if the interaction is maintained, operations 5609 to 5614 (ie, event operation based on the transport), and if the interaction is not maintained, operation 5605 (ie, returning to the basic transport, operation based on the basic transport) may be performed.
  • operations 5609 to 5614 ie, event operation based on the transport
  • operation 5605 ie, returning to the basic transport, operation based on the basic transport
  • the electronic device 110 may perform an operation to return to the basic transport. (or It is not limited to the example described, and can be changed to other sub-event transports.)
  • the electronic device 110 performs an operation based on the event transport, when a specific condition is satisfied, another event transport (eg, in FIG. 54 ) sub-event transport), and can perform operations based on other converted event transports.
  • another event transport eg, in FIG. 54
  • the electronic device 110 may switch to another event transport when the main character 5711 acquires a specific sub-object 5732 provided in the graphic space corresponding to the event transport.
  • FIG. 58 is a flowchart 5800 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 58 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 58 may be performed, or at least one less operation may be performed. 58 will be further described below with reference to FIGS. 59A and 59B.
  • 59A is a diagram for explaining an example of a switching operation between a basic transport and an event transport of the electronic device 110 according to various embodiments.
  • 59B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of the electronic device 110, according to various embodiments.
  • the electronic device 110 selects a plurality of execution screens (eg, the first screen 5910a and the second screen 5910b).
  • a first part of the first audio corresponding to the first execution screen (eg, the first screen 5910a) is provided together with the first execution screen (eg, the first screen 5910a), and in operation 5803, the second It may be determined whether an event for changing to an execution screen (eg, the second screen 5910b) is identified.
  • the electronic device 110 provides a first screen 5910a based on graphic information acquired based on the basic transport 5900a, while providing audio information (acquired based on the basic transport 5900a).
  • Example: Sound may be output based on reproducing the audio source set 5920a of FIG. 59B.
  • Energy eg, map energy
  • the electronic device 110 may determine whether or not a user inputs to the control object (eg, the control object 5712 of FIG. 57A or 57C) of the first screen 5910a.
  • the electronic device 110 identifies an event for changing to the second execution screen (eg, the second screen 5910b) (5803-yes)
  • the electronic device 110 identifies an event for changing to the second execution screen (eg, the second screen 5910b) (5803-yes)
  • operation 5805 a part of the second audio corresponding to the second execution screen (eg, the second screen 5910b) is provided along with the second execution screen (eg, the second screen 5910b), and operation In 5807, it may be determined whether an event for returning to the first execution screen (eg, the first screen 5910a) is identified.
  • a control object eg, the control object 5712 of FIG.
  • the electronic device 110 based on the basic transport 5900a Playback of the audio source 5920a may be stopped and switched to the event transport 5900b.
  • the electronic device 110 After being switched to the event transport 5900b, the electronic device 110 provides the second screen 5910b based on the graphic information acquired based on the event transport 5900b, and the event transport 5900b A sound may be output based on reproducing audio information (eg, the audio source 5920b) obtained based on . Sound energy output while the second screen 5910b is provided may be different from sound energy output while the first screen 5910a is provided.
  • the electronic device 110 can control at least one audio source property while providing the second screen 5910b as described above.
  • the control may be performed based on a change in the position of the main character 5711 and/or a length of time for which a user input to the control object 5712 is maintained.
  • the energy of sound eg, map energy 5921b, positional energy 5923b, and timeline energy 5925b
  • the energy of sound can be dynamically controlled.
  • the electronic device 110 when an event for returning to the first execution screen (eg, the first screen 5910a) is identified (5807-yes) , In operation 5809, the remaining second part after the end of the first part of the first audio may be provided together with the first execution screen (eg, the first screen 5910a).
  • the electronic device 110 stops playback of the audio source 5920b based on the event transport 5900b and transmits the audio to the basic transport 5900a. Playback of the based audio source 5920a may be resumed.
  • the electronic device 110 may resume playback from the point where playback of the audio source 5920a is stopped. Accordingly, when the user's interaction is released, the user can return to the existing music and resume listening from the part where the music appreciation was temporarily stopped.
  • FIG. 60 is a flowchart 6000 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 60 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 60 may be performed, or at least one operation less than that shown in FIG. 60 may be performed.
  • the electronic device 110 in operation 6001, performs at least one first reproduction module (eg, basic transport) among a plurality of reproduction modules. 1 audio file is reproduced, and in operation 6003, it may be determined whether an event for changing to a second playback module (eg, event transport) is identified.
  • first reproduction module eg, basic transport
  • second playback module eg, event transport
  • the electronic device 110 when an event for changing to a second playback module (eg, event transport) is identified (6003-yes), operation 6005 In , stop playback of the at least one first audio file corresponding to the first playback module (eg, basic transport) and at least one second audio file corresponding to the second playback module (eg, event transport). It may be determined whether an event for playing the audio file and returning to the first playback module (eg, basic transport) is identified in operation 6007 .
  • a second playback module eg, event transport
  • the electronic device 110 eg, the processor 210
  • the second playback module Stop playback of the at least one second audio file corresponding to (eg, event transport) and play the at least one first audio file corresponding to the first playback module (eg, basic transport) into the first You can replay from that point on.
  • FIG. 61 is a flowchart 6100 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 61 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 61 may be performed, or at least one operation less than that shown in FIG. 61 may be performed. 61 will be further described below with reference to FIGS. 62A and 62B.
  • 62A is a diagram for explaining an example of a time point at which graphic data is provided and a time point at which an audio source is reproduced, according to various embodiments.
  • 62B is a diagram for explaining an example of an activation period according to various embodiments.
  • the electronic device 110 selects a plurality of audio sources (eg, first to fifth audio sources #1 to #5). ) is obtained, and in operation 6103, a musical unit (eg, beat, measure) is identified based on a plurality of audio sources (eg, first to fifth audio sources (audio sources #1 to #5)), In operation 6105, an event time point may be identified based on the identified musical unit (eg, beat or measure), and an activation section for acquiring a user input may be set based on the event occurrence time point.
  • a plurality of audio sources eg, first to fifth audio sources #1 to #5
  • a musical unit eg, beat, measure
  • an activation section for acquiring a user input may be set based on the event occurrence time point.
  • the electronic device 110 acquires a plurality of audio sources (eg, first to fifth audio sources #1 to #5) to be provided while a program is being executed, and obtains a plurality of audio sources. (eg, first to fifth audio sources (audio sources #1 to #5)), a musical unit (eg, beat, bar) may be identified based on at least a part.
  • the electronic device 110 includes audio sources (eg, first to fifth audio sources (audio sources #1 to #5)) reproduced over the entire time period while a program is running.
  • a first audio source (audio source#1) may be identified, and a musical unit (eg, beat, bar) may be identified based on the identified audio source.
  • the electronic device 110 may identify an event occurrence time point based on the musical unit (eg, beat, measure). The event occurrence time may be understood as an appropriate time when a specific musical effect is applied and/or a specific audio source is output.
  • the electronic device 110 may set an activation period based on the event occurrence time point.
  • the activation period may include a first time period before a predetermined time based on the event occurrence time and a second time period after a predetermined time based on the event occurrence time.
  • the first time interval may be set to be longer than the second time interval.
  • the electronic device 110 selects a plurality of audio sources (eg, first to fifth audio sources #1 to #5). ), while displaying an execution screen including at least one graphic object (eg, graphic objects of “table of contents. Based on obtaining the user input, a time point at which the user input is obtained may be obtained.
  • the electronic device 110 determines, in operation 6111, whether the acquired time corresponds to a first time period (eg, a first time period among active periods). and if it corresponds to the first time period (eg, the first time period of the activation period) (6111-Yes), in operation 6113, a specific audio source (eg, a fourth audio source (audio source#4) at the time of the event) )) and/or while controlling the properties of a specific audio source, a visual effect may be provided.
  • a specific audio source eg, a fourth audio source (audio source#4) at the time of the event)
  • the output fourth audio source is “table of contents. 2 to Table of Contents. It can include various types of audio sources provided based on the user's interaction described in 5”.
  • the timing of providing a visual effect while outputting a specific audio source eg, a fourth audio source (audio source#4)
  • a specific audio source eg, a fourth audio source (audio source#4)
  • the visual content (100a) and the auditory content (100b) can be synchronized in time.
  • the electronic device 110 in operation 6115, when the electronic device 110 (eg, the processor 210) does not correspond to a 1-hour period (eg, a first time period among active periods) (6111-No) , It is determined whether the obtained time period corresponds to the second time interval (eg, the second time interval among the activation intervals), and if it corresponds to the second time interval (eg, the second time interval among the activation intervals) (6115- Yes), in operation 6117, the user input may be ignored.
  • a 1-hour period eg, a first time period among active periods
  • At least some of the operations of the server 120 may be implemented as operations that can be provided by a predetermined application (or program) unless otherwise specified. That is, at least some of the following operations of the server 120 may be performed by the electronic device 110 when an application (or program) stored in the electronic device 110 is executed.
  • FIG. 63 is a flowchart 6300 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 63 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 63 may be performed, or at least one operation less than that shown in FIG. 63 may be performed. 63 will be further described below with reference to FIGS. 64, 65A, and 65B.
  • 64 is a diagram for explaining an example of a platform file exchanged by the server 120 according to various embodiments.
  • 65A is a diagram for explaining an example of an interface provided by the server 120 according to various embodiments.
  • 65B is a diagram for explaining an example of information for each array acquired by the server 120 according to various embodiments.
  • the server 120 receives a sound source file, in operation 6303, identifies information on the uploaded sound source file, and in operation 6305, a plurality of audio files based on the sound source file
  • the sources may be acquired, an execution screen for controlling at least some of the plurality of audio sources may be configured in operation 6307 , and an execution screen and the plurality of audio sources may be provided in operation 6309 .
  • the server 120 may provide a predetermined graphic user interface 6500 to the electronic device 110 .
  • the graphic user interface 6500 includes a first area 6510 including visual content 100a (eg, a plurality of graphic objects 6511) for controlling an audio source and/or applying an audio effect, and a selected sound source.
  • a second area 6520 for providing a function for playing a file e.g., a plurality of graphic objects 6511
  • a third area 6530 for selecting an audio source and/or an audio effect a function for uploading a sound source file and providing information on an uploaded sound source file
  • It may include a fourth area 6540, and is not limited to the examples described and/or illustrated, and may be implemented to further include various types of graphic elements.
  • the server 120 may provide a sound source file upload function.
  • a sound source file may be received from the device 110 .
  • the electronic device 110 may separate the received sound source file into a plurality of audio sources based on the above-described audio source separation technology, and provide the separated audio sources to the electronic device 110 .
  • the electronic device 110 may provide sound to the user by reproducing at least some of the plurality of separated audio sources through the first region 6510 .
  • the visual content 100a provided to the first region 6510 is “table of contents. 2 to Table of Contents. 5” may include various types of visual content 100a.
  • the server 110 provides a menu screen for selecting the various types of visual content 100a, and arranges the visual content 100a selected from the menu screen in the first area 6510 to obtain an electronic device. (110).
  • the server 120 may perform an operation of periodically transmitting a plurality of audio sources associated with a sound source file to the electronic device 110 .
  • the server 120 may perform an operation of periodically converting a portion of a sound source file into a plurality of audio sources and transmitting the same to the electronic device 110 .
  • a relay device (and/or relay program) capable of relaying the transmission period of the server 120 may be further implemented.
  • the electronic device 110 controls at least some of the plurality of audio sources based on controlling objects (eg, the plurality of graphic objects 6510) included in the execution screen.
  • a sound may be provided based on controlling properties
  • in operation 6313 at least one file related to the provided sound may be stored, and in operation 6315, at least one file may be transmitted.
  • the electronic device 110 determines the location of a plurality of graphic objects 6511a, 6511b, and 6511c based on a user's input while outputting sound based on reproducing at least some of a plurality of audio sources. and may output a specific audio source and/or apply a specific audio effect based on the location control.
  • the electronic device 110 may divide the time into a plurality of viewpoints and obtain information 6500a on the user's interaction for each of the divided plurality of viewpoints (time array).
  • the user interaction information may include information about locations of the plurality of graphic objects 6511a, 6511b, and 6511c.
  • the time interval between the plurality of time points may be 0.2 seconds, or may be implemented at various time intervals without being limited to the described example.
  • the server 120 in operation 6317, may store the received at least one file.
  • the server 120 may receive, from the electronic device 110 , information on the user's interaction for each of the plurality of viewpoints (time array) described above.
  • the server 110 provides information on sound source files (eg, audio source set 6410), information on visual content (eg, UI identification information 6420), or the user's interaction
  • At least one of information eg, location information 6430 of each graphic object for each array
  • a file of a form stored to be related may be defined as a platform file 6400.
  • the interactive music experience unique to the user can be reused (eg, played again and/or shared with other users).
  • the server 120 reproduces the audio source set 6410 based on the stored platform file 6400, the user's interaction information (eg, location information of graphic objects for each array ( 6430)), it is possible to recreate and provide the sound previously enjoyed by the user by reproducing a specific audio source and/or reflecting a specific audio effect.
  • FIG. 66 is a flowchart 6600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 66 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 66 may be performed, or at least one operation less than that shown in FIG. 66 may be performed.
  • the electronic device 110 obtains a sound source file including a plurality of audio sources in operation 6601 and, in operation 6603, at least one of the plurality of audio sources.
  • An execution screen eg, the interface 6500 of FIG. 65A ) including at least one object for controlling some first properties may be displayed.
  • the electronic device 110 in operation 6605, reproduces at least one part of the plurality of audio sources while at least one object (eg, diagram) for each of a plurality of times.
  • a user's input for the graphic object 6511 of step 65a is obtained, and properties of at least some of the plurality of audio sources are controlled based on the user's input, and in operation 6607, the plurality of times obtained
  • Information associated with the user input eg, 6500a
  • a data set including the information associated with the user input obtained for each of the plurality of times may be transmitted.
  • FIG. 67 is a flowchart 6300 for explaining an example of operations of a plurality of electronic devices (eg, an electronic device 6700a, an external electronic device 6700b) and a server 120, according to various embodiments. .
  • the operations shown in FIG. 67 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 67 may be performed, or at least one operation less than that shown in FIG. 67 may be performed.
  • the electronic device 6700a may, in operation 6701, transmit access information for accessing at least one file related to the sound provided to the external electronic device 6700b.
  • the electronic device 6700a may execute a function of sharing a specific platform file 6400 with other users while using an interactive music listening platform through the server 120 .
  • the electronic device 6700a may provide link information to the external electronic device 6700b of another user.
  • the link information may include identification information for identifying the specific platform file 6400 and a link (URI, URL) for accessing the server 120 .
  • the link information may be shared through a conventional messenger application, but is not limited to the described example and may be shared using a messenger function operated in the server 120.
  • the external electronic device 6700b may access the server 120 in operation 6703.
  • the external electronic device 6700b may access the server 120 based on the selection of the link information.
  • the server 120 obtains, in operation 6705, at least one file associated with the provided sound (eg, at least a part of the platform file 6400 of FIG. 64), and in operation 6707, at least one A plurality of audio sources are acquired based on a file of (eg, at least part of the platform file 6400 of FIG. 64), and in operation 6709, at least one file (eg, at least part of the platform file 6400 of FIG. 64). ), sound may be reproduced based on controlling at least some properties of a plurality of audio sources.
  • the server 120 obtains identification information for identifying the platform file 6400 from the external electronic device 6700b, and the platform file corresponding to the identification information ( 6400) can be identified.
  • the server 120 provides an interface 6500 including the visual content 100a corresponding to the UI identification information 6420 identified from the platform file 6400 in the first area 6510, while the platform file ( The audio source set 6410 identified from 6400 may be provided to the external electronic device 6700b to be reproduced.
  • the server 120 and/or the external electronic device 6700b determines the location of a plurality of objects (eg, the object 6511 of FIG. 65A) within the visual content 100a based on the object location information 6430 for each array. Based on controlling, a specific audio source may be played and/or a specific audio effect may be applied.
  • the server 120 transfers information for controlling the position of a plurality of objects (eg, the object 6511 of FIG. 65A) for each array based on the external electronic device 6700b to the existing platform file 6400. can be added within.
  • the electronic device 110 and/or the server 120 may provide visual content 100a for obtaining various types of interactions, in addition to the user's interaction with the graphic object described above.
  • visual content 100a for obtaining various types of interactions, in addition to the user's interaction with the graphic object described above.
  • an operation of acquiring the user's motion of the electronic device 110 is described, but is not limited to the described example, and visual content for acquiring various types of interactions (eg, voice, object, etc.) described in this specification It is obvious to those skilled in the art that (100a) can be provided.
  • FIG. 68 is a flowchart 6800 for explaining an example of an operation of the electronic device 110 according to various embodiments.
  • the operations shown in FIG. 68 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 68 may be performed, or at least one operation less than that shown in FIG. 68 may be performed. 68 will be further described below with reference to FIGS. 69, 70A, 70B, and 71 .
  • 70a is a diagram for explaining an example of visual content 100a provided by the server 120 according to various embodiments.
  • 70B is a diagram for explaining an example of visual content 100a provided by the server 120 according to various embodiments.
  • 71 is a diagram for explaining an example of a messenger function provided by the server 120 according to various embodiments.
  • the electronic device 110 may acquire a sound source file including a plurality of audio sources in operation 6801 and display an execution screen including a user photographed by a camera in operation 6803. there is.
  • the server 120 provides a visual image including at least a part (eg, users 7010a and 7010b) of images captured by a camera to the electronic device 110.
  • the auditory content (100b) will be provided based on reproducing at least some of the plurality of audio sources corresponding to the sound source file selected by the electronic device (110).
  • the background of the visual content (7020a, 7020b) may be a pre-set background, and/or a background in which the user U photographed by the camera of the electronic device 110 is located.
  • the electronic device 110 may further display at least one graphic object on the visual content 7020a.
  • the visual content 7020a may include virtual characters 7001b and 7003b.
  • the virtual characters 7001b and 7003b may correspond to artists corresponding to the selected music file, but are not limited to the described example and a virtual character selected separately from the music file may be provided.
  • the virtual characters 7001b and 7003b may be set to take a predetermined motion while at least some of the plurality of audio sources are reproduced. For example, based on musical units, the virtual characters 7001b and 7003b may be implemented to perform dance movements.
  • a virtual graphic object such as a graphic building may be provided on the visual content 7020a.
  • the electronic device 110 obtains a user's motion for each of a plurality of times (eg, the above-described time array) while reproducing at least some of the plurality of audio sources, and Based on the obtained motion, properties of at least some of the plurality of audio sources may be controlled, and in operation 6807, information associated with the motion of the user obtained for each of the plurality of times may be obtained. That is, the electronic device 110 may obtain information about the user's motion captured by the camera instead of the location of the graphic object 6511 for each of a plurality of times (time array).
  • the electronic device 110 reproduces a specific audio source corresponding to the user's motion while providing the auditory content 100b based on reproducing at least some of the plurality of audio sources, and /or you can apply specific audio effects.
  • the electronic device 110 may reproduce a specific audio source for each motion 7010a, 7030a, 7010b, and 7030b of the user.
  • the electronic device 110 may reflect a visual effect corresponding to the user's motion to the visual content 110a.
  • the electronic device 110 may control the motion of virtual characters 7001b and 7003b included in the visual content 7020b based on the motion of the user. For example, when the motion of the user is the first motion, the electronic device 110 may control the motion of the virtual characters 7001b and 7003b as the first motion, but when the motion of the user is the second motion, the motion of the virtual characters 7001b and 7003b is controlled by the virtual The motions of the characters 7001b and 7003b can be controlled by the second motion.
  • the electronic device 110 may, in operation 6809, transmit a data set including information related to the user's motion obtained for each of the plurality of times.
  • the server 120 generates a platform file 6900 including at least one of an audio source set 6910, a recorded video 6920, and a user motion 6930 for each array. may be stored and/or managed.
  • FIG. 72 is a diagram for explaining an example of visual content 100a that can be provided by the interactive music listening system 1 according to various embodiments.
  • the interactive music listening system 1 may be implemented to provide metaverse visual content. That is, the interactive music listening system 1 is an extended reality that can be provided by the electronic device 110 for extended reality (XR) such as virtual reality (VR) and mixed reality (MR). It can be implemented to provide content.
  • XR extended reality
  • VR virtual reality
  • MR mixed reality
  • the interactive music listening system 1, similar to the aforementioned visual content 100a, a plurality of 3D graphic objects within the visual content 7210a, 7210b, and 7210c implemented for each of a plurality of stages. (7211a, 7211b) implemented, and while each of the visual content (7210a, 7210b, 7210c) is provided, the auditory content (100b) based on playing at least one audio source corresponding thereto (eg, the first sound) , the second sound) may be provided.
  • the interactive music listening system 1 performs an operation of controlling the visual content 100a and/or the auditory content 100b according to the control of the above-described graphic object, an operation of switching a stage, and the like. As can be done, more redundant descriptions are omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to various embodiments, a method for operating an electronic device may be provided, the method comprising operations of: identifying an input of a user with respect to at least one object; when a first condition by the identified input is satisfied, outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied when the identified input is a first input, and outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied when the identified input is a second input; and when a second condition by the identified input is satisfied, outputting a second sound having a second frequency spectrum corresponding to a second reproduction time associated with a music file.

Description

사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법 Electronic device providing sound based on user input and its operating method
본 개시는, 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.The present disclosure relates to an electronic device that provides sound based on a user input and an operating method thereof.
저장매체를 이용하여 음악을 기록하고 감상하기 시작한 이래로 음악은 수동적/피동적 감상의 대상이 되었으며, 능동적이고, 주도적으로 음악에 참여하는 것은 음악적 전문가의 영역으로 치부되어왔다.Since the beginning of recording and listening to music using a storage medium, music has become an object of passive/passive appreciation, and actively and proactively participating in music has been dismissed as the domain of musical experts.
또한, 초창기 저장매체로 이용되었던 레코드 판의 물리적 한계로 인해 통념적인 음악의 길이가 정해졌으며, 레코드 판의 물리적 한계를 벗어난 디지털 음악의 시대에서도 통념적인 음악의 길이는 대중적인 음악의 길이로 자리매김하게 되었다.In addition, due to the physical limitations of the vinyl record, which was used as a storage medium in the early days, the conventional music length was determined, and even in the era of digital music beyond the physical limitations of the vinyl record, the conventional music length became the popular music length. I did.
결국, 현대 사회를 살아가는 대다수 음악의 수요자들은 한정된 시간적 길이 내에서 주어진 음악의 수동적/피동적 감상이라는 한정된 역할에 머무를 수밖에 없게 되어 원하는 시간만큼 능동적이고 주도적으로 음악에 참여하는 음악 본연의 즐거움 중 하나를 잃게 되었다.In the end, most music consumers living in modern society have no choice but to stay in the limited role of passive/passive appreciation of given music within a limited length of time, losing one of the original pleasures of music to actively and proactively participate in music for as long as they want. It became.
따라서, 음악의 수요자들에게 음악 본연의 즐거움을 되돌려 놓기 위해서는 음악에 대한 참여의 장벽을 낮추고, 한정된 오디오 소스를 이용하되 통념적인 음악의 길이를 탈피하도록 치밀하게 설계된 오디오 소스 재생 방법과 이를 이용한 음악 어플리케이션이 필요할 수 있다.Therefore, in order to return the original pleasure of music to music consumers, a carefully designed audio source reproduction method and music application using the same are designed to lower the barriers to participation in music, use a limited audio source, and break away from conventional music lengths. this may be needed
다양한 실시예들에 따른, 일 과제는 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.According to various embodiments, an object is to provide a method for reproducing an immersive audio source for giving a natural musical liveliness to a user.
다양한 실시예들에 따른, 일 과제는 사용자와의 인터랙션을 기초로 음악에 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.According to various embodiments, an object is to provide an immersive audio source reproducing method for imparting liveliness to music based on user interaction.
다양한 실시예들에 따른, 일 과제는 사용자에게 다양한 음악적 경험을 제공하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.According to various embodiments, an object is to provide a method for reproducing an immersive audio source to provide various musical experiences to users.
다양한 실시예들에 따른, 일 과제는 사용자에게 주도적이고 다양한 음악적 경험을 제공하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.According to various embodiments, an object is to provide a method for reproducing an immersive audio source to provide a proactive and diverse musical experience to a user.
다양한 실시예들에 따른, 일 과제는 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법을 제공하는 것이다.According to various embodiments, one task is to provide an audio source playback method for non-linear playback of a set of audio sources.
본 발명의 해결하고자 하는 과제들이 상술한 해결 과제들로 제한되는 것은 아니며, 언급되지 아니한 해결 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-described problems, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. You will be able to.
다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작; 적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; 상기 제1 사운드를 출력하는 동안, 상기 적어도 하나의 오브젝트에 대한 사용자의 입력을 식별하는 동작; 상기 식별된 입력에 의한 제1 조건이 만족되는 경우: 상기 식별된 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및 상기 식별된 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작;을 포함하고, 상기 식별된 입력에 의한 제2 조건이 만족되는 경우: 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one object; identifying a user's input to the at least one object while outputting the first sound; When the first condition by the identified input is satisfied: When the identified input is the first input, outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied. ; and if the identified input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied. When the condition is satisfied: an operation of outputting a second sound having a second frequency spectrum corresponding to a second playback time associated with the music file; an operating method may be provided.
다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작; 적어도 하나의 제1 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일에 기반하여 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; 상기 제1 사운드를 출력하면서 상기 적어도 하나의 오브젝트에 대한 사용자 입력이 수신되지 않는 동안, 특정 종류의 이벤트를 식별하는 동작; 상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제1 종류인 경우, 상기 제1 사운드의 제1 청각적 속성을 변경하고, 상기 제1 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제1 시각적 속성을 변경하는 동작; 및 상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제2 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제2 시각적 속성을 변경하고, 상기 제2 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제2 청각적 속성을 변경하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum based on the music file while displaying a first screen including at least one first object; identifying a specific type of event while outputting the first sound and not receiving a user input for the at least one object; When the type of the identified event is the first type for controlling sound, a first auditory property of the first sound is changed, and the first auditory property of the first object is changed based on the change of the first auditory property. Actions that change visual properties; and when the type of the identified event is a second type for controlling a screen, change a second visual property of the at least one first object, and generate the sound of the first sound based on the change in the second visual property. An operation method may be provided, including; an operation of changing the second auditory property.
상기 적어도 하나의 제1 오브젝트에 대한 사용자 입력과 연관된 특정 모드 전환 조건의 만족 여부를 식별하는 동작; 상기 모드 전환 조건이 만족되는 경우: 상기 사용자 입력에 의해 제1 조건이 만족되는 경우: 상기 사용자 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및 상기 사용자 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작; 및 상기 사용자 입력에 의한 제2 조건이 만족되는 경우: 상기 음악 파일과 연관된 제2 시간 구간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;를 포함하는, 상기 사용자 입력이 식별되지 않는 경우: 이벤트를 식별하는 동작; 상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제 1 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제1 시각적 속성을 변경하고, 상기 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제1 청각적 속성을 변경하는 동작; 및 상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제 2 종류인 경우, 상기 제1 사운드의 제2 청각적 속성을 변경하고, 상기 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제2 시각적 속성을 변경하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.identifying whether a specific mode conversion condition associated with a user input for the at least one first object is satisfied; When the mode switching condition is satisfied: When the first condition is satisfied by the user input: When the user input is the first input, displaying a second screen to which a first visual effect is applied and having a second frequency spectrum outputting a second sound; and when the user input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied. and when a second condition by the user input is satisfied: outputting a second sound having a second frequency spectrum corresponding to a second time interval associated with the music file; If not: the action identifying the event; When the type of the identified event is the first type for controlling a screen, a first visual property of the at least one first object is changed, and a first hearing of the first sound is performed based on the change in the visual property. Actions that change enemy attributes; and when the type of the identified event is the second type for controlling sound, change a second auditory property of the first sound, and a second visual property of the first object based on the change in the auditory property. An operation method including an operation of changing a property may be provided.
다양한 실시예들에 따른, 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.According to various embodiments, the solution to the problem is not limited to the above-described solution, and solutions not mentioned can be provided to those skilled in the art from this specification and the accompanying drawings. will be clearly understood.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 사용자에게 한정된 시공간 내에서 자연스러운 음악적 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.According to various embodiments, a realistic audio source reproducing method for inducing a natural musical change to a user within a limited time and space based on an interaction with the user and allowing the free musical change to give a sense of liveliness may be provided.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 제공하기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.According to various embodiments, a selective change to an audio source is provided based on a user interaction to create a leading musical experience for the user, but a non-selective change to the audio source is provided to provide various musical experiences to the user. A realistic audio source reproduction method may be provided.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.According to various embodiments, based on the interaction with the user, the possibility of continuous change to the audio source is given to the user to create a leading musical experience for the user, but the possibility of arbitrary change to the audio source is given to create various musical experiences to the user. A realistic audio source reproduction method for giving may be provided.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 적어도 하나의 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법이 제공될 수 있다.According to various embodiments, an audio source reproducing method for non-linearly reproducing at least one audio source set based on a user interaction may be provided.
본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.
도 1은, 다양한 실시예들에 따른 인터랙티브 음악 감상 시스템의 일 예를 설명하기 위한 도면이다.1 is a diagram for explaining an example of an interactive music listening system according to various embodiments.
도 2a는, 다양한 실시예들에 따른 전자 장치의 구성의 일 예를 설명하기 위한 도면이다.2A is a diagram for explaining an example of a configuration of an electronic device according to various embodiments.
도 2b는, 다양한 실시예들에 따른 어플리케이션의 실행에 따른 전자 장치의 동작의 예를 설명하기 위한 도면이다.2B is a diagram for explaining an example of an operation of an electronic device according to execution of an application according to various embodiments.
도 3은, 다양한 실시예들에 따른 오디오 소스 셋(또는 오디오 소스) 및 스테이지 별 컨텐트의 예를 설명하기 위한 도면이다.3 is a diagram for explaining an example of an audio source set (or audio source) and content for each stage according to various embodiments.
도 4는, 다양한 실시예들에 따른, 인터랙티브 음악 감상 파일의 배포의 예를 설명하기 위한 도면이다.4 is a diagram for explaining an example of distribution of an interactive music listening file according to various embodiments.
도 5는, 다양한 실시예들에 따른, 전자 장치의 동작의 일 예를 설명하기 위한 도면이다.5 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
도 6a는, 다양한 실시예들에 따른, 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.6A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 6b는, 다양한 실시예들에 따른, 전자 장치의 사용자의 입력이 수신되는 경우 컨텐트들을 제어하는 동작의 예를 설명하기 위한 도면이다.6B is a diagram for explaining an example of an operation of controlling contents when a user input of an electronic device is received, according to various embodiments.
도 7a는, 다양한 실시예들에 따른, 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.7A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 7b는, 다양한 실시예들에 따른, 전자 장치의 사용자의 입력 이외의 다른 정보가 수신되는 경우, 컨텐트들을 제어하는 동작의 예를 설명하기 위한 도면이다.7B is a diagram for explaining an example of an operation of controlling contents when information other than a user input of an electronic device is received, according to various embodiments.
도 8a는, 다양한 실시예들에 따른, 전자 장치의 동작의 일 예를 설명하기 위한 흐름도이다.8A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 8b는, 다양한 실시예들에 따른, 전자 장치의 모드 전환 동작의 예를 설명하기 위한 도면이다.8B is a diagram for explaining an example of a mode switching operation of an electronic device according to various embodiments.
도 9는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 도면이다.9 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
도 10은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.10 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 11a는, 다양한 실시예들에 따른, 전자 장치에 의해 제공되는 시각적 컨텐트의 일 예를 설명하기 위한 도면이다. 11A is a diagram for explaining an example of visual content provided by an electronic device according to various embodiments.
도 11b는, 다양한 실시예들에 따른, 전자 장치에 의해 제공되는 시각적 컨텐트의 다른 예를 설명하기 위한 도면이다. 11B is a diagram for explaining another example of visual content provided by an electronic device according to various embodiments.
도 11c는, 다양한 실시예들에 따른, 전자 장치에 의해 제공되는 시각적 컨텐트의 또 다른 예를 설명하기 위한 도면이다.11C is a diagram for explaining another example of visual content provided by an electronic device according to various embodiments.
도 12a는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.12A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 12b는, 다양한 실시예들에 따른, 전자 장치의 메인 오브젝트의 개수를 설정하는 동작의 예를 설명하기 위한 도면이다. 12B is a diagram for explaining an example of an operation of setting the number of main objects of an electronic device according to various embodiments.
도 12c는, 다양한 실시예들에 따른, 전자 장치의 메인 오브젝트의 이동에 따라서 오디오 소스의 속성을 제어하는 동작의 예를 설명하기 위한 도면이다.12C is a diagram for explaining an example of an operation of controlling a property of an audio source according to movement of a main object of an electronic device, according to various embodiments.
도 13a는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.13A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 13b는, 다양한 실시예들에 따른, 전자 장치의 신규 오브젝트를 생성하는 동작의 예를 설명하기 위한 도면이다. 13B is a diagram for explaining an example of an operation of generating a new object of an electronic device, according to various embodiments.
도 13c는, 다양한 실시예들에 따른, 전자 장치의 신규 오브젝트를 생성하는 동작의 예를 설명하기 위한 도면이다. 13C is a diagram for explaining an example of an operation of creating a new object of an electronic device, according to various embodiments.
도 14a는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.14A is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 14b는, 다양한 실시예들에 따른, 전자 장치의 사용자의 입력이 배경 화면 상에 수신되는 경우, 오브젝트의 위치를 제어하는 동작의 예를 설명하기 위한 도면이다.14B is a diagram for explaining an example of an operation of controlling a location of an object when a user's input of an electronic device is received on a background screen, according to various embodiments.
도 15는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.15 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 16은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.16 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 17은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.17 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 18은, 다양한 실시예들에 따른, 전자 장치의 메인 그래픽 오브젝트 별로 오디오 속성을 부여하는 동작의 예를 설명하기 위한 도면이다.18 is a diagram for explaining an example of an operation of assigning an audio property to each main graphic object of an electronic device according to various embodiments.
도 19는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 도면이다.19 is a diagram for explaining an example of an operation of an electronic device according to various embodiments.
도 20은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.20 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 21a는, 다양한 실시예들에 따른, 전자 장치의 시각적 컨텐트를 제공하는 동작의 일 예를 설명하기 위한 도면이다. 21A is a diagram for explaining an example of an operation of providing visual content of an electronic device according to various embodiments.
도 21b는, 다양한 실시예들에 따른, 전자 장치의 체인 인터랙션의 예를 설명하기 위한 도면이다.21B is a diagram for explaining an example of a chain interaction of electronic devices, according to various embodiments.
도 22는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.22 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 23a는, 다양한 실시예들에 따른, 전자 장치의 사용자 간의 거리에 기반하여 제어를 위한 아바타를 제공하는 동작의 일 예를 설명하기 위한 도면이다. 23A is a diagram for explaining an example of an operation of providing an avatar for control based on a distance between users of electronic devices, according to various embodiments.
도 23b는, 다양한 실시예들에 따른, 전자 장치의 사용자 간의 거리에 기반하여 제어를 위한 아바타를 제공하는 동작의 다른 예를 설명하기 위한 도면이다.23B is a diagram for explaining another example of an operation of providing an avatar for control based on a distance between users of electronic devices, according to various embodiments.
도 24는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.24 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 25는, 다양한 실시예들에 따른, 전자 장치의 화면 전환 동작의 일 예를 설명하기 위한 도면이다. 25 is a diagram for explaining an example of a screen switching operation of an electronic device according to various embodiments.
도 26은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.26 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 27은, 다양한 실시예들에 따른, 사용자의 인터랙션의 종류들의 예를 설명하기 위한 도면이다. 27 is a diagram for explaining examples of types of user interaction, according to various embodiments.
도 28은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.28 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 29는, 다양한 실시예들에 따른, 전자 장치의 식별되는 물체의 종류에 기반하여 시각적 컨텐트 및 청각적 컨텐트를 제어하는 동작의 예를 설명하기 위한 도면이다.29 is a diagram for explaining an example of an operation of controlling visual content and auditory content based on the type of an identified object of an electronic device, according to various embodiments.
도 30은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.30 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 31은, 다양한 실시예들에 따른, 전자 장치의 식별되는 물체의 종류에 기반하여 시각적 컨텐트 및 청각적 컨텐트를 제어하는 동작의 예를 설명하기 위한 도면이다.31 is a diagram for explaining an example of an operation of controlling visual content and auditory content based on the type of an identified object of an electronic device, according to various embodiments.
도 32는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.32 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 33은, 다양한 실시예들에 따른, 전자 장치의 사용자 인터랙션 모드와 사용자 논-인터랙션 모드 간의 전환 동작의 예를 설명하기 위한 도면이다.33 is a diagram for explaining an example of a switching operation between a user interaction mode and a user non-interaction mode of an electronic device, according to various embodiments.
도 34는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 도면이다.34 is a diagram for explaining an example of an operation of an electronic device, according to various embodiments.
도 35는, 다양한 실시예들에 따른, 전자 장치에 의해 제공되는 컨텐트의 예를 설명하기 위한 도면이다.35 is a diagram for explaining an example of content provided by an electronic device according to various embodiments.
도 36은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.36 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 37은, 다양한 실시예들에 따른, 전자 장치의 음악적 단위에 기반하여 식별되는 이벤트 발생 시점 및 시간 구간의 예를 설명하기 위한 도면이다. 37 is a diagram for explaining an example of an event occurrence point and a time interval identified based on a musical unit of an electronic device, according to various embodiments.
도 38a는, 다양한 실시예들에 따른, 전자 장치의 시간 구간을 가이드하기 위해 시각적 효과를 제공하는 동작의 예를 설명하기 위한 도면이다. 38A is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of an electronic device, according to various embodiments.
도 38b는, 다양한 실시예들에 따른, 전자 장치의 시간 구간을 가이드하기 위해 시각적 효과를 제공하는 동작의 예를 설명하기 위한 도면이다. 38B is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of an electronic device, according to various embodiments.
도 38c는, 다양한 실시예들에 따른, 전자 장치의 메인 캐릭터에 대한 시간 구간 별 사용자의 입력에 기반하여, 효과를 제공하는 동작의 예를 설명하기 위한 도면이다.38C is a diagram for explaining an example of an operation of providing an effect based on a user's input for each time interval for a main character of an electronic device, according to various embodiments.
도 39는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.39 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 40은, 다양한 실시예들에 따른, 전자 장치의 메인 그래픽 오브젝트의 생성 동작의 예를 설명하기 위한 도면이다. 40 is a diagram for explaining an example of a creation operation of a main graphic object of an electronic device, according to various embodiments.
도 41a는, 다양한 실시예들에 따른, 전자 장치의 모션 생성 동작의 예를 설명하기 위한 도면이다.41A is a diagram for explaining an example of a motion generation operation of an electronic device, according to various embodiments.
도 41b는, 다양한 실시예들에 따른, 전자 장치의 모션 제어 동작의 예를 설명하기 위한 도면이다.41B is a diagram for explaining an example of a motion control operation of an electronic device, according to various embodiments.
도 42는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.42 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 43은, 다양한 실시예들에 따른, 전자 장치의 청각적 컨텐트의 음악적 단위에 기초하여 모션을 제공하는 동작의 예를 설명하기 위한 도면이다.43 is a diagram for explaining an example of an operation of providing a motion based on a musical unit of auditory content of an electronic device, according to various embodiments.
도 44는, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다. 44 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
도 45는, 다양한 실시예들에 따른, 전자 장치의, 메인 캐릭터의 위치에 기반한 서브 오브젝트의 활성화의 예를 설명하기 위한 도면이다.45 is a diagram for explaining an example of activating a sub-object based on a location of a main character in an electronic device, according to various embodiments.
도 46은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.46 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 47은, 다양한 실시예들에 따른, 전자 장치의, 서브 오브젝트의 획득에 따른 오디오 소스 재생의 활성화의 예를 설명하기 위한 도면이다.47 is a diagram for explaining an example of activating audio source playback according to sub-object acquisition of an electronic device, according to various embodiments.
도 48은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.48 is a flowchart for explaining an example of an operation of an electronic device, according to various embodiments.
도 49는, 다양한 실시예들에 따른, 전자 장치의, 메인 캐릭터의 이동에 따라서 청각적 컨텐트의 재생, 그리고 청각적 컨텐트의 역재생에 따른 메인 캐릭터의 이동의 예를 설명하기 위한 도면이다.FIG. 49 is a diagram for explaining examples of reproduction of auditory content according to movement of the main character and movement of the main character according to reverse reproduction of the auditory content of an electronic device, according to various embodiments.
도 50은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.50 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 51은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.51 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 52는, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.52 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
도 53은, 다양한 실시예들에 따른, 전자 장치의 멀티 플레이 시나리오의 예를 설명하기 위한 도면이다.53 is a diagram for explaining an example of a multi-play scenario of an electronic device, according to various embodiments.
도 54는, 다양한 실시예들에 따른, 전자 장의 소스풀, 입력풀, 및 복수의 트랜스 포트들을 포함하는 플레이어(또는 어플리케이션)의 예를 설명하기 위한 도면이다.54 is a diagram for explaining an example of a player (or application) including a source pool, an input pool, and a plurality of transports of an electronic field, according to various embodiments.
도 55a는, 다양한 실시예들에 따른, 일 트랜스 포트의 동작의 예를 설명하기 위한 도면이다. 55A is a diagram for explaining an example of an operation of one transport, according to various embodiments.
도 55b는, 다양한 실시예들에 따른, 일 트랜스 포트의 동작의 예를 설명하기 위한 도면이다.55B is a diagram for explaining an example of an operation of one transport, according to various embodiments.
도 56은, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.56 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
도 57a는, 다양한 실시예들에 따른, 전자 장치의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 예를 설명하기 위한 도면이다. 57A is a diagram for explaining an example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
도 57b는, 다양한 실시예들에 따른, 전자 장치의 이벤트 트랜스포트에 기반하여 제공되는 시각적 컨텐트 상에서의 메인 캐릭터의 이동에 따른 동작의 예를 설명하기 위한 도면이다.57B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of an electronic device, according to various embodiments.
도 57c는, 다양한 실시예들에 따른, 전자 장치의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 다른 예를 설명하기 위한 도면이다.57C is a diagram for explaining another example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
도 58은, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.58 is a flowchart for explaining an example of an operation of an electronic device and a server, according to various embodiments.
도 59a는, 다양한 실시예들에 따른, 전자 장치의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 예를 설명하기 위한 도면이다. 59A is a diagram for explaining an example of a conversion operation between a basic transport and an event transport of an electronic device, according to various embodiments.
도 59b는, 다양한 실시예들에 따른, 전자 장치의 이벤트 트랜스포트에 기반하여 제공되는 시각적 컨텐트 상에서의 메인 캐릭터의 이동에 따른 동작의 예를 설명하기 위한 도면이다.59B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of an electronic device, according to various embodiments.
도 60은, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.60 is a flowchart illustrating an example of an operation of an electronic device and a server, according to various embodiments.
도 61은, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.61 is a flowchart for describing an example of an operation of an electronic device and a server, according to various embodiments.
도 62a는, 다양한 실시예들에 따른, 그래픽 데이터가 제공되는 시점과 오디오 소스가 재생되는 시점의 예를 설명하기 위한 도면이다. 62A is a diagram for explaining an example of a time point at which graphic data is provided and a time point at which an audio source is reproduced, according to various embodiments.
도 62b는, 다양한 실시예들에 따른, 활성화 구간의 예를 설명하기 위한 도면이다.62B is a diagram for explaining an example of an activation period according to various embodiments.
도 63은, 다양한 실시예들에 따른, 전자 장치 및 서버의 동작의 예를 설명하기 위한 흐름도이다.63 is a flowchart for describing an example of an operation of an electronic device and a server, according to various embodiments.
도 64는, 다양한 실시예들에 따른, 서버에 의해 교환되는 플랫폼 파일의 일 예를 설명하기 위한 도면이다. 64 is a diagram for explaining an example of a platform file exchanged by a server, according to various embodiments.
도 65a는, 다양한 실시예들에 따른, 서버에 의해 제공되는 인터페이스의 일 예를 설명하기 위한 도면이다. 65A is a diagram for explaining an example of an interface provided by a server, according to various embodiments.
도 65b는, 다양한 실시예들에 따른, 서버에 의해 획득되는 어레이 별 정보의 예를 설명하기 위한 도면이다.65B is a diagram for explaining an example of information for each array acquired by a server, according to various embodiments.
도 66은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.66 is a flowchart for describing an example of an operation of an electronic device according to various embodiments.
도 67은, 다양한 실시예들에 따른, 복수의 전자 장치들(예: 전자 장치, 외부 전자 장치) 및 서버의 동작의 예를 설명하기 위한 흐름도이다.67 is a flowchart illustrating an example of operations of a plurality of electronic devices (eg, an electronic device and an external electronic device) and a server, according to various embodiments.
도 68은, 다양한 실시예들에 따른, 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.68 is a flowchart for explaining an example of an operation of an electronic device, according to various embodiments.
도 69는, 다양한 실시예들에 따른, 플랫폼 파일의 다른 예를 설명하기 위한 도면이다. 69 is a diagram for explaining another example of a platform file according to various embodiments.
도 70a는, 다양한 실시예들에 따른, 서버에 의해 제공되는 시각적 컨텐트의 예를 설명하기 위한 도면이다. 70A is a diagram for explaining an example of visual content provided by a server, according to various embodiments.
도 70b는, 다양한 실시예들에 따른, 서버에 의해 제공되는 시각적 컨텐트의 예를 설명하기 위한 도면이다. 70B is a diagram for explaining an example of visual content provided by a server, according to various embodiments.
도 71은, 다양한 실시예들에 따른, 서버에 의해 제공되는 메신저 기능의 예를 설명하기 위한 도면이다.71 is a diagram for explaining an example of a messenger function provided by a server, according to various embodiments.
도 72는, 다양한 실시예들에 따른, 인터랙티브 음악 감상 시스템에 의해 제공 가능한, 시각적 컨텐트의 예를 설명하기 위한 도면이다.72 is a diagram for explaining an example of visual content that can be provided by an interactive music listening system according to various embodiments.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be devices of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but should be understood to include various modifications, equivalents, or substitutes of the embodiments. In connection with the description of the drawings, like reference numbers may be used for like or related elements. The singular form of a noun corresponding to an item may include one item or a plurality of items, unless the relevant context clearly dictates otherwise. In this document, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A Each of the phrases such as "at least one of , B, or C" may include any one of the items listed together in that phrase, or all possible combinations thereof. Terms such as "first", "second", or "first" or "secondary" may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited. A (eg, first) component is said to be "coupled" or "connected" to another (eg, second) component, with or without the terms "functionally" or "communicatively." When mentioned, it means that the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits. can be used as A module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리) 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치)의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of this document are software (eg, a program) including one or more instructions stored in a storage medium (eg, internal memory) or external memory readable by a machine (eg, an electronic device). )) can be implemented as For example, a processor (eg, a processor) of a device (eg, an electronic device) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. A computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smart phones. In the case of online distribution, at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is. According to various embodiments, one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. . According to various embodiments, the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.
다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작; 적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; 상기 제1 사운드를 출력하는 동안, 상기 적어도 하나의 오브젝트에 대한 사용자의 입력을 식별하는 동작; 상기 식별된 입력에 의한 제1 조건이 만족되는 경우: 상기 식별된 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및 상기 식별된 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작;을 포함하고, 상기 식별된 입력에 의한 제2 조건이 만족되는 경우: 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one object; identifying a user's input to the at least one object while outputting the first sound; When the first condition by the identified input is satisfied: When the identified input is the first input, outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied. ; and if the identified input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied. When the condition is satisfied: an operation of outputting a second sound having a second frequency spectrum corresponding to a second playback time associated with the music file; an operating method may be provided.
다양한 실시예들에 따르면, 상기 음악 파일에 기반하여 상기 복수의 오디오 소스들을 획득하는 동작;을 포함하고, 상기 복수의 오디오 소스들은 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 오디오 소스 셋, 및 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 오디오 소스 셋을 포함하는, 상기 제1 오디오 소스 셋에 기반하여, 상기 제1 주파수 스펙트럼을 갖는 사익 제1 사운드를 출력하는 동작; 및 상기 제2 오디오 소스 셋에 기반하여, 상기 제2 주파수 스펙트럼을 갖는 상기 제2 사운드를 출력하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, the operation of obtaining the plurality of audio sources based on the music file; including, wherein the plurality of audio sources is a first audio source set corresponding to a first playback time associated with the music file outputting a first sound having the first frequency spectrum based on the first set of audio sources, including a second audio source set corresponding to a second playback time associated with the music file; and outputting the second sound having the second frequency spectrum based on the second audio source set.
다양한 실시예들에 따르면, 상기 식별된 입력에 의한 제1 조건이 만족되는 경우: 특정 오디오 소스를 출력하거나, 및/또는 특정 오디오 효과를 적용함에 기반하여, 상기 제1 주파수 스펙트럼을 갖는 사익 제1 사운드를 출력하는 동작; 상기 식별된 입력에 의한 제2 조건이 만족되는 경우: 재생 중인 오디오 소스 셋을 상기 제1 오디오 소스 셋에서 상기 제2 오디오 소스 셋으로 변경함에 기반하여, 상기 제2 주파수 스펙트럼을 갖는 상기 제2 사운드를 출력하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, when the first condition by the identified input is satisfied: based on outputting a specific audio source and/or applying a specific audio effect, a first signal having the first frequency spectrum outputting sound; When the second condition by the identified input is satisfied: the second sound having the second frequency spectrum based on changing the playing audio source set from the first audio source set to the second audio source set An operation method may be provided, including; an operation of outputting .
다양한 실시예들에 따르면, 상기 식별된 입력에 의한 상기 제1 조건 또는 상기 제2 조건의 만족 여부를 판단하는 동작은: 상기 적어도 하나의 오브젝트에 대한 상기 식별된 입력의 횟수를 식별하는 동작; 상기 식별된 입력의 횟수가 기-설정된 임계 횟수와 비교하는 동작; 및 상기 비교 결과에 기반하여, 상기 식별된 입력에 의한 상기 제1 조건 또는 상기 제2 조건의 만족 여부를 판단하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, the operation of determining whether the first condition or the second condition is satisfied by the identified input may include: identifying the number of times of the identified input for the at least one object; comparing the number of times of the identified input with a preset threshold number; and determining whether the first condition or the second condition is satisfied based on the comparison result, based on the identified input.
다양한 실시예들에 따르면, 상기 식별된 입력의 횟수가 상기 기-설정된 임계 횟수 보다 작은 경우, 상기 제1 조건이 만족된 것으로 판단하는 동작; 및 상기 식별된 입력의 횟수가 상기 기-설정된 임계 횟수 보다 큰 경우, 상기 제2 조건이 만족된 것으로 판단하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, when the number of the identified inputs is less than the preset threshold number, determining that the first condition is satisfied; and determining that the second condition is satisfied when the number of the identified inputs is greater than the preset threshold number.
다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작; 적어도 하나의 제1 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일에 기반하여 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; 상기 제1 사운드를 출력하면서 상기 적어도 하나의 오브젝트에 대한 사용자 입력이 수신되지 않는 동안, 특정 종류의 이벤트를 식별하는 동작; 상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제1 종류인 경우, 상기 제1 사운드의 제1 청각적 속성을 변경하고, 상기 제1 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제1 시각적 속성을 변경하는 동작; 및 상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제2 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제2 시각적 속성을 변경하고, 상기 제2 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제2 청각적 속성을 변경하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum based on the music file while displaying a first screen including at least one first object; identifying a specific type of event while outputting the first sound and not receiving a user input for the at least one object; When the type of the identified event is the first type for controlling sound, a first auditory property of the first sound is changed, and the first auditory property of the first object is changed based on the change of the first auditory property. Actions that change visual properties; and when the type of the identified event is a second type for controlling a screen, change a second visual property of the at least one first object, and generate the sound of the first sound based on the change in the second visual property. An operation method may be provided, including; an operation of changing the second auditory property.
다양한 실시예들에 따르면, 상기 음악 파일에 기반하여 상기 복수의 오디오 소스들을 획득하는 동작;을 포함하고, 상기 복수의 오디오 소스들은 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 오디오 소스 셋, 및 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 오디오 소스 셋을 포함하고, 상기 제1 사운드를 출력하는 중에 상기 제1 재생 시간에서 상기 제2 재생 시간으로 변경되는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, the operation of obtaining the plurality of audio sources based on the music file; including, wherein the plurality of audio sources is a first audio source set corresponding to a first playback time associated with the music file , and a second audio source set corresponding to a second play time associated with the music file, and when the first play time is changed from the first play time to the second play time while outputting the first sound, the specific type An operation method may be provided, including; an operation of identifying an event of.
다양한 실시예들에 따르면, 상기 제1 사운드를 출력하는 중에, 상기 제1 사운드를 출력하는 시간과 연관된 정보를 식별하는 동작; 및 상기 시간과 연관된 정보가 특정 조건을 만족하는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는, 동작 방법이 제공될 수 있다. According to various embodiments, while outputting the first sound, identifying information related to a time of outputting the first sound; and identifying the specific type of event when the information associated with the time satisfies a specific condition.
다양한 실시예들에 따르면, 상기 제1 사운드를 출력하는 중에, 상기 적어도 하나의 오브젝트의 이동이 식별되는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.According to various embodiments, when the movement of the at least one object is identified while outputting the first sound, an operation of identifying the specific type of event; may be provided.
다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작; 적어도 하나의 제1 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; According to various embodiments, a method of operating an electronic device includes obtaining music files corresponding to a plurality of audio sources; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one first object;
상기 적어도 하나의 제1 오브젝트에 대한 사용자 입력과 연관된 특정 모드 전환 조건의 만족 여부를 식별하는 동작; 상기 모드 전환 조건이 만족되는 경우: 상기 사용자 입력에 의해 제1 조건이 만족되는 경우: 상기 사용자 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및 상기 사용자 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작; 및 상기 사용자 입력에 의한 제2 조건이 만족되는 경우: 상기 음악 파일과 연관된 제2 시간 구간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;를 포함하는, 상기 사용자 입력이 식별되지 않는 경우: 이벤트를 식별하는 동작; 상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제 1 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제1 시각적 속성을 변경하고, 상기 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제1 청각적 속성을 변경하는 동작; 및 상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제 2 종류인 경우, 상기 제1 사운드의 제2 청각적 속성을 변경하고, 상기 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제2 시각적 속성을 변경하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.identifying whether a specific mode conversion condition associated with a user input for the at least one first object is satisfied; When the mode switching condition is satisfied: When the first condition is satisfied by the user input: When the user input is the first input, displaying a second screen to which a first visual effect is applied and having a second frequency spectrum outputting a second sound; and when the user input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied. and when a second condition by the user input is satisfied: outputting a second sound having a second frequency spectrum corresponding to a second time interval associated with the music file; If not: the action identifying the event; When the type of the identified event is the first type for controlling a screen, a first visual property of the at least one first object is changed, and a first hearing of the first sound is performed based on the change in the visual property. Actions that change enemy attributes; and when the type of the identified event is the second type for controlling sound, change a second auditory property of the first sound, and a second visual property of the first object based on the change in the auditory property. An operation method including an operation of changing a property may be provided.
이하에서는 다양한 실시예들에 따른 인터랙티브(interactive) 음악 감상 시스템(1)의 일 예에 대해서 설명한다.Hereinafter, an example of an interactive music listening system 1 according to various embodiments will be described.
1. 인터랙티브 음악 감상 시스템1. Interactive music listening system
다양한 실시예들에 따르면, 인터랙티브 음악 감상 시스템(1)은, 사용자 주도(user-led) 하에 음악을 감상하기 위한 기능들(또는 서비스들)을 제공(또는 수행)하도록, 구현된 시스템으로 정의될 수 있다. 단순히 오디오 소스를 시계열적으로 재생하여 사운드를 출력하는 기능을 제공하도록 구현된 종래의 음악 감상 시스템과 비교하여, 인터랙티브 음악 감상 시스템(1)을 이용하는 사용자는 인터랙티브 음악 감상 시스템(1)에 의해 제공되는 음악을 주도적으로 재구성함으로써 다이나믹하게 음악을 감상할 수 있게 된다. 이에 따라 사용자는 인터랙티브 음악 감상 시스템(1)을 통해 단순히 수동적으로 음악을 감상하는 종래의 음악 감상 행태에서 벗어나, 보다 더 능동적으로 음악을 감상하게 될 수 있으며, 음악 감상에 대한 몰입감이 더 증대될 수 있다. 인터랙티브 음악 감상 시스템(1)에 의해 제공(또는 수행)되는 기능들의 예에 대해서는, 이하의 다양한 실시예들을 참조하여 설명한다.According to various embodiments, the interactive music listening system 1 may be defined as a system implemented to provide (or perform) functions (or services) for enjoying music under user-led. can Compared to a conventional music listening system implemented to provide a function of simply reproducing an audio source in time series and outputting sound, a user using the interactive music listening system 1 is provided by the interactive music listening system 1 By actively reconstructing the music, you can enjoy the music dynamically. Accordingly, through the interactive music listening system 1, the user can more actively enjoy music, escaping from the conventional music listening behavior of simply passively listening to music, and the sense of immersion in music appreciation can be further increased. there is. Examples of functions provided (or performed) by the interactive music enjoyment system 1 will be described with reference to various embodiments below.
도 1은, 다양한 실시예들에 따른, 인터랙티브 음악 감상 시스템(1)의 일 예를 설명하기 위한 도면이다.1 is a diagram for explaining an example of an interactive music listening system 1 according to various embodiments.
도 1을 참조하면, 다양한 실시예들에 따르면 상기 인터랙티브 음악 감상 시스템(1)은 전자 장치(110) 및/또는 서버(120)를 포함할 수 있다. Referring to FIG. 1 , according to various embodiments, the interactive music listening system 1 may include an electronic device 110 and/or a server 120 .
다양한 실시예들에 따르면, 전자 장치(110)는 소정의 컨텐트(100)를 제공하도록 구현되는 전자 장치일 수 있다. 예를 들어, 전자 장치(110)는 시각적 컨텐트(100a)(예: 그래픽 유저 인터페이스(graphic user interface, GUI))를 제공하기 위한 적어도 하나의 전자 부품(또는 하드웨어)(예: 디스플레이), 및 청각적 컨텐트(100b)(예: 음악)를 제공하기 위한 적어도 하나의 전자 부품(또는 하드웨어)(예: 스피커)을 포함하도록 구현되는 장치일 수 있다. 예를 들어, 전자 장치(110)는 스마트폰, 텔레비전(television, TV), 웨어러블 장치, HMD(head mounted display) 장치 등을 포함할 수 있으나, 기재된 예에 제한되지 않고 사용자에게 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 제공 가능한 다양한 종류의 전자 장치를 포함할 수 있다. 이때, 전자 장치(110)에 의해 제공되는 시각적 컨텐트(100a)와 청각적 컨텐트(100b)는 소정의 시간 정보(100c)(예: 특정 스테이지 진입 후의 시간)와 연관된 형태로 제공될 수 있는데, 시간 정보(100c)의 예에 대해서는 더 구체적으로 후술한다.According to various embodiments, the electronic device 110 may be an electronic device implemented to provide predetermined content 100 . For example, the electronic device 110 includes at least one electronic component (or hardware) (eg, a display) for providing visual content 100a (eg, a graphic user interface (GUI)), and hearing It may be a device implemented to include at least one electronic component (or hardware) (eg, a speaker) for providing the enemy content 100b (eg, music). For example, the electronic device 110 may include a smart phone, a television (TV), a wearable device, a head mounted display (HMD) device, etc., but is not limited to the described example and provides visual content 100a to the user. And it may include various types of electronic devices capable of providing the auditory content (100b). At this time, the visual content (100a) and the auditory content (100b) provided by the electronic device 110 may be provided in a form associated with predetermined time information (100c) (eg, time after entering a specific stage). An example of the information 100c will be described later in more detail.
다양한 실시예들에 따르면, 전자 장치(110)에 의해 제공되는 컨텐트(100)는 사용자에 의해 다이나믹(dynamic)하게 제어될 수 있다. 다시 말해, 전자 장치(110)는, 컨텐트(100)(예: 시각적 컨텐트(100a), 청각적 컨텐트(100b), 시간 정보(100c))의 적어도 일부의 속성이 제어되거나 및/또는 변경됨에 기반하여, 컨텐트(100)의 나머지 일부의 속성을 제어하거나 및/또는 변경할 수 있다. 예를 들어, 전자 장치(110)는, 청각적 컨텐트(100b)를 제공하는 동안 사용자로부터 수신되는 시각적 컨텐트(100a)의 적어도 일부의 속성을 제어하기 위한 입력에 기반하여, 상기 청각적 컨텐트(100b)의 적어도 일부의 속성(또는 특성)을 제어할 수 있다. 즉, 전자 장치(110)는, 사용자에게 청각적 컨텐트(100b)를 감상하는 중에 시인하고 제어할 수 있는 대상으로 기능을 수행할 수 있는 시각적 컨텐트(100a)를 제공함으로써, 사용자가 다이나믹하게 청각적 컨텐트(100b)를 제어하며 감상하도록 할 수 있다. According to various embodiments, the content 100 provided by the electronic device 110 may be dynamically controlled by a user. In other words, the electronic device 110 controls and/or changes based on at least some properties of the content 100 (eg, visual content 100a, auditory content 100b, time information 100c). Thus, the attributes of the remaining part of the content 100 may be controlled and/or changed. For example, the electronic device 110, based on an input for controlling at least some properties of the visual content 100a received from the user while providing the auditory content 100b, the auditory content 100b ) It is possible to control at least some properties (or characteristics) of. That is, the electronic device 110 provides the user with the visual content 100a capable of performing a function as an object that can be recognized and controlled while enjoying the auditory content 100b to the user, thereby providing the user with a dynamic auditory It is possible to control and enjoy the content 100b.
다양한 실시예들에 따르면, 서버(120)는 전자 장치(110)의 외부에 구현되는 다양한 종류의 외부 전자 장치일 수 있다. 상기 서버(120)는 상기 전자 장치(110)로 인터랙티브한 음악 감상 기능을 제공하도록 구현된 어플리케이션(또는 프로그램)을 제공하기 위한 배포 서버, 또는 상기 전자 장치(110)와 다른 외부 전자 장치 간의 정보(또는 데이터, 또는 파일)의 공유를 위한 플랫폼 서버 중 적어도 하나를 포함할 수 있다. According to various embodiments, the server 120 may be various types of external electronic devices implemented outside the electronic device 110 . The server 120 is a distribution server for providing an application (or program) implemented to provide an interactive music listening function to the electronic device 110, or information between the electronic device 110 and other external electronic devices ( Or data or file) may include at least one of a platform server for sharing.
한편 도시 및/또는 기재된 예에 제한되지 않고, 인터랙티브 음악 감상 시스템(1)은 더 많은 장치들을 포함하거나, 및/또는 더 적은 장치들을 포함하도록 구현될 수 있다. 예를 들어, 상기 인터랙티브 음악 감상 시스템(1)은 전자 장치(110)에 동작적으로 연결되어(또는 통신 연결되어) 외부 환경에 대한 정보(예: 이미지, 다양한 종류의 센서 정보)를 제공하도록 구현되는 외부 전자 장치를 더 포함할 수 있다. 또 예를 들어, 상기 인터랙티브 음악 감상 시스템(1)은 전자 장치(110)만을 포함할 수도 있다.Meanwhile, without being limited to the illustrated and/or described examples, the interactive music listening system 1 may be implemented to include more devices and/or fewer devices. For example, the interactive music listening system 1 is operatively connected (or communicatively connected) to the electronic device 110 to provide information (eg, images, various types of sensor information) about the external environment. An external electronic device may be further included. Also, for example, the interactive music listening system 1 may include only the electronic device 110 .
한편 특별한 언급이 없다면, 이하에서 기술되는 다양한 실시예들에 따른 전자 장치(110)의 적어도 일부 동작은 서버(120)에 의해 수행될 수도 있고, 또 다양한 실시예들에 따른 서버(120)의 적어도 일부 동작은 전자 장치(110)에 의해 수행될 수도 있는 것으로, 당업자에 의해 이해될 수 있다. 다시 말해, 전자 장치(110)에 의해 모든 동작이 수행되는 온-디바이스(on-device) 타입, 서버(120)에 의해 모든 동작이 수행되는 서버 타입, 또는 전자 장치(110)와 서버(120) 각각에 의해 동작이 수행되는 하이브리드 타입의 인터랙티브 음악 감상 시스템(1)이 구현될 수 있다.Meanwhile, unless otherwise specified, at least some operations of the electronic device 110 according to various embodiments described below may be performed by the server 120, and at least some operations of the server 120 according to various embodiments may be performed. Some operations may be performed by the electronic device 110 and may be understood by those skilled in the art. In other words, an on-device type in which all operations are performed by the electronic device 110, a server type in which all operations are performed by the server 120, or the electronic device 110 and the server 120 A hybrid type interactive music listening system 1 in which operations are performed by each may be implemented.
2. 인터랙티브 음악 감상 시스템의 구성2. Configuration of interactive music listening system
2.1 전자 장치의 구성2.1 Configuration of electronic devices
이하에서는 다양한 실시예들에 따른 전자 장치(110)의 구성의 예에 대해서 설명한다.Hereinafter, an example of a configuration of the electronic device 110 according to various embodiments will be described.
도 2a는 다양한 실시예들에 따른 전자 장치(110)의 구성의 일 예를 설명하기 위한 도면이다. 이하에서는 도 2b를 참조하여 도 2a에 대해서 더 설명한다.2A is a diagram for explaining an example of a configuration of an electronic device 110 according to various embodiments. Hereinafter, FIG. 2A will be further described with reference to FIG. 2B.
도 2b는 다양한 실시예들에 따른 어플리케이션(251)의 실행에 따른 전자 장치(110)의 동작의 예를 설명하기 위한 도면이다. 도 2b의 어플리케이션(251)의 실행에 따라서 제공되는 스테이지(200) 별 컨텐트의 예에 대해서는 도 3을 참조하여 설명한다.2B is a diagram for explaining an example of an operation of the electronic device 110 according to execution of an application 251 according to various embodiments. An example of content for each stage 200 provided according to the execution of the application 251 of FIG. 2B will be described with reference to FIG. 3 .
도 3은 다양한 실시예들에 따른 오디오 소스 셋(또는 오디오 소스) 및 스테이지(200) 별 컨텐트의 예를 설명하기 위한 도면이다.3 is a diagram for explaining an example of content for each audio source set (or audio source) and stage 200 according to various embodiments.
도 2a를 참조하면, 전자 장치(110)는 프로세서(210), 통신 회로(220), 출력 장치(230), 입력 장치(240), 및 메모리(250)를 포함할 수 있다. 도 2a에 도시된 및/또는 기재된 바에 제한되지 않고, 전자 장치(110)는 더 많은 구성들을 포함하거나, 또는 더 적은 구성들을 포함하도록 구현될 수도 있다. 한편, 전술한 바와 같이 전자 장치(110)의 구성들의 적어도 일부가 다른 외부 전자 장치(예: 서버(120))에 구현됨으로써, 이하에서 기술되는 다양한 실시예들에 따른 동작들 중 적어도 일부가 외부 전자 장치에 의해 수행될 수 있음은 당업자에게 자명하다. Referring to FIG. 2A , the electronic device 110 may include a processor 210, a communication circuit 220, an output device 230, an input device 240, and a memory 250. Without being limited to what is shown and/or described in FIG. 2A , the electronic device 110 may be implemented to include more components or fewer components. Meanwhile, as described above, at least some of the components of the electronic device 110 are implemented in another external electronic device (eg, the server 120), so that at least some of the operations according to the various embodiments described below are implemented in an external electronic device. It is obvious to those skilled in the art that it can be performed by an electronic device.
다양한 실시예들에 따르면, 프로세서(210)는 적어도 일부가 서로 다른 기능을 제공하도록 구현되는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(210)에 연결된 전자 장치(110)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(210)는 다른 구성요소(예: 통신 회로(220), 출력 장치(230), 입력 장치(240))로부터 수신된 명령 또는 데이터를 메모리(250)(예: 휘발성 메모리)에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시예에 따르면, 프로세서(210)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(110)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치(110)의 구성요소들 중 적어도 하나의 구성요소(예: 통신 회로(220), 출력 장치(230), 입력 장치(240))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 통신 회로(220), 출력 장치(230), 입력 장치(240))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(110) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(120))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-아니오etworks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. According to various embodiments, the processor 210 may include at least one processor, at least some of which are implemented to provide different functions. For example, at least one other component (eg, hardware or software component) of the electronic device 110 connected to the processor 210 may be controlled by executing software (eg, a program), and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or operation, the processor 210 receives instructions or data from other components (eg, communication circuit 220, output device 230, input device 240). may be stored in the memory 250 (eg, volatile memory), commands or data stored in the volatile memory may be processed, and resultant data may be stored in a non-volatile memory. According to an embodiment, the processor 210 may include a main processor (eg, a central processing unit or an application processor) or a secondary processor (eg, a graphic processing unit, a neural processing unit (NPU)) that may operate independently or together therewith. , image signal processor, sensor hub processor, or communication processor). For example, when the electronic device 110 includes a main processor and an auxiliary processor, the auxiliary processor may use less power than the main processor or may be set to be specialized for a designated function. A secondary processor may be implemented separately from, or as part of, the main processor. A secondary processor is an electronic device, for example, on behalf of the main processor while the main processor is in an inactive (eg sleep) state, or together with the main processor while the main processor is in an active (eg application execution) state. At least some of functions or states related to at least one of the components of 110 (eg, the communication circuit 220, the output device 230, and the input device 240) may be controlled. According to one embodiment, the co-processor (eg image signal processor or communication processor) is part of other functionally related components (eg communication circuit 220, output device 230, input device 240). can be implemented According to an embodiment, an auxiliary processor (eg, a neural network processing device) may include a hardware structure specialized for processing an artificial intelligence model. AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 110 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 120). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited. The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples. The artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
다양한 실시예들에 따르면, 통신 회로(220)는 전자 장치(110)와 외부 전자 장치(예: 도 1의 서버(120)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 회로(220)은 프로세서(210)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 회로(220)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(예: 서버(140))와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크 또는 제2 네트워크와 같은 통신 네트워크 내에서 전자 장치(110)를 확인 또는 인증할 수 있다. 무선 통신 모듈은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈은 전자 장치(110), 외부 전자 장치(예: 서버(120)) 또는 네트워크 시스템에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.According to various embodiments, the communication circuit 220 establishes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 110 and an external electronic device (eg, the server 120 of FIG. 1), and Communication through an established communication channel may be supported. The communication circuit 220 may include one or more communication processors that operate independently of the processor 210 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication circuit 220 may be a wireless communication module (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (eg, a local area network (LAN)). ) communication module, or power line communication module). Among these communication modules, a corresponding communication module is a first network (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (eg, a legacy cellular network, a 5G network, It is possible to communicate with an external electronic device (eg, server 140) through a next-generation communication network, the Internet, or a long-distance communication network such as a computer network (eg, LAN or WAN). These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips). The wireless communication module may identify or authenticate the electronic device 110 within a communication network such as the first network or the second network using subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module. . The wireless communication module may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology). NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)). -latency communications)) can be supported. The wireless communication module may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module uses various technologies for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiple-output (FD). Technologies such as full dimensional MIMO (MIMO), array antenna, analog beam-forming, or large scale antenna may be supported. The wireless communication module may support various requirements regulated by the electronic device 110, an external electronic device (eg, the server 120), or a network system. According to one embodiment, the wireless communication module may be used to realize peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (eg, down) for realizing URLLC. link (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
다양한 실시예들에 따르면 출력 장치(230)는 시각적 컨텐트(100a), 및/또는 청각적 컨텐트(100b)를 전자 장치(110)의 외부로 제공하도록 구현되는 전자 부품(또는 하드웨어)을 포함할 수 있다. 예를 들어, 출력 장치(230)는 디스플레이(231), 스피커(233), 햅틱 장치(235)와 같은 촉감을 제공하도록 구현되는 전자 부품을 포함할 수 있으나, 기재된 예에 제한되지 않고 다양한 종류의 전자 부품을 더 포함할 수 있다. 출력 장치(230)의 예로서 기재된 전자 부품들은 당업자에게 자명하므로, 더 구체적인 설명은 생략한다.According to various embodiments, the output device 230 may include electronic components (or hardware) implemented to provide the visual content 100a and/or the auditory content 100b to the outside of the electronic device 110. there is. For example, the output device 230 may include electronic components implemented to provide a tactile sensation, such as a display 231, a speaker 233, and a haptic device 235, but is not limited to the described examples and various types of Electronic components may be further included. Since electronic components described as examples of the output device 230 are obvious to those skilled in the art, a detailed description thereof will be omitted.
다양한 실시예들에 따르면 입력 장치(240)는 전자 장치(110)의 외부로부터 정보를 획득하도록 구현되는 전자 부품(또는 하드웨어)을 포함할 수 있다. 예를 들어, 입력 장치(240)는 카메라(241), 마이크(243), 및 센서(245)를 포함할 수 있으나, 기재된 예에 제한되지 않고 다양한 종류의 전자 부품을 더 포함할 수 있다. 입력 장치(240)의 예로서 기재된 전자 부품들은 당업자에게 자명하므로, 더 구체적인 설명은 생략한다.According to various embodiments, the input device 240 may include an electronic component (or hardware) implemented to acquire information from the outside of the electronic device 110 . For example, the input device 240 may include a camera 241, a microphone 243, and a sensor 245, but is not limited to the described example and may further include various types of electronic components. Since electronic components described as examples of the input device 240 are obvious to those skilled in the art, detailed descriptions thereof are omitted.
다양한 실시예들에 따르면 메모리(250)는 어플리케이션(251), 및 데이터베이스(253)를 저장하도록 구현될 수 있다. 상기 어플리케이션(251)(또는 프로그램)은 인터랙티브한 음악 감상을 위해 기능을 제공하도록 구현될 수 있다. 상기 데이터베이스(253)는 상기 어플리케이션(251)의 실행에 의해 시각적 컨텐트(100a) 및/또는 청각적 컨텐트(100b)를 제공하기 위한 다양한 종류의 파일들(예: 그래픽 엘리먼트 셋(set)(211a)(또는 그래픽 엘리먼트), 오디오 소스 셋(231a)(또는 오디오 소스), 데이터베이스(253)(또는 룰 정보(260)))을 포함할 수 있다. 상기 데이터베이스(253)(또는 룰 정보(260))는 어플리케이션(251)과 별도로 구현되는 것으로 도시되었으나, 도시된 예에 제한되지 않고 적어도 일부가 어플리케이션(251) 내에 구현될 수 있다. 상기 시각적 컨텐트(100a)와 상기 청각적 컨텐트(100b)의 제공의 기반이 된다는 점에서, 상기 데이터베이스(253)는 소스 풀(source pool)로 정의될 수도 있다. 상기 어플리케이션(251)(또는 프로그램) 및/또는 상기 데이터베이스(253)는 서버(120)(예: 배포 서버)로부터 전자 장치(110)로 수신(또는 다운로드)될 수 있으나, 기재된 예에 제한되지 않고 전자 장치(110)에 미리 저장되어 있을 수도 있다. According to various embodiments, the memory 250 may be implemented to store the application 251 and the database 253 . The application 251 (or program) may be implemented to provide functions for interactive music enjoyment. The database 253 includes various types of files (eg, graphic element set 211a) for providing visual content 100a and/or auditory content 100b by execution of the application 251. (or graphic element), an audio source set 231a (or audio source), and a database 253 (or rule information 260). Although the database 253 (or rule information 260) is shown to be implemented separately from the application 251, at least a part of it may be implemented within the application 251 without being limited to the illustrated example. In that it is a basis for providing the visual content (100a) and the auditory content (100b), the database 253 may be defined as a source pool (source pool). The application 251 (or program) and/or the database 253 may be received (or downloaded) from the server 120 (eg, a distribution server) to the electronic device 110, but is not limited to the described example. It may be previously stored in the electronic device 110 .
다양한 실시예들에 따르면, 상기 어플리케이션(251)은 어플리케이션 뿐만 아니라, 파일(예: 음악 파일)뿐만 아니라, 프로그램, 및/또는 컴퓨터 코드(computer code)와 같이 전자 장치에 의해 실행 가능하며 저장 가능한 형태로 구현될 수 있다.According to various embodiments, the application 251 is not only an application, but also a file (eg, a music file), as well as a program and/or computer code, which can be executed by an electronic device and can be stored in a storable form. can be implemented as
다양한 실시예들에 따르면, 상기 어플리케이션(251)이 실행되는 경우, 프로세서(210)는 시각적 컨텐트(100a) 및/또는 청각적 컨텐트(100b)를 소정의 시간 정보(100c)(예: 스테이지(200a, 쪋, 200n), 및/또는 타임라인(dt))에 따라서 제공하도록 전자 부품들(또는 하드웨어들)(예: 출력 장치(230))을 제어하는 동작을 수행할 수 있다. 이하의 전자 장치(110)(예: 프로세서(210))의 동작들은 어플리케이션(251)의 실행에 기반하여 수행되는 동작들로 이해될 수 있다. According to various embodiments, when the application 251 is executed, the processor 210 converts the visual content 100a and/or the auditory content 100b to predetermined time information 100c (eg, stage 200a). , ?, 200n), and/or an operation of controlling electronic components (or hardware) (eg, the output device 230) to provide data according to the timeline dt). The following operations of the electronic device 110 (eg, the processor 210) may be understood as operations performed based on the execution of the application 251.
도 2b를 참조하면, 전자 장치(110)는 어플리케이션(251)의 실행에 기반하여 데이터베이스(253)로부터 그래픽 정보/오디오 정보를 획득함에 기반하여, 시각적 컨텐트(100a)를 출력 장치(230)(예: 디스플레이(231))를 통해 출력(또는 표시)하거나, 및/또는 청각적 컨텐트(100b)를 출력 장치(230)(예: 스피커(233))를 통해 출력할 수 있다. Referring to FIG. 2B, the electronic device 110 obtains graphic information/audio information from the database 253 based on the execution of the application 251, and outputs the visual content 100a to the output device 230 (eg : Output (or display) through the display 231), and/or the auditory content 100b may be output through the output device 230 (eg, the speaker 233).
예를 들어, 상기 시각적 컨텐트(100a)는 그래픽 엘리먼트 셋(211a)을 포함할 수 있다. 상기 그래픽 엘리먼트 셋(211a)은 복수의 그래픽 엘리먼트들을 포함할 수 있다. 상기 그래픽 엘리먼트는 디스플레이(231) 상에 표시 가능한 그래픽 오브젝트, 이미지, 및 텍스트를 의미할 수 있으며, 기재된 예에 제한되지 않고 디스플레이(231) 상에 표시 가능한 전자적인 정보(예: 시각적 효과(비쥬얼 이펙트)를 더 포함할 수 있다. 또, 상기 시각적 컨텐트(100a)는 후술되는 소스 풀(5420)의 비쥬얼 셋에 대응하는 개념일 수 있다. For example, the visual content 100a may include a graphic element set 211a. The graphic element set 211a may include a plurality of graphic elements. The graphic elements may mean graphic objects, images, and texts that can be displayed on the display 231, and are not limited to the examples described above, and electronic information (eg, visual effects) that can be displayed on the display 231 ) In addition, the visual content 100a may be a concept corresponding to a visual set of the source pool 5420 to be described later.
또 예를 들어, 상기 청각적 컨텐트(100b)는 오디오 소스 셋(231a)을 포함할 수 있다. 도 3을 참조하면, 상기 오디오 소스 셋(231a)은 복수의 오디오 소스들을 포함할 수 있다. 또, 상기 청각적 컨텐트(100b)는 후술되는 소스 풀(5420)의 오디오 셋에 대응하는 개념일 수 있다.Also, for example, the auditory content 100b may include an audio source set 231a. Referring to FIG. 3 , the audio source set 231a may include a plurality of audio sources. In addition, the auditory content 100b may be a concept corresponding to an audio set of a source pool 5420 to be described later.
다양한 실시예들에 따르면, 어플리케이션(251)는 복수의 스테이지들(301a, 301n) 별로 오디오 소스 셋(231a), 그래픽 엘리먼트 셋(211a), 및 룰 정보(260)을 포함할 수 있다. 상기 복수의 스테이지들(301a, 301n) 별로 포함된 오디오 소스 셋(231a), 그래픽 엘리먼트 셋(211a), 또는 룰 정보(260) 중 적어도 하나는 서로 다를 수 있다. 이에 따라 예를 들어, 어플리케이션(251)이 실행되는 경우, 전술한 바와 같이 복수의 스테이지들(301a, 301n) 별로 서로 다른 오디오 소스 셋(231a)에 기반하여 음악의 서로 다른 부분(예: 벌스(verse) 등과 같음 음악 구성)에 대응하는 청각적 컨텐트(100b)가 제공될 수 있다. 또 예를 들어, 어플리케이션(251)이 실행되는 경우, 서로 다른 그래픽 엘리먼트 셋(211a)을 포함하는 시각적 컨텐트(100a)가 표시될 수 있다. 또 예를 들어, 어플리케이션(251)이 실행되는 경우, 복수의 스테이지들(301a, 301n) 별로 서로 다른 룰 정보(260)에 기반하여, 복수의 스테이지들(301a, 301n) 별로 동일한 사용자 인터랙션이 입력되는 경우 서로 다른 제어 동작이 수행될 수 있으며, 또는 복수의 스테이지들(301a, 301n) 별로 서로 다른 사용자 인터랙션이 입력되는 경우 서로 대응하는 제어 동작이 수행될 수도 있다.According to various embodiments, the application 251 may include an audio source set 231a, a graphic element set 211a, and rule information 260 for each of the plurality of stages 301a and 301n. At least one of the audio source set 231a, the graphic element set 211a, and the rule information 260 included in each of the plurality of stages 301a and 301n may be different from each other. Accordingly, for example, when the application 251 is executed, as described above, different parts of music (e.g., verses ( The auditory content 100b corresponding to the music composition) may be provided. Also, for example, when the application 251 is executed, visual content 100a including different graphic element sets 211a may be displayed. Also, for example, when the application 251 is executed, the same user interaction is input for each of the plurality of stages 301a and 301n based on different rule information 260 for each of the plurality of stages 301a and 301n. In this case, different control operations may be performed, or when different user interactions are input for each of the plurality of stages 301a and 301n, control operations corresponding to each other may be performed.
다양한 실시예들에 따르면, 상기 복수의 스테이지들(300a, 300b)은 음원 파일(300)의 서로 다른 부분에 대응할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 복수의 오디오 소스 셋들(300a, 300b, 300c) 각각은 음원 파일(300)의 서로 다른 부분으로부터 획득될 수 있다. 이때, 복수의 스테이지들(301a, 301n) 각각은 서로 다른 오디오 소스 셋들(301a, 301n)을 제공(또는 포함)하도록 구현될 수 있다. 이에 따라, 전자 장치(110)는 상기 복수의 스테이지들(301a, 301n) 별로 음원 파일(300)의 서로 다른 부분을 제공할 수 있게 될 수 있다. 다시 말해, 복수의 스테이지들(300a, 300b)은 음원 파일(300)의 특정 시간에 대응하는 의미에서, 타임 라인(dt)으로 이해될 수 있다. 상기 복수의 스테이지들(300a, 300b) 간의 전환은 사용자의 입력과 연관된 조건이 만족되는 경우, 수행될 수 있는데, 이에 대해서는 각각의 실시예를 참조하여 후술한다.According to various embodiments, the plurality of stages 300a and 300b may correspond to different parts of the sound source file 300 . For example, as shown in FIG. 3 , each of the plurality of audio source sets 300a, 300b, and 300c may be obtained from different parts of the sound source file 300. In this case, each of the plurality of stages 301a and 301n may be implemented to provide (or include) different audio source sets 301a and 301n. Accordingly, the electronic device 110 can provide different parts of the sound source file 300 for each of the plurality of stages 301a and 301n. In other words, the plurality of stages 300a and 300b may be understood as a timeline dt in a sense corresponding to a specific time of the sound source file 300 . Switching between the plurality of stages 300a and 300b may be performed when a condition associated with a user's input is satisfied, which will be described later with reference to each embodiment.
다양한 실시예들에 따르면, 특정 스테이지에 진입된 상태에서, 유지되는 시간(dt1, dt2)이 타임라인으로 이해될 수도 있다. 전자 장치(110)는 상기 유지되는 시간(dt1, dt2)에 대응하는 룰 정보(260)를 저장하고, 저장된 룰 정보(260)에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 변형하여 제공할 수 있다.According to various embodiments, the maintained times dt1 and dt2 in a state of entering a specific stage may be understood as a timeline. The electronic device 110 stores rule information 260 corresponding to the maintained times dt1 and dt2, and modifies the visual content 100a and the auditory content 100b based on the stored rule information 260. can be provided.
이하에서는, 다양한 실시예들에 따른, 그래픽 엘리먼트 셋(201a), 오디오 소스 셋(203a), 및 룰 정보(260)의 예에 대해서 설명한다.Hereinafter, examples of the graphic element set 201a, the audio source set 203a, and the rule information 260 according to various embodiments will be described.
2.2 오디오 소스 셋의 생성 예2.2 Example of creating audio source set
이하에서는, 다양한 실시예들에 따른 오디오 소스 셋(231a) 및 오디오 소스 셋(231a)에 포함되는 복수의 오디오 소스들의 예에 대해서 설명한다.Hereinafter, examples of the audio source set 231a and a plurality of audio sources included in the audio source set 231a according to various embodiments will be described.
도 3은 다양한 실시예들에 따른, 오디오 소스의 예를 설명하기 위한 도면이다.3 is a diagram for explaining an example of an audio source according to various embodiments.
다양한 실시예들에 따르면, 오디오 소스(audio source)(또는, 사운드 소스(sound source))는 사운드를 발생시키는 전자적 데이터(또는 파일, 또는 정보)를 의미할 수 있다. 즉, 상기 오디오 소스의 재생에 따라 특정 종류의 사운드가 출력될 수 있다. 예를 들어, 오디오 소스는 턴테이블을 이용하여 사운드를 출력할 수 있도록 저장된 음반, 컴퓨팅 장치와 이와 연결된 스피커를 이용하여 사운드를 출력할 수 있도록 저장된 CD 음반, 사운드 웨이브(sound wave)형식으로 저장되거나 생성된 오디오 데이터, 아날로그 신호(analog-signal) 형식으로 저장되거나 생성된 오디오 데이터, 디지털 신호(digital-signal) 형식으로 저장되거나 생성된 오디오 데이터 등에 대응될 수 있으나, 이에 한정되지 않는다. 또 예를 들어, 오디오 소스는 MP3, FLAC 등처럼 오디오 압축 기술(audio compression techniques)이 적용된 데이터 형식으로 저장된 오디오 데이터에 대응될 수 있으나, 이에 한정되지 않는다.According to various embodiments, an audio source (or sound source) may mean electronic data (or file, or information) generating sound. That is, a specific type of sound may be output according to the reproduction of the audio source. For example, the audio source is stored or generated in the form of a CD record stored so that sound can be output using a turntable, a CD record stored so that sound can be output using a computing device and a speaker connected thereto, and a sound wave. may correspond to recorded audio data, audio data stored or generated in an analog-signal format, audio data stored or generated in a digital-signal format, and the like, but is not limited thereto. Also, for example, the audio source may correspond to audio data stored in a data format to which audio compression techniques are applied, such as MP3 or FLAC, but is not limited thereto.
다양한 실시예들에 따르면, 오디오 소스는 적어도 1개 이상의 사운드 데이터를 포함할 수 있다. According to various embodiments, an audio source may include at least one or more sound data.
일 실시예에서, 오디오 소스는 어플리케이션(251)이 실행되는 경우 재생되는 적어도 1 개 이상의 제1 사운드 데이터를 포함할 수 있다. 상기 오디오 소스가 복수 개인 경우에는, 복수의 오디오 소스들을 포함한다는 의미에서 "오디오 소스 셋"로 명명될 수 있다. 이하에서는 설명의 편의를 위하여, 오디오 소스로 기재하며, 상기 오디오 소스는 하나의 오디오 소스를 포함하는 개념 뿐만 아니라, 복수의 오디오 소스들을 포함하는 오디오 소스 셋 개념으로 이해될 수 있다. 상기 적어도 1개 이상의 제1 사운드 데이터는 사용자의 인터랙션과는 무관하게 재생되는 사운드 데이터일 수 있다. 예를 들어, 상기 오디오 소스는 서로 대응하는(또는 유사한) 시간 길이(또는 재생 길이)를 갖는 적어도 1 개 이상의 특정 스템(stem) 파일(또는 스템)을 포함할 수 있다. 상기 스템은 보컬, 악기(예: 기타, 드럼, 피아노, 심벌(cymbal), 플럭(pluck), 턴-테이블, 킥), 신스, 등과 같이 곡을 구성하는 시계열적인 음원들을 포함할 수 있다. 이에 따라, 어플리케이션(251)이 실행되는 경우 동일한 재생 시간 동안 각각의 스템 파일에 기반한 사운드가 출력됨에 따라, 혼합 사운드가 제공될 수 있다.In one embodiment, the audio source may include at least one piece of first sound data that is reproduced when the application 251 is executed. When there are a plurality of audio sources, it may be named an “audio source set” in the sense of including a plurality of audio sources. Hereinafter, for convenience of description, it is described as an audio source, and the audio source can be understood as a concept including a single audio source as well as a concept of an audio source set including a plurality of audio sources. The at least one piece of first sound data may be sound data that is reproduced regardless of a user's interaction. For example, the audio source may include at least one or more specific stem files (or stems) having corresponding (or similar) time lengths (or reproduction lengths). The stem may include time-sequential sound sources constituting a song, such as vocals, musical instruments (eg, guitars, drums, pianos, cymbals, plucks, turn-tables, kicks), synths, and the like. Accordingly, when the application 251 is executed, mixed sounds may be provided as sounds based on each stem file are output during the same playing time.
또 일 실시예에서, 오디오 소스는 사용자 인터랙션에 기반하여 출력 되도록 설정되는 적어도 1 개 이상의 제2 사운드 데이터를 포함할 수 있다. 상기 적어도 1 개 이상의 제2 사운드 데이터의 재생 길이는 전술한 스템 파일의 재생 길이 보다 짧을 수 있다. 상기 적어도 1개 이상의 제2 사운드 데이터는 특정 종류의 사운드(예: 효과음, 특정 단어(예: "what")의 목소리, 특정 악기(예: 피아노, 드럼, 심벌 등)에 대응하는 사운드)를 출력하도록 구현된 데이터일 수 있다. 상기 제2 사운드 데이터는 오디오 소스와는 별도로 구현되는 사운드 데이터일 수도 있다.In another embodiment, the audio source may include at least one second sound data set to be output based on user interaction. A reproduction length of the at least one piece of second sound data may be shorter than that of the aforementioned stem file. The at least one second sound data outputs a specific type of sound (eg, sound effect, voice of a specific word (eg, "what"), sound corresponding to a specific instrument (eg, piano, drum, symbol, etc.)) It may be data implemented to The second sound data may be sound data implemented separately from an audio source.
다양한 실시예들에 따르면, 오디오 소스에 기반하여 다양한 종류의 음악적 단위들이 설정(또는 식별)될 수 있다. 예를 들어, 음악적 단위(musical meter)는 음악을 구분하여 설명하기 위한 단위를 의미할 수 있으며, 비트(beat), 마디(bar), 동기(Motive), 작은 악절(Phrase), 큰악절(Period) 등을 포함할 수 있다. 상기, 비트(beat)는 시간의 기본적 단위로 기준 박자의 한 박자를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 비트(beat)로 이해될 수 있다. 상기, 마디(bar)는 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 의미할 수 있으며, 악보에서 세로줄로 구분되는 악곡의 최소 단위를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 마디(bar)로 이해될 수 있다. 즉, 서로 다른 오디오 소스는 서로 다른 음악적 단위를 가질 수 있다.According to various embodiments, various types of musical units may be set (or identified) based on an audio source. For example, a musical meter may refer to a unit for classifying and describing music, and includes beat, bar, motive, small phrase, and period. etc. may be included. The beat is a basic unit of time and may mean one beat of a reference beat, and may be understood as a beat that a person skilled in the art can understand. The bar may mean a musical unit including the reference number of beats of an audio source, and may mean a minimum unit of a piece of music divided into vertical lines in a sheet music, and a bar that can be understood by a person skilled in the art. can be understood as That is, different audio sources may have different musical units.
이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.At this time, the at least one musical instrument may include a piano, guitar, drum, bass, etc., but is not limited thereto, and may include both machines and instruments for generating sound.
또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스가 합주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼 베이스의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.In addition, at this time, the recording data may be recorded data recorded by piano, guitar, drum, and bass in concert, and recorded data in which the performance of piano, guitar, and drum bass is recorded and re-outputted through an output device such as a speaker. It may be, but is not limited thereto.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 소스 분리(Source separation) 기법이 이용될 수 있다. Also, according to an embodiment, a source separation technique may be used to obtain an audio source.
예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 소스 분리 모델을 이용하여 각각의 악기에 대응되는 오디오 소스들로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.For example, an audio source may be obtained by separating an audio source recorded through an ensemble described above into audio sources corresponding to each musical instrument using a source separation model, but is not limited thereto.
이 때, 분리된 오디오 소스들은 물리적으로 각각의 악기에 대응될 수 있으나, 이에 한정되지 않으며 의미론적으로 각각의 악기에 대응되는 것으로 보는 경우도 포함할 수 있다.In this case, the separated audio sources may physically correspond to each musical instrument, but are not limited thereto and semantically may include cases in which they are regarded as corresponding to each musical instrument.
또한, 일 실시예에 따른 상기 소스 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.Also, the source separation model according to an embodiment may be implemented using a machine learning method. For example, the source separation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
또한, 일 실시예에 따른 상기 소스 분리 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.Also, the source separation model according to an embodiment may be implemented as an artificial neural network (ANN). For example, the source separation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
또한, 일 실시예에 따른 상기 소스 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.Also, the source separation model according to an embodiment may be implemented as a deep neural network (DNN). For example, the source separation model may be implemented with a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Long Short Term Memory Network (LSTM), or Gated Recurrent Units (GRUs). may, but is not limited thereto.
또한, 상기 소스 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.Also, data input to the source separation model may be an audio source itself obtained by recording, or may be preprocessed audio source data.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 구조 분리 기법이 이용될 수 있다.Also, structure separation techniques may be used to obtain an audio source according to an embodiment.
예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 구조 분리 모델을 이용하여 적어도 둘 이상의 음악 구간으로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.For example, the audio source recorded through the above-described ensemble may be separated into at least two or more music sections using a structural separation model to obtain the audio source, but is not limited thereto.
이 때, 일 실시예에 따른 상기 구조 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.In this case, the structural separation model according to an embodiment may be implemented by a machine learning method. For example, the structural separation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
또한, 일 실시예에 따른 상기 구조 분리 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.In addition, the structure separation model according to an embodiment may be implemented as an artificial neural network (ANN). For example, the structural separation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
또한, 일 실시예에 따른 상기 구조 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.In addition, the structure separation model according to an embodiment may be implemented as a deep neural network (DNN). For example, the structural separation model may be implemented as a convolutional neural network (CNN), a recurrent neural network (RNN), a long short term memory network (LSTM), or a gated recurrent units (GRUs). may, but is not limited thereto.
또한, 상기 구조 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.Also, data input to the structural separation model may be an audio source itself obtained by recording, or may be preprocessed audio source data.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나 이상의 악기 및 보컬 각각의 연주가 녹음된 녹음 데이터가 이용될 수 있으나, 이에 한정되지 않는다.Also, in order to obtain an audio source according to an embodiment, recording data in which performances of at least one musical instrument and vocal are recorded may be used, but is not limited thereto.
이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.At this time, the at least one musical instrument may include a piano, guitar, drum, bass, etc., but is not limited thereto, and may include both machines and instruments for generating sound.
또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스 각각이 연주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼, 베이스 각각의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.In addition, at this time, the recording data may be recorded data recorded by playing the piano, guitar, drums, and bass, respectively, and the sound re-outputted through an output device such as a speaker after each performance of the piano, guitar, drums, and bass is recorded. recorded data, but is not limited thereto.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나의 오디오 소스를 생성할 수 있다.Also, according to an embodiment, at least one audio source may be generated to obtain an audio source.
예를 들어, 일 실시예에 따라 오디오 소스를 획득하기 위해 사운드 타입, 멜로디, 장르, 보컬 등을 기초로 적어도 하나의 오디오 소스를 생성할 수 있으나, 이에 한정되지 않는다.For example, at least one audio source may be generated based on a sound type, melody, genre, vocal, etc. to obtain an audio source according to an embodiment, but is not limited thereto.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 오디오 소스 생성 모델이 이용될 수 있다.Also, according to an embodiment, an audio source generation model may be used to obtain an audio source.
이 때, 일 실시예에 따른 상기 오디오 소스 생성 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.In this case, the audio source generation model according to an embodiment may be implemented using a machine learning method. For example, the sound generation model may be a model implemented through supervised learning, but is not limited thereto, and may be a model implemented through unsupervised learning, semi-supervised learning, reinforcement learning, and the like.
또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.In addition, the audio source generation model according to an embodiment may be implemented as an artificial neural network (ANN). For example, the sound generation model may be implemented as a feedforward neural network, a radial basis function network, or a kohonen self-organizing network, but is not limited thereto.
또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.Also, the audio source generation model according to an embodiment may be implemented as a deep neural network (DNN). For example, the sound generation model may be implemented with a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Long Short Term Memory Network (LSTM), or Gated Recurrent Units (GRUs). may, but is not limited thereto.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 획득된 오디오 소스에 오디오 소스 생성 모델을 적용할 수 있다.Also, in order to obtain an audio source according to an embodiment, an audio source generation model may be applied to the obtained audio source.
예를 들어, 한국어로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 영어로 번역된 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.For example, an audio source translated into English may be obtained by applying an audio source generation model to an audio source recorded in Korean, but is not limited thereto.
또한, 예를 들어, 남성의 목소리로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 여성의 목소리로 판단될 수 있는 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.Also, for example, an audio source that can be determined as a female voice may be obtained by applying an audio source generation model to an audio source recorded as a male voice, but is not limited thereto.
다만, 상술한 예시들은 오디오 소스를 획득하기 위한 간단한 예시들일 뿐, 발명의 실시예들은 이에 한정되지 않으며, 다양한 방법으로 오디오 소스를 획득하는 예시들을 포함할 수 있다.However, the above-described examples are only simple examples for acquiring an audio source, and embodiments of the present invention are not limited thereto, and may include examples of acquiring an audio source in various ways.
2.2.1 오디오 소스의 속성2.2.1 Properties of Audio Source
다양한 실시예들에 따르면, 오디오 소스는 제어(또는 조절, 또는 변경) 가능한 다양한 종류의 속성을 가질 수 있다.(또는 포함할 수 있다.) 예를 들어, 상기 오디오 소스의 속성은 출력 여부, 음 높이, 종류, 크기, 재생 속도와 같이 청각적인 속성을 포함할 수 있으며, 기재된 예에 제한되지 않고 다양한 종류의 청각과 관련된 속성들을 더 포함할 수 있다. 예를 들어, 출력 여부는 오디오 소스에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 출력 여부를 나타낼 수 있다. 또 예를 들어, 상기 음 높이는 오디오 소스에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 음 높이를 나타내고, 크기는 사운드 데이터의 크기를 나타내고, 재생 속도는 사운드 데이터의 재생 속도를 나타낼 수 있다. 또 예를 들어, 상기 종류는 오디오 소스에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 종류(예: 목소리, 기계음)를 나타낼 수 있다. 상기 오디오 소스의 속성은 사용자의 인터랙션에 의해 변경될 수 있는데, 이에 대해서는 구체적으로 후술한다.According to various embodiments, an audio source may have (or include) various types of properties that can be controlled (or adjusted, or changed). It may include auditory attributes such as height, type, size, and playback speed, and may further include various types of attributes related to hearing without being limited to the described examples. For example, whether to output may indicate whether sound data included in the audio source (eg, first sound data and/or second sound data) is output. Further, for example, the pitch represents the pitch of sound data (eg, the first sound data and/or the second sound data) included in the audio source, the loudness represents the loudness of the sound data, and the reproduction speed represents the sound It can indicate the reproduction speed of data. Also, for example, the type may indicate a type (eg, voice, mechanical sound) of sound data (eg, first sound data and/or second sound data) included in the audio source. The properties of the audio source may be changed by a user's interaction, which will be described in detail later.
다양한 실시예들에 따르면, 상기 오디오 소스의 속성에 따라서, 오디오 소스에 기반하여 출력되는 사운드의 주파수 스펙트럼이 결정될 수 있다. 즉 상기 오디오 소스의 속성이 변경되는 경우, 출력되는 사운드의 주파수 스펙트럼이 변경될 수 있다. 상기 주파수 스펙트럼은 사운드의 주파수 별 세기(또는 에너지)를 의미할 수 있다.According to various embodiments, a frequency spectrum of sound output based on the audio source may be determined according to the property of the audio source. That is, when the property of the audio source is changed, the frequency spectrum of the output sound may be changed. The frequency spectrum may mean intensity (or energy) of each frequency of sound.
2.3. 그래픽 엘리먼트 셋2.3. set of graphic elements
다양한 실시예들에 따르면, 그래픽 엘리먼트 셋(201a)은 전자 장치의 디스플레이에 표시 가능한 전자적인 데이터를 의미할 수 있다. 예를 들어 뉴 디지털 싱글 파일이 실행되는 경우, 상기 그래픽 엘리먼트 셋(201a)은 실행 화면에 표시되는 그래픽 오브젝트들을 의미할 수 있다.According to various embodiments, the graphic element set 201a may mean electronic data that can be displayed on a display of an electronic device. For example, when a new digital single file is executed, the graphic element set 201a may refer to graphic objects displayed on the execution screen.
다양한 실시예들에 따르면, 그래픽 엘리먼트 셋(201a)의 속성은 사용자의 입력(예: 터치, 드래그)에 의해 변경될 수 있다. 상기 그래픽 엘리먼트 셋(201a)의 속성이 변경됨에 기반하여, 대응하는 오디오 소스의 속성이 변경될 수 있는데, 이에 대해서는 룰 정보(260)에 대한 목차에서 설명한다.According to various embodiments, the properties of the graphic element set 201a may be changed by a user's input (eg, touch or drag). Based on the property of the graphic element set 201a being changed, the property of the corresponding audio source may be changed, which will be described in the table of contents of the rule information 260.
2.3.1 그래픽 엘리먼트 셋의 종류2.3.1 Types of Graphic Element Sets
다양한 실시예들에 따르면, 도 2를 참조하면, 그래픽 엘리먼트 셋(201a)은 디스플레이(231)에 출력 가능한 그래픽 오브젝트들을 포함할 수 있다. 상기 그래픽 오브젝트들은 다양한 형상의 그래픽 오브젝트를 포함할 수 있으므로, 각각의 실시예들을 참조하여 기술한다. 또, 예를 들어, 상기 그래픽 엘리먼트 셋(201a)는 텍스트(미도시)를 포함할 수 있다. 또 예를 들어, 상기 그래픽 엘리먼트 셋(201a)은 사용자의 인터랙션에 기반하여 표시되도록 설정되는 종류의 그래픽 오브젝트(미도시)(또는 비쥬얼 이펙트)를 포함할 수 있다. According to various embodiments, referring to FIG. 2 , the graphic element set 201a may include graphic objects outputtable on the display 231 . Since the graphic objects may include graphic objects of various shapes, description will be made with reference to respective embodiments. Also, for example, the graphic element set 201a may include text (not shown). Also, for example, the graphic element set 201a may include a type of graphic object (not shown) (or visual effect) set to be displayed based on a user's interaction.
2.3.2 그래픽 엘리먼트 셋의 속성2.3.2 Attributes of Graphic Element Sets
다양한 실시예들에 따르면, 그래픽 엘리먼트 셋(201a)는 제어(또는 조절, 또는 변경) 가능한 다양한 종류의 속성을 가질 수 있다.(또는 포함할 수 있다.) 예를 들어, 상기 그래픽 엘리먼트 셋(201a)의 속성은 색상, 형상, 크기, 개수와 같은 시각적인 속성을 포함할 수 있으며, 기재된 예에 제한되지 않고 다양한 종류의 시각과 관련된 속성들을 더 포함할 수 있다. 상기 그래픽 엘리먼트 셋(201a)의 속성은 사용자의 인터랙션에 의해 변경될 수 있는데, 이에 대해서는 구체적으로 후술한다.According to various embodiments, the graphic element set 201a may have (or include) various types of properties that can be controlled (or adjusted or changed). For example, the graphic element set 201a ) may include visual properties such as color, shape, size, and number, and may further include various types of visual properties without being limited to the described examples. The properties of the graphic element set 201a may be changed by a user's interaction, which will be described in detail later.
2.4 룰 정보2.4 Rule Information
다양한 실시예들에 따르면 룰 정보(260)(또는 인터랙션 룰(interaction rule))는 사용자의 인터랙션(예: 터치 입력, 드래그 입력)에 대한 응답으로, 오디오 소스 셋(203a)의 속성, 그래픽 오브젝트의 속성, 및/또는 타임라인을 변경하기 위한 제어 동작을 수행하도록 설정된 정보를 의미할 수 있다. 예를 들어, 룰 정보(260)은, 특정 그래픽 오브젝트에 대한 사용자의 터치 입력이 획득되는 경우, 특정 제어 동작(예: 제1 오디오 이펙트를 적용)을 수행하도록 함으로써, 재생되는 오디오 소스의 속성을 변경하도록 하는 정보일 수 있으나, 이에 한정되지 않는다.According to various embodiments, the rule information 260 (or interaction rule) is a response to a user's interaction (eg, a touch input or a drag input), and attributes of the audio source set 203a and graphic objects. It may refer to information set to perform a control operation for changing properties and/or timelines. For example, the rule information 260 controls properties of an audio source to be reproduced by performing a specific control operation (eg, applying a first audio effect) when a user's touch input to a specific graphic object is obtained. It may be information to be changed, but is not limited thereto.
예를 들어, 상기 제어 동작은 오디오 소스의 속성을 제어하기 위한 동작들을 포함할 수 있다. 예를 들어, 상기 제어 동작은 오디오 소스에 오디오 이펙트를 적용하는 동작, 재생되는 오디오 소스를 치환, 변경하는 동작, 재생되는 오디오 소스와 상이한 오디오 소스를 추가하는 동작, 재생되는 오디오 소스 중 적어도 일부를 재생하지 않는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다. 상기 오디오 이펙트는 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 보컬 오디오 출력, 연주 악기 변경, 음원 멈춤, 악기 사운드 출력, 음원 소스의 성부 재구성, 비트 리피터(beat repeater), 특정 성부의 소리만 출력, 성부의 출력 레벨 조절, 에코(echo), 음원의 구간 이동, 사이키델릭 모드(Psychedelic mode), 패닝 조절, 플랜저 코러스, 잔향 효과(리버브), 딜레이 등을 포함할 수 있으나, 이에 한정되지 않는다.For example, the control operation may include operations for controlling a property of an audio source. For example, the control operation may include applying an audio effect to an audio source, replacing or changing a reproduced audio source, adding an audio source different from the reproduced audio source, and controlling at least some of the reproduced audio source. A non-reproducing operation may be included, but is not limited thereto. The audio effects include tempo control for an audio source, low pass filter, high pass filter, pitch control, vocal audio output, playing instrument change, sound source stop, instrument sound output, sound source reconstruction, beat Beat repeater, sound output of specific voice only, voice output level control, echo, sound section movement, psychedelic mode, panning control, flanger chorus, reverberation effect (reverb), delay, etc. It may include, but is not limited to.
또 예를 들어, 상기 제어 동작은 그래픽 엘리먼트 셋(201a)의 속성을 제어하기 위한 동작들을 포함할 수 있다. 예를 들어, 상기 제어 동작은 디스플레이 되는 화면에 비쥬얼 이펙트를 적용하는 동작을 포함할 수 있다. 일 예로, 상기 제어 동작은 배경 컬러의 변경, 적어도 하나의 그래픽 오브젝트 오브젝트의 형상, 크기, 컬러 등의 변경, 오디오 소스 중 보컬에 대한 가사를 디스플레이하는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다.Also, for example, the control operation may include operations for controlling properties of the graphic element set 201a. For example, the control operation may include an operation of applying a visual effect to a displayed screen. For example, the control operation may include, but is not limited to, changing a background color, changing a shape, size, or color of at least one graphic object, displaying lyrics for a vocal among audio sources, and the like. .
다양한 실시예들에 따르면, 상기 룰 정보(260)는 제어되는 그래픽 오브젝트의 종류(또는 속성)(이하, 인터랙션 대상), 또는 사용자 인터랙션의 종류(이하, 입력 타입) 중 적어도 하나에 대응하는 적어도 하나의 제어 동작을 수행하도록 구현될 수 있다. 예를 들어, 제1 사용자 인터랙션에 의해 제1 그래픽 오브젝트가 제어되는 경우 적어도 하나의 제1 제어 동작이 수행될 수 있고, 제2 사용자 인터랙션에 의해 제2 그래픽 오브젝트가 제어되는 경우 적어도 하나의 제2 제어 동작이 수행될 수 있다. 이에 따라, 사용자는 뉴 디지털 싱글 파일에 인터랙션을 다양하게 함(예: 인터랙션의 종류를 다양하게 함, 및/또는 인터랙션되는 그래픽 오브젝트의 종류(또는 속성)을 다양하게 함)으로써, 결과적으로 출력되는 청각적 내용들, 및/또는 시각적 내용들을 다양한 형태로 제어하면서 경험할 수 있게 된다.According to various embodiments, the rule information 260 includes at least one item corresponding to at least one of a type (or property) of a controlled graphic object (hereinafter, an interaction target) or a type of user interaction (hereinafter, an input type). It can be implemented to perform the control operation of. For example, at least one first control operation may be performed when a first graphical object is controlled by a first user interaction, and at least one second control operation may be performed when a second graphical object is controlled by a second user interaction. A control operation may be performed. Accordingly, the user varies the interaction in the new digital single file (eg, by varying the type of interaction and/or by varying the type (or property) of the graphic object being interacted with), resulting in output Audible contents and/or visual contents can be controlled and experienced in various forms.
상기 제어 동작은 스킴(또는 방식, 또는 방법)으로 표현될 수 있으며, 서로 다른 제어 동작을 수행한다는 기재는 서로 다른 스킴으로 오디오 소스의 속성, 및/또는 그래픽 엘리먼트 셋(201a)의 속성을 제어하는 것으로 이해될 수 있다.The control operation may be expressed as a scheme (or method, or method), and the description of performing different control operations refers to controlling the properties of the audio source and/or the graphic element set 201a with different schemes. can be understood as
2.4.1 룰 정보의 예시2.4.1 Example of rule information
다양한 실시예들에 따르면, 룰 정보(260)는 사용자의 인터랙션에 기반하여, 전술한 시각적 컨텐트(100a)(예: 그래픽 엘리먼트 셋(201a))의 속성, 청각적 컨텐트(100b)(예: 오디오 소스 셋(203a))의 속성, 및/또는 시간 정보(100c)(예: 스테이지(200), 및/또는 타임라인(dt, dt1, dt2))의 적어도 일부를 제어(또는 설정, 또는 변경)을 위한 정보일 수 있다. 예를 들어, 전자 장치(110)는 복수의 룰 정보들 중 특정 시간 정보(예: 스테이지(200a), 및/또는 타임라인(dt, dt1, dt2)) 및 사용자 인터랙션의 종류에 대응하는 룰 정보를 식별하고, 상기 식별된 룰 정보에 기반하여 데이터베이스(253)에 저장된 그래픽 엘리먼트 중 특정 정보와 오디오 소스 중 특정 정보를 획득함에 기반하여, 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 제공하도록 구현될 수 있다. 상기 사용자의 인터랙션에 기반하는 정보라는 점에서, 인터랙션 룰(interaction rule)로 정의될 수도 있다. According to various embodiments, the rule information 260 may include properties of the aforementioned visual content 100a (eg, graphic element set 201a) and auditory content 100b (eg, audio) based on user interaction. Control (or set, or change) at least a part of the attributes of the source set 203a and/or the time information 100c (e.g., the stage 200, and/or the timelines dt, dt1, dt2) It may be information for For example, the electronic device 110 provides rule information corresponding to specific time information (eg, the stage 200a and/or timelines dt, dt1, and dt2) among a plurality of pieces of rule information and the type of user interaction. To provide visual content (100a) and auditory content (100b) based on identifying and acquiring specific information among graphic elements stored in the database 253 and specific information among audio sources based on the identified rule information can be implemented In that the information is based on the user's interaction, it may be defined as an interaction rule.
이 때, 사용자의 인터랙션은 인터랙션의 대상, 입력 타입 등에 따라 특정될 수 있다. 상기 인터랙션의 대상은 사용자로부터 획득되는 입력의 대상을 의미할 수 있다. 예를 들어, 사용자로부터 물리적으로 입력을 획득하는 대상일 수 있으며, 사용자로부터 입력을 획득하도록 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있고, 사용자로부터 입력을 획득하기 위해 특정된 영역을 의미할 수 있으며, 사용자로부터 입력을 획득하기 위한 특정 영역을 가이드 하기 위해 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있으나, 이에 한정되지 않으며, 사용자로부터 직접적으로 및/또는 간접적으로 입력을 획득하거나, 획득된 입력을 특정하기 위한 것들을 의미할 수 있다.At this time, the user's interaction may be specified according to the subject of the interaction, the input type, and the like. The object of the interaction may mean an object of an input obtained from a user. For example, it may be an object that physically obtains an input from a user, may be an object displayed through a user's terminal to obtain an input from a user, and may mean a specific area for obtaining an input from a user. , It may be an object displayed through the user's terminal to guide a specific area for obtaining an input from the user, but is not limited thereto, directly and/or indirectly obtains an input from the user, or specifies the obtained input. It can mean things to do.
또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 적어도 하나의 오브젝트를 포함할 수 있다.Also, the object of the interaction may include at least one object displayed through the user's terminal.
예를 들어, 상기 인터랙션의 대상은 제1 오브젝트 및 제2 오브젝트를 포함할 수 있으나, 이에 한정되지 않는다.For example, the object of the interaction may include a first object and a second object, but is not limited thereto.
또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 배경 오브젝트를 포함할 수 있다.Also, the object of the interaction may include a background object displayed through the user's terminal.
예를 들어, 상기 인터랙션의 대상이 배경 오브젝트가 되는 경우 사용자로부터 상기 배경 오브젝트에 대한 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.For example, if the interaction target is a background object, it may be designed to perform at least one operation when obtaining an interaction with respect to the background object from the user, but is not limited thereto.
또한, 상기 인터랙션의 대상은 적어도 하나의 하드웨어 장치를 포함할 수 있다.Also, the object of the interaction may include at least one hardware device.
예를 들어, 상기 인터랙션의 대상은 스마트폰을 포함할 수 있으며, 상기 스마트폰에 대한 사용자의 위치 변경 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.For example, the target of the interaction may include a smart phone, and may be designed to perform at least one operation when a location change interaction of a user with respect to the smart phone is acquired, but is not limited thereto.
이 때, 상기 적어도 하나의 하드웨어 장치는 스마트폰, 이어폰, 헤드폰, 조이콘 등 하드웨어 장치 및 주변 기기를 모두 포함할 수 있으나, 이에 한정되지 않는다.In this case, the at least one hardware device may include all hardware devices and peripheral devices such as a smartphone, earphone, headphone, joycon, etc., but is not limited thereto.
상기 입력 타입은 사용자로부터 획득되는 입력의 종류를 의미할 수 있다. 예를 들어, 상기 입력 타입은 터치 패널을 이용한 터치 입력, 드래그 입력, 배쉬 입력, 스왑 입력, 특정 패턴 입력 등을 포함할 수 있으며, 적어도 하나의 입력 장치를 이용한 다양한 입력을 포함할 수 있고, 적어도 하나의 하드웨어 장치에 대한 쉐이크 입력, 스윙 입력 등 다양한 입력을 포함할 수 있으며, 카메라 등 센서를 이용한 모션 입력 사용자의 위치를 추적하여 가상의 공간에서 사용자의 위치와 오브젝트의 위치가 매칭되는 허공 터치 입력 등 다양한 입력을 포함할 수 있으나, 이에 한정되지 않으며, 특정 동작을 수행하기 위해서 알고리즘으로 규정된 다양한 입력들을 포함할 수 있다.The input type may refer to a type of input obtained from a user. For example, the input type may include a touch input using a touch panel, a drag input, a bash input, a swap input, a specific pattern input, and the like, and may include various inputs using at least one input device, and at least Motion input using a sensor such as a camera, which can include various inputs such as shake input and swing input for one hardware device. In-air touch input in which the user's position and the position of an object are matched in a virtual space by tracking the user's position It may include various inputs, such as, but is not limited thereto, and may include various inputs defined as an algorithm to perform a specific operation.
한편 기재된 예시 이외에도, 사용자의 입력이 아닌, 날씨 정보나 위치 정보와 같은 외부 정보들에 기반하여 음악 테마가 변경되는 룰 정보(260)이 구현될 수도 있다.Meanwhile, in addition to the examples described above, rule information 260 in which a music theme is changed based on external information such as weather information or location information rather than a user's input may be implemented.
다양한 실시예들에 따르면, 스테이지(200) 별로 룰 정보가 제공될 수 있다. 예를 들어 아래의 [표 1]을 참조하면, 스테이지 별로 제공되는 룰 정보에 기반하여, 특정 사용자 인터랙션이 수신되는 경우 전자 장치(110)에 의해 그래픽 엘리먼트, 및 오디오 소스의 제어가 수행될 수 있다.According to various embodiments, rule information may be provided for each stage 200 . For example, referring to [Table 1] below, when a specific user interaction is received based on rule information provided for each stage, the electronic device 110 may control graphic elements and audio sources. .
스테이지 종류stage type 오디오 소스audio source 그래픽 오브젝트graphic object 룰 정보Rule information
인트로에 대응하는 스테이지Stage corresponding to the intro 인트로에 대응하는 오디오 소스Audio source corresponding to the intro - 원 형상의 유체 메인 오브젝트- 구름 형상의 복수의 서브 오브젝트들- Fluid main object in the shape of a circle - Multiple sub-objects in the shape of a cloud - 메인 오브젝트 터치 시 제1 악기(예: 심벌)의 오디오 소스 재생　및 비주얼 이펙트 적용
- 서브 오브젝트 터치 시 제2 악기(예: 플럭)의 오디오 소스 재생 및 비주얼 이펙트 적용- When the main object is touched, the audio source of the first instrument (e.g., symbol) is played and visual effects are applied
- When sub-object is touched, the audio source of the second instrument (e.g. fluke) is played and visual effects are applied
후렴에 대응하는 스테이지Stage corresponding to the chorus 후렴에 대응하는 오디오 소스Audio source corresponding to the chorus - 원 형상의 유체 메인 오브젝트- 구름 형상의 복수의 서브 오브젝트들- Fluid main object in the shape of a circle - Multiple sub-objects in the shape of a cloud - 메인 오브젝트 터치 시 제3 악기(예: 턴테이블)의 오디오 소스 재생, 음악 테마 랜덤 변경, 및 비주얼 테마 랜덤 변경
- 서브 오브젝트 터치 시 현재 재생 시점에 대응하는 보컬 오디오 소스를 랜덤 음높이로 재생, 및 비주얼 이펙트 적용- When the main object is touched, the audio source of the 3rd instrument (e.g. turntable) is played, the music theme is randomly changed, and the visual theme is randomly changed
- When a sub-object is touched, the vocal audio source corresponding to the current playback point is played at a random pitch and visual effects are applied
벌스-pre에 대응하는 스테이지Stage corresponding to verse-pre 벌스-pre에 대응하는 오디오 소스Audio source compatible with verse-pre - 원 형상의 유체 메인 오브젝트- 굴곡진 긴 형상의 서로 다른 크기 또는 색상의 서브 오브젝트- Fluid main object in a circular shape - Sub-objects in different sizes or colors in a curved long shape - 메인 오브젝트 터치 시, "what"이라는 보컬 오디오 소스 재생
- 각기 다른 서브 오브젝트 터치 시 랜덤한 효과음 오디오 소스 재생 및 비주얼 이펙트 적용- When the main object is touched, the vocal audio source called "what" is played
- Plays random sound effect audio sources and applies visual effects when touching different sub-objects
벌스에 대응하는 스테이지Stage corresponding to the verse 벌스에 대응하는 오디오 소스Audio source corresponding to the verse - 원 형상의 유체 메인 오브젝트- 굴곡진 긴 형상의 서브 오브젝트- Circle-shaped fluid main object- Curved long-shaped sub-object - 메인 오브젝트 터치 시 제3 악기(예: 심벌)의 오디오 소스 재생, 곡 테마 랜덤 변경, 및 비주얼 테마 랜덤 변경
- 각기 다른 서브 오브젝트 터치 시 랜덤한 효과음 오디오 소스 재생 및 비주얼 이펙트 적용- When the main object is touched, the audio source of the third instrument (e.g., symbol) is played, the song theme is randomly changed, and the visual theme is randomly changed.
- Plays random sound effect audio sources and applies visual effects when touching different sub-objects
브릿지에 대응하는 스테이지Stage corresponding to the bridge 브릿지에 대응하는 오디오 소스Audio source corresponding to the bridge - 원 형상의 유체 메인 오브젝트- 소용돌이 형상의 서브 오브젝트- Circle shaped fluid main object - Vortex shaped sub object - 메인 오브젝트 터치 시 현재 재생 시점에 대응하는 오디오 소스 재생 및 비주얼 효과 적용
- 서브 오브젝트 터치 시 제4 악기(예: 심벌)의 오디오 소스 재생 및 비주얼 이펙트 적용- When the main object is touched, the audio source corresponding to the current playback point is played and visual effects are applied
- When sub-object is touched, the audio source of the 4th instrument (e.g. symbol) is played and visual effects are applied
한편 [표 1]에 기재된 예에 제한되지 않고, 다양한 음악의 부분들(예: 코러스, 송폼) 별로 대응하는 스테이지 별 룰 정보(260)가 구현될 수 있다. 또 예를 들어, 아래의 [표 2]에 기재된 바와 같이 다양한 종류의 사용자 입력에 대응하는 룰 정보(260) 또한 구현될 수 있다.Meanwhile, it is not limited to the example described in [Table 1], and rule information 260 for each stage corresponding to each part of various pieces of music (eg, chorus, song form) may be implemented. Also, for example, as described in [Table 2] below, rule information 260 corresponding to various types of user inputs may also be implemented.
사용자 입력user input 인터랙션 룰(203)Interaction rules (203)
줌-인zoom-in 오디오 소스의 재생 속도를 느리게 제어Slow down the playback speed of an audio source
줌-아웃zoom out 오디오 소스의 재생 속도를 빠르게 제어Quickly control the playback speed of an audio source
전자 장치를 흔듦shake electronic devices 킥 오디오 소스 재생소정 구간(예: 한 마디) 오디오 소스 재생 반복Play the kick audio source. Repeat playing the audio source for a certain section (e.g. one bar).
3. 인터랙티브 음악 감상 파일의 배포다양한 실시예들에 따르면, 어플리케이션(251)의 실행에 기반하여, 저장되는 인터랙티브 음악 감상 파일(이하, 파일)(또는, 플랫폼 파일(6400))은 저장 및/또는 배포될 수 있다. 예를 들어, 상기 음악 감상 파일은 사용자에 의해 입력된 인터랙션 정보와 함께 저장되어 배포될 수 있다. 상기 배포는 서버(120)를 통해 수행될 수도 있으나, 전자 장치(110)들 간에 직접 수행될 수도 있다. 3. Distribution of interactive music listening files According to various embodiments, based on the execution of the application 251, the stored interactive music listening files (hereinafter, files) (or platform files 6400) are stored and/or can be distributed For example, the music listening file may be stored and distributed together with interaction information input by a user. The distribution may be performed through the server 120 or may be performed directly between the electronic devices 110 .
도 4는, 다양한 실시예들에 따른, 인터랙티브 음악 감상 파일의 배포의 예를 설명하기 위한 도면이다.4 is a diagram for explaining an example of distribution of an interactive music listening file according to various embodiments.
도 4를 참조하면, 배포 횟수(n)에 따라서 파일(A',A'', A''')은 동일한 음원 소스(A)와 룰 정보(R)을 포함하되 배포 횟수(n) 별로 사용자의 인터랙션에 의해 생성되는 인터랙션 정보(I1, I2, I3, I4)를 포함할 수 있다.Referring to FIG. 4, according to the number of distributions (n), the files (A', A'', A''') include the same sound source (A) and rule information (R), but the number of distributions (n) It may include interaction information (I1, I2, I3, I4) generated by the interaction of
예를 들어, 뉴 디지털 싱글 파일(610)이 최초 배포되기 이전에(n=1), 서버(601)는 오디오 소스(A) 및 룰 정보(R)을 포함하는 뉴 디지털 싱글 파일(A)을 구현할 수 있다.For example, before the new digital single file 610 is initially distributed (n=1), the server 601 provides the new digital single file A including the audio source A and the rule information R. can be implemented
상기 뉴 디지털 싱글 파일이(610)이 제1 전자 장치로 최초 배포되는 경우(n=2), 제1 전자 장치는 뉴 디지털 싱글 파일(A)을 재생하는 동안 제1 사용자로부터 제1 사용자 인터랙션을 수신함에 기반하여 제1 사용자 인터랙션에 대한 제1 정보(I1)을 별도로 저장할 수 있다. 상기 사용자 인터랙션에 대한 제1 정보(I1)을 더 포함하는 일은 A'로 정의될 수 있다.When the new digital single file 610 is initially distributed to the first electronic device (n=2), the first electronic device receives a first user interaction from the first user while playing the new digital single file A. Based on the inbox, the first information I1 for the first user interaction may be separately stored. A job that further includes the first information I1 for the user interaction may be defined as A'.
이때 파일(A')은 다른 전자 장치(예: 제2 전자 장치)로 배포될 수 있고, 상기 제2 전자 장치는 사용자 인터랙션에 대한 제1 정보(I1)에 기반하여 파일(A')을 재생하는 동안 제2 전자 장치의 제2 사용자로부터 제2 사용자 인터랙션을 수신함에 기반하여 제2 사용자 인터랙션에 대한 제2 정보(I2)를 별도로 더 저장할 수 있다. 상기 사용자 인터랙션에 대한 제1 정보(I1) 및 제2 정보(I2)를 더 포함하는 파일은 A''로 정의될 수 있다.At this time, the file A' may be distributed to another electronic device (eg, a second electronic device), and the second electronic device reproduces the file A' based on the first information I1 for the user interaction. Based on receiving the second user interaction from the second user of the second electronic device during the second electronic device, second information I2 for the second user interaction may be additionally stored separately. A file further including the first information (I1) and the second information (I2) for the user interaction may be defined as A''.
연속적으로 도 4에 도시된 바와 같이, 뉴 디지털 싱글 파일이 배포됨에 따라서 사용자 인터랙션에 대한 정보들(I3, I4)이 추가되며, 사용자 인터랙션에 대한 정보들(I3, I4)이 추가된 뉴 디지털 싱글 파일들(A''', A'''')이 생성될 수 있다.As shown in FIG. 4, information on user interaction (I3, I4) is added as new digital single files are distributed, and new digital single to which information (I3, I4) on user interaction is added. Files A''' and A'''' may be created.
또한, 이 경우, 오디오 소스 A는 변형 없이 저장될 수 있어, 원 음원 소스를 추적하기 용이할 수 있으며, 각각의 인터랙션들의 추가 삭제 변경 등이 자유로이 가능할 수 있다.Also, in this case, since the audio source A can be stored without modification, it can be easy to track the original sound source source, and each interaction can be added, deleted, changed, etc. freely.
또한, 각각의 인터랙션은 하나의 음원 소스에 대해 시계열 적으로 저장될 수 있으며, 복수개의 음원 소스 각각에 대해 시계열 적으로 저장될 수 있고, 복수개의 음원 소스의 시계열적 저장과 함께 시계열 적으로 저장될 수 있으나, 이에 한정되지 않는다.In addition, each interaction can be stored time-sequentially for one sound source, can be stored time-sequentially for each of a plurality of sound source sources, and can be stored time-sequentially together with time-sequential storage of a plurality of sound source sources. may, but is not limited thereto.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 인터랙션 만을 공유할 수 있으나, 이에 한정되지 않는다.Also, each user may share only interactions to share modified music, but is not limited thereto.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 음원 소스와 음원 소스에 대응되는 인터랙션을 공유할 수 있으나, 이에 한정되지 않는다.In addition, each user may share a sound source and an interaction corresponding to the sound source in order to share the modified music, but is not limited thereto.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 음원 소스에 대한 소정의 정보와 해당 음원 소스에 대응되는 인터랙션을 공유할 수 있으나, 이에 한정되지 않는다.In addition, each user may share predetermined information about a sound source and an interaction corresponding to the sound source in order to share modified music, but is not limited thereto.
또한, 일 실시예에 따르면, 아래와 같은 저장 및 재생 기술이 적용될 수 있으나, 이에 한정되지 않는다.In addition, according to one embodiment, the following storage and reproduction technology may be applied, but is not limited thereto.
이하에서는 다양한 실시예들에 따른, 전자 장치(110), 및 서버(120)의 동작의 예에 대해서 설명한다. Hereinafter, examples of operations of the electronic device 110 and the server 120 according to various embodiments will be described.
4. 최상위 컨셉4. Top Concept
도 5는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 일 예를 설명하기 위한 도면이다.5 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
도 5를 참조하면, 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 제어 이벤트(500)를 수신한 것에 기반하여 전자 장치(110)에 의해 제공되는 시각적 컨텐트(100a)(예: 그래픽 엘리먼트 셋(500a)), 청각적 컨텐트(100b)(예: 오디오 소스 셋(500b)), 또는 시간 정보(100c)(예: 타임라인 및/또는 스테이지(500c)) 중 적어도 하나를 제어하고, 상기 제어된 대상(예: 그래픽 엘리먼트 셋(500a))에 대응하는 다른 대상(예: 오디오 소스 셋(500b))을 제어할 수 있다. 상기 전자 장치(110)의 제어는 룰 정보(260)에 기반할 수 있으므로, 중복되는 설명은 생략한다. Referring to FIG. 5 , according to various embodiments, the electronic device 110 (eg, the processor 210), based on receiving the control event 500, provides visual content ( 100a) (eg, graphic element set 500a), auditory content 100b (eg, audio source set 500b), or time information 100c (eg, timeline and/or stage 500c) of At least one may be controlled, and another object (eg, the audio source set 500b) corresponding to the controlled object (eg, the graphic element set 500a) may be controlled. Since the control of the electronic device 110 may be based on the rule information 260, duplicate descriptions will be omitted.
상기 제어 이벤트(500)는 사용자의 입력에 의한 이벤트, 및 사용자의 입력이 없는 경우에 발생되는 이벤트를 포함할 수 있으며, 이에 대해서는 이하의 도면들을 참조하여 설명한다.The control event 500 may include an event caused by a user's input and an event generated when there is no user's input, which will be described with reference to the following drawings.
4.1 사용자 인터랙션 시나리오(사용자 인터랙션 모드)4.1 User Interaction Scenario (User Interaction Mode)
다양한 실시예들에 따르면, 전자 장치(110)는 제어 이벤트(500)를 식별하는 동작의 적어도 일부로 사용자의 입력이 식별되는 경우, 시각적 컨텐트(100a)를 제어 및/또는 시간 정보(100c))(예: 타임라인)을 제어함으로써, 이에 대응하는 청각적 컨텐트(100b)를 변형하여 제공할 수 있다.According to various embodiments, when the user's input is identified as at least part of the operation of identifying the control event 500, the electronic device 110 controls the visual content 100a and/or the time information 100c) ( Example: by controlling the timeline), it is possible to transform and provide the corresponding auditory content (100b).
도 6a는 다양한 실시예들에 따른, 전자 장치(110)의 동작의 일 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 6a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 6a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 6b를 참조하여 도 6a에 대해서 더 설명한다.6A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 6A may be performed in various orders without being limited to the illustrated order. Further, according to various embodiments, more operations than the operations illustrated in FIG. 6A may be performed, or at least one operation less than that shown in FIG. 6A may be performed. Hereinafter, FIG. 6A will be further described with reference to FIG. 6B.
도 6b는 다양한 실시예들에 따른, 전자 장치(110)의 사용자의 입력이 수신되는 경우 컨텐트들을 제어하는 동작의 예를 설명하기 위한 도면이다.6B is a diagram for explaining an example of an operation of controlling contents when a user input of the electronic device 110 is received, according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 601에서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하고, 동작 603에서, 적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 시간 구간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력할 수 있다. 예를 들어 도 6b에 도시된 바와 같이, 전자 장치(110)는 디스플레이 상에 제1 그래픽 오브젝트 셋(601a)을 포함하는 시각적 컨텐트(100a)를 표시하면서, 오디오 소스 셋(601b)을 재생함에 기반하여 청각적 컨텐트(100b)를 제공할 수 있다. 이때, 제공되는 청각적 컨텐트(100b)의 주파수 별 세기(주파수 스펙트럼)는 제1 주파수 스펙트럼일 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a music file corresponding to a plurality of audio sources in operation 601 and includes at least one object in operation 603. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time interval associated with the music file may be output. For example, as shown in FIG. 6B, the electronic device 110 displays the visual content 100a including the first graphic object set 601a on the display while playing the audio source set 601b. It is possible to provide the auditory content (100b). In this case, the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the first frequency spectrum.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 605에서, 제1 오브젝트에 대한 사용자의 입력을 식별하고, 사용자의 입력이 식별되는 경우(605-예) 동작 607에서, 제1 조건이 만족되는지 여부를 판단하고, 제1 조건이 만족되지 않는 것으로 판단된 경우(607-아니오) 동작 613에서 제2 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어 도 6b에 도시된 바와 같이, 전자 장치(110)는 특정 오브젝트(예: 601a)에 대한 사용자의 입력(예: 인터랙션(A))가 수신되는 것으로 판단된 경우, 사용자의 입력과 연관된 조건들의 만족 여부를 판단할 수 있다. 예를 들어, 사용자의 입력과 연관된 제1 조건은, 특정 종류의 사용자의 입력이 지정된 시간 동안 임계 횟수 미만으로 수신되는 경우, 만족될 수 있다. 일 예로, 지정된 시간 동안 단일의 터치 입력이나, 또는 드래그 입력이 수신되는 경우 제1 조건이 만족될 수 있다. 또 예를 들어, 사용자의 입력과 연관된 제2 조건은, 특정 종류의 사용자의 입력이 지정된 시간 동안 임계 횟수 이상 수신되는 경우, 만족될 수 있다. 일 예로, 지정된 시간 동안 터치 입력이 임계 횟수 이상 수신되는 경우, 상기 제2 조건이 만족될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) identifies the user's input for the first object in operation 605, and when the user's input is identified (605-Yes) In operation 607, it is determined whether the first condition is satisfied, and when it is determined that the first condition is not satisfied (607 - No), in operation 613 it is determined whether the second condition is satisfied. For example, as shown in FIG. 6B , when the electronic device 110 determines that a user's input (eg, interaction A) for a specific object (eg, 601a) is received, the electronic device 110 associated with the user's input It is possible to determine whether the conditions are satisfied. For example, the first condition associated with the user's input may be satisfied when a specific type of user's input is received less than a threshold number of times during a specified time period. For example, the first condition may be satisfied when a single touch input or a drag input is received for a specified period of time. Also, for example, the second condition related to the user's input may be satisfied when a specific type of user's input is received more than a threshold number of times during a specified time period. For example, when a touch input is received more than a threshold number of times during a specified time period, the second condition may be satisfied.
다양한 실시예들에 따르면, 사용자의 입력과 연관된 조건들 별로 룰 정보(또는 스킴)이 미리 지정되며, 전자 장치(110)는 만족된 조건에 대응하는 특정 룰 정보(또는 특정 스킴)에 기반하여 컨텐트(예: 시각적 컨텐트(100a), 청각적 컨텐트(100b), 및 시각 정보(100c))를 제어할 수 있다. 이에 따라, 아래의 전자 장치(110)의 동작 609, 동작 611, 및 동작 615가 수행될 수 있다.According to various embodiments, rule information (or scheme) is pre-designated for each condition associated with a user's input, and the electronic device 110 provides content based on the specific rule information (or specific scheme) corresponding to the satisfied condition. (eg, visual content 100a, auditory content 100b, and visual information 100c) may be controlled. Accordingly, operations 609, 611, and 615 of the electronic device 110 below may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제1 조건이 만족된 경우(607-예) 동작 609에서, 제1 입력인 경우 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하고, 동작 611에서, 제2 입력인 경우 제1 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력할 수 있다. 예를 들어 전술한 제1 조건이 만족되는 경우, 전자 장치(110)는 수신된 입력의 종류를 식별하고, 식별된 종류에 대응하는 방식(또는 스킴, 또는 룰)에 기반하여 시각적 컨텐트(100a)의 속성을 및/또는 청각적 컨텐트(100b)의 속성을 제어할 수 있다. 일 예로 도 6b에 도시된 바와 같이, 상기 전자 장치(110)는 터치 입력이 수신된 경우, 그래픽 엘리먼트(601a)의 적어도 일부의 형상을 변형하여 표시하고, 제1 오디오 소스 셋(601b)의 적어도 일부의 속성(예: 출력 여부, 음 높이, 종류, 크기, 재생 속도)을 변형하여 재생함으로써 변형된 주파수 스펙트럼(예: 주파수 별 세기(또는 에너지))의 청각적 컨텐트(100b)(또는 사운드)를 출력할 수 있다. 이에 따라, 사용자는 사운드를 감상하면서, 그래픽 엘리먼트(601a)를 제어함으로써 다른 분위기(예: 다른 주파수 스펙트럼)의 사운드를 감상할 수 있게 된다. 또 일 예로 도시되지 않았으나, 상기 전자 장치(110)는 드래그 입력이 수신된 경우, 그래픽 엘리먼트(601a)의 적어도 일부의 위치를 이동시켜 표시하고, 제1 오디오 소스 셋(601b)의 적어도 일부의 속성(예: 출력 여부, 음 높이, 종류, 크기, 재생 속도)을 변형하여 재생함으로써 변형된 주파수 스펙트럼(예: 주파수 별 세기(또는 에너지))의 청각적 컨텐트(100b)(또는 사운드)를 출력할 수도 있다. 이때, 제공되는 청각적 컨텐트(100b)의 주파수 별 세기(주파수 스펙트럼)는 제2 주파수 스펙트럼일 수 있다. 도 6b에 도시된 바와 같이, 음원 속성의 변경에 따라서 높은 주파수 대역의 사운드의 세기가 커져, 더 고조된 청각적 컨텐트(100b)가 제공될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 609 when the first condition is satisfied (607-yes), in case of the first input, the first visual effect is applied. A second sound having a second frequency spectrum is outputted while displaying two screens, and in operation 611, in case of the second input, a third sound having a third frequency spectrum is outputted while displaying a third screen to which the first visual effect is applied. can do. For example, when the above-described first condition is satisfied, the electronic device 110 identifies the type of input received, and provides visual content 100a based on a method (or scheme or rule) corresponding to the identified type. It is possible to control the properties of and / or the properties of the auditory content (100b). As an example, as shown in FIG. 6B , when a touch input is received, the electronic device 110 transforms and displays the shape of at least a part of the graphic element 601a, and displays at least one of the first audio source set 601b. Auditory content (100b) (or sound) of a frequency spectrum (eg, intensity (or energy) per frequency) transformed by transforming and reproducing some properties (eg, whether output, pitch, type, size, playback speed) can output Accordingly, the user can enjoy sound in a different atmosphere (eg, a different frequency spectrum) by controlling the graphic element 601a while enjoying the sound. In addition, although not shown as an example, when a drag input is received, the electronic device 110 moves and displays the position of at least a portion of the graphic element 601a, and displays the properties of at least a portion of the first audio source set 601b (Example: whether output, pitch, type, size, playback speed) is transformed and reproduced to output the auditory content 100b (or sound) of the transformed frequency spectrum (eg, intensity (or energy) per frequency) may be In this case, the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the second frequency spectrum. As shown in FIG. 6B, the intensity of sound in a high frequency band increases according to a change in the properties of a sound source, so that more heightened auditory content 100b can be provided.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제2 조건이 만족된 경우(613-예) 동작 615에서, 상기 음악 파일과 연관된 제2 시간 구간(예: 다른 스테이지)에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력할 수 있다. 예를 들어 전술한 제2 조건이 만족되는 경우, 전자 장치(110)는 현재 스테이지(예: 제1 스테이지(601c))를 다른 스테이지(예: 제2 스테이지(미도시))로 변경하고, 다른 스테이지(예: 제2 스테이지(미도시))에 대응하는 그래픽 엘리먼트 셋(예: 제2 그래픽 엘리먼트 셋(미도시))을 포함하는 시각적 컨텐트(100a)를 표시하고, 오디오 소스 셋(예: 제2 오디오 소스 셋(미도시))을 재생함으로써, 다른 주파수 스펙트럼의 청각적 컨텐트(100b)를 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 615 when the second condition is satisfied (613-yes), the second time interval associated with the music file (eg, 613-yes). A second sound having a second frequency spectrum corresponding to a different stage) may be output. For example, when the aforementioned second condition is satisfied, the electronic device 110 changes the current stage (eg, the first stage 601c) to another stage (eg, the second stage (not shown)), and Visual content 100a including a graphic element set (eg, a second graphic element set (not shown)) corresponding to a stage (eg, a second stage (not shown)) is displayed, and an audio source set (eg, a second graphic element set (not shown)) is displayed. By playing two sets of audio sources (not shown), it is possible to provide auditory content 100b of a different frequency spectrum.
4.2 사용자 논-인터랙션 시나리오(사용자 논-인터랙션 모드)4.2 User Non-Interaction Scenario (User Non-Interaction Mode)
다양한 실시예들에 따르면, 전자 장치(110)는 제어 이벤트(500)를 식별하는 동작의 적어도 일부로 사용자의 입력 이외의 다른 요소가 식별되는 경우, 시각적 컨텐트(100a) 및/또는 시간 정보(100c)(예: 타임라인)의 적어도 일부를 제어하고, 상기 제어에 기반하여 청각적 컨텐트(100b)를 변형하여 제공할 수 있다.According to various embodiments, when an element other than the user's input is identified as at least a part of the operation of identifying the control event 500, the electronic device 110 displays the visual content 100a and/or the time information 100c. It is possible to control at least a part of (eg, a timeline), and modify and provide the auditory content (100b) based on the control.
도 7a는 다양한 실시예들에 따른, 전자 장치(110)의 동작의 일 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 7a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 7a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 7b를 참조하여 도 7a에 대해서 더 설명한다.7A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 7A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 7A may be performed, or at least one operation less than that shown in FIG. 7A may be performed. Hereinafter, FIG. 7A will be further described with reference to FIG. 7B.
도 7b는 다양한 실시예들에 따른, 전자 장치(110)의 사용자의 입력 이외의 다른 정보가 수신되는 경우, 컨텐트들을 제어하는 동작의 예를 설명하기 위한 도면이다.FIG. 7B is a diagram for explaining an example of an operation of controlling contents when information other than a user's input of the electronic device 110 is received according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 701에서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하고, 동작 703에서, 적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력할 수 있다. 예를 들어 도 7b에 도시된 바와 같이, 전자 장치(110)는 디스플레이 상에 제1 그래픽 오브젝트 셋(701a)을 포함하는 시각적 컨텐트(100a)를 표시하면서, 오디오 소스 셋(701b)을 재생함에 기반하여 청각적 컨텐트(100b)를 제공할 수 있다. 이때, 제공되는 청각적 컨텐트(100b)의 주파수 별 세기(주파수 스펙트럼)는 제1 주파수 스펙트럼일 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a music file corresponding to a plurality of audio sources in operation 701 and includes at least one object in operation 703. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time associated with the music file may be output. For example, as shown in FIG. 7B, the electronic device 110 displays the visual content 100a including the first graphic object set 701a on the display while playing the audio source set 701b. It is possible to provide the auditory content (100b). In this case, the frequency-specific intensity (frequency spectrum) of the provided auditory content 100b may be the first frequency spectrum.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 705에서, 이벤트(예: 제어 이벤트(500))의 발생 여부를 판단하고, 이벤트(예: 제어 이벤트(500))가 발생된 경우(705-예) 동작 707에서, 발생된 이벤트(예: 제어 이벤트(500))의 종류가 화면 제어를 위한 제1 종류인지 여부를 판단하고, 제1 종류가 아닌 경우(707-아니오) 동작 711에서, 발생된 이벤트(예: 제어 이벤트(500))의 종류가 사운드 제어를 위한 제2 종류인지 여부를 판단할 수 있다. 예를 들어 전자 장치(110)는, 사용자의 입력이 수신되지 않는 동안(예: 전자 장치(110)의 모드가 사용자 논-인터랙션 모드로 설정되는 동안), 다양한 종류의 제어 이벤트(500)를 식별하는 동작을 수행할 수 있다. 전자 장치(110)는 상기 제어 이벤트(500)를 식별하는 동작의 적어도 일부로, 타임라인(dt)의 변경(예: 제1 타임라인(701c)에서 제2 타임라인(703c)로 변경)에 따라 자동으로(automatically) 변경되는 시각적 컨텐트(100a)(예: 그래픽 엘리먼트 셋(701a))의 속성(예: 캐릭터의 위치)의 변경을 식별할 수 있다. 전자 장치(110)의 디스플레이 상에 표시되는 시각적 컨텐트(100a)의 속성은 시간에 따라 랜덤하게 변경되도록 미리 기-설정되어 있을 수 있다. 일 예로, 디스플레이 상에 표시되는 캐릭터가 자동으로 이동되도록 기-설정될 수 있으며, 기재된 예에 제한되지 않고 다양한 종류의 그래픽 엘리먼트의 다양한 종류의 속성이 변경되도록 기-설정될 수 있다. 또 예를 들어 도시되지 않았으나, 전자 장치(110)는 제어 이벤트(500)를 식별하는 동작의 적어도 일부로, 시간의 흐름에 따라 자동으로 변경되는 스테이지(200)를 식별할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 705, determines whether an event (eg, the control event 500) has occurred, and determines whether an event (eg, the control event (eg, the control event ( 500)) occurs (705-yes), in operation 707, it is determined whether the type of event (eg, control event 500) is the first type for screen control, and if it is not the first type, (707-No) In operation 711, it may be determined whether the type of the generated event (eg, the control event 500) is the second type for sound control. For example, the electronic device 110 identifies various types of control events 500 while a user's input is not received (eg, while the mode of the electronic device 110 is set to a user non-interaction mode). action can be performed. As at least part of the operation of identifying the control event 500, the electronic device 110 responds to a change in the timeline dt (eg, a change from the first timeline 701c to the second timeline 703c). A change in a property (eg, a position of a character) of the automatically changed visual content 100a (eg, the graphic element set 701a) may be identified. The properties of the visual content 100a displayed on the display of the electronic device 110 may be pre-set to randomly change over time. For example, a character displayed on a display may be pre-set to automatically move, and various types of properties of various types of graphic elements may be pre-set to be changed without being limited to the described examples. Also, for example, although not shown, the electronic device 110 may identify the stage 200 that automatically changes over time as at least part of an operation of identifying the control event 500 .
다양한 실시예들에 따르면, 전자 장치(110)는 전술한 타임라인(dt)의 변경 및/또는 스테이지(200)의 변경이 식별된 이후, 경과된 시간이 임계 값을 초과하는지 여부를 판단하고, 상기 임계 값을 초과하는 경우에 상기 제어 이벤트(500)가 발생된 것으로 결정할 수 있으나, 기재된 예에 제한되지는 않는다.According to various embodiments, the electronic device 110 determines whether an elapsed time exceeds a threshold value after the aforementioned change of the timeline dt and/or the change of the stage 200 is identified; When the threshold value is exceeded, it may be determined that the control event 500 has occurred, but is not limited to the described example.
다양한 실시예들에 따르면, 전자 장치(110)는 식별된 제어 이벤트(500)의 종류를 식별할 수 있다. 상기 종류는 시각적 컨텐트(100a)의 속성, 및 청각적 컨텐트(100b)의 속성을 제어하기 위한 종류를 포함할 수 있다. 일 예를 들어, 도 7b에 도시된 바와 같이, 전자 장치(110)는 타임라인(200)의 변경(예: 제1 타임라인(701c)에서 제2 타임라인(703c)로 변경)을 식별하는 경우 시각적 컨텐트(100a)의 속성을 변경하기 위한 제1 종류의 이벤트가 발생된 것으로 식별할 수 있다.According to various embodiments, the electronic device 110 may identify the type of the identified control event 500 . The type may include a type for controlling the property of the visual content 100a and the property of the auditory content 100b. For example, as shown in FIG. 7B , the electronic device 110 identifies a change in the timeline 200 (eg, a change from the first timeline 701c to the second timeline 703c). In this case, it may be identified that the first type of event for changing the property of the visual content 100a has occurred.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 발생된 이벤트가 화면 제어를 위한 제1 종류인 경우(707-예) 동작 709에서, 상기 적어도 하나의 제1 오브젝트의 제1 시각적 속성을 변경하고 상기 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제1 청각적 속성을 변경하고, 발생된 이벤트가 사운드 제어를 위한 제2 종류인 경우(711-예) 동작 713에서, 상기 제1 사운드의 제2 청각적 속성을 변경하고 상기 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제2 시각적 속성을 변경할 수 있다. 예를 들어 전자 장치(110)는 특정 종류의 컨텐트(예: 시각적 컨텐트(100a), 또는 청각적 컨텐트(100b))를 제어하기 위한 특정 종류의 이벤트가 발생되는 경우, 특정 종류의 이벤트에 대응하는 특정 종류의 컨텐트의 속성을 변경하고, 상기 특정 종류의 컨텐트의 속성의 변경 및 이에 대응하는 룰 정보(260)에 기반하여, 연쇄적으로 다른 종류의 컨텐트의 속성을 변경할 수 있다. 일 예를 들어, 룰 정보(260)는 특정 시각적 컨텐트(100a)(예: 그래픽 엘리먼트 셋)가 제어되는 것에 대한 응답으로, 청각적 컨텐트(100b)를 제어하도록 구현될 수 있다. 이 경우, 전자 장치(110)는 사용자의 인터랙션과는 관계없이, 이벤트의 발생(예: 타임라인(dt)의 변경)에 기반하여 특정 시각적 컨텐트(100a)의 속성이 제어되는 경우(예: 그래픽 제1 엘리먼트 셋(701a)가 제2 그래픽 엘리먼트 셋(703a)으로 변경), 룰 정보에 기반하여 연쇄적으로 청각적 컨텐트(100b)의 속성을 제어(예: 제1 오디오 소스 셋(701b)을 제2 오디오 소스 셋(703b)로 변경)할 수 있다. 반대로, 룰 정보(260)는 특정 청각적 컨텐트(100b)(예: 오디오 소스 셋)가 제어되는 것에 대한 응답으로, 시각적 컨텐트(100a)를 제어하도록 구현될 수도 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 709 when the generated event is the first type for screen control (707-yes), the at least one first Operation when the first visual property of an object is changed and the first auditory property of the first sound is changed based on the change of the visual property, and the generated event is the second type for sound control (711-yes) In operation 713, a second auditory property of the first sound may be changed, and a second visual property of the first object may be changed based on the change of the auditory property. For example, when a specific type of event occurs to control a specific type of content (eg, visual content 100a or auditory content 100b), the electronic device 110 responds to the specific type of event. Properties of a specific type of content may be changed, and properties of other types of content may be sequentially changed based on the change in the properties of the specific type of content and the corresponding rule information 260 . For example, the rule information 260 may be implemented to control the auditory content 100b in response to the control of the specific visual content 100a (eg, a graphic element set). In this case, the electronic device 110 controls the property of the specific visual content 100a based on the occurrence of an event (eg, a change in the timeline dt) regardless of the user's interaction (eg, a graphic The first element set 701a is changed to the second graphic element set 703a), and the property of the auditory content 100b is controlled serially based on the rule information (eg, the first audio source set 701b is changed). change to the second audio source set 703b). Conversely, the rule information 260 may be implemented to control the visual content 100a in response to the specific auditory content 100b (eg, audio source set) being controlled.
4.3 모드 전환 시나리오4.3 Mode switching scenario
다양한 실시예들에 따르면, 전자 장치(110)는 제어 이벤트(500)를 식별하기 위한 모드를 전환할 수 있다. 상기 모드는 전술한 사용자 인터랙션 모드 및 사용자 논-인터랙션 모드를 포함할 수 있다.According to various embodiments, the electronic device 110 may switch a mode for identifying the control event 500 . The mode may include the aforementioned user interaction mode and user non-interaction mode.
도 8a는 다양한 실시예들에 따른, 전자 장치(110)의 동작의 일 예를 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 8a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 8a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 8b를 참조하여 도 8a에 대해서 더 설명한다.8A is a flowchart illustrating an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 8A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 8A may be performed, or at least one operation less than that shown in FIG. 8A may be performed. Hereinafter, FIG. 8A will be further described with reference to FIG. 8B.
도 8b는 다양한 실시예들에 따른, 전자 장치(110)의 모드 전환 동작의 예를 설명하기 위한 도면이다.8B is a diagram for explaining an example of a mode switching operation of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 801에서, 복수의 오디오 소스들에 대응하는 음악 파일을 획득하고, 동작 803에서, 적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a music file corresponding to a plurality of audio sources in operation 801 and includes at least one object in operation 803. While displaying a first screen for playing, a first sound having a first frequency spectrum corresponding to a first time associated with the music file may be output.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 805에서, 모드를 결정하기 위한 이벤트를 식별할 수 있다. 동작 807에서, 식별된 이벤트가 제1 이벤트인지 여부를 판단하고, 상기 제1 이벤트가 아닌 경우(807-아니오), 동작 809에서, 식별된 이벤트가 제2 이벤트인지 여부를 판단할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) may, in operation 805, identify an event for determining a mode. In operation 807, it is determined whether the identified event is a first event, and if it is not the first event (807-No), in operation 809, it is determined whether the identified event is a second event.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 전자 장치(110)는 식별된 이벤트가 제1 이벤트인 경우(807-예), 전자 장치(110)의 모드를 사용자 인터랙션 모드로 설정하고, 도 6a 내지 도 6b에서의 전술한 적어도 하나의 동작을 수행할 수 있다. 전자 장치(11)는 식별된 이벤트가 제2 이벤트인 경우(809-예), 전자 장치(110)의 모드를 사용자 논-인터랙션 모드로 설정하고, 전술한 도 7a 내지 도 7b에서 전술한 적어도 하나의 동작을 수행할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), when the identified event is the first event (807-yes), the electronic device 110 operates in a mode may be set as a user interaction mode, and at least one operation described above in FIGS. 6A to 6B may be performed. If the identified event is the second event (809-yes), the electronic device 11 sets the mode of the electronic device 110 to the user non-interaction mode, and at least one of the above-described FIGS. 7A to 7B can perform the action of
예를 들어, 전자 장치(110)는 모드를 결정하기 위한 이벤트를 식별하는 동작의 적어도 일부로, 시간과 연관된 정보(예: 도 8b의 (a))를 식별하는 동작 및/또는 거리와 연관된 조건(예: 도 8b의 (b))을 식별하는 동작을 수행할 수 있다. 일 예로 도 8b의 (a)에 도시된 바와 같이, 전자 장치(110)는 특정 스테이지에 진입 후 및/또는 어플리케이션 실행 후 경과된 시간이 기-설정된 값 미만인 경우 제1 이벤트로 판단하고 전자 장치(110)의 모드를 사용자 인터랙션 모드로 설정하고, 기-설정된 값을 초과하는 경우 제2 이벤트로 판단하고 전자 장치(110)의 모드를 사용자 논-인터랙션 모드로 설정할 수 있다. 또 일 예로 도 8b의 (b)에 도시된 바와 같이, 전자 장치(110)는 사용자(U)와의 거리가 기-설정된 값 미만인 경우 제1 이벤트로 판단하고 전자 장치(110)의 모드를 사용자 인터랙션 모드로 설정하고, 기-설정된 값 이상인 경우 제2 이벤트로 판단하고 전자 장치(110)의 모드를 사용자 논-인터랙션 모드로 설정할 수 있다.For example, the electronic device 110 may perform an operation to identify time-related information (eg, FIG. 8B(a)) and/or a condition associated with distance as at least part of an operation for identifying an event for determining a mode ( Example: An operation of identifying (b) of FIG. 8B may be performed. As an example, as shown in (a) of FIG. 8B, the electronic device 110 determines that the first event is the first event when the time elapsed after entering a specific stage and/or running the application is less than a preset value, and the electronic device ( 110) is set to the user interaction mode, and when the preset value is exceeded, it is determined as the second event and the mode of the electronic device 110 is set to the user non-interaction mode. As another example, as shown in (b) of FIG. 8B , when the distance to the user U is less than a preset value, the electronic device 110 determines the first event as a first event and sets the mode of the electronic device 110 to user interaction. mode, and if it is equal to or greater than a pre-set value, it may be determined as a second event and the mode of the electronic device 110 may be set to a user non-interaction mode.
5. 세계관 UI5. Worldview UI
도 9는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 도면이다.9 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
도 9를 참조하면, 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 제어 이벤트(500)의 발생에 기반하여, 시각적 컨텐트(100a)(예: 그래픽 엘리먼트 셋(900a))의 적어도 일부, 청각적 컨텐트(100b)(예: 오디오 소스 셋(901b))의 적어도 일부, 또는 시간 정보(100c)(예: 타임라인 및/또는 스테이지(900c)) 중 적어도 하나를 제어할 수 있다. 이때, 상기 그래픽 엘리먼트 셋(900a)는 메인 오브젝트(900a), 서브 오브젝트(903a), 및 부가 오브젝트(905a)를 포함하도록 구현되며, 메인 오브젝트(900a)는 상기 오디오 소스 셋(901b)의 복수의 오디오 소스들(901b, 903b)의 적어도 일부의 속성을 제어하도록 구현될 수 있다.Referring to FIG. 9 , according to various embodiments, the electronic device 110 (eg, the processor 210) generates visual content 100a (eg, a graphic element set (eg, a set of graphic elements) based on the occurrence of a control event 500 900a)), at least a portion of the auditory content 100b (eg, the audio source set 901b), or at least one of the time information 100c (eg, the timeline and/or the stage 900c). You can control it. At this time, the graphic element set 900a is implemented to include a main object 900a, a sub object 903a, and an additional object 905a, and the main object 900a is a plurality of audio source sets 901b. It may be implemented to control at least some properties of the audio sources 901b and 903b.
5.1 세계관 UI의 구성 요소5.1 Components of Worldview UI
도 10은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1000)이다. 다양한 실시예들에 따르면, 도 10에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 10에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 11을 참조하여 도 10에 대해서 더 설명한다.10 is a flowchart 1000 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 10 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations illustrated in FIG. 10 may be performed, or at least one operation less than that shown in FIG. 10 may be performed. Hereinafter, FIG. 10 will be further described with reference to FIG. 11 .
도 11a는, 다양한 실시예들에 따른, 전자 장치(110)에 의해 제공되는 시각적 컨텐트의 일 예를 설명하기 위한 도면이다. 도 11b는, 다양한 실시예들에 따른, 전자 장치(110)에 의해 제공되는 시각적 컨텐트의 다른 예를 설명하기 위한 도면이다. 도 11c는, 다양한 실시예들에 따른, 전자 장치(110)에 의해 제공되는 시각적 컨텐트의 또 다른 예를 설명하기 위한 도면이다.11A is a diagram for explaining an example of visual content provided by the electronic device 110 according to various embodiments. 11B is a diagram for explaining another example of visual content provided by the electronic device 110 according to various embodiments. 11C is a diagram for explaining another example of visual content provided by the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1001에서, 복수의 오디오 소스들을 획득하고, 동작 1003에서, 복수의 오디오 소스들의 적어도 일부의 속성을 제어하도록 구현되는 복수의 메인 그래픽 오브젝트들(예: 도 11a의 그래픽 오브젝트(901a)) 및 상기 복수의 메인 그래픽 오브젝트들을 연결하는 복수의 서브 그래픽 오브젝트들(예: 도 11a의 그래픽 오브젝트(903a))을 표시할 수 있다. 상기 메인 그래픽 오브젝트(901a) 별로, 오디오 소스의 음 높이, 재생 속도, 재생 여부와 같은 서로 다른 속성을 제어하도록 구현될 수 있으며, 상기 속성의 예에 대해서는 “목차. 2.2.1”에서 전술하였으므로, 중복되는 설명은 생략한다. 상기 메인 그래픽 오브젝트(901a) 별로 제어 가능한 속성은 랜덤하게 부여되거나 및/또는 위치 별로 기-설정된 속성이 부여될 수도 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a plurality of audio sources in operation 1001 and controls at least some properties of the plurality of audio sources in operation 1003. Displays a plurality of main graphic objects (eg, graphic object 901a of FIG. 11A) and a plurality of sub-graphic objects (eg, graphic object 903a of FIG. 11A) connecting the plurality of main graphic objects to be implemented. can do. Each of the main graphic objects 901a may be implemented to control different properties such as audio source pitch, playback speed, and whether or not playback is performed. For examples of the properties, “Table of Contents. 2.2.1” above, duplicate descriptions are omitted. Controllable attributes for each main graphic object 901a may be randomly assigned and/or pre-set attributes may be assigned for each location.
다양한 실시예들에 따르면, 상기 메인 오브젝트(901a)의 형상은 도 11a의 (a)의 원형, 그리고 (b)의 삼각형으로 구현될 수 있으나, 기재된 및/또는 도시된 예에 제한되지 않고 다양한 종류의 형상으로 구현될 수 있다.According to various embodiments, the shape of the main object 901a may be implemented as a circle in (a) and a triangle in (b) of FIG. 11a, but is not limited to the examples described and/or illustrated and various types. It can be implemented in the shape of
다양한 실시예들에 따르면, 상기 메인 그래픽 오브젝트(901a)는 제1 종류의 메인 그래픽 오브젝트(1101a) 및 제2 종류의 메인 그래픽 오브젝트(1103a)를 포함할 수 있다. 상기 제1 종류의 메인 그래픽 오브젝트(1101a)는 관절 오브젝트로 명명되며, 제2 종류의 메인 그래픽 오브젝트(1103a)는 머리 오브젝트로 명명될 수 있다. 일 실시예에서, 상기 관절 오브젝트(1101a)의 위치와 상기 머리 오브젝트(1103a)의 위치는 서로 다른 지점에 표시되도록 설정될 수 있다. 예를 들어, 상기 관절 오브젝트(1101a)는 서브 오브젝트(903a)가 연결되는 지점 및/또는 서브 오브젝트(903a)의 일 단부에 위치될 수 있으나, 상기 머리 오브젝트(1103a)는 서브 오브젝트(903a)의 단부에만 위치되도록 구현될 수 있으나, 기재된 예와 반대로 구현될 수도 있다. 또 일 실시예에서, 상기 관절 오브젝트(1101a)의 크기와 상기 머리 오브젝트(1103a)의 크기는 서로 다르도록 설정될 수 있다. 예를 들어, 상기 관절 오브젝트(1101a)의 크기가 상기 머리 오브젝트(1103a)의 크기보다 작도록 구현될 수 있으나, 기재된 예와 반대로 구현될 수도 있다. 또 일 실시예에서, 상기 관절 오브젝트(1101a)와 상기 머리 오브젝트(1103a)는 서로 다른 방식으로 오디오 소스의 속성을 제어하도록 구현될 수 있다.According to various embodiments, the main graphic object 901a may include a first type main graphic object 1101a and a second type main graphic object 1103a. The first type of main graphic object 1101a may be referred to as a joint object, and the second type of main graphic object 1103a may be referred to as a head object. In one embodiment, the position of the joint object 1101a and the position of the head object 1103a may be set to be displayed at different points. For example, the joint object 1101a may be located at a point where the sub-object 903a is connected and/or at one end of the sub-object 903a, but the head object 1103a may be located at a point where the sub-object 903a is connected. It may be implemented to be located only at the end, but may also be implemented contrary to the described example. In another embodiment, the size of the joint object 1101a and the size of the head object 1103a may be set to be different from each other. For example, the size of the joint object 1101a may be implemented to be smaller than the size of the head object 1103a, but it may also be implemented contrary to the described example. In another embodiment, the joint object 1101a and the head object 1103a may be implemented to control properties of audio sources in different ways.
다양한 실시예들에 따르면, 상기 메인 그래픽 오브젝트(901a)와 상기 서브 그래픽 오브젝트(903a)의 속성(예: 위치, 형상)은 제어될 수 있다. 예를 들어, 특정 메인 그래픽 오브젝트(901a)의 위치는 이동(예: 좌/우로 이동)될 수 있다. 이때, 특정 메인 그래픽 오브젝트(901a)가 이동됨에 따라, 특정 메인 그래픽 오브젝트(901a)와 다른 그래픽 오브젝트(901a)를 연결하는 서브 그래픽 오브젝트(903a)의 형상(예: 길이)이 변경될 수 있다. 상기 메인 그래픽 오브젝트(901a)의 이동은, 사용자의 입력에 의한 이동, 및 자동으로 수행되는 랜덤 이동을 포함할 수 있다. 상기 메인 그래픽 오브젝트(901a)가 자동으로 랜덤하게 이동되는 경우, 상기 메인 그래픽 오브젝트(901a)는 상기 복수의 오디오 소스들에 기반하여 식별되는 음악적 단위(예: 박자)에 대응하는 주기로 이동될 수 있다. 이에 따라, 전체적인 오브젝트(예: 메인 그래픽 오브젝트(901a)와 서브 그래픽 오브젝트(903a))의 형상이 마치 음악에 맞추어 움직이는(또는 춤을 추는) 생물로 사용자에게 인식되어, 음악의 더 생동감 있는 감상이 가능해질 수 있다. According to various embodiments, properties (eg, positions and shapes) of the main graphic object 901a and the sub graphic object 903a may be controlled. For example, the position of a specific main graphic object 901a may be moved (eg, left/right). At this time, as the specific main graphic object 901a is moved, the shape (eg, length) of the sub graphic object 903a connecting the specific main graphic object 901a and another graphic object 901a may be changed. The movement of the main graphic object 901a may include a movement by a user's input and an automatically performed random movement. When the main graphic object 901a is automatically and randomly moved, the main graphic object 901a may be moved in a cycle corresponding to a musical unit (eg, beat) identified based on the plurality of audio sources. . Accordingly, the shape of the overall object (eg, the main graphic object 901a and the sub graphic object 903a) is recognized by the user as a creature that moves (or dances) in accordance with the music, so that the user can enjoy more lively music. it could be possible
다양한 실시예들에 따르면, 도 11c를 참조하면, 상기 메인 그래픽 오브젝트(1301c, 1303c, 1305c)가 이동됨에 따라서 서로 중첩되는 경우에는, 소정의 형상(예: 삼각형, 사각형과 같은 다각형)을 형성하도록 메인 그래픽 오브젝트(1301c, 1303c, 1305c)의 위치와 이를 연결하는 서브 오브젝트(903a)의 위치가 설정될 수 있다. According to various embodiments, referring to FIG. 11C , when the main graphic objects 1301c, 1303c, and 1305c overlap each other as they are moved, a predetermined shape (eg, a polygon such as a triangle or a quadrangle) is formed. The positions of the main graphic objects 1301c, 1303c, and 1305c and the position of the sub-object 903a connecting them may be set.
다양한 실시예들에 따르면, 도 11a를 참조하면, 전자 장치(110)는 적어도 하나의 부가 오브젝트(905a)를 더 표시할 수 있다. 부가 오브젝트(905a)는 도시된 바와 같이 십자 형태로 구현될 수 있으나, 다양한 형상으로 구현될 수 있음은 당업자에 의해 자명하다. 상기 부가 오브젝트(905a)는 상기 메인 오브젝트(901a)와 상기 서브 오브젝트(903a)의 위치 이외의 배경 영역에서 생성되어, 임의의 한 방향(예: 아래 방향)으로 이동될 수 있다. 상기 부가 오브젝트(905)의 생성 시기는 상기 복수의 오디오 소스들의 음악적 단위(예: 박자, 마디)에 기초하여 결정될 수 있다. 상기 부가 오브젝트(905a)는 선택되는 경우, 기-설정된 및/또는 랜덤하게 설정되는 오디오 효과 및/또는 시각적 효과를 제공할 수 있다. According to various embodiments, referring to FIG. 11A , the electronic device 110 may further display at least one additional object 905a. As shown, the additional object 905a may be implemented in a cross shape, but it is apparent to those skilled in the art that it may be implemented in various shapes. The additional object 905a may be created in a background area other than the positions of the main object 901a and the sub-object 903a, and may be moved in one arbitrary direction (eg, a downward direction). The generation time of the additional object 905 may be determined based on a musical unit (eg, beat, measure) of the plurality of audio sources. When the additional object 905a is selected, it may provide pre-set and/or randomly set audio effects and/or visual effects.
다양한 실시예들에 따르면, 도 11b의 (a) 내지 (d)를 참조하면, 리듬 노트(1100b)는 복수의 오디오 소스들에 기반한 음악적 단위(예: 박자, 마디)를 시인하도록 제공될 수 있다. 예를 들어, 상기 리듬 노트(1100b)는 머리 오브젝트(1103a)와 가장 먼 메인 오브젝트(901a)(이하, 꼬리 오브젝트)에서 생성되어, 상기 부가 오브젝트(905a)의 이동 방향과는 다르게(또는 반대로) 머리 오브젝트(1103a) 방향으로 서브 오브젝트(903a)를 따라서 이동될 수 있다. 이때, 리듬 노트(1100b)가 머리 오브젝트(1103a)에 도달되는 경우, 소멸되며 시각적 이펙트가 제공되거나 및/또는 오디오 소스의 속성이 제어될 수 있다. 한편, 기재된 예와 반대로 리듬 노트(1100b)가 이동되어 소멸될 수 있다. 이때, 상기 리듬 노트(1100b)가 이동하면서 상기 메인 오브젝트들(901a)과 중첩되는 시점은, 상기 복수의 오디오 소스들의 음악적 단위(예: 박자, 마디)에 기초하여 결정될 수 있으며, 이에 따라 사용자는 상기 리듬 노트(1100b)의 위치를 통해서 음악의 음악적 단위를 인지할 수 있게 된다. According to various embodiments, referring to (a) to (d) of FIG. 11b , a rhythm note 1100b may be provided to recognize a musical unit (eg, beat, measure) based on a plurality of audio sources. . For example, the rhythm note 1100b is generated in the main object 901a (hereinafter referred to as a tail object) farthest from the head object 1103a, and is different from (or opposite to) the movement direction of the additional object 905a. It may be moved along the sub-object 903a in the direction of the head object 1103a. At this time, when the rhythm note 1100b reaches the head object 1103a, it disappears, and a visual effect may be provided and/or properties of the audio source may be controlled. Meanwhile, contrary to the described example, the rhythm note 1100b may be moved and disappear. In this case, the timing at which the rhythm note 1100b overlaps with the main objects 901a while moving may be determined based on a musical unit (eg, beat, measure) of the plurality of audio sources, and accordingly, the user Through the position of the rhythm note 1100b, it is possible to recognize the musical unit of music.
5.2 메인 오브젝트 개수 설정 및 메인 오브젝트 기반 제어 동작5.2 Main object number setting and main object based control operation
도 12a는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1200)이다. 다양한 실시예들에 따르면, 도 12a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 12a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 12b 및 도 12c를 참조하여 도 12a에 대해서 더 설명한다.12A is a flowchart 1200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 12A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 12A may be performed, or at least one operation less than that shown in FIG. 12A may be performed. 12A will be further described below with reference to FIGS. 12B and 12C.
도 12b는, 다양한 실시예들에 따른, 전자 장치(110)의 메인 오브젝트(901a)의 개수를 설정하는 동작의 예를 설명하기 위한 도면이다. 도 12c는, 다양한 실시예들에 따른, 전자 장치(110)의 메인 오브젝트(901a)의 이동에 따라서 오디오 소스의 속성을 제어하는 동작의 예를 설명하기 위한 도면이다.12B is a diagram for explaining an example of an operation of setting the number of main objects 901a of the electronic device 110 according to various embodiments. 12C is a diagram for explaining an example of an operation of controlling an audio source property according to the movement of the main object 901a of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1201에서, 복수의 오디오 소스들(예: 도 12b의 제1 내지 제4 오디오 소스(1200a, 12200b, 1200c, 1200d))에 기반한 음악적 단위(예: 박자, 마디)를 식별하고, 동작 1203에서, 식별된 음악적 단위에 대응하는 개수의 복수의 메인 그래픽 오브젝트들을 포함하는 실행 화면을 표시하면서 상기 복수의 오디오 소스들에 기반하여 제1 사운드(예: 음악)를 출력할 수 있다. 예를 들어 도 12c에 도시된 바와 같이, 전자 장치(110)는 식별된 음악적 단위가 4/4박자인 경우, 4개의 메인 그래픽 오브젝트들(901a)을 표시하고, 상기 메인 그래픽 오브젝트들(901a)을 연결하는 3개의 서브 오브젝트들(903a)을 표시할 수 있다. 음악을 청취하는 사용자로 하여금 상기 박자를 나타내는 메인 그래픽 오브젝트(901a)의 개수를 기반으로 음악의 박자를 더 용이하게 인지하도록 하며, 결과적으로 사용자가 박자에 맞추어 오디오의 속성을 제어하도록 가이드하여 인터랙티브한 음악 감상의 질이 향상되도록 할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1201, configures a plurality of audio sources (eg, the first to fourth audio sources 1200a, 12200b, and 1200c of FIG. 12B). , 1200d)), and in operation 1203, an execution screen including a plurality of main graphic objects corresponding to the number of identified musical units is displayed while the plurality of audio sources are identified. Based on the sound, the first sound (eg, music) may be output. For example, as shown in FIG. 12C, when the identified musical unit is a 4/4 time signature, the electronic device 110 displays four main graphic objects 901a, and the main graphic objects 901a It is possible to display three sub-objects 903a connecting . It makes it easier for the user who listens to music to recognize the beat of the music based on the number of main graphic objects 901a representing the beat, and as a result guides the user to control the properties of the audio according to the beat. The quality of listening to music can be improved.
다양한 실시예들에 다르면, 전자 장치(110)는 시간의 흐름에 따라 식별된 음악적 단위에 기반하여 메인 오브젝트(903a)에 시각적 효과를 제공할 수 있다. 예를 들어, 전자 장치(110)는 전술한 바와 같이 리듬 노트를 상기 박자에 따라서 메인 오브젝트(901a) 상에 위치할 수 있다. 또 예를 들어, 전자 장치(110)는 박자 별로 메인 오브젝트(901a)의 속성(예: 크기, 색상)을 제어할 수도 있다. 이에 따라, 음악적 단위에 대한 사용자의 인식률이 향상될 수 있다.According to various embodiments, the electronic device 110 may provide visual effects to the main object 903a based on musical units identified over time. For example, as described above, the electronic device 110 may place the rhythm note on the main object 901a according to the beat. Also, for example, the electronic device 110 may control properties (eg, size, color) of the main object 901a for each beat. Accordingly, the user's recognition rate for musical units may be improved.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1205에서, 복수의 메인 그래픽 오브젝트들 중 특정 메인 그래픽 오브젝트를 제어하기 위한 사용자 입력(예: 터치 입력, 드래그 입력)을 식별할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1205, receives a user input (eg, a touch input, a drag) for controlling a specific main graphic object among a plurality of main graphic objects. input) can be identified.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1207에서, 이동 방향이 제1 방향인지 여부를 판단하고, 제1 방향인 경우(1207-예) 동작 1209에서, 상기 복수의 오디오 소스들 중 적어도 일부의 속성을 제1 방식(예: 제1 크기로 오디오 효과 적용)에 기반하여 제어함으로써 제2 사운드를 출력하고, 제1 방향이 아닌 경우(1207-아니오), 동작 1211에서, 이동 방향이 제2 방향인지 여부를 판단하고, 제2 방향인 경우(1211-예) 동작 1213에서, 상기 복수의 오디오 소스들 중 적어도 일부의 속성을 제2 방식(예: 제2 크기로 오디오 효과 적용)에 기반하여 제어함으로써 제3 사운드를 출력할 수 있다. 예를 들어 도 12c에 도시된 바와 같이, 전자 장치(110)는 메인 오브젝트(901a)에 대한 드래그 입력이 수신되는 경우, 이동 방향 및 이동 거리에 따라서 결정되는 메인 오브젝트(901a)의 위치에 따라서 서로 다른 오디오 효과(1210a, 1210b)를 적용할 수 있다. 예를 들어, 서로 다른 오디오 효과를 적용하는 동작은 속성을 제어하는 정도를 다르게 적용하는 동작을 포함할 수 있으나, 기재된 예에 제한되지 않을 수 있다.According to various embodiments, in operation 1207, the electronic device 110 (eg, the processor 210) determines whether the movement direction is the first direction, and if it is the first direction (1207-yes), operation 1209 In , a second sound is output by controlling the properties of at least some of the plurality of audio sources based on a first method (eg, applying an audio effect with a first size), and when not in the first direction (1207-No) ), in operation 1211, it is determined whether the moving direction is the second direction, and if it is the second direction (1211-yes), in operation 1213, properties of at least some of the plurality of audio sources are set in a second method (eg: A third sound may be output by controlling based on the application of an audio effect with a second size). For example, as shown in FIG. 12C , when a drag input for the main object 901a is received, the electronic device 110 can interact with each other according to the location of the main object 901a determined according to the moving direction and the moving distance. Other audio effects 1210a and 1210b may be applied. For example, the operation of applying different audio effects may include an operation of differently applying different degree of property control, but may not be limited to the described example.
다양한 실시예들에 따르면, 메인 오브젝트(901a) 별로 이동 방향(또는, 위치의 변경 방향)은 제1 방향과 제1 방향의 반대 방향인 제2 방향으로 설정될 수 있다. 예를 들어 도 12c에 도시된 바와 같이 좌측과 우측일 수 있으나, 기재된 예에 제한되지 않고 상측과 하측, 대각 우측과 대각 좌측 등으로 구현될 수도 있다. 이에 따라, 사용자는 직관적으로 메인 오브젝트(901a)를 제어하여, 감상하는 음악을 제어할 수 있게 된다.According to various embodiments, the movement direction (or position change direction) of each main object 901a may be set to a first direction and a second direction opposite to the first direction. For example, it may be left and right as shown in FIG. 12c, but it may be implemented as upper and lower, diagonal right and diagonal left without being limited to the described example. Accordingly, the user can intuitively control the main object 901a to control the music he/she enjoys.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제1 방향 및 제2 방향이 아닌 경우(1211-아니오) 동작 1215에서, 배경에 대한 시각적 효과를 제공(예: 색상 변경, 특정 색상의 컨텐트를 제공)하면서 오디오 효과를 제공할 수 있다. 예를 들어, 전자 장치(110)는 메인 오브젝트(901a)에 대한 터치 입력이 수신되는 경우, 드래그 입력을 수신한 경우와는 다른 오디오 효과(예: 제3 오디오 효과)를 적용할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) provides a visual effect for the background in operation 1215 when the first and second directions are not (1211-No) (Yes). : color change, providing content of a specific color) while providing audio effects. For example, when a touch input to the main object 901a is received, the electronic device 110 may apply a different audio effect (eg, a third audio effect) than when a drag input is received.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 터치의 속성(예: 강도)에 따라서 서로 다른 시각적 효과(예: 색상을 다르게 함) 및/또는 오디오 효과를 제공할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) provides different visual effects (eg, different colors) and/or audio effects according to touch properties (eg, strength). can do.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 복수의 오디오 소스들에 대응하는 음원 파일의 종류에 따라 동일한 터치 입력이더라도, 서로 다른 시각적 효과(예: 색상을 다르게 함) 및/또는 오디오 효과를 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) provides different visual effects (eg, different colors) even if the same touch input is performed according to the type of a sound source file corresponding to a plurality of audio sources. ) and/or audio effects.
5.3. 신규 메인 오브젝트 생성 동작5.3. New main object creation behavior
도 13a는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1300)이다. 다양한 실시예들에 따르면, 도 12a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 13a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 13b를 참조하여 도 13a에 대해서 더 설명한다.13A is a flowchart 1300 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 12A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 13A may be performed, or at least one operation less than that shown in FIG. 13A may be performed. Hereinafter, FIG. 13A will be further described with reference to FIG. 13B.
도 13b는, 다양한 실시예들에 따른, 전자 장치(110)의 신규 오브젝트를 생성하는 동작의 예를 설명하기 위한 도면이다. 도 13c는, 다양한 실시예들에 따른, 전자 장치(110)의 신규 오브젝트를 생성하는 동작의 예를 설명하기 위한 도면이다. 13B is a diagram for explaining an example of an operation of generating a new object of the electronic device 110 according to various embodiments. 13C is a diagram for explaining an example of an operation of generating a new object of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 전술한 동작 1201 내지 동작 1203을 수행한 이후, 동작 1301에서 사용자의 입력을 식별할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) may identify a user's input in operation 1301 after performing operations 1201 to 1203 described above.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1303에서, 식별된 사용자의 입력이 오브젝트의 생성을 위한 입력인지 여부를 판단하고, 오브젝트의 생성을 위한 입력인 경우(1303-예) 동작 1305에서, 복수의 오디오 소스들의 특정 속성을 제어하기 위한 오브젝트를 더 표시할 수 있다. 예를 들어 도 13b에 도시된 바와 같이, 전자 장치(110)는 복수의 서브 오브젝트들(903a) 중 일부에 대한 사용자 입력을 수신하는 경우, 사용자 입력이 수신된 위치에 새로 생성된 메인 오브젝트(1300)를 표시할 수 있다. 이때, 전자 장치(110)는 새로 생성된 메인 오브젝트(1300)와 기존의 메인 오브젝트(901a)를 연결하는 새로운 서브 오브젝트(1310, 1320)를 표시할 수 있다. 또 예를 들어 도시되지 않았으나, 전자 장치(110)는 메인 오브젝트(901a)에 대해서 특정 종류의 사용자 입력이 수신되는 경우, 새로운 메인 오브젝트(901a)를 표시할 수도 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1303, determines whether the identified user's input is an input for object creation, and determines whether the object is generated. If (1303-Yes), in operation 1305, an object for controlling a specific property of a plurality of audio sources may be further displayed. For example, as shown in FIG. 13B , when the electronic device 110 receives a user input for some of the plurality of sub-objects 903a, the main object 1300 is newly created at the location where the user input is received. ) can be displayed. In this case, the electronic device 110 may display new sub-objects 1310 and 1320 connecting the newly created main object 1300 and the existing main object 901a. Also, for example, although not shown, the electronic device 110 may display a new main object 901a when a specific type of user input is received with respect to the main object 901a.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 메인 오브젝트(901a)의 개수가 변경되는 경우, 스테이지를 변경하거나, 및/또는 오디오 소스 셋을 변경할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may change a stage and/or an audio source set when the number of main objects 901a is changed.
또 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 메인 오브젝트(901a)의 개수가 변경되는 경우, 신규 생성된 메인 오브젝트에 대한 사용자의 입력의 종류에 기반하여 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 전자 장치(110)(예: 프로세서(210))는 신규 생성된 메인 오브젝트의 생성 후 확대 및 축소 동작이 식별되는 경우, 특정 오디오 효과를 적용하거나, 및/또는 재생되는 오디오 소스의 출력 레벨 조절(예: 확대 시 출력 레벨이 높아지고, 축소 시 출력 레벨이 낮아짐)할 수 있다. 또, 전자 장치(110)(예: 프로세서(210))는 신규 생성된 메인 오브젝트에 대한 사용자 입력(ex. 터치)이 식별되는 경우, 오디오 효과를 적용할 수 있다. 또, 전자 장치(110)(예: 프로세서(210))는 신규 생성된 메인 오브젝트의 내부가 터치되는 경우, 다른 스테이지로 이동할 수 있다. 또, 전자 장치(110)(예: 프로세서(210))는 스핀 입력이 식별되는 경우, 오디오 및/또는 시각적 효과를 제공할 수 있다.According to various embodiments, when the number of main objects 901a is changed, the electronic device 110 (eg, the processor 210), based on the type of user input for the newly created main object, at least One action can be performed. For example, the electronic device 110 (eg, the processor 210) applies a specific audio effect and/or controls the audio source to be played when an enlargement and reduction operation is identified after the creation of the newly created main object. You can adjust the output level (e.g. increase the output level when zooming in and decrease the output level when zooming out). In addition, the electronic device 110 (eg, the processor 210) may apply an audio effect when a user input (eg, touch) for the newly created main object is identified. Also, the electronic device 110 (eg, the processor 210) may move to another stage when the inside of the newly created main object is touched. Also, when the spin input is identified, the electronic device 110 (eg, the processor 210) may provide audio and/or visual effects.
또 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 메인 오브젝트(901a)의 개수가 변경되는 경우, 복수의 오디오 소스들의 음악적 단위(예: 박자)를 변경할 수 있다. 예를 들어, 전자 장치(110)는 메인 오브젝트(901a)의 개수가 4개에서 8개로 증가되는 경우, 박자를 4/4박자에서 8/8박자로 변경할 수 있다. 전자 장치(110)는 박자를 변경하는 동작의 적어도 일부로, 메인 오브젝트(901a)의 개수가 임계 개수에 도달되는지 여부를 판단할 수 있다. 전자 장치(110)는 상기 메인 오브젝트(901a)의 개수가 4개에서 증가하여 임계 개수(예: 8개)에 도달되기 전까지는 박자 변경 동작을 삼가하고, 메인 오브젝트(901a)의 개수 가 임계 개수에 도달되는 경우 박자 변경 동작을 수행할 수 있다. 상기 임계 개수는 최초의 음악적 단위(예: 박자)에 기반하여 결정될 수 있다.Also, according to various embodiments, the electronic device 110 (eg, the processor 210) may change a musical unit (eg, beat) of a plurality of audio sources when the number of main objects 901a is changed. . For example, when the number of main objects 901a increases from 4 to 8, the electronic device 110 may change the time signature from 4/4 time to 8/8 time signature. The electronic device 110 may determine whether the number of main objects 901a reaches a threshold number as at least part of the operation of changing the beat. The electronic device 110 refrains from the time signature change operation until the number of main objects 901a increases from 4 and reaches a critical number (eg, 8), and the number of main objects 901a is the critical number. When is reached, a time signature change operation may be performed. The threshold number may be determined based on the first musical unit (eg, beat).
5.4. 메인 오브젝트에 대한 입력 기반 효과 제공 동작5.4. Actions to provide input-based effects for the main object
도 14a는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1400)이다. 다양한 실시예들에 따르면, 도 14a에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 14a에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 14b를 참조하여 도 14a에 대해서 더 설명한다.14A is a flowchart 1400 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 14A may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations illustrated in FIG. 14A may be performed, or at least one operation less than that shown in FIG. 14A may be performed. Hereinafter, FIG. 14A will be further described with reference to FIG. 14B.
도 14b는, 다양한 실시예들에 따른, 전자 장치(110)의 사용자의 입력이 배경 화면 상에 수신되는 경우, 오브젝트의 위치를 제어하는 동작의 예를 설명하기 위한 도면이다.14B is a diagram for explaining an example of an operation of controlling a position of an object when a user's input of the electronic device 110 is received on a background screen, according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1401에서, 사용자 입력을 식별할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1401, may identify a user input.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1403에서, 사용자 입력이 오브젝트(예: 메인 그래픽 오브젝트(901a))에 대한 입력인지 여부를 판단하고, 오브젝트에 대한 입력인 경우(1403-예), 동작 1405에서, 제1 그래픽 오브젝트의 이동 방향에 대응하는 제1 방식에 기반하여, 복수의 오디오 소스들 중 적어도 일부의 속성을 제어함으로써 제2 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)의 1403 동작 내지 1405 동작은, 전술한 전자 장치(110)의 동작 1205 내지 동작 1215와 같이 수행될 수 있으므로 중복되는 설명은 생략한다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1403, determines whether the user input is an input for an object (eg, the main graphic object 901a), and determines whether the object If it is an input for (1403-Yes), in operation 1405, a second sound is output by controlling properties of at least some of the plurality of audio sources based on a first method corresponding to the moving direction of the first graphic object. can do. For example, operations 1403 to 1405 of the electronic device 110 may be performed in the same manner as operations 1205 to 1215 of the electronic device 110 described above, and thus duplicate descriptions are omitted.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 오브젝트에 대한 입력이 아닌 경우(1403-아니오), 동작 1407에서, 사용자 입력이 배경에 대한 입력인지 여부를 판단하고, 배경에 대한 입력인 경우(1407-예), 동작 1409에서, 사용자의 입력의 위치에 기반하여 적어도 하나의 제2 그래픽 오브젝트가 이동되도록 제어하고, 동작 1411에서, 적어도 하나의 제2 그래픽 오브젝트의 이동 방향에 대응하는 제2 방식에 기반하여, 복수의 오디오 소스들 중 적어도 일부의 속성을 제어함으로써 제3 사운드를 출력할 수 있다. 예를 들어 도 14b에 도시된 바와 같이, 전자 장치(110)는, 그래픽 오브젝트(예: 메인 그래픽 오브젝트(901a) 및 서브 그래픽 오브젝트(903a))의 위치 이외의 영역에 대한 사용자 입력(예: 터치)를 수신할 수 있다. 전자 장치(110)는, 사용자 입력(예: 터치)의 위치(예: (x1, y1))와 복수의 메인 그래픽 오브젝트(901a)의 위치(예: (x2, y2))를 비교한 것에 기반하여, 가장 거리가 짧은 것으로 식별되는 메인 그래픽 오브젝트(901a)의 위치를 이동시킬 수 있다. 전자 장치(110)는 상기 메인 그래픽 오브젝트(901a)의 위치를 이동시키는 동작의 적어도 일부로, 상기 사용자 입력(예: 터치)의 위치(예: (x1, y1))로부터 상기 식별된 메인 그래픽 오브젝트(901a)의 위치(예: (x2, y2))의 방향으로 상기 식별된 메인 그래픽 오브젝트(901a)를 이동시킬 수 있다. 이에 따라 식별된 메인 그래픽 오브젝트(901a)가 사용자 입력의 위치로부터 멀어질 수 있다. 다만 기재된 예에 제한되지 않고, 반대 방향으로 이동되어 사용자 입력의 위치에 가까워질 수도 있다. 이때, 전자 장치(110)는 메인 그래픽 오브젝트(901a)의 이동에 따라서, 이동되는 메인 그래픽 오브젝트(901a)에 연결되는 서브 그래픽 오브젝트(903a)의 길이도 조절할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 1407, whether the user input is an input for a background, when the input is not an object input (1403-No). and in the case of a background input (1407-Yes), in operation 1409, at least one second graphic object is controlled to be moved based on the location of the user's input, and in operation 1411, the at least one second graphic object is moved. A third sound may be output by controlling properties of at least some of the plurality of audio sources based on the second method corresponding to the moving direction of the audio source. For example, as shown in FIG. 14B , the electronic device 110 receives a user input (eg, a touch) for areas other than the locations of graphic objects (eg, the main graphic object 901a and the sub graphic object 903a). ) can be received. The electronic device 110 compares the position (eg, (x1, y1)) of the user input (eg, touch) and the position (eg, (x2, y2)) of the plurality of main graphic objects 901a. Thus, the position of the main graphic object 901a identified as having the shortest distance may be moved. As at least part of an operation of moving the location of the main graphic object 901a, the electronic device 110 moves the identified main graphic object (eg, (x1, y1)) from the position (eg, (x1, y1)) of the user input (eg, touch). The identified main graphic object 901a may be moved in the direction of the position of 901a (eg, (x2, y2)). Accordingly, the identified main graphic object 901a may move away from the location of the user input. However, it is not limited to the described example, and may be moved in the opposite direction to approach the position of the user input. In this case, the electronic device 110 may adjust the length of the sub graphic object 903a connected to the main graphic object 901a according to the movement of the main graphic object 901a.
5.5. 메인 오브젝트의 종류에 기반한 음악적 효과 제공5.5. Provides musical effects based on the type of main object
도 15는 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1500)이다. 다양한 실시예들에 따르면, 도 15에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 15에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.15 is a flowchart 1500 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 15 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations illustrated in FIG. 15 or at least one operation less than those shown in FIG. 15 may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1501에서, 복수의 오디오 소스들에 기반한 음악적 단위를 식별하고, 동작 1503에서, 제1 종류의 메인 오브젝트(예: 도 11의 관절 오브젝트(1101a)) 및 제2 종류의 메인 오브젝트(예: 도 11의 머리 오브젝트(1103a))를 포함하는 복수의 메인 오브젝트들(901a)을 표시할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) identifies a musical unit based on a plurality of audio sources in operation 1501, and in operation 1503, the first type of main object ( Example: A plurality of main objects 901a including a joint object 1101a of FIG. 11) and a second type of main object (eg, head object 1103a of FIG. 11) may be displayed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1505에서, 복수의 메인 그래픽 오브젝트들(901a) 중 특정 메인 그래픽 오브젝트를 제어하기 위한 사용자 입력을 식별할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may, in operation 1505, identify a user input for controlling a specific main graphic object among the plurality of main graphic objects 901a. there is.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1507에서, 제어된 메인 그래픽 오브젝트의 종류가 제1 종류(예: 도 11의 관절 오브젝트(1101a))인지 여부를 판단하고, 제1 종류(예: 도 11의 관절 오브젝트(1101a))인 경우(1507-예), 동작 1509에서, 그래픽 오브젝트의 이동 방향에 대응하는 제1 방식(예: 관절 오브젝트(1101a)에 할당된 오디오 효과)에 기반하여, 복수의 오디오 소스들 중 적어도 일부의 속성을 제어함으로써 제2 사운드를 출력할 수 있다. 전자 장치(110)의 동작 1507 내지 동작 1509는, 전술한 전자 장치(110)의 동작 1205 내지 동작 1215와 같이 수행될 수 있으므로 중복되는 설명은 생략한다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines whether, in operation 1507, the type of the controlled main graphic object is the first type (eg, the joint object 1101a of FIG. 11). and if it is the first type (eg, the joint object 1101a of FIG. 11) (1507-yes), in operation 1509, the first method corresponding to the moving direction of the graphic object (eg, the joint object 1101a) ), the second sound may be output by controlling properties of at least some of the plurality of audio sources based on the audio effect assigned to). Operations 1507 to 1509 of the electronic device 110 may be performed in the same manner as operations 1205 to 1215 of the electronic device 110 described above, and thus duplicate descriptions are omitted.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1511에서, 제어된 메인 그래픽 오브젝트의 종류가 제2 종류(예: 도 11의 머리 오브젝트(1103a))인지 여부를 판단하고, 제2 종류(예: 도 11의 머리 오브젝트(1103a))인 경우(1511-예), 동작 1513에서, 제2 방식에 기반하여, 복수의 오디오 소스들 중 적어도 일부의 속성을 제어함으로써 제3 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)는, 머리 오브젝트(1103a)가 선택되는 경우, 현재 스테이지에서 다른 스테이지로 이동하여 이동된 스테이지에 대응하는 오디오 소스 셋을 재생함으로써 기존과는 다른 사운드를 제공할 수 있다. 또 예를 들어, 전자 장치(110)는, 머리 오브젝트(1103a)가 선택되는 경우, 스테이지를 유지하면서, 현재 오디오 소스 셋의 적어도 일부를 다른 종류 및/또는 다른 속성의 오디오 소스로 변경하는 동작을 수행할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 1511, whether the type of the controlled main graphic object is the second type (eg, the head object 1103a of FIG. 11 ). and if it is the second type (eg, the head object 1103a of FIG. 11) (1511-yes), in operation 1513, based on the second method, attributes of at least some of the plurality of audio sources are determined. By controlling, the third sound can be output. For example, when the head object 1103a is selected, the electronic device 110 may move from the current stage to another stage and reproduce an audio source set corresponding to the moved stage to provide a different sound from the previous one. there is. Also, for example, when the head object 1103a is selected, the electronic device 110 performs an operation of changing at least a part of the current audio source set to an audio source of a different type and/or property while maintaining the stage. can be done
5.6. 부가 오브젝트(십자가 오브젝트) 제공 동작5.6. Operation of providing an additional object (cross object)
도 16은 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1600)이다. 다양한 실시예들에 따르면, 도 16에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 16에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.16 is a flowchart 1600 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 16 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 16 or at least one operation less may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1601에서, 복수의 오디오 소스들에 기반한 음악적 단위를 식별하고, 동작 1603에서, 식별된 음악적 단위에 대응하는 개수의 복수의 메인 그래픽 오브젝트들(901a)을 포함하는 실행 화면을 표시하면서 상기 복수의 오디오 소스들에 기반하여 제1 사운드를 출력할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) identifies a musical unit based on a plurality of audio sources in operation 1601 and, in operation 1603, performs a musical unit corresponding to the identified musical unit. A first sound may be output based on the plurality of audio sources while displaying an execution screen including a plurality of main graphic objects 901a.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1605에서, 특정 시간이 경과되는 경우, 적어도 하나의 부가 오브젝트(예: 도 11의 부가 오브젝트(905a))를 표시하고, 동작 1607에서, 적어도 하나의 부가 오브젝트(예: 도 11의 부가 오브젝트(905a))가 선택되는 경우, 특정 시각적 효과를 제공함에 기반하여 제2 실행 화면을 표시하면서, 특정 오디오 효과를 제공함에 기반하여 제2 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)는 음악적 단위(예: 박자, 마디)에 기초하여 설정되는 주기로, 실행 화면의 상단 부분의 배경 영역에서 부가 오브젝트(905a)를 생성하여 하단 방향으로 이동시킬 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1605, when a specific time elapses, at least one additional object (eg, the additional object 905a of FIG. 11 ) is displayed, and in operation 1607, when at least one additional object (eg, the additional object 905a of FIG. 11) is selected, a specific audio effect is displayed while displaying a second execution screen based on providing a specific visual effect. Based on the provision, the second sound may be output. For example, the electronic device 110 may create an additional object 905a in the background area of the upper part of the execution screen and move it downward at a period set based on a musical unit (eg, beat, measure). .
5.7. 메인 오브젝트의 이동 범위 가이드 동작5.7. Movement range guide behavior of the main object
도 17은 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(1700)이다. 다양한 실시예들에 따르면, 도 17에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 17에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 18을 참조하여, 도 17에 대해서 더 설명한다.17 is a flowchart 1700 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 17 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 17 may be performed, or at least one less operation may be performed. Below, with reference to FIG. 18, FIG. 17 is further demonstrated.
도 18은 다양한 실시예들에 따른, 전자 장치(110)의 메인 그래픽 오브젝트(901a) 별로 오디오 속성을 부여하는 동작의 예를 설명하기 위한 도면이다.18 is a diagram for explaining an example of an operation of assigning an audio property to each main graphic object 901a of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1701에서, 복수의 오디오 소스들에 기반한 음악적 단위를 식별하고, 동작 1703에서, 식별된 음악적 단위에 대응하는 개수의 복수의 메인 그래픽 오브젝트들(901a)을 포함하는 실행 화면을 표시하면서 상기 복수의 오디오 소스들에 기반하여 제1 사운드를 출력할 수 있다. 전자 장치(110)는 복수의 메인 그래픽 오브젝트들(901a)을 포함하는 실행 화면을 표시하는 동작의 적어도 일부로, 복수의 메인 그래픽 오브젝트들(901a) 별로 부여되는 오디오 효과 간의 연관도에 기반하여, 메인 그래픽 오브젝트(901a)의 순서 및/또는 위치를 결정할 수 있다. 상기 연관도는 일 오디오 효과가 다른 오디오 효과에 청각적으로 영향을 주는 정도로 정의될 수 있으며, 전자 장치(110)는 오디오 효과 별로 연관도에 대한 정보가 미리 저장하여, 미리 저장된 정보에 기반하여 오디오 효과들 간의 연관도를 식별할 수 있으나, 기재된 구현 예에 제한되지는 않는다. 예를 들어 도 18을 참조하면, 전자 장치(110)는 제1 메인 오브젝트(1800a)에 부여된 제1 오디오 효과와 제2 메인 오브젝트(1800b)에 부여된 제2 오디오 효과 간의 연관도가 높은 경우(예: 임계 값 보다 높은 경우), 제1 메인 오브젝트(1800a)와 제2 메인 오브젝트(1800b)를 인접한 위치에 위치시킬 수 있다. 일 예로, 전자 장치(110)는 제1 메인 오브젝트(1800a)와 제2 메인 오브젝트(1800b)를 일 서브 오브젝트(1800c)로 연결되도록 설정할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) identifies a musical unit based on a plurality of audio sources in operation 1701 and, in operation 1703, performs a musical unit corresponding to the identified musical unit. A first sound may be output based on the plurality of audio sources while displaying an execution screen including a plurality of main graphic objects 901a. The electronic device 110, as at least part of an operation of displaying an execution screen including a plurality of main graphic objects 901a, based on the degree of association between audio effects given to each of the plurality of main graphic objects 901a, The order and/or position of the graphic objects 901a may be determined. The degree of relevance may be defined as the extent to which one audio effect affects another audio effect audibly, and the electronic device 110 pre-stores information on the degree of relevance for each audio effect, and based on the pre-stored information, A degree of association between effects can be identified, but is not limited to the described implementation example. For example, referring to FIG. 18 , when the electronic device 110 has a high correlation between the first audio effect applied to the first main object 1800a and the second audio effect applied to the second main object 1800b. (eg, if higher than the threshold value), the first main object 1800a and the second main object 1800b may be positioned adjacent to each other. For example, the electronic device 110 may set the first main object 1800a and the second main object 1800b to be connected as one sub-object 1800c.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1705에서, 복수의 메인 그래픽 오브젝트들(901a) 중 특정 메인 그래픽 오브젝트를 제어하기 위한 사용자 입력을 식별할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may, in operation 1705, identify a user input for controlling a specific main graphic object among the plurality of main graphic objects 901a. there is.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 1707에서, 특정 메인 그래픽 오브젝트(901a)와 연관된 이동 범위 내에서 상기 특정 메인 그래픽 오브젝트가 이동되도록 제어하고, 동작 1709에서, 그래픽 오브젝트의 이동 방향에 대응하는 방식에 기반하여, 복수의 오디오 소스들 중 적어도 일부의 속성을 제어함으로써 제2 사운드를 출력할 수 있다. 예를 들어, 서로 인접한 위치의 메인 오브젝트들(1800a, 1800b) 중 일 메인 오브젝트(예: 제2 메인 오브젝트(1800b))의 위치에 기반하여, 다른 메인 오브젝트(예: 제1 메인 오브젝트(1800a))의 위치의 이동 범위(MD)가 설정(또는 결정, 또는 제한)될 수 있다. 이에 따라, 서브 오브젝트(1800c)의 길이 또한 제한될 수 있다. 이에 따라, 연관도가 높은 음악적 효과들이 존재하는 경우, 특정 오디오 효과가 지나치게 제어되는 것이 방지됨으로써, 음악 감상의 질이 향상될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 1707, controls the specific main graphic object 901a to be moved within a movement range associated with the main graphic object 901a, In operation 1709, a second sound may be output by controlling properties of at least some of the plurality of audio sources based on a method corresponding to the movement direction of the graphic object. For example, based on the position of one main object (eg, the second main object 1800b) among main objects 1800a and 1800b adjacent to each other, another main object (eg, the first main object 1800a) ) The movement range (MD) of the position may be set (or determined, or limited). Accordingly, the length of the sub-object 1800c may also be limited. Accordingly, when there are musical effects with a high degree of correlation, excessive control of a specific audio effect can be prevented, thereby improving the quality of music enjoyment.
6. TV app6. TV app
도 19는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 도면이다.19 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments.
도 19를 참조하면, 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 입력 장치(240)(예: 카메라(241), 마이크(243), 센서(245))를 통해서 제어 이벤트(500)의 발생을 식별하고, 그래픽 엘리먼트 셋(1900a)의 적어도 일부, 오디오 소스 셋(1900b)의 적어도 일부, 또는 타임라인 및/또는 스테이지(1900c) 중 적어도 하나를 제어할 수 있다. 예를 들어, 전자 장치(110)는 상기 입력 장치(240)를 이용하여 사용자의 제스쳐, 및/또는 모션을 인식한 것에 기반하여, 제어 이벤트(500)의 발생을 식별할 수 있다.Referring to FIG. 19 , according to various embodiments, an electronic device 110 (eg, a processor 210) includes an input device 240 (eg, a camera 241, a microphone 243, and a sensor 245). It is possible to identify the occurrence of the control event 500 and control at least one of at least a portion of the graphic element set 1900a, at least a portion of the audio source set 1900b, or a timeline and/or a stage 1900c. there is. For example, the electronic device 110 may identify the occurrence of the control event 500 based on recognizing a user's gesture and/or motion using the input device 240 .
6.1. TV app의 구성 요소6.1. Components of the TV app
도 20은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(2000)이다. 다양한 실시예들에 따르면, 도 20에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 20에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 21a 및 도 21b를 참조하여, 도 20에 대해서 더 설명한다.20 is a flowchart 2000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 20 may be performed in various orders without being limited to the order shown. Also, according to various embodiments, more operations than the operations shown in FIG. 20 may be performed, or at least one operation less than that shown in FIG. 20 may be performed. 20 will be further described below with reference to FIGS. 21A and 21B.
도 21a는, 다양한 실시예들에 따른, 전자 장치(110)의 시각적 컨텐트(101a)를 제공하는 동작의 일 예를 설명하기 위한 도면이다. 도 21b는, 다양한 실시예들에 따른, 전자 장치(110)의 체인 인터랙션의 예를 설명하기 위한 도면이다.21A is a diagram for explaining an example of an operation of providing the visual content 101a of the electronic device 110 according to various embodiments. 21B is a diagram for explaining an example of a chain interaction of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 2001 동작에서, 프로그램을 실행한 것에 기반하여, 복수의 오브젝트들(예: 도 21a의 복수의 오브젝트들(2101, 2103, 2105))을 포함하는 실행 화면을 표시하면서 복수의 오디오 소스들에 기반하여 제1 사운드를 출력할 수 있다. 예를 들어 도 21a를 참조하면, 전자 장치(110)는 어플리케이션이 실행되는 경우, 어플리케이션의 실행 화면 상에 복수의 오브젝트들(2101, 2103, 2105))을 표시하면서, 복수의 오디오 소스들을 재생함으로써 제1 사운드를 출력할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2001, based on executing a program, creates a plurality of objects (eg, the plurality of objects 2101 of FIG. 21A ). , 2103, 2105)), the first sound may be output based on a plurality of audio sources while displaying an execution screen. For example, referring to FIG. 21A , when an application is executed, the electronic device 110 reproduces a plurality of audio sources while displaying a plurality of objects 2101, 2103, and 2105 on the execution screen of the application. A first sound may be output.
다양한 실시예들에 따르면, 상기 복수의 오브젝트들(2101, 2103, 2105) 별로 적어도 하나의 오디오 효과 및/또는 제어 가능한 적어도 하나의 오디오 속성이 설정될 수 있다. 도 21a에 도시된 바와 같이, 오브젝트(2101, 2103, 2105)는 제1 축 방향(예: 가로 방향(X)) 및/또는 제2 축 방향(예: 세로 방향(Y))으로 이동되도록 설정될 수 있다. 이때, 오브젝트(2101, 2103, 2105)와 이동 축 방향 별로 제어 가능한 오디오 소스의 종류 및/또는 오디오 소스의 속성, 그리고 적용되는 오디오 효과의 종류가 달라질 수 있다. 예를 들어, 아래의 [표 1]을 참조하면, 오브젝트들(2101, 2103, 2105) 별로 제어되는 오디오 소스의 종류가 설정될 수 있으며, 이에 따라 이동되는 방향(예: 가로 방향(X), 및 세로 방향(Y)) 별로 적용되는 효과와 기준(예: 이동 거리에 따라 정도가 변경되는지, 또는 위치 기준에 따라 적용되는지)이 달라질 수 있다.According to various embodiments, at least one audio effect and/or at least one controllable audio property may be set for each of the plurality of objects 2101, 2103, and 2105. As shown in FIG. 21A , objects 2101, 2103, and 2105 are set to move in a first axis direction (eg, a horizontal direction (X)) and/or a second axis direction (eg, a vertical direction (Y)). It can be. In this case, the types of controllable audio sources and/or properties of the audio sources, and the types of applied audio effects may vary according to the objects 2101, 2103, and 2105 and the direction of the movement axis. For example, referring to [Table 1] below, the type of audio source controlled for each of the objects 2101, 2103, and 2105 may be set, and the moving direction (eg, horizontal direction (X), and the vertical direction (Y), the applied effect and criterion (eg, whether the degree is changed according to the movement distance or applied according to the location criterion) may be different.
오디오 소스 종류audio source type 이동 방향direction of movement
YY XX
악기instrument 하이패스필터high pass filter 음높낮이pitch
드럼drum 어깨선기준 드럼 트랙 변경Change the drum track based on the shoulder line 음높낮이pitch
종합컨트롤Comprehensive control 스피드/높낮이 선형 조절Linear speed/height adjustment 비트리피터beat repeater
보컬vocal 어깨선기준 보컬 변경Vocal change based on shoulder line 높낮이high and low
베이스Base 디스토션효과distortion effect 높낮이high and low
[표 3]의 기재는, 예시일 뿐, 오브젝트(2101, 2103, 2105)와 각 축 방향 별로 다양한 종류의 다른 오디오 효과 및/또는 오디오 속성이 제어되도록 설정될 수 있음은, 당업자에게 자명하다.다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 2003 동작에서, 복수의 오브젝트들 중 사용자의 모션에 의해 선택된 특정 오브젝트를 식별할 수 있다. 예를 들어, 전자 장치(110)는 입력 장치(250)를 이용하여 전자 장치(110)의 전방에 위치하는 사용자의 모션을 식별할 수 있다. 상기 사용자의 모션은 주먹을 쥐는 그랩 모션, 손을 흔드는 스윙 모션, 펀치 모션 등과 같은 사용자의 손에 의해 수행 가능한 다양한 종류의 모션을 포함할 수 있으며, 기재된 예에 제한되지 않고 다른 신체 일부(예: 팔, 발, 다리, 얼굴)을 이용한 다양한 종류의 모션을 포함할 수도 있다. 일 예로, 전자 장치(110)는 카메라를 이용하여 식별되는 사용자의 신체 일부(예: 손)의 형상의 변화를 검출하고, 검출된 변화에 대응하는 모션을 식별할 수 있다. 또 일 예로, 전자 장치(110)는 카메라 이외의 센싱 장치(예: 자기장 센서)를 이용하여, 사용자의 신체 일부(예: 손)의 형상의 변화를 검출하고, 검출된 변화에 대응하는 모션을 식별할 수 있다. 기재된 예들 이외의 다양한 구현 예는 당업자에게 자명하므로, 더 구체적인 설명은 생략한다. 이때, 도 21a에 도시된 바와 같이, 입력 장치(250)는, 전자 장치(110)와 별도로 구비되어 전자 장치(110)로 센싱된 정보(예: 신체 일부의 변화)를 전달할 수 있으나, 기재된 및/또는 도시된 예에 제한되지 않고, 전자 장치(110)는 입력 장치(250)를 포함하도록 구현될 수도 있다.다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 2005 동작에서, 상기 특정 오브젝트의 이동에 기반하여 상기 복수의 오디오 소스들 중 특정 오디오 소스의 속성을 제어한 것에 기반하여, 제2 사운드를 출력할 수 있다. 예를 들어 도 21a에 도시된 바와 같이, 전자 장치(110)는 식별된 사용자의 모션(GM)(예: 그랩)에 기반하여 그래픽 오브젝트(2105)를 선택할 수 있다. 전자 장치(110)는 모션(GM)의 위치(예: 좌표)와 그래픽 오브젝트(2105)의 위치(예: 좌표)를 비교한 것에 기반하여, 모션(GM)에 대응하는 위치의 그래픽 오브젝트(2015)를 선택할 수 있다. 예를 들어, 전자 장치(110)는 상기 모션(GM)이 이동되는 경우, 상기 모션(GM)의 이동 방향에 대응하는 방향으로 상기 선택된 그래픽 오브젝트(2105)를 이동시키고, 상기 그래픽 오브젝트(2105)의 이동 방향에 대응하는 오디오 소스의 속성을, 이동 거리에 대응하는 정도로 조절할 수 있다.The description in [Table 3] is only an example, and it is obvious to those skilled in the art that various types of other audio effects and/or audio properties can be set to be controlled for the objects 2101, 2103, and 2105 and for each axis direction. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2003, may identify a specific object selected by a user's motion from among a plurality of objects. For example, the electronic device 110 may use the input device 250 to identify motion of a user positioned in front of the electronic device 110 . The user's motion may include various types of motions that can be performed by the user's hands, such as a grab motion of clenching a fist, a swing motion of waving a hand, a punch motion, and the like, and are not limited to the described examples, and other body parts (e.g., It may include various types of motions using arms, feet, legs, and faces. For example, the electronic device 110 may detect a change in the shape of a user's body part (eg, hand) identified by using a camera, and identify a motion corresponding to the detected change. As another example, the electronic device 110 detects a change in the shape of a part of the user's body (eg, a hand) using a sensing device (eg, a magnetic field sensor) other than a camera, and generates a motion corresponding to the detected change. can be identified. Since various implementation examples other than the described examples are obvious to those skilled in the art, detailed descriptions are omitted. At this time, as shown in FIG. 21A, the input device 250 may be provided separately from the electronic device 110 and transmit sensed information (eg, change in body part) to the electronic device 110, but as described and / or not limited to the illustrated example, the electronic device 110 may be implemented to include the input device 250. According to various embodiments, the electronic device 110 (eg, the processor 210) , 2005, the second sound may be output based on controlling the property of a specific audio source among the plurality of audio sources based on the movement of the specific object. For example, as shown in FIG. 21A , the electronic device 110 may select a graphic object 2105 based on the identified user's motion (GM) (eg, grab). The electronic device 110 compares the position (eg, coordinates) of the motion (GM) with the position (eg, coordinates) of the graphic object 2105, and the graphic object 2015 at a position corresponding to the motion (GM). ) can be selected. For example, when the motion GM is moved, the electronic device 110 moves the selected graphic object 2105 in a direction corresponding to the moving direction of the motion GM, and moves the graphic object 2105 The property of the audio source corresponding to the moving direction of can be adjusted to a degree corresponding to the moving distance.
도 21b를 참조하면, 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 그래픽 오브젝트(2101, 2013, 2105)의 이동에 기반한 연쇄적인 효과를 제공할 수도 있다. 예를 들어, 전자 장치(110)는 제1 그래픽 오브젝트(2105)의 이동에 따라서 연쇄적으로 제2 그래픽 오브젝트(2103)의 속성(예: 위치, 개수)이 변경됨에 기반하여, 오디오 소스의 속성을 연쇄적으로 제어할 수 있다.Referring to FIG. 21B , according to various embodiments, the electronic device 110 (eg, the processor 210) may provide a chain effect based on movement of graphic objects 2101, 2013, and 2105. For example, the electronic device 110 determines the properties of an audio source based on chained properties (eg, position, number) of the second graphic objects 2103 being changed according to the movement of the first graphic object 2105 . can be controlled serially.
6.2. 제어 조건 만족 시 아바타 표시 동작6.2. Avatar display behavior when control conditions are satisfied
도 22는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(2200)이다. 다양한 실시예들에 따르면, 도 22에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 22에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 23a 및 도 23b를 참조하여, 도 22에 대해서 더 설명한다.22 is a flowchart 2200 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 22 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 22 may be performed, or at least one operation less than that shown in FIG. 22 may be performed. 22 will be further described below with reference to FIGS. 23A and 23B.
도 23a는, 다양한 실시예들에 따른, 전자 장치(110)의 사용자 간의 거리에 기반하여 제어를 위한 아바타를 제공하는 동작의 일 예를 설명하기 위한 도면이다. 도 23b는, 다양한 실시예들에 따른, 전자 장치(110)의 사용자 간의 거리에 기반하여 제어를 위한 아바타를 제공하는 동작의 다른 예를 설명하기 위한 도면이다.23A is a diagram for explaining an example of an operation of providing an avatar for control based on a distance between users of the electronic device 110 according to various embodiments. 23B is a diagram for explaining another example of an operation of providing an avatar for control based on a distance between users of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2201에서, 프로그램을 실행한 것에 기반하여, 복수의 오브젝트들(1900a)을 포하는 실행 화면을 표시하면서 복수의 오디오 소스들에 기반하여 제1 사운드를 출력할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2201, displays an execution screen including a plurality of objects 1900a based on the execution of the program while displaying a plurality of objects 1900a. The first sound may be output based on the audio sources of.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2203에서, 사용자(U)의 복수의 신체 부분들에 대한 정보를 획득하고, 동작 2205에서, 상기 복수의 신체 부분들 중 제1 부분(예: 몸통(B), 손바닥(P))에 대한 제1 정보에 기반하여, 특정 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어, 도 23a에 도시된 바와 같이, 전자 장치(110)는 입력 장치(250)를 통해서 획득되는 사용자의 특정 부분과 연관된 정보(예: 크기에 대한 정보, 형상에 대한 정보, 등)에 기반하여 사용자(U)와 전자 장치(110) 사이의 거리(D1, D2)를 식별할 수 있다. 예를 들어, 사용자의 특정 부분은 도 23a에 도시된 바와 같이 상기 사용자의 신체 부분들 중 가장 큰 부분인 몸통(B), 또는 도 23b에 도시된 바와 같이 손바닥(P)을 포함할 수 있으며, 이에 제한되지 않는다. 전자 장치(110)는 신체 일부(예: 몸통(B), 손바닥(P))의 크기 별로 대응하는 거리에 대한 정보를 미리 저장하고, 미리 저장된 정보로부터 현재 카메라(250)를 이용하여 획득된 이미지로부터 검출되는 신체 일부(예: 몸통(B), 손바닥(P))의 크기에 대응하는 거리(D1, D2)를 식별할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) obtains information on a plurality of body parts of the user U in operation 2203, and in operation 2205, the plurality of Based on the first information about the first part (eg, the torso B and the palm P) of the body parts, it may be determined whether a specific condition is satisfied. For example, as shown in FIG. 23A , the electronic device 110 provides information related to a specific part of the user (eg, size information, shape information, etc.) obtained through the input device 250. Based on this, distances D1 and D2 between the user U and the electronic device 110 may be identified. For example, a specific part of the user may include the torso B, which is the largest part of the user's body parts, as shown in FIG. 23A, or the palm P, as shown in FIG. 23B, Not limited to this. The electronic device 110 pre-stores information about distances corresponding to the sizes of body parts (eg, torso B and palm P), and images currently obtained using the camera 250 from the pre-stored information. It is possible to identify distances D1 and D2 corresponding to the sizes of body parts (eg, torso B and palm P) detected from .
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 특정 부분(예: 몸통(B), 손바닥(P)) 이외의 다른 신체 부분에 기반하여 임계 거리내로 인식되는 경우에는, 상기 아바타를 표시하는 동작을 삼가 할 수 있다.According to various embodiments, when the electronic device 110 (eg, processor 210) is recognized within a critical distance based on a body part other than a specific part (eg, torso B or palm P) , the operation of displaying the avatar may be refrained from.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 상기 거리를 식별하는 동작의 적어도 일부로, 사용자의 개인 정보에 더 기반하여 상기 거리를 식별할 수 있다. 예를 들어 신체 일부(예: 몸통(B), 손바닥(P))의 크기는 전자 장치(110)로부터 같은 거리더라도, 다르게 촬영될 수 있다. 따라서, 전자 장치(110)는 신체 일부(예: 몸통(B), 손바닥(P))의 크기에 영향을 주는 개인 정보(예: 성별, 나이, 전체 신장)를 기반하여 상기 신체 일부(예: 몸통(B), 손바닥(P)의 크기에 대응하는 거리를 조절할 수 있다. 일 예로, 전자 장치(110)는 남성과 비교하여, 여성의 경우 동일한 신체 일부(예: 몸통(B), 손바닥(P)의 크기에 기반하여 식별된 거리를 더 크게 인식할 수 있다. 상기 개인 정보는 전자 장치(110)로 입력될 수 있으나, 또는 전자 장치(110)가 자체적으로 분석(예: 카메라를 통해 촬영된 이미지로부터 식별되는 특징에 대응하는 개인 정보를 식별)할 수도 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may identify the distance further based on the user's personal information as at least part of an operation of identifying the distance. For example, the sizes of body parts (eg, torso B and palm P) may be photographed differently even if they are the same distance from the electronic device 110 . Accordingly, the electronic device 110 may determine the body part (eg, torso B, palm P) based on personal information (eg, gender, age, total height) that affects the size of the body part (eg, torso (B), palm (P)). It is possible to adjust the distance corresponding to the size of the torso B and the palm P. For example, the electronic device 110 may have the same body parts (eg, the torso B, the palm (eg, the body B) and the palm ( The identified distance may be recognized as greater based on the size of P) The personal information may be input to the electronic device 110, or the electronic device 110 may analyze itself (eg, photographing through a camera). Personal information corresponding to a feature identified from the image may be identified).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2207에서 조건이 만족되는 것으로 판단되는 경우(2207-예), 동작 2209에서 제1 정보에 기반한 아바타를 표시할 수 있다. 예를 들어 도 23a 및 도 23b에 도시된 바와 같이, 전자 장치(110)는 식별된 거리(D2, D)가 복수의 그래픽 오브젝트들(1900a)의 제어를 위한 임계 거리(예: 2.5m, 그러나 제한되지 않음) 내로 식별되는 경우, 디스플레이 상에 아바타(2300a, 2300b)를 표시하고, 상기 사용자에게 제어 권한을 부여할 수 있다. 상기 제어 권한은 상기 사용자가 그래픽 오브젝트들(1900a)을 제어 가능하도록 하는 권한일 수 있다. 이에 따라, 사용자는 상기 아바타(2300a, 2300b)를 인지함으로써, 그래픽 오브젝트들(1900a)에 대한 제어 권한이 사용자에게 부여됨을 인식할 수 있다. 상기 아바타(2300a, 2300b)는 기-구현된 아바타, 및/또는 전자 장치(110)에 의해 촬영된 사용자의 신체 부분들에 기반하여 구현되는 아바타일 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) displays an avatar based on the first information in operation 2209 when it is determined that the condition is satisfied in operation 2207 (2207-yes). can do. For example, as shown in FIGS. 23A and 23B , the electronic device 110 determines that the identified distances D2 and D are threshold distances for controlling the plurality of graphic objects 1900a (eg, 2.5 m, but not limited), avatars 2300a and 2300b may be displayed on the display, and control authority may be granted to the user. The control authority may be authority allowing the user to control graphic objects 1900a. Accordingly, the user may recognize that control authority for the graphic objects 1900a is granted to the user by recognizing the avatars 2300a and 2300b. The avatars 2300a and 2300b may be pre-implemented avatars and/or avatars implemented based on body parts of the user photographed by the electronic device 110 .
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2211에서, 상기 복수의 신체 부분들 중 상기 제1 부분(예: 몸통(B), 손바닥(P))과는 다른 제2 부분(예: 손(H), 손가락(F))과 연관된 정보에 기반하여 상기 복수의 오브젝트들 중 제1 오브젝트(예: 오브젝트(2310))에 대한 정보를 식별하고, 동작 2213에서, 상기 제1 오브젝트(예: 오브젝트(2310))의 속성(예: 밝기)을 제어하면서, 상기 제1 오브젝트(예: 오브젝트(2310))에 대응하는 상기 복수의 오디오 소스들 중 특정 오디오 소스의 속성을 제어한 것에 기반하여 제2 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)는 상기 거리를 식별하기 위한 신체 부분(예: 몸통(B), 손바닥(P))과는 다른 신체 부분(예: 손(H), 손가락(F))에 기반하여, 사용자의 모션 및/또는 제스쳐를 인식하는 동작을 수행할 수 있다. 다시 말해, 전자 장치(110)는 사용자의 거리가 임계 거리내로 인식된 이후에는, 상기 사용자(U)의 다른 신체 부분(예: 손(H), 손가락(F))을 인식하는 동작을 개시(또는 수행)할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2211, selects the first part (eg, the torso B and the palm P) among the plurality of body parts. Information on a first object (eg, object 2310) among the plurality of objects is identified based on information associated with a second part (eg, hand (H), finger (F)) different from the second part, and operation is performed. In 2213, a specific audio source among the plurality of audio sources corresponding to the first object (eg, object 2310) is controlled while controlling a property (eg, brightness) of the first object (eg, object 2310). The second sound may be output based on controlling the property of the source. For example, the electronic device 110 may use a body part (eg, the torso B and the palm P) and other body parts (eg, the hand H and the finger F) for identifying the distance. Based on this, an operation of recognizing a user's motion and/or gesture may be performed. In other words, after the user's distance is recognized within the threshold distance, the electronic device 110 initiates an operation of recognizing other body parts (eg, hands (H) and fingers (F)) of the user U ( or perform).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 임계 거리 내에 복수의 사용자가 존재하는 것으로 인식되는 경우, 거리가 가장 가까운 것으로 인식되는 사용자에게 제어 권한을 부여할 수 있다.According to various embodiments, when recognizing that a plurality of users exist within a critical distance, the electronic device 110 (eg, the processor 210) may grant control authority to a user recognized as having the closest distance. there is.
6.3. 화면 전환 동작6.3. Screen transition behavior
도 24는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(2400)이다. 다양한 실시예들에 따르면, 도 24에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 24에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 25를 참조하여, 도 24에 대해서 더 설명한다.24 is a flowchart 2400 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 24 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 24 or at least one operation less may be performed. Below, with reference to FIG. 25, FIG. 24 is further demonstrated.
도 25는, 다양한 실시예들에 따른, 전자 장치(110)의 화면 전환 동작의 일 예를 설명하기 위한 도면이다. 25 is a diagram for explaining an example of a screen switching operation of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2401에서, 프로그램을 실행한 것에 기반하여, 복수의 오브젝트들(예: 도 25의 복수의 오브젝트들(2511))을 포함하는 실행 화면(2510)을 표시하면서 제1 사운드를 출력하고, 동작 2403에서, 사용자(U)의 복수의 신체 부분들에 대한 정보를 획득하고, 동작 2405에서, 상기 복수의 신체 부분들 중 제1 부분(예: 몸통(B))에 대한 제1 정보에 기반하여, 제1 조건이 만족(예: 제1 임계 거리 내로 진입)되는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(110)는, 사용자(U)와의 거리가 제1 임계 거리(예: 4.5m, 그러나 제한되지 않음) 바깥인 경우, 대기 화면(2510)을 표시할 수 있다. 상기 대기 화면(2510)은 다양한 형상의 오브젝트들(2511)을 포함할 수 있다. 전자 장치(110)는 상기 대기 화면(2510)을 표시하면서, 다른 화면(2520, 2530) 보다 상대적으로 작은 에너지를 갖는(즉, 주파수 별 에너지가 낮은) 사운드를 출력할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2401, based on the execution of the program, creates a plurality of objects (eg, the plurality of objects 2511 of FIG. 25 ). )), a first sound is output while displaying an execution screen 2510 including, in operation 2403, information on a plurality of body parts of the user U is obtained, and in operation 2405, the plurality of body parts Based on the first information about the first part (eg, the torso B), it may be determined whether or not the first condition is satisfied (eg, entering within the first threshold distance). For example, the electronic device 110 may display the standby screen 2510 when the distance to the user U is outside the first threshold distance (eg, 4.5 m, but not limited thereto). The standby screen 2510 may include objects 2511 of various shapes. While displaying the idle screen 2510, the electronic device 110 may output sound having relatively lower energy than the other screens 2520 and 2530 (ie, lower energy per frequency).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2407에서, 제1 조건이 만족되는 경우(2407-예), 동작 2409에서, 사용자(U)에 대응하는 제1 그래픽 오브젝트(예: 도 25의 그래픽 오브젝트(2512))를 표시하면서 제2 사운드를 출력하고, 동작 2411에서, 상기 복수의 신체 부분들 중 제1 부분에 대한 제1 정보에 기반하여, 제2 조건이 만족(예: 제2 임계 거리 내로 진입)되는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(110)는, 상기 사용자(U)와의 거리가 제1 임계 거리 내로 판단되는 경우, 사용자(U)의 특정 신체 부분(예: 목)의 위치에 대응하는 대기 화면(110) 상의 위치에 오브젝트(2512)를 표시할 수 있다. 이때, 상기 오브젝트(2512)의 표시에 따라서, 다른 나머지 복수의 오브젝트들(2511)이 멀리 퍼지도록 이동됨으로써, 고조되는 시각적 연출 효과가 제공될 수 있다. 전자 장치(110)는 상기 시각적 연출 효과를 제공하면서, 전술하 제1 사운드와는 다른 속성을 갖는 제2 사운드를 제공할 수 있다. 상기 제2 사운드는 제1 사운드 보다 상대적으로 큰 에너지를 갖는(즉, 적어도 일부 주파수 별 에너지가 높은) 사운드로 설정되어, 고조되는 분위기가 연출될 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2407, when the first condition is satisfied (2407-yes), in operation 2409, the corresponding user U A second sound is output while displaying a first graphic object (eg, the graphic object 2512 of FIG. 25), and in operation 2411, based on first information about a first part among the plurality of body parts, It may be determined whether 2 conditions are satisfied (eg, entering within the second threshold distance). For example, when it is determined that the distance to the user U is within a first threshold distance, the electronic device 110 displays a standby screen 110 corresponding to a location of a specific body part (eg, neck) of the user U. ), the object 2512 may be displayed at a position on the image. At this time, according to the display of the object 2512, the remaining plurality of objects 2511 are moved to spread far, so that a heightened visual directing effect can be provided. The electronic device 110 may provide a second sound having a property different from that of the aforementioned first sound while providing the visual directing effect. The second sound is set to a sound having relatively higher energy than the first sound (ie, higher energy for at least some frequencies), so that an uplifting atmosphere can be created.
다양한 실시예들에 따르면, 대기 화면(2510)을 제공하는 동안의 전자 장치(110)(예: 프로세서(210))의 전력 소모는 메뉴 화면(2520)을 제공하는 동안의 전자 장치(110)의 전력 소모와 비교하여 낮을 수 있다. 다시 말해, 전자 장치(110)(예: 프로세서(210))는 대기 화면(2510)을 제공하는 동안, 메뉴 화면(2520)을 제공하는 동안과 비교하여 더 적은 개수의 전자 부품을 제어(예: 나머지 전자 부품을 슬립 상태로 제어)할 수 있다. 이에 따라 전자 장치(110)는, 소정의 기능을 제공하도록 구현되는 메뉴 화면(2520)이 제공되기 이전에 대기 화면(2510)을 표시하는 동안의 운용 부담이 경감되되, 대기 화면(2510) 상의 시각적 효과 및 사운드의 청각적 효과를 통해 사용자(U)가 제어 가능한 상태로 돌입할 수 있음을 인식하도록 할 수 있다.According to various embodiments, the power consumption of the electronic device 110 (eg, the processor 210) while providing the idle screen 2510 is reduced by the power consumption of the electronic device 110 while providing the menu screen 2520. It may be low compared to the power consumption. In other words, the electronic device 110 (eg, the processor 210) controls fewer electronic components (eg, the processor 210) compared to providing the menu screen 2520 while providing the idle screen 2510. control the rest of the electronic components in a sleep state). Accordingly, the electronic device 110 is relieved of operational burden while displaying the idle screen 2510 before the menu screen 2520 implemented to provide a predetermined function is provided, but the visual on the idle screen 2510 is reduced. The auditory effect of effects and sounds can make the user (U) aware that he can enter a controllable state.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2413에서, 제2 조건이 만족되는 경우(2413-예), 동작 2415에서, 제3 사운드를 출력하면서 상기 제1 화면을 제어하기 위한 적어도 하나의 제3 그래픽 오브젝트를 표시할 수 있다. 예를 들어, 전자 장치(110)는 상기 사용자(U)와의 거리가 제2 임계 거리내로 판단되는 경우, 대기 화면(2510) 대신에 메뉴 화면(2520)을 표시할 수 있다. 상기 메뉴 화면(2520)은 다양한 종류의 정보(예: 날씨 정보, 뉴스 정보) 및 음악을 선택하기 위한 메뉴를 포함할 수 있다. 전자 장치(110)는 사용자에 의해 특정 음악이 선택되는 경우, 특정 음악에 대응하는 복수의 오디오 소스들을 재생하며, 복수의 오브젝트들(1900a)를 포함하는 실행 화면(2530)을 제공할 수 있다. 상기 복수의 오브젝트들(1900a)의 제어에 따른, 전자 장치(110)의 중복되는 동작에 대해서는 생략한다.According to various embodiments, in operation 2413, when the second condition is satisfied (2413-yes), the electronic device 110 (eg, the processor 210) outputs the third sound while performing the above operation 2415. At least one third graphic object for controlling the first screen may be displayed. For example, the electronic device 110 may display a menu screen 2520 instead of the standby screen 2510 when it is determined that the distance to the user U is within the second threshold distance. The menu screen 2520 may include a menu for selecting various types of information (eg, weather information, news information) and music. When specific music is selected by the user, the electronic device 110 may reproduce a plurality of audio sources corresponding to the specific music and provide an execution screen 2530 including a plurality of objects 1900a. The overlapping operation of the electronic device 110 according to the control of the plurality of objects 1900a will be omitted.
6.4. 인터랙션 종류의 확장 예6.4. Expansion example of interaction type
다양한 실시예들에 따르면, 전술한 사용자의 그랩 이외에도, 전자 장치(110)는 다양한 종류의 인터랙션에 기반하여, 시각적 컨텐트(100a)(예: 그래픽 오브젝트)의 속성을 제어하고, 청각적 컨텐트(100b)의 속성을 제어할 수 있다.According to various embodiments, in addition to the above-described user grab, the electronic device 110 controls the properties of the visual content 100a (eg, a graphic object) based on various types of interactions, and the auditory content 100b ) properties can be controlled.
도 26은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(2600)이다. 다양한 실시예들에 따르면, 도 26에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 26에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 27을 참조하여, 도 26에 대해서 더 설명한다.26 is a flowchart 2600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 26 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 26 or at least one operation less may be performed. Below, with reference to FIG. 27, FIG. 26 is further demonstrated.
도 27은, 다양한 실시예들에 따른, 사용자의 인터랙션의 종류들의 예를 설명하기 위한 도면이다. 27 is a diagram for explaining examples of types of user interaction, according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2601에서, 인터랙션에 대한 정보를 획득하고, 동작 2603에서, 제1 오브젝트 이벤트의 발생 여부를 판단할 수 있다. 예를 들어 아래의 [표 4] 및 도 27의 (a) 내지 (d)를 참조하면, 사용자의 인터랙션의 종류는 모션뿐만 아니라, 목소리 등과 같은 인터랙션을 포함하며, 기재된 예에 제한되지 않고 시각적으로 사용자로부터 식별될 수 있는 인터랙션(예: 표정 등) 및 청각적으로 사용자로부터 식별될 수 있는 인터랙션(예: 손뼉 등)을 더 포함할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains information about the interaction in operation 2601, and determines whether a first object event has occurred in operation 2603. . For example, referring to [Table 4] and FIG. 27 (a) to (d), the type of user interaction includes not only motion but also interaction such as voice, and is not limited to the described examples and visually Interactions that can be identified from the user (eg, facial expressions, etc.) and interactions that can be audibly identified from the user (eg, hand clapping, etc.) may be further included.
사용자 인터랙션user interaction 종류type 오브젝트 속성object properties
모션motion 그랩grab 위치location
펀치punch 개수, 위치number, location
핀치pinch 크기size
목소리voice "후~" 부는 음성"Whoa" voice 위치location
“특정 단어”를 포함하는 음성Voices containing “specific words” 단어에 기반한 속성 제어Attribute control based on words
이에 따라, 전자 장치(110)는 입력 장치(250)를 통해서 다양한 종류의 인터랙션을 식별하고, 인터랙션에 의해 선택되는 오브젝트를 식별할 수 있다. 상기 전자 장치(110)의 상기 오브젝트의 선택을 식별하는 동작은, 오브젝트 이벤트의 발생을 식별하는 동작으로 정의될 수 있다. 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 동작 2605에서, 이벤트와 연관된 신체 부분이 제1 부분(예: 그랩, 목소리 등과 같은 인터랙션의 종류)인지 여부를 판단하고, 제1 부분인 경우(2605-예), 동작 2607에서, 제1 부분에 대응하는 제1 정보에 기반하여, 제1 부분에 의한 제1 특성을 식별하고, 동작 2609에서, 상기 제1 오브젝트와 제1 특성에 대응하는 제1 스킴에 기반하여, 출력 중인 오디오 소스 셋을 제어하면서 제1 오브젝트의 시각적 속성을 제1 속성으로 제어할 수 있다.다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 이벤트와 연관된 신체 부분이 제1 부분이 아닌 경우(2605-아니오), 동작 2611에서, 이벤트와 연관된 신체 부분이 제2 부분(예: 그랩, 목소리 등과 같은 인터랙션의 종류)인지 여부를 판단하고, 제2 부분인 경우(2611-예), 동작 2613에서, 제2 부분과 연관된 제2 정보에 기반하여, 제2 부분에 의한 제2 특성을 식별하고, 동작 2615에서, 상기 제1 오브젝트와 제2 특성에 대응하는 제2 스킴에 기반하여, 출력 중인 수의 오디오 소스 셋을 제어하면서 제1 오브젝트의 시각적 속성을 제2 속성으로 제어할 수 있다.Accordingly, the electronic device 110 can identify various types of interactions through the input device 250 and identify objects selected by the interactions. An operation of identifying selection of the object by the electronic device 110 may be defined as an operation of identifying occurrence of an object event. According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 2605, whether the body part associated with the event is a first part (eg, a type of interaction such as grab or voice). and in case of the first part (2605-yes), in operation 2607, a first characteristic of the first part is identified based on the first information corresponding to the first part, and in operation 2609, the first object Based on the first scheme corresponding to the first property and the first property, the visual property of the first object may be controlled as the first property while controlling the audio source set being output. According to various embodiments, the electronic device 110 (eg, the processor 210), if the body part associated with the event is not the first part (2605-No), in operation 2611, the body part associated with the event is a second part (eg, an interaction such as grab, voice, etc.) type of), and if it is the second part (2611-yes), in operation 2613, based on the second information associated with the second part, a second characteristic by the second part is identified, and operation 2615 , based on the second scheme corresponding to the first object and the second characteristic, it is possible to control the visual property of the first object as the second property while controlling the number of audio source sets being output.
다시 [표 2]를 참조하면, 인터랙션의 종류 별로 제어될 수 있는 오브젝트의 속성이 달라질 수 있다. 전자 장치(110)는 상기 [표 2]에 대한 정보를 미리 저장하고, 이벤트가 발생되는 경우 현재 식별된 인터랙션의 종류(또는 신체 부분의 종류)와 상기 미리 저장된 정보를 비교하여, 식별된 인터랙션의 종류에 대응하는 상기 오브젝트의 속성을 제어할 수 있다. 예를 들어, 전자 장치(110)는 도 27의 (a)에 도시된 바와 같이 그랩이 식별되는 경우 오브젝트의 위치를 제어하고, 도 27의 (b)에 도시된 바와 같이 펀치가 식별되는 경우 오부젝트의 수를 제어하고, 도 27의 (c) 내지 (d)에 도시된 바와 같이 특정 단어(예: “이동”, “크게”)를 포함하는 발화를 수신하는 경우에는 특정 단어에 대응하는 속성(예: 위치, 크기)을 제어할 수 있다.Referring to [Table 2] again, the property of an object that can be controlled for each type of interaction may be different. The electronic device 110 stores the information of [Table 2] in advance, and when an event occurs, compares the currently identified type of interaction (or type of body part) with the previously stored information, Properties of the object corresponding to the type may be controlled. For example, the electronic device 110 controls the position of an object when a grab is identified as shown in (a) of FIG. 27, and controls the position of an object when a punch is identified as shown in (b) of FIG. 27. Controlling the number of objects and, as shown in (c) to (d) of FIG. 27, when receiving an utterance including a specific word (eg, “move”, “large”), a property corresponding to the specific word (e.g. position, size) can be controlled.
이때 아래의 [표 5]를 참조하면, 선택된 그래픽 오브젝트에 할당된 오디오 소스의 종류 및 제어되는 그래픽 오브젝트의 속성에 따라서, 특정 오디오 효과가 적용될 수 있다. 일 예로, 그랩에 의해 “악기”에 대응하는 오브젝트의 위치가 Y로 이동되는 경우, 하이패스 필터가 적용될 수 있다. 또 일 예로, 목소리에 의해 “악기”에 대응하는 오브젝트의 크기가 커지는 경우, 악기의 출력 레벨이 커질 수 있다. 이에 따라, 전자 장치(110)에 의해 제공되는 청각적 컨텐트(100b)(예: 음악)의 에너지(예: 주파수 별 세기)가 달라질 수 있다.In this case, referring to [Table 5] below, a specific audio effect may be applied according to the type of audio source allocated to the selected graphic object and the property of the controlled graphic object. For example, when the position of the object corresponding to “instrument” is moved to Y by grab, a high-pass filter may be applied. As another example, when the size of an object corresponding to “instrument” increases due to a voice, the output level of the instrument may increase. Accordingly, energy (eg, intensity per frequency) of the auditory content 100b (eg, music) provided by the electronic device 110 may vary.
오디오 소스 종류audio source type 오브젝트의 속성properties of the object
위치location 크기size
YY XX 커짐grow 작아짐getting smaller
악기instrument 하이패스필터high pass filter 음높낮이pitch 레벨이 커짐level increases 레벨이 작아짐level is reduced
드럼drum 어깨선기준 드럼 트랙 변경Change the drum track based on the shoulder line 음높낮이pitch 드럼템포증가drum tempo increase 드럼템포감소Decrease drum tempo
종합컨트롤Comprehensive control 스피드/높낮이 선형 조절Linear speed/height adjustment 비트리피터beat repeater
보컬vocal 어깨선기준 보컬 변경Vocal change based on shoulder line 높낮이high and low
베이스Base 디스토션효과distortion effect 높낮이high and low
[표 5]에 기재된 사항은 예시일 뿐, 더 다양한 종류의 오브젝트의 속성(예: 오브젝트의 개수)과 오디오 소스의 종류에 따라서, 특정 오디오 효과가 적용될 수 있다.The items described in [Table 5] are only examples, and specific audio effects may be applied according to the properties of more diverse types of objects (eg, the number of objects) and the type of audio source.
6.5. 물체에 기반한 인터랙션의 예6.5. Examples of Object-Based Interactions
도 28은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(2800)이다. 다양한 실시예들에 따르면, 도 28에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 28에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 29를 참조하여, 도 28에 대해서 더 설명한다.28 is a flowchart 2800 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 28 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 28 or at least one operation less may be performed. Below, with reference to FIG. 29, FIG. 28 is further demonstrated.
도 29는, 다양한 실시예들에 따른, 전자 장치(110)의 식별되는 물체의 종류에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 제어하는 동작의 예를 설명하기 위한 도면이다.29 is a diagram for explaining an example of an operation of controlling visual content 100a and auditory content 100b based on the type of object identified by the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2801에서, 사용자의 신체 일부와 연관된 물체(예: 도 29의 스틱)의 종류를 식별하고, 동작 2803에서, 식별된 물체에 의한 모션의 종류(예: 도 29의 타격)를 식별할 수 있다. 예를 들어, 전자 장치(110)는 입력 장치(240)(예: 카메라)를 이용하여 식별되는 특정 오브젝트의 형상에 대응하는 물체를 식별할 수 있다. 이때 예를 들어, 전자 장치(110)에는, 아래의 [표 4]에 기재된 바와 같이 물체의 종류 별로 제어 가능한 오브젝트의 속성에 대한 정보가 미리 저장될 수 있다. 전자 장치(110)는 상기 미리 저장된 정보에 기반하여, 물체에 의한 모션에 의해 선택되는 그래픽 오브젝트의 속성을 변경할 수 있다. 상기 오브젝트의 속성의 변경에 따라, 변경된 시각적 컨텐트(100a)가 제공될 수 있다.According to various embodiments, in operation 2801, the electronic device 110 (eg, the processor 210) identifies a type of an object (eg, a stick in FIG. 29 ) associated with a part of the user's body, and in operation 2803 , the type of motion (eg, hitting in FIG. 29) by the identified object may be identified. For example, the electronic device 110 may identify an object corresponding to the shape of a specific object identified using the input device 240 (eg, a camera). In this case, for example, in the electronic device 110, as described in [Table 4] below, information on properties of controllable objects for each type of object may be stored in advance. Based on the previously stored information, the electronic device 110 may change properties of a graphic object selected by motion of the object. According to the change of the property of the object, the changed visual content 100a may be provided.
물체 종류object type 모션 종류motion type 오브젝트 속성object properties
스틱stick 찌르기sting 숫자number
타격damage 위치location
기타etc 기타 액션other action
[표 6]에 기재된 사항은 예시일 뿐, 기재된 바에 제한되지 않는다.다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 2805에서, 물체의 종류 및 모션의 종류에 대응하는, 시각적 컨텐트의 속성 및/또는 청각적 컨텐트의 속성을 제어할 수 있다. 예를 들어, 전자 장치(110)는 전술한 [표 3]의 그래픽 오브젝트에 할당된 오디오 소스의 종류 및 제어되는 그래픽 오브젝트의 속성에 대한 정보를 미리 저장하고, 해당 정보에 기반하여 오디오 효과를 적용함에 기반하여, 전자 장치(110)에 의해 제공되는 청각적 컨텐트(100b)(예: 음악)의 에너지(예: 주파수 별 세기)가 달라질 수 있다.Items described in [Table 6] are only examples and are not limited thereto. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 2805, determines the type and motion of the object. It is possible to control properties of visual content and/or auditory content corresponding to the type. For example, the electronic device 110 previously stores information about the type of audio source allocated to the graphic object of [Table 3] and the properties of the graphic object to be controlled, and applies an audio effect based on the information. Based on this, the energy (eg, intensity per frequency) of the auditory content 100b (eg, music) provided by the electronic device 110 may vary.
6.6. 논-오브젝트 컨텐트 시나리오6.6. Non-object content scenarios
도 30은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(3000)이다. 다양한 실시예들에 따르면, 도 30에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 30에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 31을 참조하여, 도 30에 대해서 더 설명한다.30 is a flowchart 3000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 30 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 30 may be performed, or at least one operation less than that shown in FIG. 30 may be performed. Below, with reference to FIG. 31, FIG. 30 is further demonstrated.
도 31은, 다양한 실시예들에 따른, 전자 장치(110)의 식별되는 물체의 종류에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 제어하는 동작의 예를 설명하기 위한 도면이다.31 is a diagram for explaining an example of an operation of controlling visual content 100a and auditory content 100b based on the type of object identified by the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3001에서, 적어도 하나의 정보에 기반하여 이펙트 이벤트의 발생을 식별할 수 있다. 예를 들어 도 31에 도시된 바와 같이, 전자 장치(110)는 디스플레이 상에 화면을 표시한 상태에서, 입력 장치(240)를 이용하여, [표 2] 및 [표 4]를 참조하여 기술한, 다양한 종류의 인터랙션을 식별할 수 있다. 상기 화면은 복수의 오디오 소스들 중 적어도 일부를 제어하기 위한 그래픽 오브젝트를 미포함 할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 3001, may identify the occurrence of an effect event based on at least one piece of information. For example, as shown in FIG. 31, the electronic device 110 uses the input device 240 in a state where a screen is displayed on the display, as described with reference to [Table 2] and [Table 4]. , can identify various types of interactions. The screen may not include graphic objects for controlling at least some of the plurality of audio sources.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3003에서, 발생된 이펙트 이벤트가 제1 이벤트인지 여부를 판단하고, 제1 이벤트인 경우(3003-예), 동작 3005에서, 제1 이벤트에 기반하여 제1 이펙트 효과를 상기 화면에 출력하고, 동작 3007에서, 오디오 소스 셋의 제1 이펙트 효과에 대응하는 제1 속성을 제어할 수 있다. 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 발생된 이펙트 이벤트가 제1 이벤트가 아닌 경우(3003-아니오), 동작 3009에서, 발생된 이펙트 이벤트가 제2 이벤트인지 여부를 판단하고, 제2 이벤트인 경우(3009-예), 동작 3011에서, 제2 이벤트에 기반하여 제2 이펙트 효과를 상기 화면에 출력하고, 동작 3013에서, 오디오 소스 셋의 제2 이펙트 효과에 대응하는 제2 속성을 제어할 수 있다. 예를 들어, 전자 장치(110)는, 도 31의 (a)에 도시된 바와 같이, 사용자의 스윙을 식별한 것에 기반하여 제1 비쥬얼 효과(예: 물결 효과)를 표시하고, 도 31의 (c)에 도시된 바와 같이, 사용자의 펀치를 식별한 것에 기반하여 제2 비쥬얼 효과(예: 물 동심원 효과)를 표시할 수 있다. 이때, 전자 장치(110)는 도 31의 (a)에 도시된 바와 같이, 검출되는 인터랙션의 정도에 따라서 비쥬얼 효과(예: 물결 효과)의 레벨을 조정할 수 있다. 전자 장치(110)는 상기 비쥬얼 효과를 제공하면서, 룰 정보에 기반하여 비쥬얼 효과 제공 시 적용되도록 설정된 오디오 효과를 적용할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 3003, whether the generated effect event is the first event, and if it is the first event (3003-yes) , In operation 3005, a first effect effect may be output to the screen based on the first event, and in operation 3007, a first property corresponding to the first effect effect of the audio source set may be controlled. According to various embodiments, the electronic device 110 (eg, the processor 210), when the generated effect event is not the first event (3003-No), in operation 3009, the generated effect event is the second It is determined whether it is an event, and if it is a second event (3009-Yes), in operation 3011, a second effect is output to the screen based on the second event, and in operation 3013, the second effect of the audio source set A second attribute corresponding to the effect may be controlled. For example, as shown in (a) of FIG. 31, the electronic device 110 displays a first visual effect (eg, a wave effect) based on identifying the user's swing, and ( As shown in c), a second visual effect (eg, water concentric circle effect) may be displayed based on the identification of the user's punch. At this time, the electronic device 110 may adjust the level of a visual effect (eg, a wave effect) according to the degree of the detected interaction, as shown in (a) of FIG. 31 . While providing the visual effect, the electronic device 110 may apply an audio effect set to be applied when providing the visual effect based on rule information.
6.7. 모드 전환 시나리오6.7. Mode switching scenario
도 32는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(3200)이다. 다양한 실시예들에 따르면, 도 32에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 32에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 33을 참조하여, 도 32에 대해서 더 설명한다.32 is a flowchart 3200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 32 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 32 may be performed, or at least one operation less than that shown in FIG. 32 may be performed. Below, with reference to FIG. 33, FIG. 32 is further demonstrated.
도 33은, 다양한 실시예들에 따른, 전자 장치(110)의 사용자 인터랙션 모드와 사용자 논-인터랙션 모드 간의 전환 동작의 예를 설명하기 위한 도면이다.33 is a diagram for explaining an example of a switching operation between a user interaction mode and a user non-interaction mode of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3201에서, 프로그램을 실행한 것에 기반하여 실행 화면을 표시하면서 복수의 오디오 소스들에 기반하여 제1 사운드를 출력하고, 동작 3203에서, 사용자의 복수의 신체 부분들에 대한 정보를 획득하고, 동작 3205에서, 상기 복수의 신체 부분들 중 제1 부분(예: 몸통(B))에 대한 제1 정보에 기반하여, 특정 조건이 만족(예: 사용자(U)와의 거리가 임계 거리 내임)되는지 여부를 판단할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) displays a first sound based on a plurality of audio sources while displaying an execution screen based on the execution of the program, in operation 3201. In operation 3203, information on a plurality of body parts of the user is obtained, and in operation 3205, based on first information about a first part (eg, torso B) among the plurality of body parts. Thus, it may be determined whether a specific condition is satisfied (eg, the distance to the user U is within a critical distance).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3207에서, 조건의 만족 여부를 판단하고, 조건이 만족되는 경우(3207-예), 동작 3209에서 전자 장치(110)의 모드를 제1 모드(예: 사용자 인터랙션 모드)로 설정할 수 있다. 예를 들어 도 33의 (a)를 참조하면, 전자 장치(110)는 사용자(U)와의 거리가 임계 거리 내인 경우, 사용자의 인터랙션에 기반하여 그래픽 오브젝트(1900a)를 제어하도록 함으로써 청각적 컨텐트를 다이나믹하게 제어하도록 할 수 있다. 전자 장치(110)의 모드가 사용자 인터랙션 모드인 상태에서 수행되는 전자 장치(110)의 동작은, 전술한 “6.1 목차 내지 6.5 목차”와 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines whether a condition is satisfied in operation 3207, and if the condition is satisfied (3207-yes), the electronic device 110 (eg, the processor 210) in operation 3209 The mode of 110 may be set to the first mode (eg, user interaction mode). For example, referring to (a) of FIG. 33 , when the distance to the user U is within a critical distance, the electronic device 110 controls the graphic object 1900a based on the user's interaction to provide auditory content. It can be dynamically controlled. Since the operation of the electronic device 110 performed while the mode of the electronic device 110 is the user interaction mode can be performed as described in “6.1 Table of Contents to 6.5 Table of Contents,” duplicate descriptions will be omitted.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 조건이 만족되지 않는 경우(3207-아니오), 동작 3211에서, 전자 장치(110)의 모드를 제2 모드(예: 사용자 논-인터랙션 모드)로 설정하고, 동작 3213에서, 문맥 정보를 획득하고, 동작 3215에서, 문맥 정보에 기반하여 오디오 소스의 속성을 제어하거나 및/또는 화면을 제어할 수 있다. 예를 들어 도 33의 (b)를 참조하면, 전자 장치(110)는 사용자(U)와의 거리가 임계 거리 바깥인 경우, 사용자의 인터랙션 이외의 다른 문맥 정보에 기반하여 그래픽 오브젝트(1900a)를 제어하도록 함으로써 주변 환경에 적합하게 청각적 컨텐트를 제어하도록 할 수 있다. 예를 들어, 상기 문맥 정보는 마이크를 통해 수신되는 주변 사운드, 카메라를 이용하여 획득되는 이미지내 오브젝트들에 대한 정보, 서버 등을 통해서 수신되는 날씨/온도 정보 등을 포함할 수 있으며, 기재된 예에 제한되지 않고, 전자 장치(110)의 주변으로부터 획득될 수 있는 다양한 정보를 포함할 수 있다.According to various embodiments, when the condition is not satisfied (3207-No), the electronic device 110 (eg, the processor 210), in operation 3211, changes the mode of the electronic device 110 to the second mode ( Example: user non-interaction mode), in operation 3213, context information is obtained, and in operation 3215, properties of an audio source and/or a screen may be controlled based on the context information. For example, referring to (b) of FIG. 33 , when the distance to the user U is outside the critical distance, the electronic device 110 controls the graphic object 1900a based on context information other than the user's interaction. By doing so, it is possible to control the auditory content suitable for the surrounding environment. For example, the context information may include ambient sound received through a microphone, information about objects in an image obtained using a camera, weather/temperature information received through a server, and the like. It is not limited and may include various information that can be obtained from the surroundings of the electronic device 110 .
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 아래의 [표 7]에 기재된 바와 같이, 획득되는 문맥 정보의 정도에 따라서 그래픽 오브젝트의 속성을 제어할 수 있다. 이에 따라, 전자 장치(110)는 룰 정보에 기반하여 제어된 그래픽 오브젝트의 속성에 대응하는 비쥬얼 이펙트를 제공하거나, 및/또는 오디오 소스의 속성을 제어할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may control the properties of the graphic object according to the degree of context information obtained, as described in [Table 7] below. Accordingly, the electronic device 110 may provide a visual effect corresponding to the property of the graphic object controlled based on the rule information and/or control the property of the audio source.
문맥 정보contextual information 오브젝트 속성 제어Control object properties
주변 사운드 노이즈 제 1 값 미만Ambient sound noise less than 1st value 위치location 위치 변화량 감소Position change reduction
주변 사운드 노이즈 제 1 값 초과Ambient sound noise exceeds first value 위치location 위치 변화량 증가Position change amount increased
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 전자 장치(110)의 모드를 설정하는 동작의 적어도 일부로, 시간 정보를 더 이용할 수 있다. 예를 들어, 전자 장치(110)는 임계 거리 내로 또는 바깥으로 식별된 사용자의 거리가 임계 시간 이상으로 유지되는지 여부를 판단하고, 임계 시간 이상 유지되는 경우 모드를 설정하는 동작을 수행할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may further use time information as at least part of an operation of setting a mode of the electronic device 110 . For example, the electronic device 110 may determine whether the distance of the user identified as within or outside the threshold distance is maintained for a threshold time period or longer, and set a mode if the distance is maintained for a threshold time period or longer.
7. 메타버스 UI7. Metaverse UI
도 34는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 도면이다. 이하에서는 도 35를 참조하여, 도 34에 대해서 더 설명한다.34 is a diagram for explaining an example of an operation of the electronic device 110 according to various embodiments. 34 will be further described below with reference to FIG. 35 .
도 35는, 다양한 실시예들에 따른, 전자 장치(110)에 의해 제공되는 컨텐트의 예를 설명하기 위한 도면이다.35 is a diagram for explaining an example of content provided by the electronic device 110 according to various embodiments.
도 34를 참조하면, 다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 제어 이벤트(500)의 발생에 기반하여, 그래픽 엘리먼트 셋(3400a)의 적어도 일부, 오디오 소스 셋(3400b)의 적어도 일부, 또는 타임라인 및/또는 스테이지(3400c) 중 적어도 하나를 제어할 수 있다. Referring to FIG. 34 , according to various embodiments, the electronic device 110 (eg, the processor 210), based on the occurrence of the control event 500, determines at least a part of the graphic element set 3400a and an audio source. At least a portion of the set 3400b, or at least one of the timeline and/or stage 3400c may be controlled.
예를 들어 도 35를 참조하면, 상기 그래픽 엘리먼트 셋(3400a)는 그래픽 공간(예: 맵(3410a)), 상기 그래픽 공간 상에 배치 가능한 메인 캐릭터(3420a), 및 서브 오브젝트(3430a)를 포함할 수 있다. 상기 메인 캐릭터(3420a)는 사용자의 입력에 기반하여 그래픽 공간(예: 맵(3410a)) 상에서 이동되도록 구현될 수 있다. 상기 서브 오브젝트(3430a)는 그래픽 공간(예: 맵(3410a)) 상에 기-배치되는 그래픽 오브젝트일 수 있다. For example, referring to FIG. 35 , the graphic element set 3400a may include a graphic space (eg, a map 3410a), a main character 3420a that can be placed on the graphic space, and a sub-object 3430a. can The main character 3420a may be implemented to move on a graphic space (eg, map 3410a) based on a user's input. The sub-object 3430a may be a graphic object pre-arranged on a graphic space (eg, map 3410a).
예를 들어, 상기 복수의 그래픽 오브젝트들(예: 메인 캐릭터(3420a), 및 서브 오브젝트(3430a))는 특정 오디오 소스를 제공하거나, 및/또는 오디오 효과를 적용하도록 설정될 수 있다. 예를 들어, 메인 캐릭터(3420a)는 이동되거나 및/또는 선택되어 특정 모션을 수행하는 경우, 특정 오디오 소스를 제공하거나 및/또는 오디오 효과를 적용하도록 미리 구현될 수 있다. 또 예를 들어, 상기 서브 오브젝트(3430a)는 상태에 따라서, 특정 오디오 소스를 제공하거나 및/또는 오디오 효과를 적용하도록 미리 구현될 수 있다. 일 예로, 상기 서브 오브젝트(3430a)는 활성화 상태에서 특정 오디오 소스를 제공하거나 및/또는 오디오 효과를 적용하는 기능을 수행하나, 비활성화 상태에서는 상기 기능의 수행을 삼가할 수 있다.For example, the plurality of graphic objects (eg, the main character 3420a and the sub-object 3430a) may be configured to provide a specific audio source and/or apply an audio effect. For example, when the main character 3420a is moved and/or selected to perform a specific motion, a specific audio source may be provided and/or audio effects may be applied. Also, for example, the sub-object 3430a may be pre-implemented to provide a specific audio source and/or apply an audio effect according to a state. For example, the sub-object 3430a performs a function of providing a specific audio source and/or applying an audio effect in an activated state, but may refrain from performing the function in an inactive state.
예를 들어 도 35를 참조하면, 상기 그래픽 공간(예: 맵(3410a))은 복수의 지역들(예: 제1 지역 내지 제9 지역)을 포함할 수 있다. 상기 복수의 지역들 별로 오디오 소스 셋(3400b)가 할당될 수 있다. 일 예로, 상기 복수의 지역들 별로 서로 다른 구성(또는 테마)(예: 인트로(intro), 벌스(verse))의 음원이 설정될 수 있다. 이에 따라, 전자 장치(110)는 메인 캐릭터(3420a)가 위치되는 지역에 대응하는 오디오 소스 셋을 재생함으로써, 청각적 컨텐트(100b)(예: 음악)를 제공할 수 있다.For example, referring to FIG. 35 , the graphic space (eg, map 3410a) may include a plurality of regions (eg, first to ninth regions). An audio source set 3400b may be allocated for each of the plurality of regions. For example, sound sources of different configurations (or themes) (eg, intro, verse) may be set for each of the plurality of regions. Accordingly, the electronic device 110 may provide auditory content 100b (eg, music) by reproducing an audio source set corresponding to the region where the main character 3420a is located.
7.1. 메인 캐릭터에 대한 입력에 기반한 컨텐트 제어7.1. Content control based on input for the main character
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 메인 캐릭터(3420a)와 연관된 사용자 입력이 수신되는 경우, 시각적 컨텐트(100a)의 속성 및/또는 청각적 컨텐트(100b)의 속성을 제어할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), when a user input associated with the main character 3420a is received, attributes of the visual content 100a and/or the auditory content 100b ) properties can be controlled.
7.1.1. 사용자 입력의 타이밍 기반 제어 동작7.1.1. Timing-based control behavior of user input
도 36은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(3600)이다. 다양한 실시예들에 따르면, 도 36에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 36에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 37 및 도 38을 참조하여, 도 36에 대해서 더 설명한다.36 is a flowchart 3600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 36 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 36 may be performed, or at least one operation less than that shown in FIG. 36 may be performed. 36 will be further described below with reference to FIGS. 37 and 38 .
도 37은, 다양한 실시예들에 따른, 전자 장치(110)의 음악적 단위에 기반하여 식별되는 이벤트 발생 시점 및 시간 구간의 예를 설명하기 위한 도면이다. 도 38a는, 다양한 실시예들에 따른, 전자 장치(110)의 시간 구간을 가이드하기 위해 시각적 효과를 제공하는 동작의 예를 설명하기 위한 도면이다. 도 38b는, 다양한 실시예들에 따른, 전자 장치(110)의 시간 구간을 가이드하기 위해 시각적 효과를 제공하는 동작의 예를 설명하기 위한 도면이다. 도 38c는 다양한 실시예들에 따른, 전자 장치(110)의 메인 캐릭터(3420a)에 대한 시간 구간 별 사용자의 입력에 기반하여, 효과를 제공하는 동작의 예를 설명하기 위한 도면이다.37 is a diagram for explaining an example of an event occurrence point and time interval identified based on a musical unit of the electronic device 110 according to various embodiments. 38A is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of the electronic device 110 according to various embodiments. 38B is a diagram for explaining an example of an operation of providing a visual effect to guide a time section of the electronic device 110 according to various embodiments. 38C is a diagram for explaining an example of an operation for providing an effect based on a user's input for each time section to the main character 3420a of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3601에서, 메인 오브젝트(예: 도 34 및 도 35의 메인 그래픽 오브젝트(3420a))를 포함하는 실행 화면을 표시하면서, 복수의 오디오 소스들(예: 도 34 및 도 35의 오디오 소스 셋(3400b))에 기반하여 사운드를 출력할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 3601, displays an execution screen including a main object (eg, the main graphic object 3420a of FIGS. 34 and 35). While displaying, sound may be output based on a plurality of audio sources (eg, the audio source set 3400b of FIGS. 34 and 35).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3603에서, 복수의 오디오 소스들에 기반하여 음악적 단위(예: 박자, 마디)를 식별하고, 동작 3605에서, 식별된 음악적 단위(예: 박자, 마디)에 기초하여 복수의 시각적 이벤트 발생 시점들을 식별하고, 동작 3607에서, 상기 복수의 시각적 이벤트 발생 시점들에 기초하여 복수의 시간 구간들을 결정할 수 있다. 예를 들어 도 37을 참조하면, 전자 장치(110)는, 음악적 단위로서 6 마디를 식별하는 경우, 기-설정된 마디(예: 2/6 마디, 4/6 마디, 6/6 마디)를 이벤트 발생 시점으로 식별할 수 있다. 상기 이벤트 발생 시점은, 특정 음악적 효과가 적용되거나, 및/또는 특정 오디오 소스가 출력되는 것이, 자연스러운 음악적 시점으로 이해될 수 있다. 전자 장치(110)는, 식별된 이벤트 발생 시점에 기반하여, 복수의 종류의 시간 구간들을 설정할 수 있다. 예를 들어, 도 37에 도시된 바와 같이, 전자 장치(110)는 이벤트 발생 시점을 포함하는 제1 시간 구간 및 상기 제1 시간 구간 이외의 나머지 시간 구간인 제2 시간 구간을 설정할 수 있다. 상기 제1 시간 구간은 상기 이벤트 발생 시점을 기준으로 소정의 시간 간격이 형성되도록 설정될 수 있다. 후술하겠으나, 전자 장치(110)는, 사용자가 음악을 청취하면서, 상기 제1 시간 구간에 음악적 효과를 적용하도록 유도함으로써, 음악 감상의 질을 향상시킬 수 있다.According to various embodiments, in operation 3603, the electronic device 110 (eg, processor 210) identifies a musical unit (eg, beat, bar) based on a plurality of audio sources, and in operation 3605 , A plurality of visual event occurrence times may be identified based on the identified musical unit (eg, beat, bar), and in operation 3607, a plurality of time intervals may be determined based on the plurality of visual event occurrence times. For example, referring to FIG. 37 , when identifying 6 bars as a musical unit, the electronic device 110 sends a pre-set bar (eg, 2/6 bar, 4/6 bar, 6/6 bar) as an event. It can be identified by the time of occurrence. The event occurrence time may be understood as a natural musical time when a specific musical effect is applied and/or a specific audio source is output. The electronic device 110 may set a plurality of types of time intervals based on the identified event occurrence time. For example, as shown in FIG. 37 , the electronic device 110 may set a first time interval including an event occurrence time and a second time interval other than the first time interval, which is a remaining time interval. The first time interval may be set to form a predetermined time interval based on the event occurrence time point. As will be described later, the electronic device 110 can improve the quality of listening to music by inducing the user to apply a musical effect to the first time interval while listening to music.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 메인 캐릭터(3420a) 상에 시각적 효과를 제공함으로써, 제1 시간 구간과 제2 시간 구간을 가이드할 수 있다. 예를 들어. 또한, 상기 제1 시간 구간 및 상기 제2 시간 구간을 가이드하기 위해 메인 캐릭터(3420a)의 연관된 위치에 적어도 하나의 오브젝트가 표시될 수 있다. 예를 들어 도 38a에 도시된 바와 같이, 상기 제1 시간 구간을 가이드하기 위해 메인 캐릭터(3420a)의 연관된 위치에 흰색 원이 제공될 수 있으며, 흰색 원이 가장 커지는 순간이 상기 제1 타입 시간 구간과 대응되도록 설정될 수 있으나, 이에 한정되지 않는다. 보다 구체적으로 도 38a에 도시된 바를 참조하면, 도 38a의 (a)에 도시된 바와 같이 흰색 원이 작게 시작해서, 도 38a의 (b)에 도시된 바와 같이 흰색 원이 크게 디스플레이 될 수 있으며, 상기 흰색 원이 가장 커지는 시점이 상기 제1 시간 구간에 대응되도록 설정될 수 있으나, 이에 한정되지 않는다. 또한 예를 들어 도 38b에 도시된 바와 같이, 상기 제2 시간 구간을 가이드 하기 위해 붉은색 원이 제공될 수 있으며, 붉은색 원이 가장 커지는 순간이 상기 제2 시간 구간과 대응되도록 설정될 수 있으나, 이에 한정되지 않는다. 이 때, 상술한 예시의 경우 도 30에 도시된 바와 같을 수 있다. 보다 구체적으로, 도 38b에 도시된 바를 참조하면, 도 38b의 (a)에 도시된 바와 같이 붉은색 원이 작게 시작해서, 도 38b의 (b)에 도시된 바와 같이 붉은색 원이 크게 디스플레이 될 수 있으며, 상기 붉은색 원이 가장 커지는 시점이 상기 제2 시간 구간에 대응되도록 설정될 수 있으나, 이에 한정되지 않는다. 또한, 예를 들어, 상기 제1 시간 구간 및 상기 제2 시간 구간을 가이드하기 위한 캐릭터의 모션이 제공될 수 있다. 보다 구체적으로 상기 제1 시간 구간 및 상기 제2 시간 구간은 상기 캐릭터의 동작에 의해 가이드될 수 있으며, 예를 들어, 상기 제1 시간 구간은 캐릭터가 오른발을 구르는 타이밍에 의해 가이드될 수 있으며, 상기 제2 시간 구간은 캐릭터의 손동작의 타이밍에 의해 가이드될 수 있으나, 이에 한정되지 않으며, 캐릭터의 동작에 의해 상기 제1 시간 구간 및 상기 제2 시간 구간이 가이드 되는 다양한 실시예들을 포함할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may guide the first time section and the second time section by providing a visual effect on the main character 3420a. for example. In addition, at least one object may be displayed at a location associated with the main character 3420a to guide the first time section and the second time section. For example, as shown in FIG. 38A, a white circle may be provided at an associated position of the main character 3420a to guide the first time interval, and the moment when the white circle becomes the largest is the first type time interval. It may be set to correspond to, but is not limited thereto. More specifically, referring to FIG. 38A, the white circle starts small as shown in (a) of FIG. 38A, and the white circle can be displayed large as shown in (b) of FIG. 38A, A time point at which the white circle becomes the largest may be set to correspond to the first time interval, but is not limited thereto. In addition, for example, as shown in FIG. 38B, a red circle may be provided to guide the second time interval, and the moment when the red circle becomes the largest may be set to correspond to the second time interval. , but not limited thereto. At this time, in the case of the above example, it may be as shown in FIG. 30 . More specifically, referring to FIG. 38B, the red circle starts small as shown in (a) of FIG. 38B, and the red circle is displayed large as shown in (b) of FIG. 38B. A time point at which the red circle becomes the largest may be set to correspond to the second time interval, but is not limited thereto. Also, for example, a motion of a character for guiding the first time section and the second time section may be provided. More specifically, the first time interval and the second time interval may be guided by the motion of the character. For example, the first time interval may be guided by the timing of the character rolling his right foot. The second time interval may be guided by the timing of the character's hand motion, but is not limited thereto, and may include various embodiments in which the first time interval and the second time interval are guided by the motion of the character.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3609에서, 메인 오브젝트에 대한 사용자 입력을 획득하고, 동작 3611에서, 사용자 입력의 획득 시점에 제1 시간 구간인지 여부를 판단하고, 제1 시간 구간인 경우(3611-예), 동작 3613에서, 메인 오브젝트(예: 도 34 및 도 35의 메인 그래픽 오브젝트(3420a))의 동작을 제1 동작으로 제어하면서 제1 오디오 효과를 출력하고, 제1 시간 구간이 아닌 경우(3611-아니오), 동작 3615에서, 사용자 입력의 획득 시점이 제2 시간 구간인지 여부를 판단하고, 제2 시간 구간인 경우(3615-예), 동작 3617에서, 메인 오브젝트(예: 도 34 및 도 35의 메인 그래픽 오브젝트(3420a))의 동작을 제2 동작으로 제어하면서, 제2 오디오 효과를 출력할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a user input for the main object in operation 3609 and, in operation 3611, obtains the user input during the first time interval. , and in the case of the first time interval (3611-Yes), in operation 3613, the operation of the main object (eg, the main graphic object 3420a in FIGS. 34 and 35) is controlled as the first operation, and the first operation is controlled. 1 Outputs an audio effect, and if it is not the first time interval (3611-No), in operation 3615, it is determined whether the acquisition time of the user input is the second time interval, and if it is the second time interval (3615-Yes) ), in operation 3617, a second audio effect may be output while controlling the operation of the main object (eg, the main graphic object 3420a of FIGS. 34 and 35) as a second operation.
도 38c의 (a)를 참조하면, 전자 장치(110)(예: 프로세서(210))는 메인 캐릭터(3420a)가 기-설정된 모션(예: 발구름 동작)을 수행하도록 제어할 수 있으며, 상기 발구름 동작은 상술한 오디오 소스의 음악적 단위(예: 박자, 마디)에 대응되도록 디스플레이될 수 있으나, 이에 한정되지 않는다. 도 38c의 (b)를 참조하면, 전자 장치(110)(예: 프로세서(210))는 상기 제1 시간 구간에 사용자로부터 상기 제1 입력이 획득되는 경우 비쥬얼 이펙트를 출력할 수 있다. 예를 들어, 도 38c의 (b)에 도시된 바와 같이 캐릭터 주변에 비쥬얼 이펙트를 출력할 수 있으며, 재생 중인 오디오 소스에 포함되는 적어도 하나의 문자를 표시하며, 메인 캐릭터(3420a)가 기-설정된 특정 동작(예: 랩 모션)을 수행하도록 제어할 수 있다. 상기 적어도 하나의 문자는 랜덤하게 생성될 수 있으며, 또는 NLP, TTS, 음성인식 등의 기술을 적용하여 오디오 소스로부터 식별되는 문자를 포함하거나, 및/또는 사용자로부터 오디오 녹음을 획득하여 생성될 수 있다. 또한, 상기 오디오 소스가 재생됨에 따라 표시된 문자가 순차적으로 사라질 수 있다. 또한, 도 38c의 (a) 및 (b)를 참조하면, 사용자로부터 상기 제1 시간 구간 또는 상기 제2 시간 구간에 상기 제1 입력 또는 상기 제2 입력이 획득된 경우 사용자에게 배경 공간을 디스플레이 할 수 있다. 예를 들어, 사용자로부터 인터랙션을 획득한 보상으로 시야가 확보되는 것을 표시하기 위하여 사용자로부터 인터랙션이 획득된 경우 배경 공간을 디스플레이 할 수 있으나, 이에 한정되지 않는다. 전자 장치(110)(예: 프로세서(210))는 상기 제2 시간 구간에 사용자로부터 상기 제2 입력이 획득되는 경우 전술한 동작을 삼가할 수 있다. 즉, 전자 장치(110)는 기-설정된 모션(예: 발구름 동작)을 유지하도록 제어하며, 텍스트를 표시하지 않도록 제어할 수 있으나, 기재된 예에 제한되지 않는다.Referring to (a) of FIG. 38C, the electronic device 110 (eg, the processor 210) may control the main character 3420a to perform a pre-set motion (eg, a foot rolling motion), and the The foot roll motion may be displayed to correspond to the above-described musical unit (eg, beat, measure) of the audio source, but is not limited thereto. Referring to (b) of FIG. 38C, the electronic device 110 (eg, the processor 210) may output a visual effect when the first input is obtained from the user in the first time interval. For example, as shown in (b) of FIG. 38C, a visual effect may be output around the character, at least one character included in the audio source being played is displayed, and the main character 3420a is pre-set. It can be controlled to perform a specific action (e.g. wrap motion). The at least one character may be randomly generated, or may include a character identified from an audio source by applying a technology such as NLP, TTS, or voice recognition, and/or may be generated by obtaining an audio recording from a user. . Also, as the audio source is reproduced, displayed characters may sequentially disappear. Also, referring to (a) and (b) of FIG. 38C , when the first input or the second input is obtained from the user in the first time interval or the second time interval, a background space may be displayed to the user. can For example, a background space may be displayed when an interaction is obtained from the user to indicate that the field of view is secured as a reward for obtaining the interaction from the user, but is not limited thereto. The electronic device 110 (eg, the processor 210) may refrain from the above-described operation when the second input is obtained from the user in the second time period. That is, the electronic device 110 may control to maintain a preset motion (eg, a foot roll motion) and control not to display text, but is not limited to the described example.
한편, 상기 메인 캐릭터(3420a)의 모션은 다양하게 설정될 수 있는데, 이를 위한 모션의 생성의 예에 대해서는 “7.1.2 목차”를 참조하여 설명한다.Meanwhile, the motion of the main character 3420a can be set in various ways, and an example of motion generation for this will be described with reference to “7.1.2 Table of Contents”.
7.1.2. 메인 오브젝트 및 모션 생성 시나리오7.1.2. Main Object and Motion Creation Scenario
도 39는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(3900)이다. 다양한 실시예들에 따르면, 도 39에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 39에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 40, 도 41a, 및 도 41b를 참조하여, 도 39에 대해서 더 설명한다.39 is a flowchart 3900 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 39 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 39 may be performed, or at least one operation less than that shown in FIG. 39 may be performed. 39 will be further described below with reference to FIGS. 40, 41A, and 41B.
도 40은, 다양한 실시예들에 따른, 전자 장치(110)의 메인 그래픽 오브젝트의 생성 동작의 예를 설명하기 위한 도면이다. 도 41a는, 다양한 실시예들에 따른, 전자 장치(110)의 모션 생성 동작의 예를 설명하기 위한 도면이다. 도 41b는, 다양한 실시예들에 따른, 전자 장치(110)의 모션 제어 동작의 예를 설명하기 위한 도면이다.40 is a diagram for explaining an example of an operation of generating a main graphic object of the electronic device 110 according to various embodiments. 41A is a diagram for explaining an example of a motion generating operation of the electronic device 110 according to various embodiments. 41B is a diagram for explaining an example of a motion control operation of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3901에서, 메인 오브젝트(예: 도 40의 메인 캐릭터(3420a))를 획득하고, 동작 3903에서, 메인 오브젝트(예: 도 40의 메인 캐릭터(3420a))와 연관된 적어도 하나의 모션을 획득할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a main object (eg, the main character 3420a of FIG. 40 ) in operation 3901 and, in operation 3903, the main object (eg, at least one motion related to the main character 3420a of FIG. 40 ) may be acquired.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 사용자 고유의 캐릭터를 생성할 수 있다. 일 실시예에서, 도 40의 4010에 도시된 바와 같이, 전자 장치(110)는 기-구현된 캐릭터를 제공하고, 캐릭터의 시각적 속성(예: 부분 별 형상, 분분 별 색상 등)을 편집하기 위한 인터페이스(4011)를 제공할 수 있다. 전자 장치(110)는 상기 인터페이스(4011)를 통해서 선택되는 시각적 속성에 다라서, 캐릭터를 구성하여 메인 캐릭터(3420a)를 생성할 수 있다. 또 일 실시예에서, 전자 장치(110)는 카메라를 이용하여 촬영된 사용자(U)에 대한 정보(예: 얼굴 특징)에 기반하여, 3D 모델링과 같은 알고리즘을 이용하여 사용자(U)에 대응하는 3D 캐릭터를 생성할 수도 있다. 즉, 인터랙티브 음악 감상 시스템(1)은 나만의 고유의 캐릭터를 생성함으로써, 마치 내가 가상 현실 공간을 탐험하면서 음악을 감상하는 듯한 분위기를 연출함으로써, 음악 감상에 대한 몰입도를 향상시킬 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may create a user's own character. In one embodiment, as shown in 4010 of FIG. 40 , the electronic device 110 provides a pre-implemented character and edits visual properties (eg, shape for each part, color for each part, etc.) of the character. An interface 4011 may be provided. The electronic device 110 may create a main character 3420a by composing a character according to the visual attributes selected through the interface 4011 . In another embodiment, the electronic device 110 uses an algorithm such as 3D modeling based on information (eg, facial features) of the user U photographed using a camera to provide information corresponding to the user U. You can also create 3D characters. That is, the interactive music listening system 1 can improve the degree of immersion in listening to music by creating an atmosphere as if one is listening to music while exploring a virtual reality space by creating one's own unique character.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 기-구현된 캐릭터 모션을 생성할 수 있다. 예를 들어, 도 41a의 4110을 참조하면, 전자 장치(110)는 사용자의 입력에 기반하여 제공되는 기-구현된 모션을 제공할 수 있다. 상기 기-구현된 모션은, 획득된 복수의 움직임들 중 적어도 일부를 이어 붙이는 형태로 제작될 수 있으나, 기재된 예에 제한되지는 않는다. 상기 기-구현된 모션은, 메인 캐릭터(3420a)가 선택된 경우 제공되는 제1 종류의 모션 및 메인 캐릭터(3420a)의 주위가 선택된 경우 제공되는 제2 종류의 모션을 포함할 수 있다. 이에 따라, 전자 장치(110)는 상기 메인 캐릭터(3420a)가 선택된 경우, According to various embodiments, the electronic device 110 (eg, the processor 210) may generate a pre-realized character motion. For example, referring to 4110 of FIG. 41A , the electronic device 110 may provide a pre-implemented motion provided based on a user's input. The pre-implemented motion may be produced in a form of connecting at least some of a plurality of obtained motions, but is not limited to the described example. The pre-implemented motion may include a first type of motion provided when the main character 3420a is selected and a second type of motion provided when the surroundings of the main character 3420a are selected. Accordingly, when the main character 3420a is selected, the electronic device 110
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 사용자 고유의 캐릭터 모션과 함께 모션에 대응하는 음악적 효과를 생성할 수 있다. 예를 들어, 도 41a의 4120을 참조하면, 전자 장치(110)는 캐릭터 모션을 생성하는 동작의 적어도 일부로, 메인 캐릭터(3420a)를 구성하는 복수의 관절들(4121)을 표시하고, 관절들(4121) 중 선택된 관절(예: 특정 관절(4122))을 이동시키기 위한 사용자의 입력에 기반하여, 메인 캐릭터(3420a)의 캐릭터 모션을 생성할 수 있다. 예를 들어, 전자 장치(110)는 지정된 시간 동안, 사용자의 입력에 기반하여 선택된 관절의 이동을 식별하고, 지정된 시간 동안의 관절의 이동에 대응하는 캐릭터 모션을 생성할 수 있다. 이때, 전자 장치(110)는 오디오 효과를 선택하기 위한 인터페이스(4123)를 제공함으로써, 생성된 캐릭터 모션에 대응하는 오디요 효과를 선택하도록 하고, 생성된 모션과 선택된 오디오 효과를 서로 연관된 형태로 저장할 수 있다. 이후, 해당 모션이 수행되는 경우, 전자 장치(110)는 모션과 연관된 오디오 효과를 청각적 컨텐트(100b)(예: 오디오 소스)에 적용할 수 있다. 한편, 전자 장치(110)는 관절 별로 모션을 생성할 수 있으며, 이후 사용자에 의해 선택된 관절에 기반하여 그에 대응하는 모션을 메인 캐릭터(3420a)를 통해 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may generate a user's own character motion and a musical effect corresponding to the motion. For example, referring to 4120 of FIG. 41A , the electronic device 110 displays a plurality of joints 4121 constituting the main character 3420a as at least part of an operation for generating a character motion, and the joints ( 4121), a character motion of the main character 3420a may be generated based on a user's input for moving a selected joint (eg, a specific joint 4122). For example, the electronic device 110 may identify movement of a selected joint based on a user's input during a specified time period and generate a character motion corresponding to the movement of a joint during a specified time period. At this time, the electronic device 110 provides an interface 4123 for selecting an audio effect so that an audio effect corresponding to the generated character motion is selected, and the generated motion and the selected audio effect are stored in a form associated with each other. can Then, when a corresponding motion is performed, the electronic device 110 may apply an audio effect associated with the motion to the auditory content 100b (eg, an audio source). Meanwhile, the electronic device 110 may generate a motion for each joint, and then provide a motion corresponding thereto through the main character 3420a based on the joint selected by the user.
다양한 실시예들에 따르면, 도 41b를 참조하면, 전자 장치(110)(예: 프로세서(210))는 메인 캐릭터(3420a)의 모션을 제어하기 위한 별도의 그래픽 오브젝트(4100b)를 제공할 수 있다. 상기 그래픽 오브젝트(4100b)는 메인 캐릭터(3420a)의 모션의 종류를 선택하기 위한 기능을 제공하도록 구현될 수 있다. 예를 들어, 도 41b에 도시된 바와 같이, 상기 그래픽 오브젝트(4100b)는 사용자에 의해 선택(예: 터치)되는 경우, 메인 캐릭터(3420a)가 수행할 모션의 종류(예: 춤 동작의 종류)를 선택하기 위한 적어도 하나의 메인 영역(4111b, 4112b, 4113b, 4114b) 및 선택된 종류의 모션과 연관된 서브 모션(예: 메인 캐릭터(3420a)의 일 부분의 움직임 및/또는 춤 동작)을 선택하기 위한 적어도 하나의 서브 영역(4120b)을 제공하도록 구현될 수 있다. 상기 서브 모션에 대응하는 메인 캐릭터(3420a)의 일 부분은 메인 캐릭터(3420a) 상체 부분, 하체 부분, 팔, 다리 등 다양한 종류의 부분을 포함할 수 있다. 도 41b를 참조하면, 전자 장치(110)는 상기 그래픽 오브젝트(4100b)에 대한 터치가 유지된 상태에서 이동되어 특정 메인 영역(4114b)이 선택된 경우 선택된 메인 영역(4114b)에 대응하는 모션(예: 춤 동작)을 수행하도록 메인 캐릭터(3420a)를 제어할 수 있다. 전자 장치(110)는 특정 메인 영역(4114b)이 선택된 경우 상기 터치가 유지된 상태에서 다른 서브 영역(4120b)로 이동되는 경우, 메인 캐릭터(3420a)의 모션을 선택된 모션으로 유지한 상태에서 서브 영역(4120b)에 대응하는 메인 캐릭터(3420a)의 일 부분(예: 상체 부분)의 모션만을 특정 모션으로 제어할 수 있다. 전자 장치(110)는 상기 터치가 해제되는 경우 설정된 모션을 계속하여 유지하여 메인 캐릭터(3420a)를 제어할 수 있으나, 기재된 예에 제한되지 않고 모션의 제공을 중단할 수도 있다. 전술한 바와 같이, 그래픽 오브젝트(4100b)의 터치를 유지한 상태에서 드래그함으로써 연속적으로 메인 캐릭터(3420a)의 모션을 제어함에 따라, 사용자가 메인 캐릭터(3420a)의 움직임을 제어하는 연속적인 경험을 할 수 있게 된다. 한편, 기재된 예에 제한되지 않고, 상기 그래픽 오브젝트(4100b)가 메인 캐릭터(3420a)의 움직임을 제어하는 기능을 제공하는 것으로 기술하였으나, 이와 유사하게 메인 영역(4111b, 4112b, 4113b, 4114b)에 기반하여 오디오 소스의 종류를 선택하고, 서브 영역(4120b)에 기반하여 선택된 종류의 오디오 소스의 속성을 제어하는 기능을 제공하도록 구현될 수도 있다.According to various embodiments, referring to FIG. 41B , the electronic device 110 (eg, the processor 210) may provide a separate graphic object 4100b for controlling the motion of the main character 3420a. . The graphic object 4100b may be implemented to provide a function for selecting the type of motion of the main character 3420a. For example, as shown in FIG. 41B, when the graphic object 4100b is selected (eg, touched) by the user, the type of motion (eg, dance motion) to be performed by the main character 3420a. at least one main region (4111b, 4112b, 4113b, 4114b) for selecting a sub-motion associated with the selected type of motion (eg, a motion and/or a dance motion of a part of the main character 3420a) for selecting It may be implemented to provide at least one subregion 4120b. A part of the main character 3420a corresponding to the sub motion may include various types of parts such as an upper body part, a lower body part, arms, and legs of the main character 3420a. Referring to FIG. 41B , when a specific main area 4114b is selected by being moved while the touch to the graphic object 4100b is maintained, the electronic device 110 moves (for example, a motion corresponding to the selected main area 4114b). The main character 3420a may be controlled to perform a dance motion). When a specific main area 4114b is selected and the electronic device 110 moves to another sub area 4120b while the touch is maintained, the electronic device 110 maintains the motion of the main character 3420a as the selected motion in the sub area. Only the motion of a part (eg, upper body part) of the main character 3420a corresponding to (4120b) may be controlled with a specific motion. When the touch is released, the electronic device 110 may control the main character 3420a by continuously maintaining the set motion, but may stop providing the motion without being limited to the described example. As described above, by continuously controlling the motion of the main character 3420a by dragging while holding the touch of the graphic object 4100b, the user can have a continuous experience of controlling the motion of the main character 3420a. be able to On the other hand, it is not limited to the described example, and the graphic object 4100b has been described as providing a function for controlling the movement of the main character 3420a, but similarly based on the main areas 4111b, 4112b, 4113b, 4114b It may also be implemented to provide a function of selecting the type of audio source and controlling the properties of the audio source of the selected type based on the sub-area 4120b.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는 사용자 맞춤 형의 캐릭터 모션 및/또는 오디오 효과를 제공할 수 있다. 예를 들어, 전자 장치(110)는 소정의 캘리브레이션(calibration)을 위한 기간 동안 수집되는 사용자가 그래픽 오브젝트를 제어(예: 터치)하는 정보를 기반으로, 사용자의 고유의 음악적 정보(예: 음악적 패턴, 음악적 취향)를 획득하고, 이에 대응하는 모션 및/또는 오디오 효과를 제공할 수 있다. 전자 장치(110)는 음악적 정보를 획득하는 동작의 적어도 일부로, 미리-저장된 사용자의 그래픽 오브젝트를 제어하는 정보 별로 대응하는 음악적 정보에 대한 정보를 이용하거나, 및/또는 그래픽 오브젝트를 제어하는 정보를 입력 받은 것에 대한 응답으로 음악적 정보를 출력하도록 구현되는 인공 지능 모델을 이용할 수 있다. 일 예로, 전자 장치(110)는 소정의 그래픽 오브젝트를 제공하면서 음악을 재생하면서 사용자가 그래픽 오브젝트를 터치하도록 가이드하고, 사용자의 터치가 수신되는 시간과 미리-저장된 정보를 이용하여 사용자의 음악적 취향을 식별할 수 있다. 일 예로, 전자 장치(110)는 사용자가 특정 박자로 그래픽 오브젝트를 터치를 수행하는 경우, 박자감을 좋아하는 사용자의 음악적 취향을 식별할 수 있다. 전자 장치(110)는 상기 식별된 음악적 취향에 기반하여, 메인 캐릭터(3420a)의 선택 시 특정 모션(예: 랩 모션)과 함께, 음악적 효과로서 박자감을 고양시키는 소리(예: 드럼 소리, 비트 소리)를 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may provide user-customized character motion and/or audio effects. For example, the electronic device 110 generates user-specific musical information (eg, a musical pattern) based on information on how the user controls (eg, touches) a graphic object collected during a predetermined calibration period. , musical taste), and corresponding motion and/or audio effects may be provided. As at least part of an operation of acquiring musical information, the electronic device 110 uses information about musical information corresponding to each pre-stored piece of information controlling a user's graphic object, and/or inputs information controlling a graphic object. An artificial intelligence model implemented to output musical information in response to being received may be used. For example, the electronic device 110 guides the user to touch the graphic object while playing music while providing a predetermined graphic object, and determines the user's musical taste by using the time at which the user's touch is received and pre-stored information. can be identified. For example, when the user performs a touch on a graphic object with a specific beat, the electronic device 110 may identify the user's musical taste that likes the beat. Based on the musical taste identified above, when the main character 3420a is selected, the electronic device 110, together with a specific motion (eg, rap motion), sounds (eg, drum sound, beat sound) that enhance the sense of beat as a musical effect. ) can be provided.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 3905에서, 메인 오브젝트(예: 도 41의 메인 캐릭터(3420a))를 포함하는 실행 화면을 표시하면서, 복수의 오디오 소스들에 기반하여 사운드를 출력하고, 동작 3907에서, 메인 오브젝트(예: 도 41의 메인 캐릭터(3420a))에 대한 사용자 입력을 획득하고, 동작 3909에서, 메인 오브젝트(예: 도 41의 메인 캐릭터(3420a))의 동작을 적어도 하나의 동작 중 특정 동작으로 제어하면서, 특정 오디오 효과를 출력할 수 있다. 일 실시예에서, 전자 장치(110)는 메인 캐릭터(3420a)에 대한 사용자 입력을 수신하는 경우, 미리-설정된 모션을 적용하거나 및/또는 생성된 모션으로 메인 캐릭터가 동작을 수행하도록 제어하며, 이에 대응하는 오디오 효과를 출력하도록 제어할 수 있다. 또 일 실시예에서, 전자 장치(110)는 메인 캐릭터(3420a)의 주변 영역(예: 메인 캐릭터(3420a)로부터 기-설정된 거리 떨어진 영역)에 사용자 입력을 수신하는 경우, 기-설정된 모션으로 메인 캐릭터가 동작을 수행하도록 제어하며, 이에 대응하는 오디오 효과를 출력하도록 제어할 수 있다. 해당 모션은, 사용자의 입력이 수신된 위치로부터 메인 캐릭터(3420a)의 신체 부분이 멀어지는 듯한 모션이 수 있다. 또 예를 들어, 전자 장치(110)는 모션을 제공하는 동작의 적어도 일부로, 상기 사용자의 입력이 수신된 위치와 가장 가까운 위치의 관절을 선택하고, 선택된 관절과 연관된 모션을 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 3905, displays an execution screen including a main object (eg, the main character 3420a of FIG. 41 ) while displaying a plurality of In operation 3907, a user input for a main object (eg, the main character 3420a of FIG. 41) is obtained, and in operation 3909, a sound is output based on the audio sources of While controlling the motion of the main character 3420a to a specific motion among at least one motion, a specific audio effect may be output. In one embodiment, when receiving a user input for the main character 3420a, the electronic device 110 applies a pre-set motion and/or controls the main character to perform an action with the created motion, thereby It can be controlled to output corresponding audio effects. In another embodiment, when the electronic device 110 receives a user input in an area around the main character 3420a (eg, an area separated by a preset distance from the main character 3420a), the electronic device 110 moves the main character 3420a with a preset motion. The character can be controlled to perform an action, and can be controlled to output an audio effect corresponding to the action. The corresponding motion may be a motion in which the body part of the main character 3420a moves away from the location where the user's input is received. Also, for example, as at least part of an operation for providing a motion, the electronic device 110 may select a joint at a location closest to the location where the user's input is received, and provide a motion associated with the selected joint.
7.1.3. 청각적 컨텐트의 음악적 단위에 기반한 모션 제공7.1.3. Provides motion based on musical units of auditory content
도 42는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(4200)이다. 다양한 실시예들에 따르면, 도 42에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 42에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 43을 참조하여, 도 42에 대해서 더 설명한다.42 is a flowchart 4200 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 42 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 42 may be performed, or at least one operation less than that shown in FIG. 42 may be performed. 42 will be further described below with reference to FIG. 43 .
도 43은, 다양한 실시예들에 따른, 전자 장치(110)의 청각적 컨텐트의 음악적 단위에 기초하여 모션을 제공하는 동작의 예를 설명하기 위한 도면이다.43 is a diagram for explaining an example of an operation of providing a motion based on a musical unit of auditory content of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4201에서, 복수의 오디오 소스들에 기반한 음악적 단위(예: 박자, 마디)를 식별하고, 동작 4203에서, 음악적 단위(예: 박자, 마디)에 대응하는 개수의 적어도 하나의 관절(예: 도 43의 관절(4310, 4320))을 포함하는 메인 오브젝트(예: 메인 캐릭터(3420a))를 제공할 수 있다. 예를 들어 도 43을 참조하면, 전자 장치(110)는 현재 제공되는 오디오 소스 셋(또는 복수의 오디오 소스들)의 음악적 단위(예: 박자, 마디)에 기반하여, 메인 캐릭터(3420a)의 관절의 개수를 설정할 수 있다. 예를 들어, 전자 장치(110)는 1/2 박자인 경우 메인 캐릭터(3420a)의 관절의 개수를 1개로 설정하고, 8/8 박자인 경우 메인 캐릭터(3420a)의 관절의 개수를 8개로 설정할 수 있으나, 기재된 예는 예시일 뿐 박자 별로 서로 다른 관절의 개수가 설정될 수 있다. 도 43을 참조하면, 상기 관절의 개수에 따라서, 메인 캐릭터(4320a)에 형성되는 관절의 위치가 상이해질 수 있다. 전술한 바와 같이, 전자 장치(110)는, 지역 별로 서로 다른 구성(예: 인트로(intro)(4301), 벌스(verse)(4302))의 오디오 소스 셋을 할당할 수 있는데, 메인 캐릭터(3420a)가 위치되는 지역에 따라서 상기 음악적 단위가 변경될 수 있으나, 기재된 예에 제한되지 않고, 타임라인의 경과에 따라서 음악적 단위(예: 박자, 단위)가 변경될 수도 있다. According to various embodiments, the electronic device 110 (eg, processor 210) identifies a musical unit (eg, beat, measure) based on a plurality of audio sources in operation 4201, and in operation 4203, A main object (eg, main character 3420a) including at least one joint (eg, joints 4310 and 4320 of FIG. 43 ) corresponding to the number of musical units (eg, beat, measure) may be provided. . For example, referring to FIG. 43 , the electronic device 110 determines the articulation of the main character 3420a based on a musical unit (eg, beat, measure) of a currently provided audio source set (or a plurality of audio sources). The number of can be set. For example, the electronic device 110 sets the number of joints of the main character 3420a to 1 for a time signature of 1/2, and sets the number of joints of the main character 3420a to 8 for a time signature of 8/8. However, the described example is merely an example, and different numbers of joints may be set for each beat. Referring to FIG. 43 , the positions of the joints formed in the main character 4320a may be different according to the number of the joints. As described above, the electronic device 110 may allocate audio source sets of different configurations (eg, an intro 4301 and a verse 4302) for each region, and the main character 3420a ) may be changed according to the location where the musical unit is located, but is not limited to the described example, and the musical unit (eg, beat, unit) may be changed according to the passage of the timeline.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4205에서, 특정 관절에 대한 사용자 입력을 획득하고, 동작 4207에서, 사용자 입력에 기반하여 메인 오브젝트의 동작을 특정 동작으로 제어하면서, 특정 오디오 효과를 출력할 수 있다. 예를 들어, 전자 장치(110)는 메인 오브젝트의 동작을 특정 동작으로 제어하는 동작의 적어도 일부로, 메인 캐릭터(3420a)에 대한 사용자 입력을 수신하는 경우, 특정 관절을 선택하고, 선택된 특정 관절에 대응하는 모션으로 메인 캐릭터(3420a)의 동작을 제어할 수 있다. 도 43을 참조하면, 사용자의 입력(예: 터치)이 수신되는 위치가 동일하더라도, 메인 캐릭터(3420a)에 구현되는 관절의 개수에 따라서, 선택되는 관절이 상이해질 수 있다. 이에 따라, 메인 캐릭터(3420a)에 적용되는 모션이 상이해질 수 있으며, 결과적으로 음악적 단위 별로 서로 다른 캐릭터 모션이 제공되며, 서로 다른 모션에 대응하는 오디오 효과가 적용 및/또는 오디오 소스가 출력될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a user input for a specific joint in operation 4205 and performs an operation of the main object based on the user input in operation 4207. While controlling with a specific operation, a specific audio effect can be output. For example, when receiving a user input for the main character 3420a as at least part of an operation of controlling the operation of the main object to a specific motion, the electronic device 110 selects a specific joint and responds to the selected specific joint. It is possible to control the motion of the main character (3420a) by the motion. Referring to FIG. 43 , even if the location where the user's input (eg, touch) is received is the same, the selected joint may be different according to the number of joints implemented in the main character 3420a. Accordingly, motions applied to the main character 3420a may be different, and as a result, different character motions may be provided for each musical unit, audio effects corresponding to different motions may be applied, and/or audio sources may be output. there is.
7.2. 서브 오브젝트에 기반한 컨텐트 제어7.2. Content control based on sub-objects
7.2.1. 서브 오브젝트의 활성화7.2.1. Activation of sub-objects
도 44는, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(4400)이다. 다양한 실시예들에 따르면, 도 44에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 44에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 45를 참조하여, 도 44에 대해서 더 설명한다.44 is a flowchart 4400 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 44 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 44 may be performed, or at least one less operation may be performed. Below, with reference to FIG. 45, FIG. 44 is further demonstrated.
도 45는, 다양한 실시예들에 따른, 전자 장치(110)의, 메인 캐릭터(3420a)의 위치에 기반한 서브 오브젝트(3430a)의 활성화의 예를 설명하기 위한 도면이다.45 is a diagram for explaining an example of activating a sub-object 3430a based on a position of a main character 3420a of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4401에서, 복수의 오디오 소스에 기반하여 제1 사운드를 출력하면서, 제1 오브젝트(예: 메인 캐릭터(3420a))를 그래픽 공간에 제공하고, 동작 4403에서, 제1 오브젝트(예: 메인 캐릭터(3420a))를 이동하기 위한 사용자의 입력을 수신할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 4401, outputs a first sound based on a plurality of audio sources and outputs a first object (eg, the main character 3420a). )) to the graphic space, and in operation 4403, a user's input for moving the first object (eg, the main character 3420a) may be received.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4405에서, 거리 조건이 만족되는 제1 서브 오브젝트(예: 도 45의 구조물(3430a))를 식별되는지 여부를 판단하고, 제1 서브 오브젝트(예: 도 45의 구조물(3430a))가 식별되는 경우(4405-예), 동작 4407에서, 제1 스킴에 기반하여 제1 사운드와는 다른 제2 사운드를 출력하고, 제1 서브 오브젝트(예: 도 45의 구조물(3430a))가 식별되지 않는 경우(4405-아니오), 동작 4409에서, 제2 스킴에 기반하여 제1 사운드와는 다른 제3 사운드를 출력할 수 있다. 예를 들어 도 45에 도시된 바와 같이, 전자 장치(110)는 메인 캐릭터(3420a)의 위치(예: 그래픽 공간 상의 좌표)와 서브 오브젝트(3430a)의 위치(예: 그래픽 공간 상의 좌표)를 비교한 것에 기반하여, 메인 캐릭터(3420a)와 서브 오브젝트(3430a) 사이의 거리를 식별할 수 있다. 전자 장치(110)는 상기 거리가 임계 값 보다 큰 경우 상기 서브 오브젝트(3430a)의 상태를 비활성화 상태로 제어하고, 상기 거리가 임계 값 미만인 경우 상기 서브 오브젝트(3430a)의 상태를 활성화 상태로 제어할 수 있다. 이 경우 전술한 바와 같이, 전자 장치(110)는 서브 오브젝트(3430a)가 제공하도록 설정된 오디오 효과의 적용 및/또는 오디오 소스의 재생을 수행할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 4405, whether the first sub-object (eg, the structure 3430a of FIG. 45 ) for which the distance condition is satisfied is identified. is determined, and when the first sub-object (eg, the structure 3430a of FIG. 45) is identified (4405-Yes), in operation 4407, a second sound different from the first sound is output based on the first scheme. and if the first sub-object (eg, the structure 3430a of FIG. 45) is not identified (4405-No), in operation 4409, a third sound different from the first sound is output based on the second scheme. can For example, as shown in FIG. 45 , the electronic device 110 compares the position of the main character 3420a (eg, coordinates in graphic space) with the position of the sub-object 3430a (eg, coordinates in graphic space). Based on this, a distance between the main character 3420a and the sub-object 3430a may be identified. The electronic device 110 controls the state of the sub-object 3430a to an inactive state when the distance is greater than the threshold value, and controls the state of the sub-object 3430a to an active state when the distance is less than the threshold value. can In this case, as described above, the electronic device 110 may apply an audio effect set to be provided by the sub-object 3430a and/or reproduce an audio source.
7.2.2. 서브 오브젝트의 획득에 기반한 오디오 소스 활성화7.2.2. Activate audio source based on acquisition of sub-object
도 46은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(4600)이다. 다양한 실시예들에 따르면, 도 46에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 46에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 47을 참조하여, 도 46에 대해서 더 설명한다.46 is a flowchart 4600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 46 may be performed in various orders without being limited to the order shown. Also, according to various embodiments, more operations than the operations shown in FIG. 46 or at least one operation less may be performed. Below, with reference to FIG. 47, FIG. 46 is further demonstrated.
도 47은, 다양한 실시예들에 따른, 전자 장치(110)의, 서브 오브젝트의 획득에 따른 오디오 소스 재생의 활성화의 예를 설명하기 위한 도면이다.FIG. 47 is a diagram for explaining an example of activating audio source playback according to sub-object acquisition of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4601에서, 복수의 오디오 소스에 기반하여 제1 사운드를 출력하면서, 제1 오브젝트(예: 도 47의 메인 캐릭터(3420a))를 그래픽 공간에 제공하고, 동작 4603에서, 제1 오브젝트(예: 도 47의 메인 캐릭터(3420a))를 이동하기 위한 사용자의 입력을 수신할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 4601, outputs a first sound based on a plurality of audio sources and outputs a first object (eg, the main object of FIG. 47 ). The character 3420a) may be provided in the graphic space, and in operation 4603, a user's input for moving the first object (eg, the main character 3420a of FIG. 47) may be received.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4605에서, 제1 오브젝트의 이동에 기반하여, 상기 복수의 서브 오브젝트들 중 일부 서브 오브젝트들(예: 도 47의 서브 오브젝트(4712))을 획득하고, 동작 4607에서, 상기 복수의 오디오 소스들 중 선택된 적어도 하나의 오디오 소스를 출력함에 기반하여, 제2 사운드를 출력하고, 동작 4609에서, 상기 제2 사운드를 출력하는 동안 상기 제1 오브젝트(예: 도 47의 메인 캐릭터(3420a))에 대한 사용자 입력이 수신되는 경우, 상기 선택된 적어도 하나의 오디오 소스 중 적어도 일부의 속성을 변경함으로써 제3 사운드를 출력할 수 있다. 예를 들어 도 47을 참조하면, 전자 장치(110)는 그래픽 공간 상에, 메인 캐릭터(3420a)에 의해 획득 가능한 서브 오브젝트들(4712)을 제공할 수 있다. 상기 서브 오브젝트들 각각에 할당된 오디오 효과 및/또는 오디오 소스는, 메인 캐릭터(3420a)에 의해 획득되는 경우, 적용되거나 및/또는 재생될 수 있다. 전자 장치(110)는 메인 캐릭터(3420a)의 이동 시 메인 캐릭터(3420a)의 위치와 서브 오브젝트(4712)의 위치를 비교한 것에 기반하여, 메인 캐릭터(3420a)의 위치에 대응하는 위치의 서브 오브젝트(4712)를 선택하는 동작을 수행할 수 있다. 전자 장치(110)는 실행 화면 상에 획득된 서브 오브젝트(4712)에 대응하는 오디오 소스들의 재생을 제어하기 위한 인터페이스(4711, 4721)를 제공하고, 상기 인터페이스에 기반하여 사용자의 입력에 기반하여 재생되는 것으로 선택되는 오디오 소스들을 재생할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 4605, selects some sub-objects (eg, a drawing) among the plurality of sub-objects based on the movement of the first object. 47 sub-object 4712) is obtained, and in operation 4607, based on outputting at least one audio source selected from among the plurality of audio sources, a second sound is output, and in operation 4609, the second sound If a user input for the first object (eg, the main character 3420a of FIG. 47) is received while outputting the sound, a third sound may be output by changing at least some properties of the selected at least one audio source. can For example, referring to FIG. 47 , the electronic device 110 may provide sub-objects 4712 obtainable by the main character 3420a in a graphic space. The audio effect and/or audio source assigned to each of the sub-objects may be applied and/or reproduced when obtained by the main character 3420a. The electronic device 110 compares the location of the main character 3420a and the location of the sub-object 4712 when the main character 3420a moves, and the sub-object at a position corresponding to the position of the main character 3420a. An operation of selecting 4712 may be performed. The electronic device 110 provides interfaces 4711 and 4721 for controlling the reproduction of audio sources corresponding to the sub-object 4712 acquired on the execution screen, and reproduces the audio sources based on the user's input based on the interface. You can play audio sources that are selected as being.
7.3 메인 캐릭터의 이동에 따른 컨텐트 제어7.3 Content control according to the movement of the main character
7.3.1 메인 캐릭터 이동 시 오디오 재생 시나리오7.3.1 Scenario of playing audio when main character moves
도 48은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(4800)이다. 다양한 실시예들에 따르면, 도 48에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 48에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 49를 참조하여, 도 48에 대해서 더 설명한다.48 is a flowchart 4800 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 48 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 48 may be performed, or at least one operation less than that shown in FIG. 48 may be performed. Below, with reference to FIG. 49, FIG. 48 is further demonstrated.
도 49는, 다양한 실시예들에 따른, 전자 장치(110)의, 메인 캐릭터의 이동에 따라서 청각적 컨텐트의 재생, 그리고 청각적 컨텐트의 역재생에 따른 메인 캐릭터의 이동의 예를 설명하기 위한 도면이다.49 is a view for explaining an example of the movement of the main character according to reproduction of auditory content and reverse reproduction of auditory content according to the movement of the main character of the electronic device 110 according to various embodiments of the present disclosure; am.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4801에서, 제1 오브젝트(예: 메인 캐릭터(3420a))를 그래픽 공간에 제공하고, 동작 4803에서, 복수의 사운드 소스들 중 적어도 제1 일부만을 재생함으로써 제1 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)는 복수의 오디오 소스들 중, 현재 메인 캐릭터(3420a)가 위치되는 지역(예: 제1 테마 아레아)에 대응하는 오디오 소스만을 재생하여, 특정 테마의 사운드(예: 제1 테마 사운드)를 제공할 수 있다. 상기 특정 테마의 사운드를 제공하기 위한 오디오 소스는(즉, 영역에 할당된 오디오 소스는), 멜로디와 같은 긴 시간 유지되는 오디오 소스일 수 있다.According to various embodiments, in operation 4801, the electronic device 110 (eg, the processor 210) provides a first object (eg, the main character 3420a) to the graphic space, and in operation 4803, a plurality of The first sound may be output by reproducing at least a first part of the sound sources of the . For example, among a plurality of audio sources, the electronic device 110 reproduces only an audio source corresponding to an area where the main character 3420a is currently located (eg, a first theme area) to play a sound of a specific theme ( Example: a first theme sound) may be provided. The audio source for providing the sound of the specific theme (that is, the audio source assigned to the region) may be an audio source that is maintained for a long time such as a melody.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 4805에서, 이동을 위한 사용자 입력의 수신 여부를 판단하고, 사용자 입력이 수신되는 경우(4805-예), 동작 4807에서, 상기 복수의 사운드 소스들 중 상기 적어도 제1 일부(예: 제1 테마 사운드)와 함께 상기 복수의 사운드 소스들 중 적어도 제2 일부(예: 메인 캐릭터(3420a) 이동 시 출력되도록 설정된 오디오 소스)를 재생함으로써, 제2 사운드를 출력하고, 사용자 입력이 수신되지 않는 경우(4805-아니오), 동작 4809에서, 제1 테마의 제1 사운드(예: 제1 테마 사운드)의 출력을 유지할 수 있다. 예를 들어 도 49의 (a)를 참조하면, 전자 장치(110)는 메인 캐릭터(3420a)가 위치되는 지역(예: 제1 테마 아레아)에 대응하는 오디오 소스를 재생하는 동안, 메인 캐릭터(4320a)가 이동되는 경우 특정 오디오 소스의 재생을 수행하고, 메인 캐릭터(4320a)가 이동되지 않는 경우 특정 오디오 소스의 재생을 삼가하면서, 메인 캐릭터(3420a)가 위치되는 지역(예: 제1 테마 아레아)에 대응하는 오디오 소스의 재생만을 유지할 수 있다. 상기 메인 캐릭터(4320a)가 이동됨에 따라 제공되는 특정 오디오 소스는 상기 메인 캐릭터(4320a)가 위치되는 지역에 대응하는 오디오 소스와는 상이할 수 있다. 예를 들어, 메인 캐릭터(4320a)가 이동되는 경우 특정 오디오 소스는 드럼에 대응하는 오디오 소스일 수 있다. 전자 장치(110)는 특정 오디오 소스를 제공하는 중에 메인 캐릭터(4320a)의 이동이 중단되는 경우, 특정 오디오 소스의 재생을 중단할 수 있다. 전자 장치(110)는 메인 캐릭터(4320a)의 이동이 재개되는 경우, 다른 종류의 오디오 소스로 변경하여 재생을 수행할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 4805, whether a user input for movement is received, and if the user input is received (4805-yes), In operation 4807, at least a second part (eg, the main character 3420a) of the plurality of sound sources together with the first part (eg, first theme sound) of the plurality of sound sources is set to be output when moving. audio source) to output the second sound, and if no user input is received (4805-No), in operation 4809, the output of the first sound of the first theme (eg, the first theme sound) is maintained. can For example, referring to (a) of FIG. 49 , while the electronic device 110 reproduces an audio source corresponding to an area where a main character 3420a is located (eg, a first theme area), the main character ( When the main character 4320a) is moved, a specific audio source is reproduced, and when the main character 4320a is not moved, the specific audio source is refrained from being reproduced. It is possible to keep playing only the audio source corresponding to Leah). A specific audio source provided as the main character 4320a moves may be different from an audio source corresponding to a region where the main character 4320a is located. For example, when the main character 4320a moves, a specific audio source may be an audio source corresponding to a drum. When the movement of the main character 4320a is stopped while providing the specific audio source, the electronic device 110 may stop playing the specific audio source. When the movement of the main character 4320a is resumed, the electronic device 110 may change to a different type of audio source and perform playback.
한편, 메인 캐릭터(3420a)가 위치되는 지역(예: 제1 테마 아레아)에 대응하는 오디오 소스가 멜로디, 그리고 메인 캐릭터(3420a)가 이동되는 경우 제공되는 오디오 소스가 드럼인 것으로 기술하였으나, 이와는 반대로 구현될 수도 있다.Meanwhile, it has been described that the audio source corresponding to the area where the main character 3420a is located (eg, the first theme area) is the melody, and the audio source provided when the main character 3420a is moved is the drum. Conversely, it can also be implemented.
다양한 실시예들에 따르면, 메인 캐릭터(3420a)는 사용자의 입력이 수신되지 않는 상태에서, 자동으로 랜덤한 위치로 이동될 수도 있다. 이 경우, 전자 장치(110)는 사용자의 입력에 의해 메인 캐릭터(3420a)가 이동되는 경우와는 다른 오디오 소스를 재생하거나 및/또는 동일한 오디오 소스이되 특정 오디오 효과를 적용하여 재생할 수 있다.According to various embodiments, the main character 3420a may automatically move to a random location in a state where a user's input is not received. In this case, the electronic device 110 may reproduce an audio source different from that in the case where the main character 3420a is moved by a user's input and/or reproduce the same audio source by applying a specific audio effect.
다양한 실시예들에 따르면, 도 49에 도시된 바와 같이, 전자 장치(110)는 메인 캐릭터(3420a)의 이동에 따라서 메인 캐릭터(3420a)의 그래픽 공간에서의 위치에 대응하는 특정 오디오 소스의 재생 시점을 식별할 수 있다. 다시 말해, 상기 메인 캐릭터(3420a)의 그래픽 공간에서의 위치와 특정 오디오 소스의 재생 시점은 서로 맵핑(mapping)될 수 있다. 이에 따라, 도 49의 (b)를 참조하면, 전자 장치(110)는, 특정 오디오 소스가 역재생되어 특정 오디오 소스의 재생 시점이 역으로 이동되는 경우, 메인 캐릭터(3420a)의 위치가 역으로 이동될 수 있다. 예를 들어, 전자 장치(110)는, 메인 캐릭터(3420a)의 그래픽 공간에서의 위치와 특정 오디오 소스의 재생 시점은 서로 맵핑(mapping)된 정보를 미리 저장하고, 미리 저장된 정보에 기반하여 메인 캐릭터(3420a)의 위치가 역으로 이동되는 경우 상기 이동된 위치에 대응하는 특정 오디오 소스의 재생 시점으로 설정할 수 있다.According to various embodiments, as shown in FIG. 49 , the electronic device 110 reproduces a specific audio source corresponding to the location of the main character 3420a in the graphic space according to the movement of the main character 3420a. can identify. In other words, the location of the main character 3420a in the graphic space and the playback time of a specific audio source may be mapped to each other. Accordingly, referring to (b) of FIG. 49 , in the electronic device 110, when a specific audio source is played backward and the playback time of the specific audio source is reversed, the position of the main character 3420a is reversed. can be moved For example, the electronic device 110 stores information in which the position of the main character 3420a in the graphic space and the playback time of a specific audio source are mapped to each other in advance, and based on the previously stored information, the main character 3420a is mapped to each other. When the position of 3420a is reversed, it can be set as a playback time of a specific audio source corresponding to the moved position.
7.3.2 메인 캐릭터 이동 시 오디오 효과 선택 시나리오7.3.2 Audio effect selection scenario when main character moves
도 50은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(5000)이다. 다양한 실시예들에 따르면, 도 50에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 50에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.50 is a flowchart 5000 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 50 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 50 may be performed, or at least one operation less than that shown in FIG. 50 may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5001에서, 복수의 오디오 효과들 중 특정 오디오 효과를 선택하고, 동작 5003에서, 상기 복수의 사운드 소스들 중 상기 적어도 제1 일부와 함께 상기 복수의 사운드 소스들 중 적어도 제2 일부만을 재생함으로써, 제2 사운드를 출력할 수 있다. 예를 들어, 전자 장치(110)는, 메인 캐릭터(3420a)의 이동 시 특정 오디오 소스를 재생하는 동작의 적어도 일부로, 메인 캐릭터(3420a)가 이동될 때마다 특정 오디오 효과를 선택하여 적용할 수 있다. 전자 장치(110)는 복수의 오디오 효과들 중 메인 캐릭터(3420a)의 이동시 마다 특정 오디오 효과를 선택하여, 선택된 오디오 효과를 오디오 소스의 재생 시 적용할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) selects a specific audio effect from among a plurality of audio effects in operation 5001, and selects a specific audio effect from among the plurality of sound sources in operation 5003. A second sound may be output by reproducing at least a second part of the plurality of sound sources together with the at least first part. For example, as at least part of an operation of playing a specific audio source when the main character 3420a moves, the electronic device 110 may select and apply a specific audio effect whenever the main character 3420a moves. . The electronic device 110 may select a specific audio effect from among a plurality of audio effects whenever the main character 3420a moves, and apply the selected audio effect to playback of the audio source.
7.3.3 메인 캐릭터 이동 시 오디오 재생 및 오디오 효과 선택 전체 시나리오7.3.3 Play audio and select audio effect when main character moves Overall scenario
도 51은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(5100)이다. 다양한 실시예들에 따르면, 도 51에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 51에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.51 is a flowchart 5100 for describing an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 51 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 51 or at least one operation less may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5101에서, 제1 오브젝트(예: 메인 캐릭터(3420a))를 그래픽 공간에 제공하고, 동작 5103에서, 복수의 영역들 중 상기 제1 오브젝트(예: 메인 캐릭터(3420a))가 위치되는 제1 영역에 대응하는 제1 테마의 제1 사운드를 출력할 수 있다.According to various embodiments, in operation 5101, the electronic device 110 (eg, the processor 210) provides a first object (eg, the main character 3420a) to a graphic space, and in operation 5103, a plurality of A first sound of a first theme corresponding to a first area in which the first object (eg, the main character 3420a) is located among the areas of may be output.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5105에서, 이동을 위한 사용자 입력이 수신되는지 여부를 판단하고, 사용자 입력이 수신되는 경우(5105-예), 동작 5107에서, 특정 종류의 복수의 사운드 소스들 중에서 제1 사운드 소스를 선택하고, 동작 5109에서, 제1 테마의 상기 제1 사운드를 출력하면서, 상기 특정 종류의 상기 제1 사운드 소스를 더 출력함으로써, 제2 사운드를 출력하고, 사용자 입력이 수신되지 않는 경우(5105-아니오), 동작 5111에서, 제1 테마의 제1 사운드의 출력을 유지할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 5105, whether a user input for movement is received, and if the user input is received (5105-yes) In operation 5107, a first sound source of a specific type is selected from among a plurality of sound sources of a specific type, and in operation 5109, the first sound source of the specific type is further output while outputting the first sound of a first theme. By doing so, the second sound is output, and when the user input is not received (5105 - No), in operation 5111, the output of the first sound of the first theme may be maintained.
7.4 멀티 플레이 시나리오7.4 Multiplayer Scenarios
도 52는, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(5200)이다. 다양한 실시예들에 따르면, 도 52에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 52에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 53을 참조하여 도 52에 대해서 더 설명한다.52 is a flowchart 5200 for describing an example of an operation of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 52 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 52 may be performed, or at least one operation less than that shown in FIG. 52 may be performed. 52 will be further described below with reference to FIG. 53 .
도 53은, 다양한 실시예들에 따른, 전자 장치(110)의 멀티 플레이 시나리오의 예를 설명하기 위한 도면이다.53 is a diagram for explaining an example of a multi-play scenario of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 서버(120)는, 동작 5201 및 동작 5230에서, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))의 접속을 식별할 수 있다.According to various embodiments, in operations 5201 and 5230, the server 120 may identify a connection between a plurality of electronic devices (eg, a first electronic device 5200a and a second electronic device 5200b). there is.
다양한 실시예들에 따르면, 서버(120)는, 동작 5205에서, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b)) 별 메인 그래픽 오브젝트(예: 도 53의 메인 캐릭터들(5311, 5312))를 생성하여 그래픽 공간에 제공할 수 있다. According to various embodiments, in operation 5205, the server 120 performs a main graphic object (eg, FIG. 53 ) for each of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b). The main characters 5311 and 5312 of may be generated and provided to the graphic space.
다양한 실시예들에 따르면, 서버(120)는, 동작 5207 및 동작 5209에서, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))의 정보를 수신할 수 있다. 예를 들어, 상기 수신되는 정보는, 메인 캐릭터(5311, 5312)의 위치를 제어하기 위한 정보(예: 사용자 입력에 대한 정보)를 포함할 수 있다. 이 경우, 서버(120)는 상기 메인 캐릭터(5311, 5312)의 위치를 이동시켜, 이동시킨 위치에 대한 정보를 저장할 수 있다. 또 예를 들어, 상기 수신되는 정보는, 메인 캐릭터(5311, 5312)의 위치에 대한 정보를 직접적으로 포함할 수도 있다. According to various embodiments, the server 120 may receive information of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) in operations 5207 and 5209. there is. For example, the received information may include information for controlling the position of the main characters 5311 and 5312 (eg, user input information). In this case, the server 120 may move the positions of the main characters 5311 and 5312 and store information on the moved positions. Also, for example, the received information may directly include information about the location of the main characters 5311 and 5312.
다양한 실시예들에 따르면, 서버(120)는, 동작 5211에서, 수신된 정보들에 기반하여, 복수의 메인 그래픽 오브젝트들(예: 도 53의 메인 캐릭터들(5311, 5312))과 연관된 조건의 만족을 판단하고, 동작 5213 및 동작 5215에서, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))로 제1 사운드를 제공하는 동작을 수행할 수 있다. According to various embodiments, the server 120 determines, in operation 5211, a condition related to a plurality of main graphic objects (eg, main characters 5311 and 5312 of FIG. 53) based on the received information. After determining satisfaction, an operation of providing a first sound to a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) may be performed in operations 5213 and 5215 .
일 실시예에서, 도 53의 (a)에 도시된 바와 같이, 서버(120)는 메인 캐릭터들(5311, 5312)이 서로 인접한 위치(예: 기-설정된 거리 내의 위치)에 위치되는 경우, 메인 캐릭터들(5311, 5312)과 연관된 조건이 만족된 것으로 판단하고, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))로 다른 전자 장치의 청각적 컨텐트를 제공하는 기능을 수행할 수 있다. 예를 들어, 서버(120)는 일 캐릭터(예: 제1 메인 캐릭터(5311))에 대응하는 일 전자 장치(예: 제1 전자 장치(5200a))로, 다른 캐릭터(예: 제2 메인 캐릭터(5313)) 상에 다른 전자 장치(예: 제2 전자 장치(5200b))로 제공되는 청각적 컨텐트를 감상하기 위한 인터페이스(5313)를 제공할 수 있다. 해당 인터페이스가 선택되는 경우, 서버(120)는 제1 전자 장치(5200a)로 청각적 컨텐트를 제공하며, 청각적 컨텐트의 재생 시점을 조절하도록 할 수 있다.In one embodiment, as shown in (a) of FIG. 53, the server 120, when the main characters 5311 and 5312 are positioned adjacent to each other (eg, within a pre-set distance), the main character It is determined that the conditions associated with the characters 5311 and 5312 are satisfied, and a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) provide auditory content of other electronic devices. function can be performed. For example, the server 120 converts one electronic device (eg, the first electronic device 5200a) corresponding to one character (eg, the first main character 5311) to another character (eg, the second main character). 5313), an interface 5313 for enjoying auditory content provided to another electronic device (eg, the second electronic device 5200b) may be provided. When the corresponding interface is selected, the server 120 provides the auditory content to the first electronic device 5200a, and allows the playback time of the auditory content to be adjusted.
일 실시예에서, 도 53의 (b)에 도시된 바와 같이, 서버(120)는 메인 캐릭터들(5311, 5312)과 연관된 조건이 만족된 것으로 판단하는 경우, 서로 합주하는 기능을 제공할 수 있다. 서버(120)는 메인 캐릭터들(5311, 5312)과 연관된 조건이 만족된 것으로 판단하는 동작의 적어도 일부로, 메인 캐릭터들(5311, 5312)이 서로 인접한 위치(예: 기-설정된 거리 내의 위치)에 위치되는지 판단할 수 있다. 또, 서버(120)는, 서로 인접한 위치인 것으로 판단된 메인 캐릭터들(5311, 5312) 별 그래픽 공간 상에서의 이동 경로의 유사도를 판단하고, 유사도가 기설정된 값 이상인 경우에 상기 조건이 만족된 것으로 판단할 수 있으나, 기재된 예에 제한되지 않는다. 서버(120)는 상기 조건이 만족된 경우, 메인 캐릭터들(5311, 5312)에 대응하는 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))의 합주를 위한 파티(party)를 생성할 수 있다. 서버(120)는 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))로 동일한 오디오 소스를 제공하면서, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b)) 별로 획득된 서브 오브젝트에 대응하는 오디오 소스(5321, 322)를 재생하도록 할 수 있다. 파티에 포함된, 복수의 전자 장치들(예: 제1 전자 장치(5200a)와 제2 전자 장치(5200b))은 사용자의 입력이 수신되는 경우, 동일한 오디오 소스를 재생하면서, 전술한 서브 오브젝트에 대응하는 오디오 소스(5321, 322)를 재생할 수 있다.In one embodiment, as shown in (b) of FIG. 53, when the server 120 determines that the conditions associated with the main characters 5311 and 5312 are satisfied, it may provide a function of playing together. . As at least part of an operation of determining that a condition associated with the main characters 5311 and 5312 is satisfied, the server 120 places the main characters 5311 and 5312 adjacent to each other (eg, a position within a preset distance). location can be determined. In addition, the server 120 determines the similarity of the moving path on the graphic space of each of the main characters 5311 and 5312 determined to be adjacent to each other, and if the similarity is equal to or greater than a preset value, the above condition is deemed to be satisfied. It can be judged, but is not limited to the examples described. When the above condition is satisfied, the server 120 performs an ensemble of a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) corresponding to the main characters 5311 and 5312. You can create a party for The server 120 provides the same audio source to the plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b), while providing the plurality of electronic devices (eg, the first electronic device ( The audio sources 5321 and 322 corresponding to the obtained sub-objects for each of the 5200a) and the second electronic device 5200b may be reproduced. When a user's input is received, a plurality of electronic devices (eg, the first electronic device 5200a and the second electronic device 5200b) included in the party play the same audio source and generate the sub-object as described above. Corresponding audio sources 5321 and 322 can be reproduced.
8. 트랜스포트를 포함하는 어플리케이션(또는 플레이어)의 구현 예8. Implementation example of an application (or player) that includes a transport
도 54는, 다양한 실시예들에 따른, 전자 장치(110)의 소스풀, 입력풀, 및 복수의 트랜스 포트들을 포함하는 플레이어(또는 어플리케이션)의 예를 설명하기 위한 도면이다. 이하에서는, 도 55a 및 도 55b를 참조하여, 도 54에 대해서 더 설명한다.54 is a diagram for explaining an example of a player (or application) including a source pool, an input pool, and a plurality of transports of the electronic device 110, according to various embodiments. 54 will be further described below with reference to FIGS. 55A and 55B.
도 55a는, 다양한 실시예들에 따른, 일 트랜스 포트의 동작의 예를 설명하기 위한 도면이다. 도 55b는, 다양한 실시예들에 따른, 일 트랜스 포트의 동작의 예를 설명하기 위한 도면이다.55A is a diagram for explaining an example of an operation of one transport, according to various embodiments. 55B is a diagram for explaining an example of an operation of one transport, according to various embodiments.
다양한 실시예들에 따르면, 도 54를 참조하면, 인터랙티브 음악 감상 시스템(1)은 플레이어(5410), 소스 풀(source pool)(5420), 및 입력 풀(input pool)(5430)을 포함할 수 있다. 상기 플레이어(5410)는 도 2에서 기술한 어플리케이션(251)를 의미하고, 소스 풀(5420) 및 입력 풀(5430)은 도 2에서 기술한 데이터베이스(252) 내에 저장된 정보들일 수 있다.According to various embodiments, referring to FIG. 54 , the interactive music listening system 1 may include a player 5410, a source pool 5420, and an input pool 5430. there is. The player 5410 refers to the application 251 described in FIG. 2 , and the source pool 5420 and the input pool 5430 may be information stored in the database 252 described in FIG. 2 .
다양한 실시예들에 따르면, 소스 풀(5420)은 아래의 [표 8]과 같은 종류의 데이터를 포함하도록 구현될 수 있다. 아래의 [표 8]에 기재된 바와 같이, 소스 풀(5420)은 비쥬얼 셋과 오디오 셋 분류 별로 정보를 포함하도록 구현됨에 따라, 플레이어(5410)가 트랜스포트(5400)에 기반하여 비쥬얼 셋 정보 중 적어도 일부와 오디오 셋 정보 중 적어도 일부를 획득하게 될 수 있다.According to various embodiments, the source pool 5420 may be implemented to include the type of data shown in Table 8 below. As described in [Table 8] below, as the source pool 5420 is implemented to include information for each visual set and audio set classification, the player 5410 can obtain at least one of the visual set information based on the transport 5400. At least some of the information and audio set information may be obtained.
종류type 포함 정보Include information
비쥬얼 셋
(그래픽 데이터)visual set
(graphic data) 		인터랙션 리소스interaction resource 캐릭터 위치 데이터character position data 　
리듬 이벤트 데이터rhythm event data 　
UIUI 이미지/텍스트image/text 폰트font
비쥬얼 이펙트visual effect 입자 효과particle effect
배경 및 하늘background and sky
맵 공간의 조명 정보Lighting information in map space
맵 효과map effect
안개Fog
맵 공간map space 맵 공간 정보map spatial information
카메라camera
오브젝트object 메인 캐릭터main character
서브 오브젝트sub object
부가 오브젝트additional object
오디오 셋
(오디오 데이터)audio set
(audio data) 		오디오 파일audio file ogg, wav, mp3ogg, wav, mp3 오디오 샘플audio sample
오디오 인포audio info BPMBPM
KeyKey MajorMajor
MinorMinor
GenreGenre HouseHouse
RockRock
HiphopHiphop
종류type 루프(긴 시간 길이의 종류)loop (kind of long time length)
원-샷(짧은 시간 길이의 종류)One-shot (kind of short time length)
다양한 실시예들에 따르면, 입력 풀(5430)은 사용자의 인터랙션, 문맥 정보, 서버(120)로부터 수신되는 정보 등 제어 이벤트(500)를 유발하는 다양한 종류의 정보를 의미할 수 있다.다양한 실시예들에 따르면, 복수의 트랜스포트들(5400)은 시각적 컨텐트(100a)와 청각적 컨텐트(100b)를 제공하기 위하여 정보를 재생하는 일종의 재생 모듈로서, 실행되는 경우 소정의 기능을 제공하도록 설정되는 소정의 프로그램, 컴퓨터 코드, API, 및/또는 함수의 형태로 구현될 수 있다. 플레이어(5410)가 실행되는 경우, 복수의 트랜스 포트들(5400) 중 적어도 하나가 실행됨에 기반하여, 프로세서(210)가 적어도 하나의 동작을 수행하도록 하여 시각적 컨텐트 및/또는 청각적 컨텐트를 제공하도록 할 수 있다. 따라서, 이하에서 기술되는 다양한 실시예들에 다른, 트랜스 포트(5400)의 동작은, 트랜스 포트(5400)가 실행되는 경우 프로세서(210)가 수행하는 동작으로 이해될 수 있다.다양한 실시예들에 따르면, 복수의 트랜스포트들(5400) 간에는 서로 전환될 수 있다. 예를 들어, 일 트랜스포트가 실행됨에 기반하여 기능이 제공되는 중에 특정 조건이 만족되는 경우(예: 후술되는 제어 오브젝트(5712)가 선택됨), 다른 트랜스포트로 진입하고, 특정 조건이 불만족되는 경우((예: 제어 오브젝트(5712)의 선택이 해제됨), 일 트랜스포트로 복귀될 수 있으나, 기재된 예에 제한되지 않는다. 트랜스포트 간의 전환이 수행됨에 따라, 전자 장치(110)에 의해 제공되는 시각적 컨텐트 및 청각적 컨텐트 또한 변경될 수 있다. 상기 복수의 트랜스 포트들(5400)은 베이직 트랜스포트와 이벤트 트랜스포트를 포함할 수 있는데, 이에 대해서는 구체적으로 후술한다. 이때, 트랜스포트는 연쇄적으로 연결될 수 있다. 예를 들어, 도 54에 도시된 바와 같이, 베이직 트랜스포트에서 이벤트 트랜스포트로 진입(enter)된 이후, 이벤트 트랜스포트에서 다른 서브 이벤트 트랜스포트로 또 진입(enter)될 수 있다. 이때, 각각의 트랜스포트에서 다른 트랜스포트로 진입되는 조건은 동일하거나, 및/또는 상이하게 설정될 수 있다.According to various embodiments, the input pool 5430 may refer to various types of information that triggers the control event 500, such as user interaction, context information, and information received from the server 120. According to them, the plurality of transports 5400 are a kind of playback module that reproduces information to provide visual content 100a and auditory content 100b, and when executed, a certain number of transports 5400 are set to provide certain functions. It may be implemented in the form of a program, computer code, API, and/or function. When the player 5410 is executed, based on the execution of at least one of the plurality of transports 5400, the processor 210 performs at least one operation to provide visual and/or auditory content. can do. Therefore, the operation of the transport 5400, which is different from various embodiments described below, may be understood as an operation performed by the processor 210 when the transport 5400 is executed. According to this, a plurality of transports 5400 may be switched each other. For example, when a specific condition is satisfied while a function is provided based on the execution of one transport (eg, a control object 5712 described later is selected), another transport is entered, and a specific condition is not satisfied. (e.g., the control object 5712 is deselected), it may return to one transport, but is not limited to the described example. As switching between transports is performed, the information provided by the electronic device 110 Visual content and auditory content can also be changed. The plurality of transports 5400 may include a basic transport and an event transport, which will be described in detail later. For example, as shown in Figure 54, after entering an event transport from a basic transport, another sub-event transport can be entered from an event transport. In this case, the condition for each transport entering another transport may be set identically and/or differently.
도 55a 및 도 55b를 참조하면, 일 트랜스포트(5400)는 싱크 모듈(5521), 인터랙션 모듈(5523), 및 출력 모듈(5525)를 포함할 수 있다. Referring to FIGS. 55A and 55B , a transport 5400 may include a sink module 5521, an interaction module 5523, and an output module 5525.
예를 들어, 상기 싱크 모듈(5521)은 오디오 정보와 그래픽 정보에 기반하여 시각적 컨텐트(100a)와 청각적 컨텐트(100b)를 생성하는 모듈일 수 있다. 상기 싱크 모듈(5521)은 소스 풀(5420)로부터 오디오 셋(5511) 중 적어도 일부를 획득하기 위한 오디오 셋 획득 모듈(5521a), 비쥬얼 셋 중 적어도 일부를 획득하기 위한 비쥬얼 셋 획득 모듈(5521b), 및 획득된 오디오 셋 중 적어도 일부를 기반으로 시각적 컨텐트(100a)를 생성하고 비쥬얼 셋 중 적어도 일부에 기반하여 청각적 컨텐트(100b)를 생성하고, 생성된 컨텐트들을 합쳐 출력 모듈(5525)를 통해 출력하는 오디오 셋-비쥬얼 셋 싱크 모듈(5521c)을 포함할 수 있다. For example, the sync module 5521 may be a module that generates visual content 100a and auditory content 100b based on audio information and graphic information. The sync module 5521 includes an audio set acquisition module 5521a for acquiring at least a portion of the audio set 5511 from the source pool 5420, a visual set acquisition module 5521b for acquiring at least a portion of the visual set, and generating visual content 100a based on at least a part of the obtained audio set and generating auditory content 100b based on at least a part of the visual set, combining the generated contents and outputting them through the output module 5525 It may include an audio set-visual set sync module 5521c.
예를 들어, 상기 인터랙션 모듈(5523)은 싱크 모듈(5521)이 소스 풀로부터 획득하는 정보를 제어하기 위한 모듈일 수 있다. 상기 인터랙션 모듈(5523)은 인터랙션에 대한 정보를 획득하기 위한 입력 식별 모듈(5523a), 및 인터랙션에 대한 정보에 대응하는 룰 정보를 기반으로 싱크 모듈(5520)이 특정 그래픽 정보와 제어하는 인터랙션 시스템 이용 모듈(5523b)(즉, 룰 정보를 참조함)를 포함할 수 있다. 한편, 기재된 예에 제한되지 않고, 단순히 인터랙션 모듈(5523)은 룰 정보로 대체될 수 있으며, 이 경우, 각각의 트랜스포트는 특정 룰 정보에 기반하여 특정 그래픽 정보와 특정 오디오 정보를 획득하도록 구현될 수 있다.For example, the interaction module 5523 may be a module for controlling information that the sink module 5521 acquires from a source pool. The interaction module 5523 uses an input identification module 5523a for acquiring interaction information and an interaction system controlled by the sync module 5520 with specific graphic information based on rule information corresponding to the interaction information module 5523b (ie refer to rule information). Meanwhile, without being limited to the described example, the interaction module 5523 may simply be replaced with rule information, and in this case, each transport may be implemented to obtain specific graphic information and specific audio information based on specific rule information. can
예를 들어, 상기 출력 모듈(5525)는 각각의 컨텐트를 출력 장치로 전달하여 사용자에게 제공되도록 하는 모듈일 수 있다.For example, the output module 5525 may be a module that transfers each content to an output device to be provided to a user.
예시적으로, 도 55a 및 도 55b를 참조하면, 입력이 수신되지 않는 동안(T=0), 일 트랜스 포트(예: 제1 트랜스포트)는 싱크 모듈(5521)을 이용하여 소스 풀(5420)로부터 제1 오디오 정보 및 제1 그래픽 정보를 획득하고, 이에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 생성하여 출력 모듈(5525)를 통해 출력할 수 있다. 특정 조건이 만족되는 경우(예: 입력이 수신되는 경우)(T=1)에는, 다른 트랜스포트(예: 제2 트랜스포트)로 전환될 수 있다. 상기 제2 트랜스포트는 인터랙션 모듈(5523)에 기반하여 식별되는 인터랙션에 대한 정보에 기반하여, 싱크 모듈(5521)이 제1 트랜스포트와는 다른 오디오 정보와 그래픽 정보를 획득하도록 제어하고, 이에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 생성하여 출력 모듈(5525)를 통해 출력할 수 있다.For example, referring to FIGS. 55A and 55B, while no input is received (T=0), one transport (eg, first transport) uses the sink module 5521 to generate a source pool 5420. First audio information and first graphic information may be obtained from, based on this, visual content 100a and auditory content 100b may be generated and output through the output module 5525. When a specific condition is satisfied (eg, input is received) (T=1), it can be switched to another transport (eg, second transport). The second transport controls the sync module 5521 to acquire audio information and graphic information different from those of the first transport based on information about the interaction identified based on the interaction module 5523, and based on this Thus, the visual content 100a and the auditory content 100b may be generated and output through the output module 5525.
각각의 트랜스포트에 기반하여 출력되는 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)의 예에 대해서는 이하에서 기술한다.Examples of visual content 100a and auditory content 100b output based on each transport will be described below.
8.1. 베이직 트랜스포트와 이벤트 트랜스포트8.1. Basic Transport and Event Transport
다양한 실시예들에 따르면, 전자 장치(110)는 베이직 트랜스포트에 기반한 음악 감상 동작을 수행하는 중에, 사용자의 인터랙션의 여부에 따라서 이벤트 트랜스포트에 기반한 음악 감상 동작을 개시하여, 급격한 시각적 컨텐트(100a)의 전환과 함께 청각적 컨텐트(100b)를 제어하기 위한 기능을 제공할 수 있다. 상기 급격한 전환에 따라, 인터랙티브한 음악 감상에 대한 몰입도가 고취될 수 있다.According to various embodiments, the electronic device 110 initiates a music listening operation based on event transport according to a user's interaction while performing a basic transport-based music listening operation, thereby providing rapid visual content (100a). ) It is possible to provide a function for controlling the auditory content (100b) with the conversion. According to the sudden change, the degree of immersion in interactive music appreciation can be encouraged.
도 56은, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(5600)이다. 다양한 실시예들에 따르면, 도 56에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 56에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 57a 및 도 57b를 참조하여 도 55에 대해서 더 설명한다.56 is a flowchart 5600 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations illustrated in FIG. 56 may be performed in various orders without being limited to the illustrated order. Also, according to various embodiments, more operations than the operations shown in FIG. 56 may be performed, or at least one operation less than that shown in FIG. 56 may be performed. 55 will be further described below with reference to FIGS. 57A and 57B.
도 57a는, 다양한 실시예들에 따른, 전자 장치(110)의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 예를 설명하기 위한 도면이다. 도 57b는, 다양한 실시예들에 따른, 전자 장치(110)의 이벤트 트랜스포트에 기반하여 제공되는 시각적 컨텐트 상에서의 메인 캐릭터의 이동에 따른 동작의 예를 설명하기 위한 도면이다. 도 57c는, 다양한 실시예들에 따른, 전자 장치(110)의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 다른 예를 설명하기 위한 도면이다.57A is a diagram for explaining an example of a switching operation between a basic transport and an event transport of the electronic device 110 according to various embodiments. 57B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of the electronic device 110 according to various embodiments. 57C is a diagram for explaining another example of a conversion operation between a basic transport and an event transport of the electronic device 110 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5601에서, 프로그램을 실행하고, 동작 5603에서, 인터랙션의 수신 여부를 판단할 수 있다. 전술한 복수의 트랜스포트들(5400)은 베이직 트랜스포트 및 이벤트 트랜스포트를 포함할 수 있다. 예를 들어, 전자 장치(110)는 인터랙션이 수신되지 않는 경우에는 베이직 트랜스포트에 기반하여 시각적 컨텐트와 청각적 컨텐트를 제공하고, 인터랙션이 수신되는 동안에는 이벤트 트랜스포트에 기반하여 시각적 컨텐트와 청각적 컨텐트를 제공할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) may execute a program in operation 5601 and determine whether an interaction is received in operation 5603. The plurality of transports 5400 described above may include a basic transport and an event transport. For example, the electronic device 110 provides visual and auditory content based on basic transport when an interaction is not received, and provides visual and auditory content based on event transport while an interaction is received. can provide.
다양한 실시예들에 따르면, 도 57a 및 도 57c를 참조하면, 베이직 트랜스포트에 기반하여 제공되는 시각적 컨텐트(예: 제1 실행 화면(5701))는 메인 캐릭터(5711), 제어 오브젝트(5712), 및 그 외의 부가 오브젝트(5713)를 포함할 수 있다. 전자 장치(110)는 상기 베이직 트랜스포트에 기반하여, 상기 시각적 컨텐트(5701)를 제공하면서, 적어도 하나의 오디오 소스(예: 메인 오디오 소스 셋)를 재생함에 기반하여 사운드(예: 음악)를 사용자에게 제공할 수 있다. 이때 도 57a를 참조하면, 전자 장치(110)는 메인 캐릭터(5711)가 부가 오브젝트(5713)를 따라 달리는 모션을 수행하도록 제어함으로써, 음악 감상의 몰임감을 향상시킬 수 있다. 도 57c를 참조하면, 전자 장치(110)는 메인 캐릭터(5711)가 행성 형태의 그래픽 오브젝트(5713)의 상에서 춤 동작을 수행하는 것으로 제어할 수도 있다. 이 경우, 도 41b를 참조하여 기술한 바와 같이, 그래픽 오브젝트(5713)는 메인 캐릭터(5711)의 모션을 제어하는 기능을 제공하도록 구현될 수 있다.According to various embodiments, referring to FIGS. 57A and 57C , visual content (eg, a first execution screen 5701) provided based on the basic transport includes a main character 5711, a control object 5712, and other additional objects 5713. The electronic device 110 provides the visual content 5701 based on the basic transport, and reproduces at least one audio source (eg, a main audio source set) to provide sound (eg, music) to the user. can be provided to In this case, referring to FIG. 57A , the electronic device 110 controls the main character 5711 to perform a running motion along the additional object 5713, thereby improving the sense of immersion in listening to music. Referring to FIG. 57C , the electronic device 110 may control the main character 5711 to perform a dance motion on a planet-shaped graphic object 5713. In this case, as described with reference to FIG. 41B , the graphic object 5713 may be implemented to provide a function of controlling the motion of the main character 5711 .
다양한 실시예들에 따르면, 도 57a 및 도 57c를 참조하면, 이벤트 트랜스포트에 기반하여 제공되는 시각적 컨텐트(예: 제2 실행 화면(5703))은 메인 캐릭터(5711), 제어 오브젝트(5712), 및 그 외의 부가 오브젝트(5731)를 포함할 수 있다. 전자 장치(110)는 상기 이벤트 트랜스포트에 기반하여, 상기 시각적 컨텐트(5703)를 제공하면서, 적어도 하나의 오디오 소스(예: 서브 오디오 소스 셋)를 재생함에 기반하여 사운드(예: 음악)를 사용자에게 제공할 수 있다. 상기 시각적 컨텐트(7503)는 상기 시각적 컨텐트(5701)와는 상이한 분위기의 시각적 컨텐트들을 포함하며, 메인 캐릭터(5711)가 이동 가능한 그래픽 공간이 제공될 수 있다. 상기 그래픽 공간은, 상기 부가 오브젝트(5731)에 의해 제공될 수 있다. 이때, 제공되는 사운드는 베이직 트랜스포트에 기반하여 제공되는 사운드와는 상이할 수 있다.According to various embodiments, referring to FIGS. 57A and 57C , visual content (eg, a second execution screen 5703) provided based on event transport includes a main character 5711, a control object 5712, and other additional objects 5731. The electronic device 110 provides the visual content 5703 based on the event transport and reproduces at least one audio source (eg, a set of sub-audio sources) to provide sound (eg, music) to the user. can be provided to The visual content 7503 includes visual content with a different atmosphere from that of the visual content 5701, and a graphic space in which the main character 5711 can move may be provided. The graphic space may be provided by the additional object 5731. In this case, the provided sound may be different from the sound provided based on the basic transport.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 인터랙션이 수신되는 것으로 판단되지 않는 경우(5603-아니오), 동작 5605에서, 메인 오브젝트 및 제어 오브젝트를 포함하는 제1 실행 화면(예: 도 57a의 제1 실행 화면(5701))을 표시하면서 제1 오디오를 재생하고, 동작 5607에서, 상기 제어 오브젝트(예: 제어 오브젝트(5712))의 상태를 상기 메인 오브젝트(예: 메인 캐릭터(5711))의 제어가 불가능한 제1 상태(예: 비활성화 상태)로 제어할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), if it is not determined that the interaction is received (5603-No), in operation 5605, the first object including the main object and the control object. While displaying a first execution screen (eg, the first execution screen 5701 of FIG. 57A ), the first audio is played, and in operation 5607, the state of the control object (eg, the control object 5712) is changed to the main object ( Example: It is possible to control the main character 5711 in a first state in which control is impossible (eg, inactive state).
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 인터랙션(예: 제어 오브젝트(5712))이 수신되는 것으로 판단되는 경우(5603-예), 동작 5609에서, 상기 제어 오브젝트(예: 제어 오브젝트(5712))의 상기 상태를 상기 메인 오브젝트(예: 메인 캐릭터(5711))의 제어가 가능한 제2 상태(예: 활성화 상태)로 제어하고, 동작 5611에서, 상기 메인 오브젝트(예: 메인 캐릭터(5711)) 및 상기 제어 오브젝트(예: 제어 오브젝트(5712))를 포함하는 제2 실행 화면(예: 도 57a의 제2 실행 화면(5703))을 표시하면서 제2 오디오를 재생하고, 동작 5613에서, 상기 제어 오브젝트(예: 제어 오브젝트(5712))에 기반한 상기 메인 오브젝트(예: 메인 캐릭터(5711)) 의 위치의 이동 및 상기 제2 실행 화면(예: 도 57a의 제2 실행 화면(5703))에 진입한 시점과 연관된 시간에 기반하여 상기 제2 오디오의 속성을 제어할 수 있다. 예를 들어, 전자 장치(110)는 베이직 트랜스포트에 기반하여 제1 실행 화면(5701)이 제공되는 동안 제어 오브젝트(5712)에 대한 입력이 수신되는 경우, 베이직 트랜스포트를 이벤트 트랜스 포트로 변경하고 베이직 트랜스포트에 기반하여, 제2 실행 화면(5703)을 제공하면서, 오디오 소스(예: 서브 오디오 소스 셋)에 기반하여 사운드를 출력할 수 있다. 전자 장치(110)는 제1 실행 화면(5701)에서 제어 오브젝트(5712)가 터치된 순간 제2 실행 화면(5703)으로 전환함으로써, 음악 감상에 대한 몰입도를 향상시킬 수 있다.According to various embodiments, when the electronic device 110 (eg, the processor 210) determines that an interaction (eg, the control object 5712) is received (5603-yes), in operation 5609, the The state of the control object (eg, the control object 5712) is controlled to a second state (eg, an active state) in which the main object (eg, the main character 5711) can be controlled, and in operation 5611, the main object While displaying the second execution screen (eg, the second execution screen 5703 of FIG. 57A ) including the object (eg, the main character 5711) and the control object (eg, the control object 5712), the second audio is reproduced, and in operation 5613, the position of the main object (eg, the main character 5711) is moved based on the control object (eg, the control object 5712) and the second execution screen (eg, the control object 5712) is reproduced. The property of the second audio may be controlled based on the time associated with the time of entering the second execution screen 5703). For example, when an input to the control object 5712 is received while the first execution screen 5701 is provided based on the basic transport, the electronic device 110 changes the basic transport to an event transport, Based on the basic transport, while providing the second execution screen 5703, sound may be output based on an audio source (eg, a sub audio source set). The electronic device 110 can improve the degree of immersion in listening to music by switching from the first execution screen 5701 to the second execution screen 5703 at the moment the control object 5712 is touched.
다양한 실시예들에 따르면, 도 57b를 참조하면, 상기 이벤트 트랜스포트에 기반하여 제공되는 제2 실행 화면(5703)이 표시되는 동안에는, 오디오 소스(예: 서브 오디오 소스 셋)의 속성의 제어가 가능하다. 예를 들어, 전자 장치(110)는 메인 캐릭터(5711)의 위치에 기반하여 오디오 소스(예: 서브 오디오 소스 셋)의 속성을 제어할 수 있다. 전자 장치(110)는 사용자의 입력에 의한 제어 오브젝트(5712)의 이동에 따라서, 메인 캐릭터(5711)을 부가 오브젝트(5731) 상에서 이동시키고, 상기 메인 캐릭터(5711)의 위치(5733)(예: x좌표, y좌표)에 기반하여, 특정 오디오 소스를 추가 출력하거나, 오디오 소스(예: 서브 오디오 소스 셋)의 속성을 제어하거나, 및/또는 오디오 소스(예: 서브 오디오 소스 셋)에 오디오 효과를 적용할 수 있다. 일 예로, 전자 장치(110)는 그래픽 공간 상에서의 상기 메인 캐릭터(5711)의 위치(5733)(예: x좌표, y좌표)가 특정 조건을 만족하는 경우, 특정 오디오 소스를 추가 출력하거나, 오디오 소스(예: 서브 오디오 소스 셋)의 속성을 제어하거나, 및/또는 오디오 소스(예: 서브 오디오 소스 셋)에 오디오 효과를 적용할 수 있다. 상기 특정 조건은, 예를 들면, 상기 그래픽 공간 상에 배치되는 특정 서브 오브젝트(5732)의 위치에 도달되어 특정 서브 오브젝트(5732)를 획득하거나, 또는 특정 영역의 위치에 도달되는 것을 포함할 수 있다. 예를 들어, 전자 장치(110)는 제어 오브젝트(5712)에 대한 사용자의 터치가 유지되는 시간(dt)에 기반하여, 오디오 소스(예: 서브 오디오 소스 셋)의 속성을 제어하거나 및/또는 오디오 소스(예: 서브 오디오 소스 셋)에 오디오 효과를 적용할 수 있다. 일 예로, 전자 장치(110)는, 터치가 유지되는 시간(dt)이 임계 시간을 넘는 경우, 출력되는 사운드의 에너지를 감소(예: 볼륨을 감소)시킬 수 있다.According to various embodiments, referring to FIG. 57B , while the second execution screen 5703 provided based on the event transport is displayed, properties of an audio source (eg, a set of sub audio sources) can be controlled. do. For example, the electronic device 110 may control properties of an audio source (eg, a sub audio source set) based on the position of the main character 5711 . The electronic device 110 moves the main character 5711 on the additional object 5731 according to the movement of the control object 5712 by the user's input, and the position 5733 of the main character 5711 (eg: Based on the x-coordinate, y-coordinate), additionally output a specific audio source, control the properties of the audio source (e.g. sub-audio source set), and/or audio effect on the audio source (e.g. sub-audio source set) can be applied. For example, the electronic device 110 may additionally output a specific audio source or output audio when the position 5733 (eg, x coordinate, y coordinate) of the main character 5711 in the graphic space satisfies a specific condition. A property of a source (eg, a sub-audio source set) may be controlled, and/or an audio effect may be applied to an audio source (eg, a sub-audio source set). The specific condition may include, for example, obtaining a specific sub-object 5732 by reaching a position of the specific sub-object 5732 disposed on the graphic space, or reaching a position of a specific area. . For example, the electronic device 110 controls the properties of an audio source (eg, a set of sub-audio sources) and/or controls the audio source based on the duration dt of the user's touch on the control object 5712. You can apply audio effects to a source (e.g. a set of sub-audio sources). For example, the electronic device 110 may reduce the energy of the output sound (eg, reduce the volume) when the time dt for which the touch is maintained exceeds a threshold time.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5615에서, 인터랙션이 유지되는지 여부를 판단하고, 인터랙션이 유지되는 경우, 5609 동작 내지 5614 동작(즉, 이벤트 트랜스포트에 기반한 동작)을 수행하고, 인터랙션이 유지되지 않는 경우 5605 동작(즉, 베이직 트랜스포트로 복귀하여, 베이직 트랜스포트에 기반한 동작)을 수행할 수 있다. 한편 도시되지 않았으나, 메인 캐릭터(5711)가 그래픽 공간 상에서 떨어지는 경우(예: 부가 오브젝트(5731)로부터 벗어나는 경우), 전자 장치(110)는 베이직 트랜스포트로 복귀하는 동작을 수행할 수 있다.(또는 기재된 예에 제한되지 않고, 다른 서브 이벤트 트랜스포트로 변경할 수도 있다.)According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 5615, whether an interaction is maintained, and if the interaction is maintained, operations 5609 to 5614 (ie, event operation based on the transport), and if the interaction is not maintained, operation 5605 (ie, returning to the basic transport, operation based on the basic transport) may be performed. Meanwhile, although not shown, when the main character 5711 falls on the graphic space (eg, when it moves away from the additional object 5731), the electronic device 110 may perform an operation to return to the basic transport. (or It is not limited to the example described, and can be changed to other sub-event transports.)
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 이벤트 트랜스포트에 기반하여 동작을 수행하는 동안, 특정 조건이 만족되는 경우 다른 이벤트 트랜스포트(예: 도 54의 서브 이벤트 트랜스포트)로 전환하고, 전환된 다른 이벤트 트랜스포트에 기반한 동작을 수행할 수 있다. 예를 들어, 전자 장치(110)는 이벤트 트랜스포트에 대응하는 그래픽 공간에 제공되는 특정 서브 오브젝트(5732)를 상기 메인 캐릭터(5711)가 획득하는 경우, 다른 이벤트 트랜스포트로 또 전환할 수 있다.According to various embodiments, while the electronic device 110 (eg, the processor 210) performs an operation based on the event transport, when a specific condition is satisfied, another event transport (eg, in FIG. 54 ) sub-event transport), and can perform operations based on other converted event transports. For example, the electronic device 110 may switch to another event transport when the main character 5711 acquires a specific sub-object 5732 provided in the graphic space corresponding to the event transport.
8.2. 트랜스 포트 간의 전환 동작8.2. Transition Behavior Between Transports
8.2.1 컨텐트 전환 동작8.2.1 Content Transition Behavior
도 58은, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(5800)이다. 다양한 실시예들에 따르면, 도 58에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 58에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 59a 및 도 59b를 참조하여 도 58에 대해서 더 설명한다.58 is a flowchart 5800 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 58 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 58 may be performed, or at least one less operation may be performed. 58 will be further described below with reference to FIGS. 59A and 59B.
도 59a는, 다양한 실시예들에 따른, 전자 장치(110)의 베이직 트랜스포트와 이벤트 트랜스포트 간의 전환 동작의 예를 설명하기 위한 도면이다. 도 59b는, 다양한 실시예들에 따른, 전자 장치(110)의 이벤트 트랜스포트에 기반하여 제공되는 시각적 컨텐트 상에서의 메인 캐릭터의 이동에 따른 동작의 예를 설명하기 위한 도면이다.59A is a diagram for explaining an example of a switching operation between a basic transport and an event transport of the electronic device 110 according to various embodiments. 59B is a diagram for explaining an example of an operation according to movement of a main character on visual content provided based on event transport of the electronic device 110, according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 5801에서, 복수의 실행 화면들(예: 제1 화면(5910a) 및 제2 화면(5910b)) 중에서 선택된 제1 실행 화면(예: 제1 화면(5910a))과 함께 상기 제1 실행 화면(예: 제1 화면(5910a))에 대응하는 제1 오디오 중 제1 부분을 제공하고, 동작 5803에서 제2 실행 화면(예: 제2 화면(5910b))으로 변경하기 위한 이벤트가 식별되는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(110)는 베이직 트랜스포트(5900a)에 기반하여 획득되는 그래픽 정보에 기반하여 제1 화면(5910a)를 제공하면서, 베이직 트랜스포트(5900a)에 기반하여 획득되는 오디오 정보(예: 도 59b의 오디오 소스 셋(5920a))를 재생함에 기반하여 사운드를 출력할 수 있다. 상기 출력되는 사운드의 에너지(예: 맵 에너지)는 기-설정될 수 있다. 전자 장치(110)는 제1 화면(5910a)의 제어 오브젝트(예: 도 57a 또는 도 57c의 제어 오브젝트(5712))에 대한 사용자 입력 여부를 판단할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 5801, selects a plurality of execution screens (eg, the first screen 5910a and the second screen 5910b). A first part of the first audio corresponding to the first execution screen (eg, the first screen 5910a) is provided together with the first execution screen (eg, the first screen 5910a), and in operation 5803, the second It may be determined whether an event for changing to an execution screen (eg, the second screen 5910b) is identified. For example, the electronic device 110 provides a first screen 5910a based on graphic information acquired based on the basic transport 5900a, while providing audio information (acquired based on the basic transport 5900a). Example: Sound may be output based on reproducing the audio source set 5920a of FIG. 59B. Energy (eg, map energy) of the output sound may be pre-set. The electronic device 110 may determine whether or not a user inputs to the control object (eg, the control object 5712 of FIG. 57A or 57C) of the first screen 5910a.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제2 실행 화면(예: 제2 화면(5910b))으로 변경하기 위한 이벤트가 식별되는 경우(5803-예), 동작 5805에서, 상기 제2 실행 화면(예: 제2 화면(5910b))과 함께 상기 제2 실행 화면(예: 제2 화면(5910b))에 대응하는 제2 오디오 중 일부분을 제공하고, 동작 5807에서, 제1 실행 화면(예: 제1 화면(5910a))으로 복귀하기 위한 이벤트가 식별되는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(110)는 1 화면(5910a)의 제어 오브젝트(예: 도 57a또는 도 57c의 제어 오브젝트(5712))에 대한 사용자 입력이 수신되는 경우, 베이직 트랜스포트(5900a)에 기반한 오디오 소스(5920a)의 재생을 중단하고, 이벤트 트랜스포트(5900b)로 전환할 수 있다. 전자 장치(110)는 이벤트 트랜스포트(5900b)로 전환된 이후, 이벤트 트랜스포트(5900b)에 기반하여 획득되는 그래픽 정보에 기반하여 상기 제2 화면(5910b)을 제공하면서, 이벤트 트랜스포트(5900b)에 기반하여 획득되는 오디오 정보(예: 오디오 소스(5920b))를 재생함에 기반하여 사운드를 출력할 수 있다. 상기 제2 화면(5910b)을 제공하는 동안 출력되는 사운드의 에너지는, 제1 화면(5910a)를 제공하는 동안 출력되는 사운드의 에너지와 상이할 수 있다. 전술한 바와 같이, 전자 장치(110)는 전술한 바와 같이 제2 화면(5910b)를 제공하는 동안에는, 적어도 하나의 오디오 소스의 속성이 제어 가능하도록 할 수 있다. 예를 들어, 도 59a의 5900에 도시된 바와 같이, 상기 제어는 메인 캐릭터(5711)의 위치의 변화, 및/또는 제어 오브젝트(5712)에 대한 사용자 입력이 유지되는 시간의 길이에 기반하여 수행될 수 있다. 이에 따라, 상기 제2 화면(5910b)을 제공하는 동안 출력되는 사운드의 에너지(예: 맵 에너지(5921b), 위치 별 에너지(5923b), 타임라인 에너지(5925b))는 다이나믹하게 제어될 수 있다.According to various embodiments, when the electronic device 110 (eg, the processor 210) identifies an event for changing to the second execution screen (eg, the second screen 5910b) (5803-yes) , In operation 5805, a part of the second audio corresponding to the second execution screen (eg, the second screen 5910b) is provided along with the second execution screen (eg, the second screen 5910b), and operation In 5807, it may be determined whether an event for returning to the first execution screen (eg, the first screen 5910a) is identified. For example, when the electronic device 110 receives a user input for a control object (eg, the control object 5712 of FIG. 57A or 57C) of the first screen 5910a, the electronic device 110 based on the basic transport 5900a Playback of the audio source 5920a may be stopped and switched to the event transport 5900b. After being switched to the event transport 5900b, the electronic device 110 provides the second screen 5910b based on the graphic information acquired based on the event transport 5900b, and the event transport 5900b A sound may be output based on reproducing audio information (eg, the audio source 5920b) obtained based on . Sound energy output while the second screen 5910b is provided may be different from sound energy output while the first screen 5910a is provided. As described above, the electronic device 110 can control at least one audio source property while providing the second screen 5910b as described above. For example, as shown in 5900 of FIG. 59A, the control may be performed based on a change in the position of the main character 5711 and/or a length of time for which a user input to the control object 5712 is maintained. can Accordingly, the energy of sound (eg, map energy 5921b, positional energy 5923b, and timeline energy 5925b) output while the second screen 5910b is provided can be dynamically controlled.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제1 실행 화면(예: 제1 화면(5910a))으로 복귀하기 위한 이벤트가 식별되는 경우(5807-예), 동작 5809에서, 상기 제1 실행 화면(예: 제1 화면(5910a))과 함께 상기 제1 오디오 중 상기 제1 부분의 종료 시점 이후의 다른 나머지 제2 부분을 제공할 수 있다. 예를 들어, 전자 장치(110)는 제어 오브젝트(5712)에 대한 사용자 입력이 해제되는 경우, 이벤트 트랜스포트(5900b)에 기반한 오디오 소스(5920b)의 재생을 중단하고, 베이직 트랜스포트(5900a)에 기반한 오디오 소스(5920a)의 재생을 재개할 수 있다. 예를 들어, 전자 장치(110)는 오디오 소스(5920a)의 재생이 중단된 시점부터, 다시 재생을 수행할 수 있다. 이에 따라, 사용자의 인터랙션이 해제되는 경우, 사용자는 기존의 음악으로 복귀하여 음악 감상이 일시 중단된 부분부터 다시 감상을 재개할 수 있게 된다.According to various embodiments, the electronic device 110 (eg, the processor 210), when an event for returning to the first execution screen (eg, the first screen 5910a) is identified (5807-yes) , In operation 5809, the remaining second part after the end of the first part of the first audio may be provided together with the first execution screen (eg, the first screen 5910a). For example, when the user input to the control object 5712 is released, the electronic device 110 stops playback of the audio source 5920b based on the event transport 5900b and transmits the audio to the basic transport 5900a. Playback of the based audio source 5920a may be resumed. For example, the electronic device 110 may resume playback from the point where playback of the audio source 5920a is stopped. Accordingly, when the user's interaction is released, the user can return to the existing music and resume listening from the part where the music appreciation was temporarily stopped.
8.2.2. 재생 축 전환 동작8.2.2. Play axis switching behavior
도 60은, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(6000)이다. 다양한 실시예들에 따르면, 도 60에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 60에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 60 is a flowchart 6000 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 60 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 60 may be performed, or at least one operation less than that shown in FIG. 60 may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6001에서, 복수의 재생 모듈들 중 제1 재생 모듈(예: 베이직 트랜스포트)에 대응하는 적어도 하나의 제1 오디오 파일을 재생하고, 동작 6003에서 제2 재생 모듈(예: 이벤트 트랜스포트)로 변경하기 위한 이벤트가 식별되는지 여부를 판단할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 6001, performs at least one first reproduction module (eg, basic transport) among a plurality of reproduction modules. 1 audio file is reproduced, and in operation 6003, it may be determined whether an event for changing to a second playback module (eg, event transport) is identified.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제2 재생 모듈(예: 이벤트 트랜스포트)로 변경하기 위한 이벤트가 식별되는 경우(6003-예), 동작 6005에서, 상기 제1 재생 모듈(예: 베이직 트랜스포트)에 대응하는 상기 적어도 하나의 제1 오디오 파일의 재생을 중지하고 상기 제2 재생 모듈(예: 이벤트 트랜스포트)에 대응하는 적어도 하나의 제2 오디오 파일을 재생하고, 동작 6007에서, 제1 재생 모듈(예: 베이직 트랜스포트)로 복귀하기 위한 이벤트가 식별되는지 여부를 판단할 수 있다.According to various embodiments, the electronic device 110 (eg, processor 210), when an event for changing to a second playback module (eg, event transport) is identified (6003-yes), operation 6005 In , stop playback of the at least one first audio file corresponding to the first playback module (eg, basic transport) and at least one second audio file corresponding to the second playback module (eg, event transport). It may be determined whether an event for playing the audio file and returning to the first playback module (eg, basic transport) is identified in operation 6007 .
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 제1 재생 모듈로 복귀하기 위한 이벤트가 식별되는 경우(6007-예), 동작 6009에서, 상기 제2 재생 모듈(예: 이벤트 트랜스포트)에 대응하는 상기 적어도 하나의 제2 오디오 파일의 재생을 중지하고 상기 제1 재생 모듈(예: 베이직 트랜스포트)에 대응하는 상기 적어도 하나의 제1 오디오 파일을 상기 제1 시점부터 다시 재생할 수 있다.According to various embodiments, when an event for returning to the first playback module is identified (6007-Yes), the electronic device 110 (eg, the processor 210), in operation 6009, the second playback module Stop playback of the at least one second audio file corresponding to (eg, event transport) and play the at least one first audio file corresponding to the first playback module (eg, basic transport) into the first You can replay from that point on.
9. 그래픽-뮤직 싱크 알고리즘9. Graphic-Music Sync Algorithm
도 61은, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(6100)이다. 다양한 실시예들에 따르면, 도 61에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 61에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 62a 및 도 62b를 참조하여, 도 61에 대해서 더 설명한다.61 is a flowchart 6100 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 61 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 61 may be performed, or at least one operation less than that shown in FIG. 61 may be performed. 61 will be further described below with reference to FIGS. 62A and 62B.
도 62a는, 다양한 실시예들에 따른, 그래픽 데이터가 제공되는 시점과 오디오 소스가 재생되는 시점의 예를 설명하기 위한 도면이다. 도 62b는, 다양한 실시예들에 따른, 활성화 구간의 예를 설명하기 위한 도면이다.62A is a diagram for explaining an example of a time point at which graphic data is provided and a time point at which an audio source is reproduced, according to various embodiments. 62B is a diagram for explaining an example of an activation period according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6101에서, 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5))을 획득하고, 동작 6103에서, 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5))에 기반하여 음악적 단위(예: 박자, 마디)를 식별하고, 동작 6105에서, 식별된 음악적 단위(예: 박자, 마디)에 기반하여 이벤트 시점을 식별하고, 이벤트 발생 시점에 기반하여 사용자 입력을 획득하기 위한 활성화 구간을 설정할 수 있다. 예를 들어, 전자 장치(110)는 프로그램이 실행되는 동안 제공될 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5))을 획득하고, 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5)) 중 적어도 일부에 기반하여 음악적 단위(예: 박자, 마디)를 식별할 수 있다. 일 예로, 전자 장치(110)는 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5)) 중 프로그램이 실행되는 동안 전 시간 구간에 걸쳐 재생되는 오디오 소스(예: 제1 오디오 소스(audio source#1))를 식별하고, 식별된 오디오 소스에 기반하여 음악적 단위(예: 박자, 마디)를 식별할 수 있다. 전자 장치(110)는 상기 음악적 단위(예: 박자, 마디)에 기반하여 이벤트 발생 시점을 식별할 수 있다. 상기 이벤트 발생 시점은, 특정 음악적 효과가 적용되거나, 및/또는 특정 오디오 소스가 출력되기에 적절한 시점으로 이해될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 6101, selects a plurality of audio sources (eg, first to fifth audio sources #1 to #5). ) is obtained, and in operation 6103, a musical unit (eg, beat, measure) is identified based on a plurality of audio sources (eg, first to fifth audio sources (audio sources #1 to #5)), In operation 6105, an event time point may be identified based on the identified musical unit (eg, beat or measure), and an activation section for acquiring a user input may be set based on the event occurrence time point. For example, the electronic device 110 acquires a plurality of audio sources (eg, first to fifth audio sources #1 to #5) to be provided while a program is being executed, and obtains a plurality of audio sources. (eg, first to fifth audio sources (audio sources #1 to #5)), a musical unit (eg, beat, bar) may be identified based on at least a part. For example, the electronic device 110 includes audio sources (eg, first to fifth audio sources (audio sources #1 to #5)) reproduced over the entire time period while a program is running. Example: A first audio source (audio source#1) may be identified, and a musical unit (eg, beat, bar) may be identified based on the identified audio source. The electronic device 110 may identify an event occurrence time point based on the musical unit (eg, beat, measure). The event occurrence time may be understood as an appropriate time when a specific musical effect is applied and/or a specific audio source is output.
다양한 실시예들에 따르면, 도 62b를 참조하면, 전자 장치(110)(예: 프로세서(210))는, 상기 이벤트 발생 시점을 기준으로 활성화 구간을 설정할 수 있다. 상기 활성화 구간은 상기 이벤트 발생 시점을 기준으로 소정의 시간 이전인 제1 시간 구간과 상기 이벤트 발생 시점을 기준으로 소정의 시간 이후인 제2 시간 구간을 포함할 수 있다. 상기 제1 시간 구간은 상기 제2 시간 구간 보다 길도록 설정될 수 있다.According to various embodiments, referring to FIG. 62B , the electronic device 110 (eg, the processor 210) may set an activation period based on the event occurrence time point. The activation period may include a first time period before a predetermined time based on the event occurrence time and a second time period after a predetermined time based on the event occurrence time. The first time interval may be set to be longer than the second time interval.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6107에서, 복수의 오디오 소스들(예: 제1 내지 제5 오디오 소스(audio source #1 내지 #5)) 중 적어도 일부를 재생하면서, 적어도 하나의 그래픽 오브젝트(예: “목차. 2 내지 목차. 5”의 그래픽 오브젝트들)를 포함하는 실행 화면을 표시하고, 동작 6109에서, 적어도 하나의 그래픽 오브젝트에 대한 사용자 입력을 획득함에 기반하여, 사용자 입력이 획득된 시점을 획득할 수 있다. According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 6107, selects a plurality of audio sources (eg, first to fifth audio sources #1 to #5). ), while displaying an execution screen including at least one graphic object (eg, graphic objects of “table of contents. Based on obtaining the user input, a time point at which the user input is obtained may be obtained.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6111에서, 획득된 시점이 제1 시구간(예: 활성화 구간 중 제1 시간 구간)에 해당하는지 여부를 판단하고, 제1 시구간(예: 활성화 구간 중 제1 시간 구간)에 해당하는 경우(6111-예), 동작 6113에서, 이벤트 시점에 특정 오디오 소스(예: 제4 오디오 소스(audio source#4))를 출력하거나 및/또는 특정 오디오 소스의 속성을 제어하면서, 시각적 효과(visual effect)를 제공할 수 있다. 예를 들어, 상기 출력되는 제4 오디오 소스(audio source#4)는 “목차. 2 내지 목차. 5”에서 기술한 사용자의 인터랙션에 기반하여 제공되는 다양한 종류의 오디오 소스를 포함할 수 있다. 상기 특정 이벤트 시점으로, 특정 오디오 소스(예: 제4 오디오 소스(audio source#4))를 출력하거나 및/또는 특정 오디오 소스의 속성을 제어하면서, 시각적 효과(visual effect)를 제공의 시점이 제어됨에 따라서, 시각적 컨텐트(100a)와 청각적 컨텐트(100b)가 시간적으로 동기화될 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) determines, in operation 6111, whether the acquired time corresponds to a first time period (eg, a first time period among active periods). and if it corresponds to the first time period (eg, the first time period of the activation period) (6111-Yes), in operation 6113, a specific audio source (eg, a fourth audio source (audio source#4) at the time of the event) )) and/or while controlling the properties of a specific audio source, a visual effect may be provided. For example, the output fourth audio source (audio source#4) is “table of contents. 2 to Table of Contents. It can include various types of audio sources provided based on the user's interaction described in 5”. At the time of the specific event, the timing of providing a visual effect while outputting a specific audio source (eg, a fourth audio source (audio source#4)) and/or controlling the properties of the specific audio source is controlled. As such, the visual content (100a) and the auditory content (100b) can be synchronized in time.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 1 시구간(예: 활성화 구간 중 제1 시간 구간)에 해당하지 않는 경우(6111-아니오), 동작 6115에서, 획득된 시점이 제2 시구간(예: 활성화 구간 중 제2 시간 구간)에 해당하는지 여부를 판단하고, 제2 시구간(예: 활성화 구간 중 제2 시간 구간)에 해당하는 경우(6115-예), 동작 6117에서, 사용자 입력을 무시할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 6115, when the electronic device 110 (eg, the processor 210) does not correspond to a 1-hour period (eg, a first time period among active periods) (6111-No) , It is determined whether the obtained time period corresponds to the second time interval (eg, the second time interval among the activation intervals), and if it corresponds to the second time interval (eg, the second time interval among the activation intervals) (6115- Yes), in operation 6117, the user input may be ignored.
10. 인터랙티브 음악 감상 플랫폼10. Interactive music listening platform
이하에서 기술되는 다양한 실시예들에 따른 서버(120)의 동작들 중 적어도 일부는, 특별한 언급이 없다면 소정의 어플리케이션(또는 프로그램)에 의해 제공 가능한 동작으로 구현될 수도 있다. 즉, 이하의 서버(120)의 동작들 중 적어도 일부는 전자 장치(110)에 저장된 어플리케이션(또는 프로그램)이 실행되는 경우, 전자 장치(110)에 의해 수행될 수 있다. At least some of the operations of the server 120 according to various embodiments described below may be implemented as operations that can be provided by a predetermined application (or program) unless otherwise specified. That is, at least some of the following operations of the server 120 may be performed by the electronic device 110 when an application (or program) stored in the electronic device 110 is executed.
10.1 교환을 위한 전자 장치와 서버의 동작10.1 Operation of Electronic Devices and Servers for Exchange
도 63은, 다양한 실시예들에 따른, 전자 장치(110) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(6300)이다. 다양한 실시예들에 따르면, 도 63에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 63에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 64, 도 65a, 및 도 65b를 참조하여, 도 63에 대해서 더 설명한다.63 is a flowchart 6300 for explaining an example of operations of the electronic device 110 and the server 120 according to various embodiments. According to various embodiments, the operations shown in FIG. 63 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 63 may be performed, or at least one operation less than that shown in FIG. 63 may be performed. 63 will be further described below with reference to FIGS. 64, 65A, and 65B.
도 64는, 다양한 실시예들에 따른, 서버(120)에 의해 교환되는 플랫폼 파일의 일 예를 설명하기 위한 도면이다. 도 65a는, 다양한 실시예들에 따른, 서버(120)에 의해 제공되는 인터페이스의 일 예를 설명하기 위한 도면이다. 도 65b는, 다양한 실시예들에 따른, 서버(120)에 의해 획득되는 어레이 별 정보의 예를 설명하기 위한 도면이다.64 is a diagram for explaining an example of a platform file exchanged by the server 120 according to various embodiments. 65A is a diagram for explaining an example of an interface provided by the server 120 according to various embodiments. 65B is a diagram for explaining an example of information for each array acquired by the server 120 according to various embodiments.
다양한 실시예들에 따르면, 서버(120)는, 동작 6301에서, 음원 파일을 수신하고, 동작 6303에서, 업로드된 음원 파일에 대한 정보를 식별하고, 동작 6305에서, 음원 파일에 기반하여 복수의 오디오 소스들을 획득하고, 동작 6307에서, 복수의 오디오 소스들 중 적어도 일부를 제어하기 위한 실행 화면을 구성하고, 동작 6309에서, 실행 화면 및 복수의 오디오 소스들을 제공할 수 있다. 예를 들어, 도 65a를 참조하면, 서버(120)는 전자 장치(110)의 접속이 식별되는 경우, 전자 장치(110)로, 소정의 그래픽 유저 인터페이스(6500)를 제공할 수 있다. 상기 그래픽 유저 인터페이스(6500)는 오디오 소스의 제어 및/또는 오디오 효과를 적용하기 위한 시각적 컨텐트(100a)(예: 복수의 그래픽 오브젝트들(6511))를 포함하는 제1 영역(6510), 선택된 음원 파일을 재생하기 위한 기능을 제공하는 제2 영역(6520), 오디오 소스 및/또는 오디오 효과를 선택하기 위한 제3 영역(6530), 음원 파일 업로드 기능 및 업로드된 음원 파일에 대한 정보를 제공하기 위한 제4 영역(6540)을 포함할 수 있으며, 기재된 및/또는 도시된 예에 제한되지 않고, 다양한 종류의 그래픽 적 요소를 더 포함하도록 구현될 수도 있다. 서버(120)는, 전자 장치(110)에 의해 상기 제4 영역(6540)에 포함된 음원 파일 업로드를 위한 메뉴(6541)가 선택되는 경우, 음원 파일 업로드 기능을 제공할 수 있으며, 이에 따라 전자 장치(110)로부터 음원 파일을 수신할 수 있다. 전자 장치(110)는 수신된 음원 파일을, 전술한 오디오 소스 분리 기술에 기반하여, 복수의 오디오 소스들로 분리하여, 전자 장치(110)로 제공할 수 있다. 전자 장치(110)는 제1 영역(6510)을 통해 상기 분리된 복수의 오디오 소스들 중 적어도 일부를 재생함으로써, 사운드를 사용자에게 제공할 수 있다. According to various embodiments, the server 120, in operation 6301, receives a sound source file, in operation 6303, identifies information on the uploaded sound source file, and in operation 6305, a plurality of audio files based on the sound source file The sources may be acquired, an execution screen for controlling at least some of the plurality of audio sources may be configured in operation 6307 , and an execution screen and the plurality of audio sources may be provided in operation 6309 . For example, referring to FIG. 65A , when connection of the electronic device 110 is identified, the server 120 may provide a predetermined graphic user interface 6500 to the electronic device 110 . The graphic user interface 6500 includes a first area 6510 including visual content 100a (eg, a plurality of graphic objects 6511) for controlling an audio source and/or applying an audio effect, and a selected sound source. A second area 6520 for providing a function for playing a file, a third area 6530 for selecting an audio source and/or an audio effect, a function for uploading a sound source file and providing information on an uploaded sound source file It may include a fourth area 6540, and is not limited to the examples described and/or illustrated, and may be implemented to further include various types of graphic elements. When the menu 6541 for uploading a sound source file included in the fourth area 6540 is selected by the electronic device 110, the server 120 may provide a sound source file upload function. A sound source file may be received from the device 110 . The electronic device 110 may separate the received sound source file into a plurality of audio sources based on the above-described audio source separation technology, and provide the separated audio sources to the electronic device 110 . The electronic device 110 may provide sound to the user by reproducing at least some of the plurality of separated audio sources through the first region 6510 .
한편, 도시된 예에 제한되지 않고, 상기 제1 영역(6510)에 제공되는 시각적 컨텐트(100a)는 “목차. 2 내지 목차. 5”에서 기술한 다양한 종류의 시각적 컨텐트(100a)를 포함할 수 있다. 도시되지 않았으나, 서버(110)는 상기 다양한 종류의 시각적 컨텐트(100a)를 선택하기 위한 메뉴 화면을 제공하고, 상기 메뉴 화면으로부터 선택된 시각적 컨텐트(100a)를 제1 영역(6510)에 배치하여 전자 장치(110)로 제공할 수 있다.Meanwhile, not limited to the illustrated example, the visual content 100a provided to the first region 6510 is “table of contents. 2 to Table of Contents. 5” may include various types of visual content 100a. Although not shown, the server 110 provides a menu screen for selecting the various types of visual content 100a, and arranges the visual content 100a selected from the menu screen in the first area 6510 to obtain an electronic device. (110).
다양한 실시예들에 따르면, 서버(120)는 전자 장치(110)로 주기적으로 음원 파일과 연관된 복수의 오디오 소스들을 전송하는 동작을 수행할 수 있다. 예를 들어, 상기 서버(120)는 주기적으로 음원 파일의 일부분을 복수의 오디오 소스들로 변환하여 전자 장치(110)로 전송하는 동작을 수행할 수 있다. 상기, 서버(120)의 전송 주기를 중계할 수 있는 중계 장치(및/또는 중계 프로그램)이 더 구현될 수 있다. 상기 복수의 오디오 소스들을 실시간으로 생성하여 주기적으로 전송하는 동작을 통해, 오디오 소스의 분리가 원활해지는 이점이 있다.According to various embodiments, the server 120 may perform an operation of periodically transmitting a plurality of audio sources associated with a sound source file to the electronic device 110 . For example, the server 120 may perform an operation of periodically converting a portion of a sound source file into a plurality of audio sources and transmitting the same to the electronic device 110 . A relay device (and/or relay program) capable of relaying the transmission period of the server 120 may be further implemented. Through the operation of generating the plurality of audio sources in real time and periodically transmitting them, there is an advantage in that the separation of the audio sources becomes smooth.
다양한 실시예들에 따르면, 전자 장치(110)는, 동작 6311에서, 실행 화면에 포함된 오브젝트(예: 복수의 그래픽 오브젝트들(6510))를 제어함에 기반하여, 복수의 오디오 소스들의 적어도 일부의 속성을 제어함에 기반하여 사운드를 제공하고, 동작 6313에서, 제공된 사운드와 연관된 적어도 하나의 파일을 저장하고, 동작 6315에서, 적어도 하나의 파일 전송할 수 있다. 도 65b를 참조하면, 전자 장치(110)는 복수의 오디오 소스들 중 적어도 일부를 재생함에 기반하여 사운드를 출력하는 중에 사용자의 입력에 기반하여 복수의 그래픽 오브젝트들(6511a, 6511b, 6511c)의 위치를 제어하고, 상기 위치 제어에 기반하여 특정 오디오 소스를 출력하거나 및/또는 특정 오디오 효과를 적용할 수 있다. 이때, 전자 장치(110)는 시간을 복수의 시점들로 분할하고, 분할된 복수의 시점들(시간 어레이) 별 사용자의 인터랙션에 대한 정보(6500a)를 획득할 수 있다. 상기 사용자의 인터랙션에 대한 정보는, 복수의 그래픽 오브젝트들(6511a, 6511b, 6511c)의 위치에 대한 정보를 포함할 수 있다. 일 예로서, 상기 복수의 시점들 사이의 시간 간격은 0.2초일 수 있은가, 기재된 예에 제한되지 않고 다양한 시간 간격으로 구현될 수 있다.According to various embodiments, in operation 6311, the electronic device 110 controls at least some of the plurality of audio sources based on controlling objects (eg, the plurality of graphic objects 6510) included in the execution screen. A sound may be provided based on controlling properties, in operation 6313, at least one file related to the provided sound may be stored, and in operation 6315, at least one file may be transmitted. Referring to FIG. 65B, the electronic device 110 determines the location of a plurality of graphic objects 6511a, 6511b, and 6511c based on a user's input while outputting sound based on reproducing at least some of a plurality of audio sources. and may output a specific audio source and/or apply a specific audio effect based on the location control. In this case, the electronic device 110 may divide the time into a plurality of viewpoints and obtain information 6500a on the user's interaction for each of the divided plurality of viewpoints (time array). The user interaction information may include information about locations of the plurality of graphic objects 6511a, 6511b, and 6511c. As an example, the time interval between the plurality of time points may be 0.2 seconds, or may be implemented at various time intervals without being limited to the described example.
다양한 실시예들에 따르면, 서버(120)는, 동작 6317에서, 수신된 적어도 하나의 파일을 저장할 수 있다. 서버(120)는 전자 장치(110)로부터 전술한 복수의 시점들(시간 어레이) 별 사용자의 인터랙션에 대한 정보를 수신할 수 있다. 서버(110)는 도 64에 도시된 바와 같이, 음원 파일에 대한 정보(예: 오디오 소스 셋(6410)), 시각적 컨텐트에 대한 정보(예: UI 식별 정보(6420)), 또는 상기 사용자의 인터랙션에 대한 정보(예: 어레이별 그래픽 오브젝트의 위치 정보(6430)) 중 적어도 하나를 연관된 형태(예: 하나의 데이터 셋트)로 저장할 수 있다. 상기 연관되도록 저장된 형태의 파일은 플랫폼 파일(6400)로 정의될 수 있다. 이에 따라, 사용자 고유의 인터랙티브한 음악 경험이 재활용(예: 다시 재생, 및/또는 다른 사용자와 공유)될 수 있다. 예를 들어, 상기 서버(120)는 상기 저장된 플랫폼 파일(6400)에 기반하여, 오디오 소스 셋(6410)을 재생하는 경우, 상기 사용자의 인터랙션에 대한 정보(예: 어레이별 그래픽 오브젝트의 위치 정보(6430))를 기반으로 특정 오디오 소스를 재생하거나 및/또는 특정 오디오 효과를 반영함으로써, 사용자가 이전에 감상한 사운드를 다시 재현하여 제공할 수 있다.According to various embodiments, the server 120, in operation 6317, may store the received at least one file. The server 120 may receive, from the electronic device 110 , information on the user's interaction for each of the plurality of viewpoints (time array) described above. As shown in FIG. 64, the server 110 provides information on sound source files (eg, audio source set 6410), information on visual content (eg, UI identification information 6420), or the user's interaction At least one of information (eg, location information 6430 of each graphic object for each array) may be stored in a related form (eg, one data set). A file of a form stored to be related may be defined as a platform file 6400. Accordingly, the interactive music experience unique to the user can be reused (eg, played again and/or shared with other users). For example, when the server 120 reproduces the audio source set 6410 based on the stored platform file 6400, the user's interaction information (eg, location information of graphic objects for each array ( 6430)), it is possible to recreate and provide the sound previously enjoyed by the user by reproducing a specific audio source and/or reflecting a specific audio effect.
10.2 전자 장치의 동작10.2 Operation of Electronic Devices
도 66은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(6600)이다. 다양한 실시예들에 따르면, 도 66에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 66에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.66 is a flowchart 6600 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 66 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 66 may be performed, or at least one operation less than that shown in FIG. 66 may be performed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6601에서, 복수의 오디오 소스들을 포함하는 음원 파일을 획득하고, 동작 6603에서, 복수의 오디오 소스들 중 적어도 일부의 제1 속성을 제어하기 위한 적어도 하나의 오브젝트를 포함하는 실행 화면(예: 도 65a의 인터페이스(6500))을 표시할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210) obtains a sound source file including a plurality of audio sources in operation 6601 and, in operation 6603, at least one of the plurality of audio sources. An execution screen (eg, the interface 6500 of FIG. 65A ) including at least one object for controlling some first properties may be displayed.
다양한 실시예들에 따르면, 전자 장치(110)(예: 프로세서(210))는, 동작 6605에서, 상기 복수의 오디오 소스들 중 적어도 일부를 재생하면서 복수의 시간 별로 적어도 하나의 오브젝트(예: 도 65a의 그래픽 오브젝트(6511))에 대한 사용자의 입력을 획득하고, 상기 사용자의 입력에 기반하여 상기 복수의 오디오 소스들 중 적어도 일부의 속성을 제어하고, 동작 6607에서, 상기 복수의 시간 별 획득된 사용자의 입력과 연관된 정보(예: 6500a)를 획득하고, 동작 6609에서, 상기 복수의 시간 별 획득된 사용자의 입력과 연관된 정보를 포함하는 데이터 셋을 전송할 수 있다.According to various embodiments, the electronic device 110 (eg, the processor 210), in operation 6605, reproduces at least one part of the plurality of audio sources while at least one object (eg, diagram) for each of a plurality of times. A user's input for the graphic object 6511 of step 65a is obtained, and properties of at least some of the plurality of audio sources are controlled based on the user's input, and in operation 6607, the plurality of times obtained Information associated with the user input (eg, 6500a) is obtained, and in operation 6609, a data set including the information associated with the user input obtained for each of the plurality of times may be transmitted.
10.3 공유 동작10.3 Shared Actions
도 67은, 다양한 실시예들에 따른, 복수의 전자 장치들(예: 전자 장치(6700a), 외부 전자 장치(6700b)) 및 서버(120)의 동작의 예를 설명하기 위한 흐름도(6300)이다. 다양한 실시예들에 따르면, 도 67에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 67에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 67 is a flowchart 6300 for explaining an example of operations of a plurality of electronic devices (eg, an electronic device 6700a, an external electronic device 6700b) and a server 120, according to various embodiments. . According to various embodiments, the operations shown in FIG. 67 are not limited to the shown order and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 67 may be performed, or at least one operation less than that shown in FIG. 67 may be performed.
다양한 실시예들에 따르면, 전자 장치(6700a)(예: 프로세서(210))는, 동작 6701에서, 외부 전자 장치(6700b)로 제공된 사운드와 연관된 적어도 하나의 파일에 접근하기 위한 접근 정보를 전송할 수 있다. 예를 들어, 전자 장치(6700a)는 서버(120)를 통해 인터랙티브 음악 감상 플랫폼을 이용하는 동안, 특정 플랫폼 파일(6400)을 다른 사용자와 공유하는 기능을 실행할 수 있다. 전자 장치(6700a)는 플랫폼 파일(6400)이 공유될 다른 사용자가 선택되는 경우, 다른 사용자의 외부 전자 장치(6700b)로 링크 정보를 제공할 수 있다. 상기 링크 정보는, 상기 특정 플랫폼 파일(6400)을 식별하기 위한 식별 정보, 및 서버(120)로 접속하기 위한 링크(URI, URL)를 포함할 수 있다. 상기 링크 정보는, 종래의 메신저 어플리케이션을 통해 공유될 수 있으나, 기재된 예에 제한되지 않고, 서버(120)에서 운용되는 메신져 기능을 이용하여 공유될 수도 있다.According to various embodiments, the electronic device 6700a (eg, the processor 210) may, in operation 6701, transmit access information for accessing at least one file related to the sound provided to the external electronic device 6700b. there is. For example, the electronic device 6700a may execute a function of sharing a specific platform file 6400 with other users while using an interactive music listening platform through the server 120 . When another user to whom the platform file 6400 is to be shared is selected, the electronic device 6700a may provide link information to the external electronic device 6700b of another user. The link information may include identification information for identifying the specific platform file 6400 and a link (URI, URL) for accessing the server 120 . The link information may be shared through a conventional messenger application, but is not limited to the described example and may be shared using a messenger function operated in the server 120.
다양한 실시예들에 따르면, 외부 전자 장치(6700b)는, 동작 6703에서, 서버(120)로 접속할 수 있다. 예를 들어, 외부 전자 장치(6700b)는 상기 링크 정보를 선택한 것에 기반하여, 서버(120)로 접속할 수 있다.According to various embodiments, the external electronic device 6700b may access the server 120 in operation 6703. For example, the external electronic device 6700b may access the server 120 based on the selection of the link information.
다양한 실시예들에 따르면, 서버(120)는, 동작 6705에서, 제공된 사운드와 연관된 적어도 하나의 파일(예: 도 64의 플랫폼 파일(6400) 중 적어도 일부)을 획득하고, 동작 6707에서, 적어도 하나의 파일(예: 도 64의 플랫폼 파일(6400) 중 적어도 일부)에 기반하여 복수의 오디오 소스들을 획득하고, 동작 6709에서, 적어도 하나의 파일(예: 도 64의 플랫폼 파일(6400) 중 적어도 일부)에 기반하여 복수의 오디오 소스들의 적어도 일부의 속성을 제어함에 기반하여 사운드를 재생할 수 있다. 예를 들어, 서버(120)는 외부 전자 장치(6700b)가 접속되는 경우, 외부 전자 장치(6700b)로부터 플랫폼 파일(6400)을 식별하기 위한 식별 정보를 획득하고, 식별 정보에 대응하는 플랫폼 파일(6400)을 식별할 수 있다. 서버(120)는 상기 플랫폼 파일(6400)로부터 식별되는 UI 식별 정보(6420)에 대응하는 시각적 컨텐트(100a)를 제1 영역(6510)에 포함하는 인터페이스(6500)를 제공하면서, 상기 플랫폼 파일(6400)로부터 식별되는 오디오 소스 셋(6410)을 외부 전자 장치(6700b)로 제공하여 재생하도록 할 수 있다. 이때, 서버(120) 및/또는 외부 전자 장치(6700b)는 어레이 별 오브젝트 위치 정보(6430)에 기반하여 시각적 컨텐트(100a) 내의 복수의 오브젝트들(예: 도 65a의 오브젝트(6511))의 위치를 제어함에 기반하여, 특정 오디오 소스를 재생하거나 및/또는 특정 오디오 효과를 적용할 수 있다. According to various embodiments, the server 120 obtains, in operation 6705, at least one file associated with the provided sound (eg, at least a part of the platform file 6400 of FIG. 64), and in operation 6707, at least one A plurality of audio sources are acquired based on a file of (eg, at least part of the platform file 6400 of FIG. 64), and in operation 6709, at least one file (eg, at least part of the platform file 6400 of FIG. 64). ), sound may be reproduced based on controlling at least some properties of a plurality of audio sources. For example, when the external electronic device 6700b is connected, the server 120 obtains identification information for identifying the platform file 6400 from the external electronic device 6700b, and the platform file corresponding to the identification information ( 6400) can be identified. The server 120 provides an interface 6500 including the visual content 100a corresponding to the UI identification information 6420 identified from the platform file 6400 in the first area 6510, while the platform file ( The audio source set 6410 identified from 6400 may be provided to the external electronic device 6700b to be reproduced. At this time, the server 120 and/or the external electronic device 6700b determines the location of a plurality of objects (eg, the object 6511 of FIG. 65A) within the visual content 100a based on the object location information 6430 for each array. Based on controlling, a specific audio source may be played and/or a specific audio effect may be applied.
다양한 실시예들에 따르면, 외부 전자 장치(6700b)는 상기 플랫폼 파일(6400)에 기반하여 시각적 컨텐트(100a) 및 청각적 컨텐트(100b)를 제공하는 동안, 수신되는 사용자의 입력에 기반하여 어레이 별 복수의 오브젝트들(예: 도 65a의 오브젝트(6511))의 위치를 제어하는 입력을 수신할 수 있다. 이에 따라, 서버(120)는 상기 외부 전자 장치(6700b)로부터 기반하여 어레이 별 복수의 오브젝트들(예: 도 65a의 오브젝트(6511))의 위치를 제어하는 정보를, 기존의 플랫폼 파일(6400) 내에 추가할 수 있다.According to various embodiments, while the external electronic device 6700b provides the visual content 100a and the auditory content 100b based on the platform file 6400, the array-by-array based on the received user input An input for controlling the position of a plurality of objects (eg, the object 6511 of FIG. 65A) may be received. Accordingly, the server 120 transfers information for controlling the position of a plurality of objects (eg, the object 6511 of FIG. 65A) for each array based on the external electronic device 6700b to the existing platform file 6400. can be added within.
10.4 확장 실시예10.4 Extended Embodiment
다양한 실시예들에 따르면, 전자 장치(110) 및/또는 서버(120)는, 전술한 그래픽 오브젝트에 대한 사용자의 인터랙션 이외에도, 다양한 종류의 인터랙션을 획득하기 위한 시각적 컨텐트(100a)를 제공할 수 있다. 이하에서는, 전자 장치(110)의 사용자의 모션을 획득하는 동작이 기술되나, 기재된 예에 제한되지 않고, 본 명세서에서 기술된 다양한 종류의 인터랙션(예: 목소리, 물체 등)을 획득하기 위한 시각적 컨텐트(100a)가 제공될 수 있음은, 당업자에게 자명하다.According to various embodiments, the electronic device 110 and/or the server 120 may provide visual content 100a for obtaining various types of interactions, in addition to the user's interaction with the graphic object described above. . Hereinafter, an operation of acquiring the user's motion of the electronic device 110 is described, but is not limited to the described example, and visual content for acquiring various types of interactions (eg, voice, object, etc.) described in this specification It is obvious to those skilled in the art that (100a) can be provided.
도 68은, 다양한 실시예들에 따른, 전자 장치(110)의 동작의 예를 설명하기 위한 흐름도(6800)이다. 다양한 실시예들에 따르면, 도 68에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면, 도 68에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 69, 도 70a, 도 70b, 및 도 71을 참조하여, 도 68에 대해서 더 설명한다.68 is a flowchart 6800 for explaining an example of an operation of the electronic device 110 according to various embodiments. According to various embodiments, the operations shown in FIG. 68 are not limited to the order shown and may be performed in various orders. Also, according to various embodiments, more operations than the operations shown in FIG. 68 may be performed, or at least one operation less than that shown in FIG. 68 may be performed. 68 will be further described below with reference to FIGS. 69, 70A, 70B, and 71 .
도 69는, 다양한 실시예들에 따른, 플랫폼 파일(6900)의 다른 예를 설명하기 위한 도면이다. 도 70a는, 다양한 실시예들에 따른, 서버(120)에 의해 제공되는 시각적 컨텐트(100a)의 예를 설명하기 위한 도면이다. 도 70b는, 다양한 실시예들에 따른, 서버(120)에 의해 제공되는 시각적 컨텐트(100a)의 예를 설명하기 위한 도면이다. 도 71은, 다양한 실시예들에 따른, 서버(120)에 의해 제공되는 메신저 기능의 예를 설명하기 위한 도면이다.69 is a diagram for explaining another example of a platform file 6900 according to various embodiments. 70a is a diagram for explaining an example of visual content 100a provided by the server 120 according to various embodiments. 70B is a diagram for explaining an example of visual content 100a provided by the server 120 according to various embodiments. 71 is a diagram for explaining an example of a messenger function provided by the server 120 according to various embodiments.
다양한 실시예들에 따르면, 전자 장치(110)는, 동작 6801에서, 복수의 오디오 소스들을 포함하는 음원 파일을 획득하고, 동작 6803에서, 카메라에 의해 촬영된 사용자를 포함하는 실행 화면을 표시할 수 있다. 예를 들어, 서버(120)는, 도 70a 및 도 70b에 도시된 바와 같이, 전자 장치(110)로 카메라에 의해 촬영된 영상 중 적어도 일부(예: 사용자(7010a, 7010b))를 포함하는 시각적 컨텐트(7020a, 7020b)를 인터페이스(6500)를 제공하면서, 전자 장치(110)에 의해 선택된 음원 파일에 대응하는 복수의 오디오 소스들 중 적어도 일부를 재생함에 기반하여 청각적 컨텐트(100b)를 제공할 수 있다. 상기 시각적 컨텐트(7020a, 7020b)의 배경은 기-설정된 배경이거나, 및/또는 전자 장치(110)의 카메라에 의해 촬영된 사용자(U)가 위치하는 배경일 수 있다. According to various embodiments, the electronic device 110 may acquire a sound source file including a plurality of audio sources in operation 6801 and display an execution screen including a user photographed by a camera in operation 6803. there is. For example, as shown in FIGS. 70A and 70B , the server 120 provides a visual image including at least a part (eg, users 7010a and 7010b) of images captured by a camera to the electronic device 110. While providing the content (7020a, 7020b) through the interface 6500, the auditory content (100b) will be provided based on reproducing at least some of the plurality of audio sources corresponding to the sound source file selected by the electronic device (110). can The background of the visual content (7020a, 7020b) may be a pre-set background, and/or a background in which the user U photographed by the camera of the electronic device 110 is located.
다양한 실시예들에 따르면, 상기 전자 장치(110)는, 상기 시각적 컨텐트(7020a) 상에 적어도 하나의 그래픽 오브젝트를 더 표시할 수 있다. 예를 들어, 도 70b에 도시된 바와 같이, 상기 시각적 컨텐트(7020a)는 가상의 캐릭터(7001b, 7003b)를 포함할 수 있다. 상기 가상의 캐릭터(7001b, 7003b)는 선택된 음악 파일에 대응하는 아티스트들에 대응할 수 있으나, 기재된 예에 제한되지 않고 음악 파일과는 별개로 선택되는 가상의 캐릭터가 제공될 수도 있다. 상기 가상의 캐릭터(7001b, 7003b)는 복수의 오디오 소스들 중 적어도 일부가 재생되는 동안, 소정의 모션을 취하도록 설정될 수 있다. 일 예로, 음악적 단위에 기반하여, 상기 가상의 캐릭터(7001b, 7003b)가 춤 동작을 수행하도록 구현될 수 있다. 또 예를 들어, 도시되지 않았으나, 그래픽적 건축물 등 가상의 그래픽 오브젝트가 시각적 컨텐트(7020a) 상에 제공될 수 있다.According to various embodiments, the electronic device 110 may further display at least one graphic object on the visual content 7020a. For example, as shown in FIG. 70B , the visual content 7020a may include virtual characters 7001b and 7003b. The virtual characters 7001b and 7003b may correspond to artists corresponding to the selected music file, but are not limited to the described example and a virtual character selected separately from the music file may be provided. The virtual characters 7001b and 7003b may be set to take a predetermined motion while at least some of the plurality of audio sources are reproduced. For example, based on musical units, the virtual characters 7001b and 7003b may be implemented to perform dance movements. Also, for example, although not shown, a virtual graphic object such as a graphic building may be provided on the visual content 7020a.
다양한 실시예들에 따르면, 전자 장치(110)는, 동작 6805에서, 상기 복수의 오디오 소스들 중 적어도 일부를 재생하면서 복수의 시간(예: 전술한 시간 어레이) 별로 사용자의 모션을 획득하고, 상기 획득된 모션에 기반하여 상기 복수의 오디오 소스들 중 적어도 일부의 속성을 제어하고, 동작 6807에서, 상기 복수의 시간 별 획득된 사용자의 모션과 연관된 정보를 획득할 수 있다. 즉, 전자 장치(110)는 복수의 시간들(시간 어레이) 별로 그래픽 오브젝트(6511)의 위치 대신에 카메라에 의해 촬영되는 사용자의 모션에 대한 정보를 획득할 수 있다. According to various embodiments, in operation 6805, the electronic device 110 obtains a user's motion for each of a plurality of times (eg, the above-described time array) while reproducing at least some of the plurality of audio sources, and Based on the obtained motion, properties of at least some of the plurality of audio sources may be controlled, and in operation 6807, information associated with the motion of the user obtained for each of the plurality of times may be obtained. That is, the electronic device 110 may obtain information about the user's motion captured by the camera instead of the location of the graphic object 6511 for each of a plurality of times (time array).
다양한 실시예들에 따르면, 전자 장치(110)는 복수의 오디오 소스들 중 적어도 일부를 재생함에 기반하여 청각적 컨텐트(100b)를 제공하면서, 상기 사용자의 모션에 대응하는 특정 오디오 소스를 재생하거나 및/또는 특정 오디오 효과를 적용할 수 있다. 예를 들어 도 70a 및 도 70b에 도시된 바와 같이, 전자 장치(110)는 사용자의 모션(7010a, 7030a, 7010b, 7030b) 별로 특정 오디오 소스를 재생할 수 있다.According to various embodiments, the electronic device 110 reproduces a specific audio source corresponding to the user's motion while providing the auditory content 100b based on reproducing at least some of the plurality of audio sources, and /or you can apply specific audio effects. For example, as illustrated in FIGS. 70A and 70B , the electronic device 110 may reproduce a specific audio source for each motion 7010a, 7030a, 7010b, and 7030b of the user.
다양한 실시예들에 따르면, 전자 장치(110)는 상기 사용자의 모션에 대응하는 시각적 효과를 시각적 컨텐트(110a)에 반영할 수 있다. 예를 들어, 도 70b에 도시된 바와 같이, 전자 장치(110)는 상기 사용자의 모션에 기반하여, 시각적 컨텐트(7020b)에 포함된 가상의 캐릭터(7001b, 7003b)의 동작을 제어할 수 있다. 예를 들어, 전자 장치(110)는 사용자의 모션이 제1 모션인 경우 가상의 캐릭터(7001b, 7003b)의 동작을 제1 동작으로 제어할 수 있으나, 사용자의 모션이 제2 모션인 경우 가상의 캐릭터(7001b, 7003b)의 동작을 제2 동작으로 제어할 수 있다.According to various embodiments, the electronic device 110 may reflect a visual effect corresponding to the user's motion to the visual content 110a. For example, as shown in FIG. 70B , the electronic device 110 may control the motion of virtual characters 7001b and 7003b included in the visual content 7020b based on the motion of the user. For example, when the motion of the user is the first motion, the electronic device 110 may control the motion of the virtual characters 7001b and 7003b as the first motion, but when the motion of the user is the second motion, the motion of the virtual characters 7001b and 7003b is controlled by the virtual The motions of the characters 7001b and 7003b can be controlled by the second motion.
다양한 실시예들에 따르면, 전자 장치(110)는, 동작 6809에서, 상기 복수의 시간 별 획득된 사용자의 모션과 연관된 정보를 포함하는 데이터 셋을 전송할 수 있다. 이에 따라, 도 69에 도시된 바와 같이, 서버(120)는 오디오 소스 셋(6910), 촬영된 비디오(6920), 또는 어레이별 유저 모션(6930) 중 적어도 하나를 포함하는 플랫폼 파일(6900)을 저장 및/또는 관리할 수 있다.According to various embodiments, the electronic device 110 may, in operation 6809, transmit a data set including information related to the user's motion obtained for each of the plurality of times. Accordingly, as shown in FIG. 69, the server 120 generates a platform file 6900 including at least one of an audio source set 6910, a recorded video 6920, and a user motion 6930 for each array. may be stored and/or managed.
11. 확장 UI11. Extended UI
도 72는, 다양한 실시예들에 따른, 인터랙티브 음악 감상 시스템(1)에 의해 제공 가능한, 시각적 컨텐트(100a)의 예를 설명하기 위한 도면이다.72 is a diagram for explaining an example of visual content 100a that can be provided by the interactive music listening system 1 according to various embodiments.
도 72를 참조하면, 인터랙티브 음악 감상 시스템(1)은, 메타버스(metaverse) 시각적 컨텐트를 제공하도록 구현될 수 있다. 즉, 인터랙티브 음악 감상 시스템(1)은, 가상 현실(virtual reality, VR), 혼합 현실(mixed reality, MR) 등과 같은 확장 현실(extended reality, XR) 용 전자 장치(110)에 의해 제공 가능한 확장 현실 컨텐트를 제공하도록 구현될 수 있다.Referring to FIG. 72 , the interactive music listening system 1 may be implemented to provide metaverse visual content. That is, the interactive music listening system 1 is an extended reality that can be provided by the electronic device 110 for extended reality (XR) such as virtual reality (VR) and mixed reality (MR). It can be implemented to provide content.
다양한 실시예들에 따르면, 인터랙티브 음악 감상 시스템(1)은, 전술한 시각적 컨텐트(100a)들과 유사하게, 복수의 스테이지들 별로 구현되는 시각적 컨텐트(7210a, 7210b, 7210c) 내에 복수의 3D 그래픽 오브젝트들(7211a, 7211b)을 구현하고, 각각의 시각적 컨텐트(7210a, 7210b, 7210c)가 제공되는 동안 이에 대응하는 적어도 하나의 오디오 소스를 재생함에 기반하여 청각적 컨텐트(100b)(예: 제1 사운드, 제2 사운드)를 제공할 수 있다.According to various embodiments, the interactive music listening system 1, similar to the aforementioned visual content 100a, a plurality of 3D graphic objects within the visual content 7210a, 7210b, and 7210c implemented for each of a plurality of stages. (7211a, 7211b) implemented, and while each of the visual content (7210a, 7210b, 7210c) is provided, the auditory content (100b) based on playing at least one audio source corresponding thereto (eg, the first sound) , the second sound) may be provided.
다양한 실시예들에 따르면, 인터랙티브 음악 감상 시스템(1)은, 전술한 그래픽 오브젝트의 제어에 따른 시각적 컨텐트(100a) 및/또는 청각적 컨텐트(100b)를 제어하는 동작, 스테이지를 전환하는 동작 등을 수행할 수 있는 바, 더 중복되는 설명은 생략한다.According to various embodiments, the interactive music listening system 1 performs an operation of controlling the visual content 100a and/or the auditory content 100b according to the control of the above-described graphic object, an operation of switching a stage, and the like. As can be done, more redundant descriptions are omitted.

Claims (10)

  1. 전자 장치의 동작 방법으로서, As a method of operating an electronic device,
    복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작;acquiring music files corresponding to a plurality of audio sources;
    적어도 하나의 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one object;
    상기 제1 사운드를 출력하는 동안, 상기 적어도 하나의 오브젝트에 대한 사용자의 입력을 식별하는 동작;identifying a user's input to the at least one object while outputting the first sound;
    상기 식별된 입력에 의한 제1 조건이 만족되는 경우:If the first condition by the above-identified input is satisfied:
    상기 식별된 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied when the identified input is the first input; and
    상기 식별된 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작;을 포함하고,When the identified input is the second input, outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied;
    상기 식별된 입력에 의한 제2 조건이 만족되는 경우:If the second condition by the above-identified input is satisfied:
    상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;을 포함하는,Outputting a second sound having a second frequency spectrum corresponding to a second playback time associated with the music file;
    동작 방법.how it works.
  2. 제1 항에 있어서,According to claim 1,
    상기 음악 파일에 기반하여 상기 복수의 오디오 소스들을 획득하는 동작;을 포함하고, 상기 복수의 오디오 소스들은 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 오디오 소스 셋, 및 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 오디오 소스 셋을 포함하는,and obtaining the plurality of audio sources based on the music file, wherein the plurality of audio sources include a first set of audio sources corresponding to a first play time associated with the music file, and a first set of audio sources associated with the music file. a second set of audio sources corresponding to a second playback time;
    상기 제1 오디오 소스 셋에 기반하여, 상기 제1 주파수 스펙트럼을 갖는 사익 제1 사운드를 출력하는 동작; 및outputting a first sound having the first frequency spectrum based on the first set of audio sources; and
    상기 제2 오디오 소스 셋에 기반하여, 상기 제2 주파수 스펙트럼을 갖는 상기 제2 사운드를 출력하는 동작;을 포함하는,outputting the second sound having the second frequency spectrum based on the second audio source set;
    동작 방법.how it works.
  3. 제2 항에 있어서,According to claim 2,
    상기 식별된 입력에 의한 제1 조건이 만족되는 경우:If the first condition by the above-identified input is satisfied:
    특정 오디오 소스를 출력하거나, 및/또는 특정 오디오 효과를 적용함에 기반하여, 상기 제1 주파수 스펙트럼을 갖는 사익 제1 사운드를 출력하는 동작;outputting a first sound having the first frequency spectrum based on outputting a specific audio source and/or applying a specific audio effect;
    상기 식별된 입력에 의한 제2 조건이 만족되는 경우:If the second condition by the above-identified input is satisfied:
    재생 중인 오디오 소스 셋을 상기 제1 오디오 소스 셋에서 상기 제2 오디오 소스 셋으로 변경함에 기반하여, 상기 제2 주파수 스펙트럼을 갖는 상기 제2 사운드를 출력하는 동작;을 포함하는,Outputting the second sound having the second frequency spectrum based on changing the currently playing audio source set from the first audio source set to the second audio source set;
    동작 방법.how it works.
  4. 제1 항에 있어서,According to claim 1,
    상기 식별된 입력에 의한 상기 제1 조건 또는 상기 제2 조건의 만족 여부를 판단하는 동작은: The operation of determining whether the first condition or the second condition is satisfied by the identified input is:
    상기 적어도 하나의 오브젝트에 대한 상기 식별된 입력의 횟수를 식별하는 동작;identifying the number of times of the identified input for the at least one object;
    상기 식별된 입력의 횟수가 기-설정된 임계 횟수와 비교하는 동작; 및comparing the number of times of the identified input with a preset threshold number; and
    상기 비교 결과에 기반하여, 상기 식별된 입력에 의한 상기 제1 조건 또는 상기 제2 조건의 만족 여부를 판단하는 동작;을 포함하는,Based on the comparison result, determining whether the first condition or the second condition by the identified input is satisfied; including,
    동작 방법.how it works.
  5. 제4 항에 있어서,According to claim 4,
    상기 식별된 입력의 횟수가 상기 기-설정된 임계 횟수 보다 작은 경우, 상기 제1 조건이 만족된 것으로 판단하는 동작; 및determining that the first condition is satisfied when the number of the identified inputs is less than the preset threshold number; and
    상기 식별된 입력의 횟수가 상기 기-설정된 임계 횟수 보다 큰 경우, 상기 제2 조건이 만족된 것으로 판단하는 동작;을 포함하는,Including, when the number of the identified inputs is greater than the preset threshold number, determining that the second condition is satisfied.
    동작 방법.how it works.
  6. 전자 장치의 동작 방법으로서, As a method of operating an electronic device,
    복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작;acquiring music files corresponding to a plurality of audio sources;
    적어도 하나의 제1 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일에 기반하여 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; outputting a first sound having a first frequency spectrum based on the music file while displaying a first screen including at least one first object;
    상기 제1 사운드를 출력하면서 상기 적어도 하나의 오브젝트에 대한 사용자 입력이 수신되지 않는 동안, 특정 종류의 이벤트를 식별하는 동작;identifying a specific type of event while outputting the first sound and not receiving a user input for the at least one object;
    상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제1 종류인 경우, 상기 제1 사운드의 제1 청각적 속성을 변경하고, 상기 제1 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제1 시각적 속성을 변경하는 동작; 및When the type of the identified event is the first type for controlling sound, a first auditory property of the first sound is changed, and the first auditory property of the first object is changed based on the change of the first auditory property. Actions that change visual properties; and
    상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제2 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제2 시각적 속성을 변경하고, 상기 제2 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제2 청각적 속성을 변경하는 동작;을 포함하는, When the type of the identified event is the second type for controlling a screen, a second visual property of the at least one first object is changed, and the first sound is generated based on the change in the second visual property. 2 operation to change auditory properties; including,
    동작 방법.how it works.
  7. 제6 항에 있어서,According to claim 6,
    상기 음악 파일에 기반하여 상기 복수의 오디오 소스들을 획득하는 동작;을 포함하고, 상기 복수의 오디오 소스들은 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 오디오 소스 셋, 및 상기 음악 파일과 연관된 제2 재생 시간에 대응하는 제2 오디오 소스 셋을 포함하고,and obtaining the plurality of audio sources based on the music file, wherein the plurality of audio sources include a first set of audio sources corresponding to a first play time associated with the music file, and a first set of audio sources associated with the music file. a second audio source set corresponding to a second playback time;
    상기 제1 사운드를 출력하는 중에 상기 제1 재생 시간에서 상기 제2 재생 시간으로 변경되는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는,Including, when the first play time is changed from the first play time to the second play time while outputting the first sound, identifying the specific type of event;
    동작 방법.how it works.
  8. 제6 항에 있어서,According to claim 6,
    상기 제1 사운드를 출력하는 중에, 상기 제1 사운드를 출력하는 시간과 연관된 정보를 식별하는 동작; 및identifying information related to a time of outputting the first sound, while outputting the first sound; and
    상기 시간과 연관된 정보가 특정 조건을 만족하는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는,Including, when the information associated with the time satisfies a specific condition, identifying the specific type of event.
    동작 방법. how it works.
  9. 제6 항에 있어서,According to claim 6,
    상기 제1 사운드를 출력하는 중에, 상기 적어도 하나의 오브젝트의 이동이 식별되는 경우, 상기 특정 종류의 이벤트를 식별하는 동작;을 포함하는,Including, when the movement of the at least one object is identified while outputting the first sound, identifying the specific type of event;
    동작 방법.how it works.
  10. 전자 장치의 동작 방법으로서, As a method of operating an electronic device,
    복수의 오디오 소스들에 대응하는 음악 파일을 획득하는 동작;acquiring music files corresponding to a plurality of audio sources;
    적어도 하나의 제1 오브젝트를 포함하는 제1 화면을 표시하면서, 상기 음악 파일과 연관된 제1 재생 시간에 대응하는 제1 주파수 스펙트럼을 갖는 제1 사운드를 출력하는 동작; outputting a first sound having a first frequency spectrum corresponding to a first playback time associated with the music file while displaying a first screen including at least one first object;
    상기 적어도 하나의 제1 오브젝트에 대한 사용자 입력과 연관된 특정 모드 전환 조건의 만족 여부를 식별하는 동작;identifying whether a specific mode conversion condition associated with a user input for the at least one first object is satisfied;
    상기 모드 전환 조건이 만족되는 경우: If the above mode switching condition is satisfied:
    상기 사용자 입력에 의해 제1 조건이 만족되는 경우: When the first condition is satisfied by the user input:
    상기 사용자 입력이 제1 입력인 경우, 제1 시각적 이펙트가 적용된 제2 화면을 표시하면서 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작; 및 outputting a second sound having a second frequency spectrum while displaying a second screen to which a first visual effect is applied when the user input is the first input; and
    상기 사용자 입력이 제2 입력인 경우, 제2 시각적 이펙트가 적용된 제3 화면을 표시하면서 제3 주파수 스펙트럼을 갖는 제3 사운드를 출력하는 동작; 및 outputting a third sound having a third frequency spectrum while displaying a third screen to which a second visual effect is applied when the user input is a second input; and
    상기 사용자 입력에 의한 제2 조건이 만족되는 경우: When the second condition by the user input is satisfied:
    상기 음악 파일과 연관된 제2 시간 구간에 대응하는 제2 주파수 스펙트럼을 갖는 제2 사운드를 출력하는 동작;을 포함하는, Outputting a second sound having a second frequency spectrum corresponding to a second time interval associated with the music file;
    상기 사용자 입력이 식별되지 않는 경우: If the above user input is not identified:
    이벤트를 식별하는 단계; identifying the event;
    상기 식별된 이벤트의 종류가 화면을 제어하기 위한 제 1 종류인 경우, 상기 적어도 하나의 제1 오브젝트의 제1 시각적 속성을 변경하고, 상기 시각적 속성의 변경에 기반하여 상기 제1 사운드의 제1 청각적 속성을 변경하는 동작; 및 When the type of the identified event is the first type for controlling a screen, a first visual property of the at least one first object is changed, and a first hearing of the first sound is performed based on the change in the visual property. Actions that change enemy attributes; and
    상기 식별된 이벤트의 종류가 사운드를 제어하기 위한 제 2 종류인 경우, 상기 제1 사운드의 제2 청각적 속성을 변경하고, 상기 청각적 속성의 변경에 기반하여 상기 제1 오브젝트의 제2 시각적 속성을 변경하는 동작;을 포함하는, When the type of the identified event is the second type for controlling sound, the second auditory property of the first sound is changed, and the second visual property of the first object is changed based on the change of the auditory property. Including; operation of changing
    동작 방법.how it works.
PCT/KR2022/018030 2021-11-18 2022-11-16 Electronic device for providing sound on basis of user input and method for operating same WO2023090831A1 (en)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR20210159077 2021-11-18
KR10-2021-0159077 2021-11-18
KR20220060385 2022-05-17
KR10-2022-0060385 2022-05-17
KR20220076269 2022-06-22
KR10-2022-0076269 2022-06-22
KR1020220098394A KR20230073078A (en) 2021-11-18 2022-08-08 Electronic device providing sound based on user input and operation method for the same
KR10-2022-0098397 2022-08-08
KR1020220098396A KR20230073080A (en) 2021-11-18 2022-08-08 Electronic device providing sound based on user input and operation method for the same
KR10-2022-0098395 2022-08-08
KR1020220098395A KR20230073079A (en) 2021-11-18 2022-08-08 Electronic device providing sound based on user input and operation method for the same
KR10-2022-0098394 2022-08-08
KR10-2022-0098396 2022-08-08
KR1020220098397A KR20230073081A (en) 2021-11-18 2022-08-08 Electronic device providing sound based on user input and operation method for the same

Publications (1)

Publication Number Publication Date
WO2023090831A1 true WO2023090831A1 (en) 2023-05-25

Family

ID=86397317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018030 WO2023090831A1 (en) 2021-11-18 2022-11-16 Electronic device for providing sound on basis of user input and method for operating same

Country Status (1)

Country Link
WO (1) WO2023090831A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118113185A (en) * 2024-03-04 2024-05-31 北京数原数字化城市研究中心 Meta universe interaction method, apparatus, device, storage medium and program product

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040190A (en) * 2009-10-13 2011-04-20 삼성전자주식회사 Apparatus and method for playing music in portable terminal
KR20140011121A (en) * 2012-07-17 2014-01-28 문봉진 Method and system for arrangement service of a music
US20160103656A1 (en) * 2014-03-28 2016-04-14 Spotify Ab System and method for playback of media content with audio spinner functionality
KR20170019242A (en) * 2015-08-11 2017-02-21 삼성전자주식회사 Method and apparatus for providing user interface in an electronic device
KR20210130069A (en) * 2020-04-21 2021-10-29 (주)드림어스컴퍼니 Apparatus for music sorting based on User preference and device applied to the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040190A (en) * 2009-10-13 2011-04-20 삼성전자주식회사 Apparatus and method for playing music in portable terminal
KR20140011121A (en) * 2012-07-17 2014-01-28 문봉진 Method and system for arrangement service of a music
US20160103656A1 (en) * 2014-03-28 2016-04-14 Spotify Ab System and method for playback of media content with audio spinner functionality
KR20170019242A (en) * 2015-08-11 2017-02-21 삼성전자주식회사 Method and apparatus for providing user interface in an electronic device
KR20210130069A (en) * 2020-04-21 2021-10-29 (주)드림어스컴퍼니 Apparatus for music sorting based on User preference and device applied to the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118113185A (en) * 2024-03-04 2024-05-31 北京数原数字化城市研究中心 Meta universe interaction method, apparatus, device, storage medium and program product

Similar Documents

Publication Publication Date Title
WO2015169124A1 (en) Terminal sound mixing system and playing method
WO2021071115A1 (en) Electronic device for processing user utterance and method of operating same
WO2010128830A2 (en) System, method, and recording medium for controlling an object in virtual world
WO2017160073A1 (en) Method and device for accelerated playback, transmission and storage of media files
WO2018088794A2 (en) Method for correcting image by device and device therefor
WO2016114428A1 (en) Method and device for performing voice recognition using grammar model
WO2020054945A1 (en) Robot and method for operating same
WO2017164480A1 (en) System for providing tactile stimulation
WO2020085641A1 (en) Display apparatus and operating method of the same
WO2023090831A1 (en) Electronic device for providing sound on basis of user input and method for operating same
WO2016089079A1 (en) Device and method for outputting response
WO2022191435A1 (en) Electronic device and system for assisting user motion
WO2021086065A1 (en) Electronic device and operating method thereof
WO2020263016A1 (en) Electronic device for processing user utterance and operation method therefor
WO2021215804A1 (en) Device and method for providing interactive audience simulation
WO2020222338A1 (en) Artificial intelligence device for providing image information, and method therefor
WO2020130662A1 (en) Electronic device and method for controlling operation of accessory-mountable robot
WO2023085679A1 (en) Electronic device and method for automatically generating edited video
WO2022216099A1 (en) Electronic device for providing sound on basis of user input, and operation method therefor
WO2022131533A1 (en) Ambient sound control method and electronic device therefor
WO2022154415A1 (en) Electronic device and method for operating avatar video service
WO2021241840A1 (en) Gesture-based control electronic device and operating method thereof
WO2024154971A1 (en) Electronic device and method for generating exercise-related content using same
WO2024058568A1 (en) Singing mode operation method and electronic device performing same
WO2024155132A1 (en) Digital human generation method and system, and digital human image generation device and driving method of device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22896037

Country of ref document: EP

Kind code of ref document: A1