KR102725315B1 - Method for generating a multimedia contents having a thermal experience and electronic device performing the same - Google Patents
Method for generating a multimedia contents having a thermal experience and electronic device performing the same Download PDFInfo
- Publication number
- KR102725315B1 KR102725315B1 KR1020160158785A KR20160158785A KR102725315B1 KR 102725315 B1 KR102725315 B1 KR 102725315B1 KR 1020160158785 A KR1020160158785 A KR 1020160158785A KR 20160158785 A KR20160158785 A KR 20160158785A KR 102725315 B1 KR102725315 B1 KR 102725315B1
- Authority
- KR
- South Korea
- Prior art keywords
- thermal
- feedback
- intensity
- thermal feedback
- output
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 313
- 230000000977 initiatory effect Effects 0.000 description 155
- 230000009471 action Effects 0.000 description 132
- 238000004891 communication Methods 0.000 description 129
- 230000035807 sensation Effects 0.000 description 78
- 230000007103 stamina Effects 0.000 description 63
- 230000001276 controlling effect Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 58
- 238000010438 heat treatment Methods 0.000 description 52
- 230000008859 change Effects 0.000 description 51
- 238000010521 absorption reaction Methods 0.000 description 48
- 230000007935 neutral effect Effects 0.000 description 39
- 238000012546 transfer Methods 0.000 description 37
- 230000003190 augmentative effect Effects 0.000 description 36
- 230000002441 reversible effect Effects 0.000 description 35
- 230000036541 health Effects 0.000 description 28
- 230000000694 effects Effects 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 25
- 230000033001 locomotion Effects 0.000 description 25
- 239000000758 substrate Substances 0.000 description 23
- 238000012937 correction Methods 0.000 description 21
- 230000007423 decrease Effects 0.000 description 21
- 230000002996 emotional effect Effects 0.000 description 21
- 238000003672 processing method Methods 0.000 description 18
- 230000001953 sensory effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 15
- 238000007654 immersion Methods 0.000 description 14
- 239000000463 material Substances 0.000 description 14
- 230000004913 activation Effects 0.000 description 13
- 238000001994 activation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000005855 radiation Effects 0.000 description 13
- 230000020169 heat generation Effects 0.000 description 12
- 244000027321 Lychnis chalcedonica Species 0.000 description 11
- 235000017899 Spathodea campanulata Nutrition 0.000 description 11
- 230000003993 interaction Effects 0.000 description 11
- 230000001976 improved effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 238000001816 cooling Methods 0.000 description 7
- 230000001939 inductive effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005266 casting Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004880 explosion Methods 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010304 firing Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 4
- 230000005679 Peltier effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010033799 Paralysis Diseases 0.000 description 2
- 229910052787 antimony Inorganic materials 0.000 description 2
- WATWJIUSRGPENY-UHFFFAOYSA-N antimony atom Chemical compound [Sb] WATWJIUSRGPENY-UHFFFAOYSA-N 0.000 description 2
- 229910052797 bismuth Inorganic materials 0.000 description 2
- JCXGWMGPZLAOME-UHFFFAOYSA-N bismuth atom Chemical compound [Bi] JCXGWMGPZLAOME-UHFFFAOYSA-N 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 206010016334 Feeling hot Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 229920002457 flexible plastic Polymers 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000005676 thermoelectric effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N10/00—Thermoelectric devices comprising a junction of dissimilar materials, i.e. devices exhibiting Seebeck or Peltier effects
- H10N10/10—Thermoelectric devices comprising a junction of dissimilar materials, i.e. devices exhibiting Seebeck or Peltier effects operating with only the Peltier or Seebeck effects
- H10N10/13—Thermoelectric devices comprising a junction of dissimilar materials, i.e. devices exhibiting Seebeck or Peltier effects operating with only the Peltier or Seebeck effects characterised by the heat-exchanging means at the junction
Abstract
본 발명은 멀티미디어 콘텐츠 생성 방법 및 이를 수행하는 전자 기기에 관한 것으로, 본 발명의 일 양상에 따른 멀티미디어 콘텐츠 생성 방법은, 동영상 재생 시 사용자의 신체에 접촉하는 접촉면을 통해 열전 소자의 열전 동작에 의한 열적 피드백을 제공하는 피드백 디바이스를 이용하여 열적 경험을 제공하는 멀티미디어 콘텐츠를 생성하는 방법으로서, 상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하는 단계; 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록, 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하는 단계; 및 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하는 단계;를 포함한다.The present invention relates to a method for generating multimedia content and an electronic device for performing the same. According to one aspect of the present invention, a method for generating multimedia content for providing a thermal experience is provided by using a feedback device that provides thermal feedback by a thermoelectric operation of a thermoelectric element through a contact surface that comes into contact with a user's body when playing a video, the method comprising: a step of acquiring an output point in time of a specific scene to be linked with the thermal feedback during a playback section of the video; a step of acquiring a thermoelectric operation start point in time that is set to a point in time earlier than the output point in time of the specific scene in consideration of a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature felt by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played; and a step of generating thermal feedback data including the thermoelectric operation start point in time.
Description
본 발명은 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법 및 이를 수행하는 전자 기기에 관한 것이다.The present invention relates to a method for generating multimedia content providing a thermal experience and an electronic device performing the same.
근래 들어 가상 현실(VR, Virtual Reality)이나 증강 현실(AR, Augmented Reality)에 대한 기술이 발달함에 따라 콘텐츠에 관한 사용자 몰입도를 증대시키기 위해 다양한 감각을 통한 피드백을 제공하려는 수요가 증대되고 있다. 특히, 2016년 세계가전전시회(CES: Consumer Electronics Show)에서는 미래 유망 기술 중 하나로 가상 현실 기술을 들기도 했다. 이러한 추세와 맞물려, 현재 주로 시각과 청각에 국한된 사용자 경험(UX: User eXperience)에서 벗어나, 향후 후각이나 촉각을 비롯한 인간의 모든 감각에 대한 사용자 경험을 제공하기 위한 연구가 활발히 진행되고 있다. Recently, with the development of technologies for Virtual Reality (VR) and Augmented Reality (AR), the demand for providing feedback through various senses to increase user immersion in content is increasing. In particular, at the 2016 Consumer Electronics Show (CES), VR technology was cited as one of the promising future technologies. In line with this trend, research is actively being conducted to provide user experiences for all human senses, including smell and touch, beyond the current user experience (UX: User eXperience) that is mainly limited to sight and hearing.
열전 소자(TE: ThermoElement)는 펠티에 효과(Peltier effect)에 의해 전기 에너지를 인가받아 발열 반응이나 흡열 반응을 일으키는 소자로서 사용자에게 열적 피드백을 제공하는데 이용될 것으로 기대되어 왔으나, 주로 평판 기판을 이용한 기존의 열전 소자는 사용자의 신체 부위에 밀착되기 어려워 그 응용이 제한되어 왔다. Thermoelectric elements (TEs) are elements that generate exothermic or endothermic reactions by applying electrical energy through the Peltier effect, and have been expected to be used to provide thermal feedback to users. However, existing thermoelectric elements that mainly use flat substrates have had difficulty coming into close contact with the user's body, which has limited their application.
그러나, 최근에 유연 열전 소자(FTE: Flexible ThermoElement)의 개발이 성공 단계에 접어듦에 따라, 종래의 열전 소자의 문제점을 극복하고 사용자에게 효과적으로 열적 피드백을 전달할 수 있을 것으로 기대되고 있다. However, as the development of flexible thermoelectric elements (FTEs) has recently reached a successful stage, it is expected that they will be able to overcome the problems of conventional thermoelectric elements and effectively convey thermal feedback to users.
본 발명의 과제는, 사용자에게 멀티미디어 콘텐츠 재생 시 열적 피드백을 출력함으로써 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법 및 이를 수행하는 전자 기기를 제공하는 것이다..The object of the present invention is to provide a method for generating multimedia content that provides a thermal experience to a user by outputting thermal feedback when playing multimedia content, and an electronic device that performs the same.
본 발명의 다른 과제는, 멀티미디어 콘텐츠 재생 시 열적 피드백의 출력 타이밍을 제어하여 콘텐츠 몰입도를 향상시키는 멀티미디어 콘텐츠 생성 방법 및 이를 수행하는 전자 기기를 제공하는 것이다..Another object of the present invention is to provide a method for generating multimedia content that enhances content immersion by controlling the output timing of thermal feedback when playing multimedia content, and an electronic device that performs the same.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems described above, and problems not mentioned can be clearly understood by a person having ordinary skill in the art to which the present invention belongs from this specification and the attached drawings.
본 발명의 일 양상에 따르면, 동영상 재생 시 사용자의 신체에 접촉하는 접촉면을 통해 열전 소자의 열전 동작에 의한 열적 피드백을 제공하는 피드백 디바이스를 이용하여 열적 경험을 제공하는 멀티미디어 콘텐츠를 생성하는 방법으로서, 상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하는 단계; 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록, 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하는 단계; 및 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하는 단계;를 포함하는 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법이 제공될 수 있다. According to one aspect of the present invention, a method for generating multimedia content providing a thermal experience by using a feedback device that provides thermal feedback by a thermoelectric operation of a thermoelectric element through a contact surface that comes into contact with a user's body when playing a video is provided, the method comprising: a step of acquiring an output point in time of a specific scene to be linked with the thermal feedback during a playback section of the video; a step of acquiring a thermoelectric operation start point in time that is set to a point in time earlier than the output point in time of the specific scene by considering a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature perceived by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played; and a step of generating thermal feedback data including the thermoelectric operation start point in time.
본 발명의 다른 양상에 따르면, 동영상 재생 시 열전 소자의 열전 동작에 의한 열적 피드백을 사용자의 신체에 접촉하는 접촉면을 통해 제공하는 피드백 디바이스를 이용하여 열적 경험을 제공하는 멀티미디어 콘텐츠를 생성하는 전자 기기로서, 데이터를 저장하는 메모리; 및 상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하고, 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하고, 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하여 상기 메모리에 저장하는 콘트롤러;를 포함하는 전자 기기가 제공될 수 있다. According to another aspect of the present invention, an electronic device for generating multimedia content that provides thermal experience by using a feedback device that provides thermal feedback by a thermoelectric operation of a thermoelectric element through a contact surface that contacts a user's body during video playback, the electronic device including: a memory that stores data; and a controller that acquires an output point in time of a specific scene to be linked with the thermal feedback during a playback section of the video, and acquires a thermoelectric operation start point in time that is set to a point in time earlier than the output point in time of the specific scene by considering a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature felt by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played, and generates thermal feedback data including the thermoelectric operation start point in time and stores the thermal feedback data in the memory.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the solutions described above, and solutions that are not mentioned can be clearly understood by a person skilled in the art to which the present invention pertains from this specification and the attached drawings.
본 발명에 의하면, 멀티미디어 콘텐츠 재생 시 열적 피드백을 출력함으로써 열적 경험을 제공하는 멀티미디어 콘텐츠를 만들 수 있다. According to the present invention, it is possible to create multimedia content that provides a thermal experience by outputting thermal feedback when playing multimedia content.
또 본 발명에 의하면, 멀티미디어 콘텐츠 재생 시 열적 피드백의 출력 타이밍을 제어하여 열적 피드백과 영상 출력이 서로 연동됨으로써 사용자가 콘텐츠에 잘 몰입하도록 할 수 있다.In addition, according to the present invention, by controlling the output timing of thermal feedback when playing multimedia content, the thermal feedback and image output can be linked to each other, thereby allowing the user to be well immersed in the content.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects described above, and effects not mentioned can be clearly understood by a person skilled in the art from this specification and the attached drawings.
도 1은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 구성에 관한 블록도이다.
도 2는 본 발명의 실시예에 따른 콘텐츠 재생 디바이스의 구성에 관한 블록도이다.
도 3은 본 발명의 실시예에 따른 시청각 디바이스의 구성에 관한 블록도이다.
도 4는 본 발명의 실시예에 따른 피드백 디바이스의 구성에 관한 블록도이다.
도 5는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 개략도이다.
도 6은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 구성에 관한 블록도이다.
도 7 및 도 8은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 HMD의 예시적 형태를 도시한 개략도이다.
도 9는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 HMD의 구성에 관한 블록도이다.
도 10 및 도 11은 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 입력 디바이스의 예시적 형태를 도시한 개략도이다.
도 12는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 입력 디바이스의 구성에 관한 블록도이다.
도 13 내지 도 17은 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 입력 디바이스의 다른 예시적 형태를 도시한 개략도이다.
도 18및 도 22는 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제1 구현예의 웨어러블 디바이스의 예시적 형태를 도시한 개략도이다.
도 23은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제2 구현예의 개략도이다.
도 24는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제2 구현예의 구성에 관한 블록도이다.
도 25는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제2 구현예의 스마트 디바이스의 구성에 관한 블록도이다.
도 26은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제3 구현예의 개략도이다.
도 27은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제3 구현예의 구성에 관한 블록도이다.
도 28는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제4 구현예의 개략도이다.
도 29는 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제5 구현예의 개략도이다.
도 30은 본 발명의 실시예에 따른 열적 경험 제공 시스템의 제6 구현예의 개략도이다.
도 31은 본 발명의 실시예에 따른 열 출력 모듈의 구성에 관한 블록도이다.
도 32는 본 발명의 실시예에 따른 열 출력 모듈의 일 형태에 관한 도면이다.
도 33은 본 발명의 실시예에 따른 열 출력 모듈의 다른 형태에 관한 도면이다.
도 34는 본 발명의 실시예에 따른 열 출력 모듈의 또 다른 형태에 관한 도면이다.
도 35는 본 발명의 실시예에 따른 열 출력 모듈의 다시 또 다른 형태에 관한 도면이다.
도 36은 본 발명의 실시예에 따른 온감 피드백을 제공하기 위한 발열 동작에 관한 도면이다.
도 37은 본 발명의 실시예에 따른 온감 피드백의 강도에 관한 그래프이다.
도 38은 본 발명의 실시예에 따른 냉감 피드백을 제공하기 위한 흡열 동작에 관한 도면이다.
도 39는 본 발명의 실시예에 따른 냉감 피드백의 강도에 관한 그래프이다.
도 40은 본 발명의 실시예에 따른 전압 조절을 이용한 온감/냉감 피드백의 강도에 관한 그래프이다.
도 41은 본 발명의 실시예에 따른 동일 온도 변화량을 갖는 온감/냉감 피드백에 관한 그래프이다.
도 42는 본 발명의 실시예에 따른 전압 조절 방식의 열 그릴 동작에 관한 도면이다.
도 43은 본 발명의 실시예에 따른 전압 조절 방식에서 중립 열 그릴 피드백을 제공하기 위한 전압에 관한 표이다.
도 44는 본 발명의 실시예에 따른 열적 경험 제공 방법의 기본 순서도이다.
도 45는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예의 순서도이다.
도 46은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예에 이용되는 열적 피드백 데이터의 일 예에 관한 도면이다.
도 47는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예의 열적 피드백 출력 동작에 관한 도면이다.
도 48은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제2 구현예의 순서도이다.
도 49는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예의 순서도이다.
도 50은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예에 이용되는 스킬-열적 피드백 테이블에 관한 도면이다.
도 51은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제4 구현예의 순서도이다.
도 52는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제4 구현예에서 제공되는 지문 제시 이벤트와 관련된 도면이다.
도 53은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제5 구현예의 순서도이다.
도 54는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제6 구현예의 순서도이다.
도 55는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제7 구현예의 순서도이다.
도 56은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제7 구현예에 따른 타이밍 액션을 제공하는 게임에 관한 도면이다.
도 57은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제8 구현예의 순서도이다.
도 58은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제8 구현예에서 게임 내의 가상 공간을 도시한 도면이다.
도 59는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제9 구현예의 순서도이다.
도 60은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제10 구현예의 순서도이다.
도 61은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제11 구현예의 순서도이다.
도 62는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제14 구현예의 순서도이다.
도 63은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제15 구현예의 순서도이다.
도 64는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제16 구현예의 순서도이다.
도 65는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제17 구현예의 순서도이다.
도 66은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제17 구현예에 따른 1인칭 게임에서 열적 이벤트의 발생 지점에 따른 열적 피드백 대상을 도시한 도면이다.
도 67은 본 발명의 실시예에 따른 전자 기기에 관한 블록도이다.
도 68은 본 발명의 실시예에 따른 멀티미디어 콘텐츠 생성 방법의 제1 구현예의 순서도이다.FIG. 1 is a block diagram of a configuration of a thermal experience providing system according to an embodiment of the present invention.
FIG. 2 is a block diagram of a configuration of a content playback device according to an embodiment of the present invention.
FIG. 3 is a block diagram of the configuration of an audiovisual device according to an embodiment of the present invention.
FIG. 4 is a block diagram of a configuration of a feedback device according to an embodiment of the present invention.
FIG. 5 is a schematic diagram of a first embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 6 is a block diagram of a configuration of a first embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIGS. 7 and 8 are schematic diagrams illustrating an exemplary form of an HMD of a first embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIG. 9 is a block diagram of the configuration of an HMD of a first embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIGS. 10 and 11 are schematic diagrams illustrating exemplary forms of input devices of a first embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 12 is a block diagram of the configuration of an input device of a first embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIGS. 13 to 17 are schematic diagrams illustrating other exemplary forms of an input device of a first embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 18 and FIG. 22 are schematic diagrams illustrating an exemplary form of a wearable device of a first embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 23 is a schematic diagram of a second embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 24 is a block diagram of a configuration of a second embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIG. 25 is a block diagram of a configuration of a smart device of a second embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIG. 26 is a schematic diagram of a third embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 27 is a block diagram of a configuration of a third embodiment of a thermal experience provision system according to an embodiment of the present invention.
FIG. 28 is a schematic diagram of a fourth embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 29 is a schematic diagram of a fifth embodiment of a thermal experience providing system according to an embodiment of the present invention.
FIG. 30 is a schematic diagram of a sixth embodiment of a thermal experience providing system according to an embodiment of the present invention.
Figure 31 is a block diagram of the configuration of a heat output module according to an embodiment of the present invention.
FIG. 32 is a drawing of one form of a heat output module according to an embodiment of the present invention.
FIG. 33 is a drawing of another form of a heat output module according to an embodiment of the present invention.
FIG. 34 is a drawing of another form of a heat output module according to an embodiment of the present invention.
FIG. 35 is a drawing of yet another form of a heat output module according to an embodiment of the present invention.
FIG. 36 is a drawing of a heating operation for providing thermal feedback according to an embodiment of the present invention.
Figure 37 is a graph regarding the intensity of thermal feedback according to an embodiment of the present invention.
FIG. 38 is a drawing of an absorption operation for providing cooling feedback according to an embodiment of the present invention.
Figure 39 is a graph regarding the intensity of cooling feedback according to an embodiment of the present invention.
Figure 40 is a graph regarding the intensity of hot/cold feedback using voltage control according to an embodiment of the present invention.
Figure 41 is a graph of hot/cold feedback with the same temperature change amount according to an embodiment of the present invention.
FIG. 42 is a diagram of a heat grill operation using a voltage control method according to an embodiment of the present invention.
FIG. 43 is a table regarding voltages for providing neutral heat grill feedback in a voltage regulation method according to an embodiment of the present invention.
Figure 44 is a basic flowchart of a method for providing thermal experience according to an embodiment of the present invention.
Figure 45 is a flowchart of a first embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 46 is a diagram illustrating an example of thermal feedback data used in a first embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
FIG. 47 is a diagram illustrating a thermal feedback output operation of a first embodiment of a method for providing thermal experience according to an embodiment of the present invention.
Figure 48 is a flowchart of a second embodiment of a method for providing thermal experience according to an embodiment of the present invention.
Figure 49 is a flowchart of a third embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 50 is a diagram of a skill-thermal feedback table used in a third embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
FIG. 51 is a flowchart of a fourth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 52 is a diagram related to a fingerprint presentation event provided in a fourth embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
FIG. 53 is a flowchart of a fifth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
Figure 54 is a flowchart of a sixth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
Figure 55 is a flowchart of a seventh embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 56 is a drawing of a game providing timing actions according to a seventh embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
Figure 57 is a flowchart of an eighth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 58 is a diagram illustrating a virtual space within a game in an eighth implementation example of a method for providing a thermal experience according to an embodiment of the present invention.
FIG. 59 is a flowchart of a ninth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 60 is a flowchart of a tenth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 61 is a flowchart of an eleventh embodiment of a method for providing thermal experience according to an embodiment of the present invention.
Figure 62 is a flowchart of a 14th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 63 is a flowchart of a fifteenth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 64 is a flowchart of a 16th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 65 is a flowchart of a 17th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
FIG. 66 is a diagram illustrating a thermal feedback target according to a point of occurrence of a thermal event in a first-person game according to a 17th implementation example of a method for providing a thermal experience according to an embodiment of the present invention.
Fig. 67 is a block diagram of an electronic device according to an embodiment of the present invention.
Figure 68 is a flowchart of a first implementation example of a method for generating multimedia content according to an embodiment of the present invention.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.Since the embodiments described in this specification are intended to clearly explain the idea of the present invention to a person having ordinary skill in the art to which the present invention pertains, the present invention is not limited to the embodiments described in this specification, and the scope of the present invention should be interpreted to include modified or altered examples that do not depart from the idea of the present invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected from commonly used terms that are as much as possible in consideration of their functions in the present invention, but this may vary depending on the intention of a person with ordinary knowledge in the technical field to which the present invention belongs, customs, or the emergence of new technologies. However, if a specific term is defined and used with an arbitrary meaning, the meaning of that term will be described separately. Accordingly, the terms used in this specification should be interpreted based on the actual meaning of the term and the overall contents of this specification, not simply the name of the term.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to this specification are intended to facilitate explanation of the present invention, and shapes depicted in the drawings may be exaggerated as necessary to help understanding of the present invention, and therefore the present invention is not limited by the drawings.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In cases where it is determined that a specific description of a known configuration or function related to the present invention in this specification may obscure the gist of the present invention, a detailed description thereof will be omitted as necessary.
본 발명의 일 양상에 따르면, 동영상에 관한 영상 데이터 및 상기 동영상 중 특정 장면에 연동되는 열적 피드백에 관한 열적 피드백 데이터를 포함하는 멀티미디어 콘텐츠를 재생하는 단계; 상기 열적 피드백을 위한 열전 동작의 개시로부터 상기 열적 피드백에 대한 사용자의 체감까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하는 단계; 및 상기 특정 장면의 출력 시점에 상기 사용자에게 상기 특정 장면과 상기 열적 피드백이 연동되어 제공되도록, 상기 멀티미디어 콘텐츠의 재생 시점이 상기 열전 동작 개시 시점에 도달한 경우 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스로 상기 피드백 개시 메시지를 송신하고 상기 멀티미디어 콘텐츠의 재생 시점이 상기 특정 장면의 출력 시점에 도달한 경우 디스플레이를 통해 상기 특정 장면을 출력하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다. According to one aspect of the present invention, a method for providing a thermal experience may be provided, including: a step for reproducing multimedia content including image data regarding a video and thermal feedback data regarding thermal feedback linked to a specific scene of the video; a step for acquiring a thermal operation start time set to a time earlier than an output time of the specific scene in consideration of a delay time required from the start of a thermal operation for the thermal feedback to a user's perception of the thermal feedback; and a step for transmitting a feedback start message to a feedback device that outputs the thermal feedback using a thermal element when the playback time of the multimedia content reaches the thermal operation start time so that the specific scene and the thermal feedback are provided to the user in conjunction with each other at the output time of the specific scene, and when the playback time of the multimedia content reaches the output time of the specific scene, outputting the specific scene through a display.
여기서, 상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점일 수 있다.Here, the starting point of the thermal operation may be a point in time earlier than the playback point of the specific scene by the delay time.
또 여기서, 상기 열적 피드백 데이터는, 상기 열적 피드백에 연동되는 상기 특정 장면의 식별 정보를 포함하고, 상기 획득하는 단계는, 상기 열적 피드백 데이터로부터 상기 열적 피드백에 연동되는 상기 특정 장면의 식별 정보를 획득하는 단계, 상기 특정 장면의 식별 정보에 기초하여 상기 영상 데이터로부터 상기 특정 장면의 출력 시점을 획득하는 단계 및 상기 특정 장면의 출력 시점과 상기 지연 시간에 기초하여 상기 열전 동작 개시 시점을 산출하는 단계를 포함할 수 있다.In addition, the thermal feedback data here may include identification information of the specific scene linked to the thermal feedback, and the obtaining step may include a step of obtaining identification information of the specific scene linked to the thermal feedback from the thermal feedback data, a step of obtaining an output time of the specific scene from the image data based on the identification information of the specific scene, and a step of calculating the thermal operation start time based on the output time of the specific scene and the delay time.
또 여기서, 상기 열전 동작의 개시 시점을 산출하는 단계에서, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출할 수 있다.Also, in this case, in the step of calculating the start time of the thermal operation, a time point preceding the output time of the specific scene by the delay time can be calculated as the start time of the thermal operation.
또 여기서, 상기 열적 피드백 데이터는, 상기 특정 장면의 출력 시점과 동일하게 설정된 상기 열적 피드백의 출력 시점을 포함하고, 상기 획득하는 단계는, 상기 열적 피드백 데이터로부터 상기 열적 피드백의 출력 시점을 획득하는 단계 및 상기 열적 피드백의 출력 시점과 상기 지연 시간에 기초하여 상기 열전 동작 개시 시점을 산출하는 단계를 포함할 수 있다. In addition, the thermal feedback data may include an output time point of the thermal feedback set to be the same as the output time point of the specific scene, and the obtaining step may include a step of obtaining the output time point of the thermal feedback from the thermal feedback data and a step of calculating the thermal operation start time point based on the output time point of the thermal feedback and the delay time.
또 여기서, 상기 열전 동작 시점을 산출하는 단계에서, 상기 열적 피드백의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 시점으로 산출할 수 있다. Also, in this case, in the step of calculating the thermoelectric operation point, a point in time preceding the output point of the thermal feedback by the delay time can be calculated as the thermoelectric operation point.
또 여기서, 상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함할 수 있다. In addition, the thermoelectric operation may include at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
또 여기서, 상기 열적 피드백 데이터는, 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 정보를 포함하고, 상기 열적 피드백 데이터에 기초하여 상기 열적 피드백의 종류를 판단하는 단계; 및 상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다. In addition, the thermal feedback data may further include information about the type of the thermal feedback, including hot feedback and cold feedback, and a step of determining the type of the thermal feedback based on the thermal feedback data; and a step of obtaining the delay time by considering the type of the thermal feedback.
또 여기서, 상기 열적 피드백 데이터는, 상기 열적 피드백의 강도에 관한 정보를 포함하고, 상기 열적 피드백 데이터에 기초하여 상기 열적 피드백의 강도를 판단하는 단계; 및 상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다.In addition, the thermal feedback data may further include a step of determining the intensity of the thermal feedback based on the thermal feedback data, and a step of obtaining the delay time by considering the intensity of the thermal feedback.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 클 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be longer than the first delay time with respect to the first intensity.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 작을 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be smaller than the first delay time with respect to the first intensity.
또 여기서, 상기 피드백 디바이스로부터 상기 피드백 디바이스의 식별 정보를 획득하는 단계; 및 상기 피드백 디바이스의 식별 정보를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of obtaining identification information of the feedback device from the feedback device; and a step of obtaining the delay time by considering the identification information of the feedback device.
또 여기서, 상기 피드백 디바이스로부터 상기 지연 시간에 관한 정보를 수신하는 단계;를 더 포함할 수 있다. In addition, the method may further include a step of receiving information about the delay time from the feedback device.
또 여기서, 상기 영상 데이터 및 상기 열적 피드백 데이터는, 단일 파일로 제공될 수 있다.Also, the image data and the thermal feedback data can be provided as a single file.
또 여기서, 상기 영상 데이터 및 상기 열적 피드백 데이터는, 각각 별개의 파일로 제공될 수 있다. Also, the image data and the thermal feedback data can be provided as separate files.
또 여기서, 상기 출력하는 단계에서, 상기 디스플레이가 탑재된 외부 기기로 영상 신호를 송신함으로써 상기 디스플레이를 통해 상기 특정 장면을 출력할 수 있다.Also, in this case, in the outputting step, the specific scene can be output through the display by transmitting a video signal to an external device equipped with the display.
본 발명의 다른 양상에 따르면, 데이터를 저장하는 메모리; 외부 기기와 통신을 수행하는 통신 모듈; 및 상기 메모리로부터 동영상에 관한 영상 데이터 및 상기 동영상 중 특정 장면에 연동되는 열적 피드백에 관한 열적 피드백 데이터를 포함하는 멀티미디어 콘텐츠를 획득하여 재생하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 열적 피드백을 위한 열전 동작의 개시로부터 상기 열적 피드백에 대한 사용자의 체감까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하고, 상기 특정 장면의 출력 시점에 상기 사용자에게 상기 특정 장면과 상기 열적 피드백이 연동되어 제공되도록, 상기 멀티미디어 콘텐츠의 재생 시점이 상기 열전 동작 개시 시점에 도달한 경우 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스로 상기 피드백 개시 메시지를 상기 통신 모듈을 통해 송신하고 상기 멀티미디어 콘텐츠의 재생 시점이 상기 특정 장면의 출력 시점에 도달한 경우 디스플레이를 통해 상기 특정 장면을 출력하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to another aspect of the present invention, there is provided a content playback device comprising: a memory for storing data; a communication module for performing communication with an external device; and a controller for acquiring and playing multimedia content including image data regarding a video and thermal feedback data regarding thermal feedback linked to a specific scene of the video from the memory; wherein the controller acquires a thermal operation start time that is set to a time point earlier than an output time point of the specific scene in consideration of a delay time required from the start of a thermal operation for the thermal feedback to a user's perception of the thermal feedback, and transmits a feedback start message to a feedback device that outputs the thermal feedback using a thermal element when the playback time point of the multimedia content reaches the thermal operation start time point so that the specific scene and the thermal feedback are linked and provided to the user at the output time point of the specific scene, through the communication module, and outputs the specific scene through a display when the playback time point of the multimedia content reaches the output time point of the specific scene.
여기서, 상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점일 수 있다.Here, the starting point of the thermal operation may be a point in time earlier than the playback point of the specific scene by the delay time.
또 여기서, 상기 열적 피드백 데이터는, 상기 열적 피드백에 연동되는 상기 특정 장면의 식별 정보를 포함하고, 상기 콘트롤러는, 상기 열적 피드백 데이터로부터 상기 열적 피드백에 연동되는 상기 특정 장면의 식별 정보를 획득하고, 상기 특정 장면의 식별 정보에 기초하여 상기 영상 데이터로부터 상기 특정 장면의 출력 시점을 획득하고, 상기 특정 장면의 출력 시점과 상기 지연 시간에 기초하여 상기 열전 동작 개시 시점을 산출할 수 있다. In addition, the thermal feedback data includes identification information of the specific scene linked to the thermal feedback, and the controller can obtain identification information of the specific scene linked to the thermal feedback from the thermal feedback data, obtain an output time of the specific scene from the image data based on the identification information of the specific scene, and calculate the thermal operation start time based on the output time of the specific scene and the delay time.
또 여기서, 상기 콘트롤러는, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출할 수 있다.Also, here, the controller can calculate a time point that is earlier than the delay time from the output time point of the specific scene as the start time of the thermal operation.
또 여기서, 상기 열적 피드백 데이터는, 상기 특정 장면의 출력 시점과 동일하게 설정된 상기 열적 피드백의 출력 시점을 포함하고, 상기 콘트롤러는, 상기 열적 피드백 데이터로부터 상기 열적 피드백의 출력 시점을 획득하고, 상기 열적 피드백의 출력 시점과 상기 지연 시간에 기초하여 상기 열전 동작 개시 시점을 산출할 수 있다.In addition, the thermal feedback data includes an output time point of the thermal feedback set to be the same as the output time point of the specific scene, and the controller can obtain the output time point of the thermal feedback from the thermal feedback data, and calculate the thermal operation start time point based on the output time point of the thermal feedback and the delay time.
또 여기서, 상기 콘트롤러는, 상기 열적 피드백의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 시점으로 산출할 수 있다.Also, here, the controller can calculate a time point that is earlier than the delay time from the output time point of the thermal feedback as the thermoelectric operation time point.
또 여기서, 상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함할 수 있다.In addition, the thermoelectric operation may include at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
또 여기서, 상기 열적 피드백 데이터는, 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 정보를 포함하고, 상기 콘트롤러는, 상기 열적 피드백 데이터에 기초하여 상기 열적 피드백의 종류를 판단하고, 상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득할 수 있다.Also, in this case, the thermal feedback data includes information about the type of the thermal feedback, including hot feedback and cold feedback, and the controller can determine the type of the thermal feedback based on the thermal feedback data and obtain the delay time by considering the type of the thermal feedback.
또 여기서, 상기 열적 피드백 데이터는, 상기 열적 피드백의 강도에 관한 정보를 포함하고, 상기 콘트롤러는, 상기 열적 피드백 데이터에 기초하여 상기 열적 피드백의 강도를 판단하고, 상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득할 수 있다.Also, in this case, the thermal feedback data includes information about the intensity of the thermal feedback, and the controller can determine the intensity of the thermal feedback based on the thermal feedback data and obtain the delay time by considering the intensity of the thermal feedback.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 클 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be longer than the first delay time with respect to the first intensity.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 작을 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be smaller than the first delay time with respect to the first intensity.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 상기 피드백 디바이스로부터 상기 피드백 디바이스의 식별 정보를 획득하고, 상기 피드백 디바이스의 식별 정보를 고려하여 상기 지연 시간을 획득할 수 있다.In addition, the controller can obtain identification information of the feedback device from the feedback device through the communication module, and obtain the delay time by considering the identification information of the feedback device.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 상기 피드백 디바이스로부터 상기 지연 시간에 관한 정보를 수신할 수 있다.Also, the controller can receive information about the delay time from the feedback device through the communication module.
또 여기서, 상기 메모리에는, 상기 영상 데이터 및 상기 열적 피드백 데이터가 단일 파일로 저장될 수 있다.Also, in this case, the image data and the thermal feedback data can be stored in the memory as a single file.
또 여기서, 상기 메모리에는, 상기 영상 데이터 및 상기 열적 피드백 데이터가 각각 별개의 파일로 저장될 수 있다. Also, in this case, the image data and the thermal feedback data can be stored as separate files in the memory.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 상기 멀티미디어 콘텐츠를 수신하여 상기 메모리에 저장할 수 있다.Also, the controller can receive the multimedia content through the communication module and store it in the memory.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 상기 디스플레이가 탑재된 외부 기기로 영상 신호를 송신함으로써 상기 디스플레이를 통해 상기 특정 장면을 출력할 수 있다.Also, in this case, the controller can output the specific scene through the display by transmitting a video signal to an external device equipped with the display through the communication module.
본 발명의 또 다른 양상에 따르면, 데이터를 저장하는 메모리, 외부 기기와 통신을 수행하는 제1 통신 모듈 및 상기 메모리로부터 동영상에 관한 영상 데이터 및 상기 동영상 중 특정 장면에 연동되는 열적 피드백에 관한 열적 피드백 데이터를 포함하는 멀티미디어 콘텐츠를 획득하여 재생하는 콘트롤러를 포함하는 콘텐츠 재생 디바이스; 및 외부 기기와 통신을 수행하는 제2 통신 모듈, 상기 열적 피드백을 위한 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 상기 열전 동작을 위한 전원을 인가하는 피드백 콘트롤러 및 상기 사용자의 신체에 접촉하여 상기 열전 동작에 의해 발생한 열을 사용자에게 전달하는 접촉면을 포함하는 피드백 디바이스;를 포함하되, 상기 콘트롤러는, 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하고, 상기 멀티미디어 콘텐츠의 재생 시점이 상기 열전 동작 개시 시점에 도달한 경우 상기 피드백 디바이스로 상기 피드백 개시 메시지를 상기 제1 통신 모듈을 통해 송신하고, 상기 멀티미디어 콘텐츠의 재생 시점이 상기 특정 장면의 출력 시점에 도달한 경우 디스플레이를 통해 상기 특정 장면을 출력하고, 상기 피드백 콘트롤러는, 상기 제2 통신 모듈을 통해 상기 피드백 개시 메시지가 수신된 경우 상기 특정 장면의 출력 시점에 상기 사용자에게 상기 특정 장면과 상기 열적 피드백이 연동되어 제공되도록 상기 열전 소자에 상기 전원을 인가하는 열적 경험 제공 시스템이 제공될 수 있다. According to another aspect of the present invention, there is provided a content playback device including a memory for storing data, a first communication module for communicating with an external device, and a controller for acquiring and playing multimedia content including image data regarding a moving picture and thermal feedback data regarding thermal feedback linked to a specific scene of the moving picture from the memory; And a second communication module that performs communication with an external device, a thermoelectric element that performs a thermoelectric operation for the thermal feedback, a feedback controller that applies power for the thermoelectric operation to the thermoelectric element, and a feedback device that includes a contact surface that contacts the user's body and transfers heat generated by the thermoelectric operation to the user; wherein the controller acquires a thermoelectric operation start time that is set to a time point earlier than the output time point of the specific scene in consideration of a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature felt by the user, and transmits the feedback start message to the feedback device through the first communication module when the playback time point of the multimedia content reaches the thermoelectric operation start time, and outputs the specific scene through a display when the playback time point of the multimedia content reaches the output time point of the specific scene, and the feedback controller, when the feedback start message is received through the second communication module, applies the power to the thermoelectric element so that the specific scene and the thermal feedback are provided in conjunction with each other to the user at the output time point of the specific scene. Providing a thermal experience A system can be provided.
본 발명의 다시 또 다른 양상에 따르면, 동영상에 관한 영상 데이터 및 상기 동영상 중 특정 장면에 연동되는 열적 피드백에 관한 열적 피드백 데이터를 포함하는 멀티미디어 콘텐츠의 재생 시 사용자에게 열적 경험을 제공하는 피드백 디바이스로서, 상기 열적 피드백을 위한 열전 동작을 수행하는 열전 소자; 상기 열전 소자에 상기 열전 동작을 위한 전원을 인가하는 피드백 콘트롤러; 및 상기 사용자의 신체에 접촉하여 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달하는 접촉면;을 포함하되, 상기 피드백 콘트롤러는, 상기 특정 장면의 출력 시점에 상기 사용자에게 상기 특정 장면과 상기 열적 피드백이 연동되어 제공되도록, 상기 멀티미디어 콘텐츠의 재생 시점이 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점에 도달한 경우 상기 열전 소자에 상기 전원을 인가하는 피드백 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, a feedback device for providing a thermal experience to a user when playing multimedia content including image data regarding a video and thermal feedback data regarding thermal feedback linked to a specific scene of the video, comprising: a thermoelectric element performing a thermoelectric operation for the thermal feedback; a feedback controller applying power for the thermoelectric operation to the thermoelectric element; and a contact surface contacting the user's body to transfer heat generated by the thermoelectric operation to the user; wherein the feedback controller is provided with a feedback device for applying power to the thermoelectric element when the thermoelectric operation start point, which is set to be a point in time earlier than the output point of the specific scene in consideration of a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature perceived by the user, so that the specific scene and the thermal feedback are provided to the user in conjunction with the specific scene at the output point of the specific scene.
본 발명의 다시 또 다른 양상에 따르면, 동영상 재생 시 사용자의 신체에 접촉하는 접촉면을 통해 열전 소자의 열전 동작에 의한 열적 피드백을 제공하는 피드백 디바이스를 이용하여 열적 경험을 제공하는 멀티미디어 콘텐츠를 생성하는 방법으로서, 상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하는 단계; 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록, 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하는 단계; 및 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하는 단계;를 포함하는 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법이 제공될 수 있다. According to yet another aspect of the present invention, a method for generating multimedia content providing a thermal experience by using a feedback device that provides thermal feedback by a thermoelectric operation of a thermoelectric element through a contact surface that comes into contact with a user's body during video playback, the method comprising: a step of acquiring an output point in time of a specific scene to be linked with the thermal feedback during a playback section of the video; a step of acquiring a thermoelectric operation start point in time that is set to a point in time earlier than the output point in time of the specific scene by considering a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature perceived by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played; and a step of generating thermal feedback data including the thermoelectric operation start point in time.
여기서, 상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점일 수 있다.Here, the starting point of the thermal operation may be a point in time earlier than the playback point of the specific scene by the delay time.
또 여기서, 상기 열전 동작 개시 시점을 획득하는 단계에서, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출할 수 있다.Also, in this case, in the step of obtaining the thermal operation start time, a time point preceding the output time of the specific scene by the delay time can be calculated as the thermal operation start time.
또 여기서, 상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함할 수 있다.In addition, the thermoelectric operation may include at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
또 여기서, 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 정보를 획득하는 단계; 및 상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of obtaining information about the type of thermal feedback including warm feedback and cold feedback; and a step of obtaining the delay time by considering the type of thermal feedback.
또 여기서, 상기 열적 피드백의 강도에 관한 정보를 획득하는 단계; 및 상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of obtaining information about the intensity of the thermal feedback; and a step of obtaining the delay time by considering the intensity of the thermal feedback.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 클 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be longer than the first delay time with respect to the first intensity.
또 여기서, 상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고, 상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 작을 수 있다.Also herein, the intensity of the thermal feedback may include a first intensity and a second intensity stronger than the first intensity, and the second delay time with respect to the second intensity may be smaller than the first delay time with respect to the first intensity.
또 여기서, 상기 피드백 디바이스의 식별 정보를 획득하는 단계; 및 상기 피드백 디바이스의 식별 정보를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of obtaining identification information of the feedback device; and a step of obtaining the delay time by considering the identification information of the feedback device.
또 여기서, 상기 열적 피드백 데이터 및 상기 동영상에 관한 영상 데이터가 병합된 단일 파일을 작성하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of creating a single file in which the thermal feedback data and the image data regarding the video are merged.
또 여기서, 상기 열적 피드백 데이터를 포함하는 파일을 상기 동영상에 관한 영상 데이터를 포함하는 파일과 별개로 작성하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of creating a file including the thermal feedback data separately from a file including image data regarding the video.
본 발명의 다시 또 다른 양상에 따르면, 동영상 재생 시 열전 소자의 열전 동작에 의한 열적 피드백을 사용자의 신체에 접촉하는 접촉면을 통해 제공하는 피드백 디바이스를 이용하여 열적 경험을 제공하는 멀티미디어 콘텐츠를 생성하는 전자 기기로서, 데이터를 저장하는 메모리; 및 상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하고, 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하고, 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하여 상기 메모리에 저장하는 콘트롤러;를 포함하는 전자 기기가 제공될 수 있다. According to yet another aspect of the present invention, an electronic device may be provided which generates multimedia content that provides thermal experience by using a feedback device that provides thermal feedback by a thermoelectric operation of a thermoelectric element through a contact surface that contacts a user's body during video playback, the electronic device comprising: a memory that stores data; and a controller that acquires an output point in time of a specific scene to be linked with the thermal feedback during a playback section of the video, and acquires a thermoelectric operation start point in time that is set to a point in time earlier than the output point in time of the specific scene in consideration of a delay time required from the start of the thermoelectric operation until the contact surface reaches a temperature felt by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played, and generates thermal feedback data including the thermoelectric operation start point in time and stores the thermal feedback data in the memory.
여기서, 상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점일 수 있다.Here, the starting point of the thermal operation may be a point in time earlier than the playback point of the specific scene by the delay time.
또 여기서, 상기 콘트롤러는, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출할 수 있다.Also, here, the controller can calculate a time point that is earlier than the delay time from the output time point of the specific scene as the start time of the thermal operation.
또 여기서, 상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함할 수 있다.In addition, the thermoelectric operation may include at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
또 여기서, 상기 사용자로부터 정보를 입력받는 입력 모듈;을 더 포함하고, 상기 콘트롤러는, 상기 입력 모듈을 통해 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 사용자 입력을 획득하고, 상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득할 수 있다.In addition, the controller further includes an input module for receiving information from the user, and the controller obtains user input regarding the type of thermal feedback including hot feedback and cold feedback through the input module, and obtains the delay time by considering the type of thermal feedback.
또 여기서, 상기 사용자로부터 정보를 입력받는 입력 모듈;을 더 포함하고, 상기 콘트롤러는, 상기 입력 모듈을 통해 상기 열적 피드백의 강도에 관한 사용자 입력을 획득하고, 상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득할 수 있다.In addition, the controller further includes an input module for receiving information from the user, and the controller can obtain user input regarding the intensity of the thermal feedback through the input module and obtain the delay time by considering the intensity of the thermal feedback.
또 여기서, 상기 메모리에는, 상기 열적 피드백의 강도 및 상기 지연 시간 간의 매칭 테이블이 저장되고, 상기 콘트롤러는, 상기 매칭 테이블을 참조하여 상기 열적 피드백의 강도에 관한 상기 지연 시간을 획득하되, 상기 매칭 테이블에는, 제1 강도, 제2 강도, 상기 제1 강도에 관한 제1 지연 시간 및 상기 제2 강도에 관한 제2 지연 시간이 포함되고, 상기 제2 강도는 상기 제1 강도보다 강하게 설정되어 있고, 상기 제2 지연 시간은 상기 제1 지연 시간보다 크게 설정되어 있을 수 있다.Also, in this case, a matching table between the intensity of the thermal feedback and the delay time is stored in the memory, and the controller obtains the delay time with respect to the intensity of the thermal feedback by referring to the matching table, wherein the matching table includes a first intensity, a second intensity, a first delay time with respect to the first intensity, and a second delay time with respect to the second intensity, and the second intensity may be set to be stronger than the first intensity, and the second delay time may be set to be greater than the first delay time.
또 여기서, 상기 메모리에는, 상기 열적 피드백의 강도 및 상기 지연 시간 간의 매칭 테이블이 저장되고, 상기 콘트롤러는, 상기 매칭 테이블을 참조하여 상기 열적 피드백의 강도에 관한 상기 지연 시간을 획득하되, 상기 매칭 테이블에는, 제1 강도, 제2 강도, 상기 제1 강도에 관한 제1 지연 시간 및 상기 제2 강도에 관한 제2 지연 시간이 포함되고, 상기 제2 강도는 상기 제1 강도보다 강하게 설정되어 있고, 상기 제1 지연 시간은 상기 제2 지연 시간보다 크게 설정되어 있을 수 있다.Also, in this case, a matching table between the intensity of the thermal feedback and the delay time is stored in the memory, and the controller obtains the delay time with respect to the intensity of the thermal feedback by referring to the matching table, wherein the matching table includes a first intensity, a second intensity, a first delay time with respect to the first intensity, and a second delay time with respect to the second intensity, and the second intensity may be set to be stronger than the first intensity, and the first delay time may be set to be greater than the second delay time.
또 여기서, 상기 콘트롤러는, 상기 피드백 디바이스의 식별 정보를 획득하고, 상기 피드백 디바이스의 식별 정보에 기초하여 상기 지연 시간을 획득할 수 있다.Also, in this case, the controller can obtain identification information of the feedback device and obtain the delay time based on the identification information of the feedback device.
또 여기서, 상기 콘트롤러는, 상기 열적 피드백 데이터 및 상기 동영상에 관한 영상 데이터가 병합된 단일 파일을 작성하고, 상기 작성된 파일을 상기 메모리에 저장할 수 있다.Also, the controller can create a single file in which the thermal feedback data and the image data regarding the video are merged, and store the created file in the memory.
또 여기서, 상기 콘트롤러는, 상기 열적 피드백 데이터를 포함하는 파일을 상기 동영상에 관한 영상 데이터를 포함하는 파일과 별개로 작성하고, 상기 작성된 파일을 상기 메모리에 저장할 수 있다.Also, in this case, the controller can create a file including the thermal feedback data separately from a file including image data regarding the video, and store the created file in the memory.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임을 구동하고 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 상기 전자 게임에 대한 열적 경험을 제공하는 방법으로, 플레이어 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하여 상기 플레이어를 공격하는 적 캐릭터를 포함하는 전자 게임을 실행하는 단계; 상기 전자 게임 내에서 상기 플레이어가 상기 공격 액션에 의해 피격되는 피격 이벤트가 발생한 경우 상기 공격 액션의 상기 원소 속성에 기초하여 상기 열적 피드백의 종류를 판단하되, 상기 화염 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 온감 피드백으로 판단하고 상기 냉기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 냉감 피드백으로 판단하고 상기 전기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 열 통감 피드백으로 판단하는 단계; 및 상기 피격 이벤트에 따른 상기 열적 피드백이 피격 그래픽과 함께 출력되도록 상기 피드백 디바이스를 제어하되, 상기 열적 피드백이 상기 온감 피드백인 경우 상기 열전 소자가 발열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 냉감 피드백인 경우 상기 열전 소자가 흡열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 열 통감 피드백인 경우 상기 열전 소자가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 개시하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, there is provided a method for providing a thermal experience for an electronic game, which is performed by a content reproduction device that drives an electronic game and is linked to a feedback device that outputs thermal feedback using a thermoelectric element, the method comprising: executing an electronic game including a player and an enemy character that attacks the player by performing an attack action having an elemental property including a fire property, a cold property, and an electric property; when a hit event occurs in the electronic game in which the player is hit by the attack action, the type of the thermal feedback is determined based on the elemental property of the attack action, wherein for the hit event by the attack action of the fire property, the type of the thermal feedback is determined as warm-sensory feedback, for the hit event by the attack action of the cold property, the type of the thermal feedback is determined as cold-sensory feedback, and for the hit event by the attack action of the electric property, the type of the thermal feedback is determined as heat-sensory feedback; And a method for providing a thermal experience including the step of controlling the feedback device so that the thermal feedback according to the hit event is output together with the hit graphic, wherein if the thermal feedback is the hot sensation feedback, the thermoelectric element is controlled to initiate a heating operation, if the thermal feedback is the cold sensation feedback, the thermoelectric element is controlled to initiate an absorption operation, and if the thermal feedback is the heat-transmitting sensation feedback, the thermoelectric element is controlled to initiate a heat grill operation that is a combination of the heating operation and the absorption operation.
여기서, 상기 공격 액션의 공격력, 상기 피격 이벤트에 따른 상기 플레이어의 피해량, 상기 플레이어의 전체 체력 포인트에 대한 상기 피해량의 비율 및 상기 플레이어의 잔존 체력 포인트 중 적어도 하나에 기초하여 상기 열적 피드백의 강도를 판단하는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 열적 피드백이 상기 판단된 강도에 따라 출력되도록 제어할 수 있다.Here, the method further includes a step of determining the intensity of the thermal feedback based on at least one of the attack power of the attack action, the damage amount to the player according to the hit event, the ratio of the damage amount to the total health points of the player, and the remaining health points of the player; and in the step of controlling the feedback device, the thermal feedback can be controlled to be output according to the determined intensity.
또 여기서, 상기 공격 액션이 스킬을 이용하는 경우, 상기 공격 액션의 원소 속성은 상기 스킬에 부여된 원소 속성에 의해 정해질 수 있다.Also, in this case, if the attack action uses a skill, the elemental attribute of the attack action can be determined by the elemental attribute granted to the skill.
또 여기서, 상기 스킬의 레벨, 상기 스킬의 피해량 및 동일한 원소 속성을 갖는 복수의 스킬을 포함하는 스킬 트리 상에서 상기 스킬의 티어 중 적어도 하나에 기초하여 설정된 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 열적 피드백이 상기 판단된 강도에 따라 출력되도록 제어할 수 있다.In addition, the method further includes a step of obtaining the intensity of the thermal feedback set based on at least one of the tiers of the skill on a skill tree including a level of the skill, damage of the skill, and a plurality of skills having the same elemental property; and in the step of controlling the feedback device, the thermal feedback can be controlled to be output according to the determined intensity.
또 여기서, 상기 공격 액션이 근접 무기를 이용하는 경우, 상기 공격 액션의 원소 속성은 상기 근접 무기에 부여된 원소 속성에 의해 정해질 수 있다.Also, in this case, if the attack action uses a melee weapon, the elemental attribute of the attack action may be determined by the elemental attribute granted to the melee weapon.
또 여기서, 상기 근접 무기의 등급 및 상기 근접 무기의 공격력 중 적어도 하나에 기초하여 설정된 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 열적 피드백이 상기 판단된 강도에 따라 출력되도록 제어할 수 있다.In addition, the method further includes a step of obtaining the intensity of the thermal feedback set based on at least one of the grade of the melee weapon and the attack power of the melee weapon; and in the step of controlling the feedback device, the thermal feedback can be controlled to be output according to the determined intensity.
또 여기서, 상기 공격 액션이 원거리 무기를 이용하는 경우, 상기 공격 액션의 원소 속성은 상기 원거리 무기에 부여된 원소 속성 및 상기 원거리 무기에 의해 발사되는 발사체에 부여된 원소 속성 중 적어도 하나에 의해 정해질 수 있다Also, in this case, when the attack action uses a ranged weapon, the elemental attribute of the attack action may be determined by at least one of the elemental attribute granted to the ranged weapon and the elemental attribute granted to the projectile fired by the ranged weapon.
또 여기서, 상기 공격 액션의 원소 속성은, 상기 발사체에 원소 속성이 부여된 경우 상기 발사체의 원소 속성에 의해 정해지고, 상기 발사체에 원소 속성이 부여되지 않은 경우 상기 원거리 무기의 원소 속성에 의해 정해질 수 있다.Also, in this case, the elemental attribute of the attack action may be determined by the elemental attribute of the projectile if the projectile is granted an elemental attribute, and may be determined by the elemental attribute of the ranged weapon if the projectile is not granted an elemental attribute.
또 여기서, 상기 원거리 무기의 등급, 상기 원거리 무기의 공격력, 상기 발사체의 등급 및 상기 발사체의 공격력 중 적어도 하나에 기초하여 설정된 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 열적 피드백이 상기 판단된 강도에 따라 출력되도록 제어할 수 있다.In addition, the method further includes a step of obtaining the intensity of the thermal feedback set based on at least one of the grade of the ranged weapon, the attack power of the ranged weapon, the grade of the projectile, and the attack power of the projectile; and in the step of controlling the feedback device, the thermal feedback can be controlled to be output according to the determined intensity.
또 여기서, 상기 게임 내에서 상기 피격 이벤트에 의해 상기 플레이어에 디버프 효과가 유발되는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 디버프 효과의 지속 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다.In addition, the method further includes a step of inducing a debuff effect on the player by the hit event in the game; and in the step of controlling the feedback device, the method may control to output the thermal feedback during the duration of the debuff effect.
또 여기서, 상기 피드백 디바이스를 제어하는 단계에서, 상기 디버프 효과의 지속 시간 동안 상기 출력되는 열적 피드백의 강도가 감소하도록 제어할 수 있다.Also, in this case, in the step of controlling the feedback device, the intensity of the thermal feedback output can be controlled to decrease during the duration of the debuff effect.
또 여기서, 상기 전자 게임은, 2D 게임, VR 게임 및 AR 게임을 포함할 수 있다.Also, the electronic games herein may include 2D games, VR games, and AR games.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 플레이어 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하여 상기 플레이어를 공격하는 적 캐릭터를 포함하는 전자 게임을 실행하고, 상기 게임 내에서 상기 플레이어가 상기 공격 액션에 의해 피격되는 피격 이벤트가 발생한 경우 상기 공격 액션의 상기 원소 속성에 기초하여 상기 열적 피드백의 종류를 판단하되, 상기 화염 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 온감 피드백으로 판단하고 상기 냉기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 냉감 피드백으로 판단하고 상기 전기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 열 통감 피드백으로 판단하고, 상기 피격 이벤트에 따른 상기 열적 피드백이 피격 그래픽과 함께 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스를 제어하되, 상기 열적 피드백이 상기 온감 피드백인 경우 상기 열전 소자가 발열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 냉감 피드백인 경우 상기 열전 소자가 흡열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 열 통감 피드백인 경우 상기 열전 소자가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 개시하도록 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, there is provided a content playback device linked to a feedback device that outputs thermal feedback using a thermoelectric element, the content playback device comprising: a memory that stores data; a communication module that communicates with an external device; And executing an electronic game including a player and an enemy character that attacks the player by performing an attack action having an elemental attribute including a fire attribute, a cold attribute, and an electric attribute, and when a hit event occurs in which the player is hit by the attack action in the game, the type of the thermal feedback is determined based on the elemental attribute of the attack action, wherein for the hit event by the attack action of the fire attribute, the type of the thermal feedback is determined as warm feedback, for the hit event by the attack action of the cold attribute, the type of the thermal feedback is determined as cold feedback, and for the hit event by the attack action of the electric attribute, the type of the thermal feedback is determined as heat-sensing feedback, and controlling the feedback device through the communication module so that the thermal feedback according to the hit event is output together with the hit graphic, wherein when the thermal feedback is the warm feedback, the thermoelectric element is controlled to initiate a heating operation, and when the thermal feedback is the cold feedback, the thermoelectric element is controlled to initiate an endothermic operation, and when the thermal feedback is the heat-sensing feedback, A content playback device may be provided, including a controller that controls the thermoelectric element to initiate a heat grill operation that combines the heat generating operation and the heat absorbing operation.
여기서, 상기 메모리에는, 상기 전자 게임이 인스톨되어 있고, 상기 콘트롤러는, 상기 메모리로부터 상기 전자 게임을 로딩하여 실행할 수 있다.Here, the electronic game is installed in the memory, and the controller can load the electronic game from the memory and execute it.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 게임 서버로부터 상기 전자 게임을 로딩하여 실행할 수 있다.Also, the controller can load and execute the electronic game from the game server through the communication module.
또 여기서, 상기 전자 게임을 저장하는 기록 매체를 리딩하는 기록 매체 드라이브;를 더 포함하고, 상기 콘트롤러는, 상기 기록 매체 드라이브로부터 상기 전자 게임을 로딩하여 실행할 수 있다.In addition, the present invention further includes a recording medium drive for reading a recording medium storing the electronic game; and the controller can load and execute the electronic game from the recording medium drive.
또 여기서, 영상을 출력하는 디스플레이;를 더 포함하고, 상기 콘트롤러는, 상기 디스플레이를 통해 상기 게임에 관한 그래픽을 출력할 수 있다.In addition, the controller further includes a display for outputting images, and the controller can output graphics related to the game through the display.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 외부 디스플레이가 상기 게임에 관한 그래픽을 출력하도록 제어할 수 있다.Also, the controller can control an external display to output graphics related to the game through the communication module.
또 여기서, 상기 콘트롤러는, 상기 공격 액션의 공격력, 상기 피격 이벤트에 따른 상기 플레이어의 피해량, 상기 플레이어의 전체 체력 포인트에 대한 상기 피해량의 비율 및 상기 플레이어의 잔존 체력 포인트 중 적어도 하나에 기초하여 상기 열적 피드백의 강도를 판단하고, 상기 통신 모듈을 통해 상기 피드백 디바이스가 상기 열적 피드백을 상기 판단된 강도에 따라 출력하도록 제어할 수 있다.Also, in this case, the controller can determine the intensity of the thermal feedback based on at least one of the attack power of the attack action, the damage to the player according to the hit event, the ratio of the damage to the total health points of the player, and the remaining health points of the player, and control the feedback device to output the thermal feedback according to the determined intensity through the communication module.
또 여기서, 상기 공격 액션이 스킬을 이용하는 경우, 상기 공격 액션의 원소 속성은 상기 스킬에 부여된 원소 속성에 의해 정해질 수 있다.Also, in this case, if the attack action uses a skill, the elemental attribute of the attack action can be determined by the elemental attribute granted to the skill.
또 여기서, 상기 콘트롤러는, 상기 스킬의 레벨, 상기 스킬의 피해량 및 동일한 원소 속성을 갖는 복수의 스킬을 포함하는 스킬 트리 상에서 상기 스킬의 티어 중 적어도 하나에 기초하여 설정된 상기 열적 피드백의 강도를 획득하고, 상기 통신 모듈을 통해 상기 피드백 디바이스가 상기 열적 피드백을 상기 판단된 강도에 따라 출력하도록 제어할 수 있다.Also, in this case, the controller can obtain the intensity of the thermal feedback set based on at least one of the tiers of the skill on a skill tree including the level of the skill, the damage amount of the skill, and a plurality of skills having the same elemental property, and control the feedback device to output the thermal feedback according to the determined intensity through the communication module.
또 여기서, 상기 콘트롤러는, 상기 게임 내에서 상기 플레이어에 상기 피격 이벤트에 의한 디버프 효과를 부여하고, 상기 통신 모듈을 통해 상기 피드백 디바이스가 상기 디버프 효과의 지속 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다.Also, in this case, the controller can apply a debuff effect to the player due to the hit event within the game, and control the feedback device to output the thermal feedback for the duration of the debuff effect via the communication module.
또 여기서, 상기 콘트롤러는, 상기 통신 모듈을 통해 상기 피드백 디바이스가 상기 디버프 효과의 지속 시간 동안 상기 출력되는 열적 피드백의 강도를 감소시키도록 제어할 수 있다.Also, the controller can control the feedback device to reduce the intensity of the output thermal feedback during the duration of the debuff effect through the communication module.
또 여기서, 상기 전자 게임은, 2D 게임, VR 게임 및 AR 게임을 포함할 수 있다.Also, the electronic games herein may include 2D games, VR games, and AR games.
본 발명의 다시 또 다른 양상에 따르면, 전원을 인가받은 열전 소자의 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작에 의해 발생한 열을 사용자의 신체 부위와 접촉하는 접촉면을 통해 상기 사용자에게 전달함으로써 열적 피드백을 출력하는 피드백 디바이스에 의해 수행되는 열적 경험 제공 방법으로서, 플레이어 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하여 상기 플레이어를 공격하는 적 캐릭터를 포함하는 전자 게임을 실행하는 콘텐츠 재생 디바이스와 연동되는 단계; 상기 게임 내에서 상기 플레이어가 상기 화염 속성을 가지는 상기 공격 액션에 피격된 경우 상기 열전 소자에 상기 발열 동작을 위한 정전압을 인가해 온감 피드백을 출력하는 단계; 상기 게임 내에서 상기 플레이어가 상기 냉기 속성을 가지는 상기 공격 액션에 피격된 경우 상기 열전 소자에 상기 흡열 동작을 위한 역전압을 인가해 냉감 피드백을 출력하는 단계; 및 상기 게임 내에서 상기 플레이어가 상기 전기 속성을 가지는 상기 공격 액션에 피격된 경우 상기 열전 소자에 상기 열 그릴 동작을 위해 상기 정전압과 상기 역전압을 동시에 또는 교번적으로 인가해 열 통감 피드백을 출력하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, there is provided a method for providing a thermal experience, which is performed by a feedback device that outputs thermal feedback by transmitting heat generated by a thermoelectric operation including a heating operation, an absorption operation, and a heat grill operation in which the heating operation and the absorption operation are combined, of a powered thermoelectric element through a contact surface that contacts a body part of the user, the method comprising the steps of: interlocking with a content reproduction device that executes an electronic game including a player and an enemy character that attacks the player by performing an attack action having an elemental property including a fire property, a cold property, and an electric property; applying a positive voltage for the heating operation to the thermoelectric element to output a warm feeling feedback when the player is hit by the attack action having the fire property in the game; applying a reverse voltage for the absorption operation to the thermoelectric element to output a cold feeling feedback when the player is hit by the attack action having the cold property in the game; And a method for providing a thermal experience may be provided, including a step of simultaneously or alternately applying the positive voltage and the reverse voltage to the thermoelectric element for the thermal grill operation to output a thermal sensation feedback when the player is hit by the attack action having the electric property in the game.
본 발명의 다시 또 다른 양상에 따르면, 플레이어 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하여 상기 플레이어를 공격하는 적 캐릭터를 포함하는 전자 게임을 실행하는 콘텐츠 재생 디바이스와 연동하여 상기 플레이어가 상기 공격 액션에 의해 피격되는 피격 이벤트 발생 시 상기 공격 액션의 원소 속성에 대응하는 열적 피드백을 출력하는 피드백 디바이스로서, 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 열전 소자의 일 측면에 마련되고 사용자의 신체 부위와 접촉하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 화염 속성을 가지는 상기 공격 액션으로 인해 상기 피격 이벤트가 발생한 경우 상기 열전 소자에 상기 발열 동작을 위한 정전압을 인가해 온감 피드백을 출력하고, 상기 냉기 속성을 가지는 상기 공격 액션으로 인해 상기 피격 이벤트가 발생한 경우 상기 열전 소자에 상기 흡열 동작을 위한 상기 정전압과 전원 인가 방향이 반대인 역전압을 인가해 냉감 피드백을 출력하고, 상기 전기 속성을 가지는 상기 공격 액션으로 인해 상기 피격 이벤트가 발생한 경우 상기 열전 소자에 상기 열 그릴 동작을 위해 상기 정전압과 상기 역전압을 동시에 또는 교번적으로 인가해 열 통감 피드백을 출력하는 피드백 콘트롤러;를 포함하는 피드백 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, there is provided a content reproduction device for executing an electronic game including a player and an enemy character who performs an attack action having elemental properties including a fire property, a cold property and an electric property to attack the player, wherein when a hit event occurs in which the player is hit by the attack action, the feedback device outputs thermal feedback corresponding to the elemental property of the attack action, the feedback device comprising: a thermoelectric element which performs a thermoelectric operation including a heating operation, an absorption operation and a heat grill operation in which the heating operation and the absorption operation are combined, a power terminal which supplies power to the thermoelectric element, and a contact surface which is provided on one side of the thermoelectric element and comes into contact with a body part of a user, and a heat output module which outputs the thermal feedback by transmitting heat generated by the thermoelectric operation to the user through the contact surface; A feedback device including a feedback controller that applies a constant voltage for the heating operation to the thermoelectric element to output a heat sensation feedback when the hit event occurs due to the attack action having the flame property, applies a reverse voltage in the opposite direction of the constant voltage and the power supply for the heat absorption operation to the thermoelectric element to output a cold sensation feedback when the hit event occurs due to the attack action having the cold property, and applies the constant voltage and the reverse voltage simultaneously or alternately to the thermoelectric element for the heat grill operation to output a heat sensation feedback when the hit event occurs due to the attack action having the electric property.
여기서, 상기 열전 소자는, 개별 제어 가능한 복수의 열전 쌍 그룹을 포함하는 열전 쌍 어레이로 제공되고, 상기 피드백 콘트롤러는, 상기 전기 속성을 가지는 상기 공격 액션으로 인해 상기 피격 이벤트가 발생한 경우 상기 열전 쌍 그룹 중 일부인 제1 그룹에는 상기 정전압을 인가하고 상기 열전 쌍 그룹 중 다른 일부인 제2 그룹에는 상기 역전압을 인가할 수 있다.Here, the thermoelectric element is provided as a thermoelectric pair array including a plurality of individually controllable thermoelectric pair groups, and the feedback controller can apply the positive voltage to a first group, which is a part of the thermoelectric pair groups, and apply the reverse voltage to a second group, which is another part of the thermoelectric pair groups, when the hit event occurs due to the attack action having the electrical property.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임을 구동하는 콘텐츠 재생 디바이스, 상기 전자 게임을 영상 출력하는 디스플레이 및 상기 콘텐츠 재생 디바이스와 연동되고,열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스를 포함하는 열적 경험 제공 시스템으로, 상기 콘텐츠 재생 디바이스는, 상기 피드백 디바이스와 통신하는 제1 통신 모듈 및 플레이어 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하여 상기 플레이어를 공격하는 적 캐릭터를 포함하는 상기 전자 게임을 실행하고, 상기 게임 내에서 상기 플레이어가 상기 공격 액션에 의해 피격되는 피격 이벤트가 발생한 경우 상기 공격 액션의 상기 원소 속성에 기초하여 상기 열적 피드백의 종류를 판단하되, 상기 화염 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 온감 피드백으로 판단하고 상기 냉기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 냉감 피드백으로 판단하고 상기 전기 속성의 공격 액션에 의한 상기 피격 이벤트에 대해서는 상기 열적 피드백의 종류를 열 통감 피드백으로 판단하고, 상기 제1 통신 모듈을 통해 상기 피드백 디바이스로 상기 열적 피드백의 종류를 전송하고, 상기 디스플레이를 통해 상기 피격 이벤트에 따른 피격 그래픽을 출력하는 콘트롤러를 포함하고, 상기 피드백 디바이스는, 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 상기 열전 동작을 위한 전원을 공급하는 전원 단자 및 상기 열전 소자의 일 측면에 마련되고 사용자의 신체 부위와 접촉하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈, 상기 콘텐츠 재생 디바이스와 통신하는 제2 통신 모듈 및 상기 제2 통신 모듈을 통해 상기 열적 피드백의 종류를 수신하고, 상기 수신된 종류의 열적피드백이 출력되도록 상기 열전 소자에 상기 전원을 인가하되, 상기 온감 피드백이 수신된 경우 상기 열전 소자에 상기 발열 동작을 위한 정전압을 인가하고 상기 냉감 피드백이 수신된 경우 상기 열전 소자에 상기 흡열 동작을 위한 역전압을 인가하고 상기 열 통감 피드백이 수신된 경우 상기 열전 소자에 상기 열 그릴 동작을 위해 상기 정전압 및 상기 역전압을 동시에 또는 교번적으로 인가하는 피드백 콘트롤러를 포함하는 열적 경험 제공 시스템이 제공될 수 있다.According to another aspect of the present invention, a thermal experience providing system including a content playback device for driving an electronic game, a display for outputting an image of the electronic game, and a feedback device linked to the content playback device and outputting thermal feedback using a thermoelectric element, wherein the content playback device executes the electronic game including a first communication module for communicating with the feedback device and a player and an enemy character for attacking the player by performing an attack action having an elemental property including a fire property, a cold property, and an electric property, and when a hit event occurs in the game in which the player is hit by the attack action, the type of the thermal feedback is determined based on the elemental property of the attack action, and for the hit event by the attack action of the fire property, the type of the thermal feedback is determined as warm sensation feedback, for the hit event by the attack action of the cold property, the type of the thermal feedback is determined as cold sensation feedback, and for the hit event by the attack action of the electric property, the type of the thermal feedback is determined as heat sensation feedback, and the feedback device transmits the thermal feedback to the feedback device through the first communication module. A controller for transmitting a type of thermal feedback and outputting a hit graphic according to the hit event through the display, wherein the feedback device comprises a thermoelectric element for performing a thermal operation including a heating operation, an absorption operation, and a thermal grill operation in which the heating operation and the absorption operation are combined, a power terminal for supplying power for the thermal operation to the thermoelectric element, and a contact surface provided on one side of the thermoelectric element and in contact with a body part of a user, and a heat output module for outputting the thermal feedback by transmitting heat generated by the thermoelectric operation to the user through the contact surface, a second communication module for communicating with the content playback device, and receiving the type of the thermal feedback through the second communication module, and applying the power to the thermoelectric element so that the received type of thermal feedback is output, wherein when the warm feeling feedback is received, a constant voltage for the heating operation is applied to the thermoelectric element, when the cold feeling feedback is received, a reverse voltage for the absorption operation is applied to the thermoelectric element, and when the heat sensation feedback is received, the constant voltage and the reverse voltage for the heat grill operation are applied to the thermoelectric element. A thermal experience providing system including a feedback controller that applies the above reverse voltages simultaneously or alternately can be provided.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임을 구동하고 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 상기 전자 게임에 대한 열적 경험을 제공하는 방법으로, 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 액션을 수행하는 플레이어를 포함하는 전자 게임을 실행하는 단계; 상기 액션을 지시하는 사용자 입력에 따라 상기 플레이어가 상기 액션을 발동하는 단계; 상기 액션에 대한 그래픽을 출력하는 단계; 상기 액션의 상기 원소 속성에 기초하여 상기 열적 피드백의 종류를 판단하되, 상기 화염 속성의 액션에 대해서는 상기 열적 피드백의 종류를 온감 피드백으로 판단하고 상기 냉기 속성의 액션에 대해서는 상기 열적 피드백의 종류를 냉감 피드백으로 판단하고 상기 전기 속성의 액션에 대해서는 상기 열적 피드백의 종류를 열 통감 피드백으로 판단하는 단계; 및 상기 액션의 그래픽과 함께 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하되, 상기 열적 피드백이 상기 온감 피드백인 경우 상기 열전 소자가 발열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 냉감 피드백인 경우 상기 열전 소자가 흡열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 열 통감 피드백인 경우 상기 열전 소자가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 개시하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, there is provided a method for providing a thermal experience for an electronic game, the method comprising: executing an electronic game including a player performing an action having an elemental property including a fire property, a cold property, and an electric property; a step in which the player performs the action according to a user input instructing the action; a step of outputting a graphic for the action; a step of determining a type of the thermal feedback based on the elemental property of the action, wherein for the action of the fire property, the type of the thermal feedback is determined as warm-sensory feedback, for the action of the cold property, the type of the thermal feedback is determined as cold-sensory feedback, and for the action of the electric property, the type of the thermal feedback is determined as heat-sensory feedback; And a method for providing a thermal experience including the step of controlling the feedback device so that the thermal feedback is output together with the graphic of the action, wherein if the thermal feedback is the hot-sensing feedback, the thermoelectric element is controlled to initiate a heating operation, if the thermal feedback is the cold-sensing feedback, the thermoelectric element is controlled to initiate an absorbing operation, and if the thermal feedback is the heat-transmitting feedback, the thermoelectric element is controlled to initiate a heat grill operation that is a combination of the heating operation and the absorbing operation.
여기서, 상기 액션은, 적 캐릭터를 공격하는 공격 액션 및 상기 플레이어에 도움이 되는 버프 액션 중 적어도 하나를 포함할 수 있다.Here, the action may include at least one of an attack action that attacks an enemy character and a buff action that is helpful to the player.
또 여기서, 상기 액션은, 적 캐릭터를 공격하는 공격 액션이고, 상기 공격 액션의 공격력, 상기 공격 액션과 관련된 스킬의 속성 및 상기 공격 액션과 관련된 무기의 속성 중 적어도 하나에 기초하여 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 피드백 디바이스를 제어하는 단계에서, 상기 열적 피드백이 상기 판단된 강도에 따라 출력되도록 제어하고, 상기 스킬의 속성은 상기 스킬의 레벨, 상기 스킬의 피해량 및 동일한 원소 속성을 갖는 복수의 스킬을 포함하는 스킬 트리 상에서 상기 스킬의 티어를 포함하고, 상기 무기의 속성은, 상기 무기의 등급, 상기 무기의 공격력, 상기 무기로 인해 발사되는 발사체의 등급 및 상기 발사체의 공격력을 포함할 수 있다.In addition, the action here is an attack action for attacking an enemy character, and further includes a step of obtaining the intensity of the thermal feedback based on at least one of the attack power of the attack action, the attribute of a skill related to the attack action, and the attribute of a weapon related to the attack action; and in the step of controlling the feedback device, the thermal feedback is controlled to be output according to the determined intensity, and the attribute of the skill includes a level of the skill, a damage amount of the skill, and a tier of the skill on a skill tree including a plurality of skills having the same elemental attribute, and the attribute of the weapon may include a grade of the weapon, an attack power of the weapon, a grade of a projectile fired by the weapon, and an attack power of the projectile.
또 여기서, 상기 피드백 디바이스를 제어하는 단계에서, 상기 게임 내에서 상기 액션의 발동 시 시전 시간이 소요되는 경우 상기 시전 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다.Also, in the step of controlling the feedback device, if a casting time is required for the activation of the action in the game, the thermal feedback can be controlled to be output during the casting time.
또 여기서, 상기 피드백 디바이스를 제어하는 단계에서, 상기 시전 시간 동안 상기 출력되는 열적 피드백의 강도가 증가되도록 제어할 수 있다.Also, in this case, in the step of controlling the feedback device, the intensity of the thermal feedback output during the casting time can be controlled to increase.
또 여기서, 상기 피드백 디바이스를 제어하는 단계에서, 상기 게임 내에서 상기 액션의 발동 시 상기 액션의 결과가 유지 시간 동안 유지되는 경우 상기 유지 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다.Also, in the step of controlling the feedback device, when the result of the action is maintained for a maintenance time when the action is activated in the game, the thermal feedback can be controlled to be output during the maintenance time.
또 여기서, 상기 피드백 디바이스를 제어하는 단계에서, 상기 유지 시간 동안 상기 출력되는 열적 피드백의 강도가 감소되도록 제어할 수 있다.Also, in this case, in the step of controlling the feedback device, the intensity of the thermal feedback output can be controlled to decrease during the maintenance time.
또 여기서, 상기 전자 게임은, 2D 게임, VR 게임 및 AR 게임을 포함할 수 있다.Also, the electronic games herein may include 2D games, VR games, and AR games.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 액션을 수행하는 플레이어를 포함하는 전자 게임을 실행하고, 상기 액션을 지시하는 사용자 입력에 따라 상기 플레이어가 상기 액션을 발동하도록 하고, 디스플레이를 통해 상기 액션에 대한 그래픽을 출력하고, 상기 액션의 상기 원소 속성에 기초하여 상기 열적 피드백의 종류를 판단하되, 상기 화염 속성의 액션에 대해서는 상기 열적 피드백의 종류를 온감 피드백으로 판단하고 상기 냉기 속성의 액션에 대해서는 상기 열적 피드백의 종류를 냉감 피드백으로 판단하고 상기 전기 속성의 액션에 대해서는 상기 열적 피드백의 종류를 열 통감 피드백으로 판단하고, 상기 액션의 그래픽과 함께 상기 열적 피드백이 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스를 제어하되, 상기 열적 피드백이 상기 온감 피드백인 경우 상기 열전 소자가 발열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 냉감 피드백인 경우 상기 열전 소자가 흡열 동작을 개시하도록 제어하고 상기 열적 피드백이 상기 열 통감 피드백인 경우 상기 열전 소자가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 개시하도록 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, there is provided a content playback device linked to a feedback device that outputs thermal feedback using a thermoelectric element, the content playback device comprising: a memory that stores data; a communication module that communicates with an external device; And executing an electronic game including a player performing an action having elemental properties including a fire property, a cold property, and an electric property, causing the player to perform the action according to a user input indicating the action, outputting a graphic for the action through a display, and determining a type of the thermal feedback based on the elemental property of the action, wherein for the action of the fire property, the type of the thermal feedback is determined as a warm feedback, for the action of the cold property, the type of the thermal feedback is determined as a cold feedback, and for the action of the electric property, the type of the thermal feedback is determined as a heat-sensing feedback, and controlling the feedback device through the communication module so that the thermal feedback is output together with the graphic of the action, wherein when the thermal feedback is the warm feedback, the thermoelectric element is controlled to initiate a heating operation, when the thermal feedback is the cold feedback, the thermoelectric element is controlled to initiate an absorption operation, and when the thermal feedback is the heat-sensing feedback, the thermoelectric element is controlled to initiate a heat grill operation in which the heating operation and the absorption operation are combined. A content playback device including a controller may be provided.
여기서, 상기 액션은, 적 캐릭터를 공격하는 공격 액션 및 상기 플레이어에 도움이 되는 버프 액션 중 적어도 하나를 포함할 수 있다. Here, the action may include at least one of an attack action that attacks an enemy character and a buff action that is helpful to the player.
또 여기서, 상기 액션은, 적 캐릭터를 공격하는 공격 액션이고, 상기 콘트롤러는, 상기 공격 액션의 공격력, 상기 공격 액션과 관련된 스킬의 속성 및 상기 공격 액션과 관련된 무기의 속성 중 적어도 하나에 기초하여 상기 열적 피드백의 강도를 획득하고, 상기 통신 모듈을 통해 상기 피드백 디바이스가 상기 열적 피드백을 상기 판단된 강도에 따라 출력하도록 제어하고, 상기 스킬의 속성은 상기 스킬의 레벨, 상기 스킬의 피해량 및 동일한 원소 속성을 갖는 복수의 스킬을 포함하는 스킬 트리 상에서 상기 스킬의 티어를 포함하고, 상기 무기의 속성은, 상기 무기의 등급, 상기 무기의 공격력, 상기 무기로 인해 발사되는 발사체의 등급 및 상기 발사체의 공격력을 포함할 수 있다.In addition, the action here is an attack action for attacking an enemy character, the controller obtains the intensity of the thermal feedback based on at least one of the attack power of the attack action, the attribute of a skill related to the attack action, and the attribute of a weapon related to the attack action, and controls the feedback device to output the thermal feedback according to the determined intensity through the communication module, the attribute of the skill includes a level of the skill, a damage amount of the skill, and a tier of the skill on a skill tree including a plurality of skills having the same elemental attribute, and the attribute of the weapon may include a grade of the weapon, an attack power of the weapon, a grade of a projectile fired by the weapon, and an attack power of the projectile.
또 여기서, 상기 콘트롤러는, 상기 게임 내에서 상기 액션의 발동 시 시전 시간이 소요되는 경우 상기 피드백 디바이스가 상기 시전 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다.Also, in this case, the controller can control the feedback device to output the thermal feedback during the casting time when the casting time is required for the activation of the action in the game.
또 여기서, 상기 콘트롤러는, 상기 시전 시간 동안 상기 출력되는 열적 피드백의 강도가 증가되도록 제어할 수 있다.Also, the controller can control the intensity of the thermal feedback output to increase during the casting time.
또 여기서, 상기 콘트롤러는, 상기 게임 내에서 상기 액션의 발동 시 상기 액션의 결과가 유지 시간동안 유지되는 경우 상기 피드백 디바이스가 상기 유지 시간 동안 상기 열적 피드백을 출력하도록 제어할 수 있다. Also, in this case, the controller can control the feedback device to output the thermal feedback during the maintenance time when the result of the action is maintained during the maintenance time when the action is activated in the game.
또 여기서, 상기 콘트롤러는, 상기 유지 시간 동안 상기 출력되는 열적 피드백의 강도가 감소되도록 제어할 수 있다.Also, the controller can control the intensity of the thermal feedback output to be reduced during the maintenance time.
본 발명의 다시 또 다른 양상에 따르면, 전원을 인가받은 열전 소자의 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작에 의해 발생한 열을 사용자의 신체 부위와 접촉하는 접촉면을 통해 상기 사용자에게 전달함으로써 열적 피드백을 출력하는 피드백 디바이스에 의해 수행되는 열적 경험 제공 방법으로서, 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하는 플레이어를 포함하는 전자 게임을 실행하는 콘텐츠 재생 디바이스와 연동되는 단계; 상기 게임 내에서 상기 플레이어가 상기 화염 속성을 가지는 상기 공격 액션을 수행하는 경우 상기 열전 소자에 상기 발열 동작을 위한 정전압을 인가해 온감 피드백을 출력하는 단계; 상기 게임 내에서 상기 플레이어가 상기 냉기 속성을 가지는 상기 공격 액션을 수행하는 경우 상기 열전 소자에 상기 흡열 동작을 위한 역전압을 인가해 냉감 피드백을 출력하는 단계; 및 상기 게임 내에서 상기 플레이어가 상기 전기 속성을 가지는 상기 공격 액션을 수행하는 경우 피격된 경우 상기 열전 소자에 상기 열 그릴 동작을 위해 상기 정전압과 상기 역전압을 동시에 또는 교번적으로 인가해 열 통감 피드백을 출력하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, there is provided a method for providing a thermal experience, which is performed by a feedback device that outputs thermal feedback by transmitting heat generated by a thermoelectric operation including a heating operation, an absorption operation, and a heat grill operation in which the heating operation and the absorption operation are combined, of a thermoelectric element that is powered on, to a user through a contact surface that contacts a body part of the user, the method comprising the steps of: interlocking with a content reproduction device that executes an electronic game including a player performing an attack action having an elemental property including a fire property, a cold property, and an electric property; applying a positive voltage for the heating operation to the thermoelectric element to output a warm feeling feedback when the player performs the attack action having the fire property in the game; applying a reverse voltage for the absorption operation to the thermoelectric element to output a cold feeling feedback when the player performs the attack action having the cold property in the game; And a method for providing a thermal experience including a step of simultaneously or alternately applying the positive voltage and the reverse voltage to the thermoelectric element for the heat grill operation to output a heat sensation feedback when the player performs the attack action having the electric property in the game and is hit;
본 발명의 다시 또 다른 양상에 따르면, 화염 속성, 냉기 속성 및 전기 속성을 포함하는 원소 속성을 가지는 공격 액션을 수행하는 플레이어를 포함하는 전자 게임을 실행하는 콘텐츠 재생 디바이스와 연동하여 상기 플레이어가 상기 공격 액션을 수행하는 때 상기 공격 액션의 원소 속성에 대응하는 열적 피드백을 출력하는 피드백 디바이스로서, 사용자 입력을 획득하는 입력 모듈; 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 열전 소자의 일 측면에 마련되고 사용자의 신체 부위와 접촉하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 입력 모듈을 통해 상기 화염 속성을 가지는 상기 공격 액션을 지시하는 사용자 입력을 획득한 경우 상기 열전 소자에 상기 발열 동작을 위한 정전압을 인가해 온감 피드백을 출력하고, 상기 입력 모듈을 통해 상기 냉기 속성을 가지는 상기 공격 액션을 지시하는 사용자 입력을 획득한 경우 상기 열전 소자에 상기 흡열 동작을 위한 상기 정전압과 전원 인가 방향이 반대인 역전압을 인가해 냉감 피드백을 출력하고, 상기 입력 모듈을 통해 상기 전기 속성을 가지는 상기 공격 액션을 지시하는 사용자 입력을 획득한 경우 상기 열전 소자에 상기 열 그릴 동작을 위해 상기 정전압과 상기 역전압을 동시에 또는 교번적으로 인가해 열 통감 피드백을 출력하는 피드백 콘트롤러;를 포함하는 피드백 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, there is provided a feedback device which outputs thermal feedback corresponding to the elemental attribute of the attack action when the player performs the attack action, the feedback device being linked to a content reproduction device executing an electronic game including a player performing an attack action having elemental attributes including a fire attribute, a cold attribute, and an electric attribute, the feedback device comprising: an input module which acquires a user input; a thermoelectric element which performs a thermoelectric operation including a heating operation, an absorption operation, and a heat grill operation in which the heating operation and the absorption operation are combined, a power terminal which supplies power to the thermoelectric element, and a contact surface which is provided on one side of the thermoelectric element and comes into contact with a body part of a user, the thermal output module which outputs the thermal feedback by transmitting heat generated by the thermoelectric operation to the user through the contact surface; And a feedback controller which, when obtaining a user input instructing the attack action having the flame property through the input module, applies a constant voltage for the heat-generating operation to the thermoelectric element to output a heat-sensing feedback, when obtaining a user input instructing the attack action having the cold property through the input module, applies a reverse voltage in the opposite direction of the constant voltage and the power supply for the heat-absorbing operation to the thermoelectric element to output a cold-sensing feedback, and when obtaining a user input instructing the attack action having the electric property through the input module, applies the constant voltage and the reverse voltage simultaneously or alternately to the thermoelectric element for the heat grill operation to output a heat-sensing feedback can be provided.
여기서, 상기 열전 소자는, 개별 제어 가능한 복수의 열전 쌍 그룹을 포함하는 열전 쌍 어레이로 제공되고, 상기 피드백 콘트롤러는, 상기 전기 속성을 가지는 상기 공격 액션을 지시하는 사용자 입력이 획득된 경우 인해 상기 피격 이벤트가 발생한 경우 상기 열전 쌍 그룹 중 일부인 제1 그룹에는 상기 정전압을 인가하고 상기 열전 쌍 그룹 중 다른 일부인 제2 그룹에는 상기 역전압을 인가할 수 있다.Here, the thermoelectric element is provided as a thermoelectric pair array including a plurality of individually controllable thermoelectric pair groups, and the feedback controller can apply the positive voltage to a first group, which is a part of the thermoelectric pair groups, and apply the reverse voltage to a second group, which is another part of the thermoelectric pair groups, when the hit event occurs due to a user input instructing the attack action having the electrical property being obtained.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임 및 체감형 어플리케이션을 포함하는 멀티미디어 콘텐츠를 구동하고 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 상기 멀티미디어 콘텐츠에 대한 열적 경험을 제공하는 방법으로, 플레이어 및 가상 오브젝트를 포함하고, 상기 가상 오브젝트에 의해 상기 플레이어가 타격되는 피격 이벤트를 구현하고, 상기 플레이어에게 상기 피격 이벤트에 대한 열적 저항을 부여하는 상기 멀티미디어 콘텐츠를 구동하는 단계; 상기 게임 내에서 상기 플레이어에 대한 상기 피격 이벤트를 발생시키는 단계; 상기 피격 이벤트에 기초하여 상기 열적 피드백의 강도를 설정하는 단계; 상기 플레이어에 부여된 열적 저항에 기초하여 상기 열적 피드백의 강도를 조정하는 단계; 및 상기 조정된 강도의 상기 열적 피드백을 출력하도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다. According to yet another aspect of the present invention, a method for providing a thermal experience for multimedia content, which is performed by a content reproduction device that drives multimedia content including an electronic game and a sensory application and is linked with a feedback device that outputs thermal feedback using a thermoelectric element, may be provided, the method comprising: driving the multimedia content, which includes a player and a virtual object, and which implements a hit event in which the player is hit by the virtual object, and grants the player thermal resistance to the hit event; generating the hit event for the player within the game; setting an intensity of the thermal feedback based on the hit event; adjusting an intensity of the thermal feedback based on the thermal resistance granted to the player; and controlling the feedback device to output the thermal feedback of the adjusted intensity.
여기서, 상기 피격 이벤트는, 적어도 온감 피격 이벤트 및 냉감 피격 이벤트를 포함하고, 상기 열적 피드백은, 적어도 온감 피드백 및 냉감 피드백을 포함하고, 상기 피격 이벤트의 종류에 기초하여 상기 열적 피드백의 종류를 판단하는 단계;를 더 포함하고, 상기 제어하는 단계에서, 상기 판단된 종류의 상기 열적 피드백을 출력하도록 상기 피드백 디바이스를 제어할 수 있다.Here, the hit event includes at least a warm hit event and a cold hit event, and the thermal feedback includes at least a warm feedback and a cold feedback, and further includes a step of determining a type of the thermal feedback based on a type of the hit event; and in the controlling step, the feedback device can be controlled to output the thermal feedback of the determined type.
또 여기서, 상기 플레이어에 부여된 열적 저항은, 적어도 온감 피격 이벤트에 대응하는 온감 저항 및 냉감 피격 이벤트에 대응하는 냉감 저항을 포함하고, 상기 조정하는 단계에서, 상기 피격 이벤트의 종류에 대응되는 상기 열적 저항에 기초하여 상기 열적 피드백의 강도를 조정할 수 있다.In addition, the thermal resistance granted to the player includes at least a thermal resistance corresponding to a thermal hit event and a cold resistance corresponding to a cold hit event, and in the adjusting step, the intensity of the thermal feedback can be adjusted based on the thermal resistance corresponding to the type of the hit event.
또 여기서, 상기 플레이어 고유의 열적 저항 및 상기 플레이어가 장착한 장비에 부여된 열적 저항에 기초하여 상기 플레이어의 열적 저항을 산출하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of calculating the thermal resistance of the player based on the thermal resistance unique to the player and the thermal resistance imparted to equipment equipped by the player.
또 여기서, 상기 강도를 조정하는 단계에서, 상기 열적 피드백의 강도를 감소시킬 수 있다.Also here, in the step of adjusting the intensity, the intensity of the thermal feedback can be reduced.
또 여기서, 상기 열적 피드백의 강도는, 복수의 등급을 포함하고, 상기 강도를 설정하는 단계는, 상기 복수의 등급 중 특정 등급을 상기 피격 이벤트에 대한 상기 열적 피드백의 강도로 선택하고, 상기 강도를 조정하는 단계는, 상기 선택된 특정 등급을 보다 낮은 등급을 하향시킬 수 있다.Also, in this case, the intensity of the thermal feedback includes a plurality of grades, and the step of setting the intensity selects a specific grade among the plurality of grades as the intensity of the thermal feedback for the hit event, and the step of adjusting the intensity can lower the selected specific grade to a lower grade.
또 여기서, 상기 강도를 조정하는 단계에서, 상기 열적 저항에 기초하여 상기 등급의 하향 정도를 결정할 수 있다.Also here, in the step of adjusting the strength, the degree of downgrade of the grade can be determined based on the thermal resistance.
또 여기서, 상기 강도를 조정하는 단계에서, 적어도 가장 낮은 등급 이상으로 상기 열적 피드백의 강도를 조정할 수 있다.Also here, in the step of adjusting the intensity, the intensity of the thermal feedback can be adjusted to at least the lowest level or higher.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로서, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 플레이어 및 가상 오브젝트를 포함하고, 상기 가상 오브젝트에 의해 상기 플레이어가 타격되는 피격 이벤트를 구현하고, 상기 플레이어에게 상기 피격 이벤트에 대한 열적 저항을 부여하는 전자 게임 또는 체감형 어플리케이션의 형태로 제공되는 멀티미디어 콘텐츠를 구동하고, 상기 게임 내에서 상기 플레이어에 대한 상기 피격 이벤트가 발생한 경우 상기 피격 이벤트에 기초하여 상기 열적 피드백의 강도를 설정하고, 상기 플레이어에 부여된 열적 저항에 기초하여 상기 열적 피드백의 강도를 조정하고, 상기 통신 모듈을 통해 상기 조정된 강도의 상기 열적 피드백을 출력하도록 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content reproduction device is provided, which is linked to a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device including: a memory that stores data; a communication module that communicates with an external device; and a controller that drives multimedia content provided in the form of an electronic game or a sensory application that includes a player and a virtual object, implements a hit event in which the player is hit by the virtual object, and grants the player thermal resistance to the hit event, and sets the intensity of the thermal feedback based on the hit event when the hit event occurs for the player in the game, adjusts the intensity of the thermal feedback based on the thermal resistance granted to the player, and controls the feedback device to output the thermal feedback of the adjusted intensity through the communication module.
여기서, 상기 피격 이벤트는, 적어도 온감 피격 이벤트 및 냉감 피격 이벤트를 포함하고, 상기 열적 피드백은, 적어도 온감 피드백 및 냉감 피드백을 포함하고, 상기 콘트롤러는, 상기 피격 이벤트의 종류에 기초하여 상기 열적 피드백의 종류를 판단하고, 상기 판단된 종류의 상기 열적 피드백을 출력하도록 상기 피드백 디바이스를 제어할 수 있다.Here, the hit event includes at least a warm hit event and a cold hit event, the thermal feedback includes at least a warm feedback and a cold feedback, and the controller can determine a type of the thermal feedback based on a type of the hit event and control the feedback device to output the thermal feedback of the determined type.
또 여기서, 상기 플레이어에 부여된 열적 저항은, 적어도 온감 피격 이벤트에 대응하는 온감 저항 및 냉감 피격 이벤트에 대응하는 냉감 저항을 포함하고, 상기 콘트롤러는, 상기 피격 이벤트의 종류에 대응되는 상기 열적 저항에 기초하여 상기 열적 피드백의 강도를 조정할 수 있다.Also, the thermal resistance applied to the player includes at least a thermal resistance corresponding to a thermal hit event and a cold resistance corresponding to a cold hit event, and the controller can adjust the intensity of the thermal feedback based on the thermal resistance corresponding to the type of the hit event.
또 여기서, 상기 콘트롤러는, 상기 플레이어 고유의 열적 저항 및 상기 플레이어가 장착한 장비에 부여된 열적 저항에 기초하여 상기 플레이어의 열적 저항을 산출할 수 있다.Also, the controller can calculate the thermal resistance of the player based on the thermal resistance unique to the player and the thermal resistance imparted to equipment equipped by the player.
또 여기서, 상기 콘트롤러는, 상기 열적 저항에 따라 상기 열적 피드백의 강도를 감소시킬 수 있다.Also, here, the controller can reduce the intensity of the thermal feedback depending on the thermal resistance.
또 여기서, 상기 열적 피드백의 강도는, 복수의 등급을 포함하고, 상기 콘트롤러는, 상기 복수의 등급 중 특정 등급을 상기 피격 이벤트에 대한 상기 열적 피드백의 강도로 선택하고, 상기 열적 저항에 기초하여 상기 선택된 특정 등급을 보다 낮은 등급을 하향시킬 수 있다.Also, in this case, the intensity of the thermal feedback includes a plurality of grades, and the controller can select a specific grade among the plurality of grades as the intensity of the thermal feedback for the hit event, and lower the selected specific grade to a lower grade based on the thermal resistance.
또 여기서, 상기 콘트롤러는, 상기 열적 저항에 기초하여 상기 등급의 하향 정도를 결정할 수 있다.Also, the controller can determine the degree of downgrade of the grade based on the thermal resistance.
또 여기서, 상기 콘트롤러는, 적어도 가장 낮은 등급 이상으로 상기 열적 피드백의 강도를 조정할 수 있다.Also herein, the controller can adjust the intensity of the thermal feedback to at least the lowest level or higher.
본 발명의 다시 또 다른 양상에 따르면, 플레이어 및 가상 오브젝트를 포함하고, 상기 가상 오브젝트에 의해 상기 플레이어가 타격되는 피격 이벤트를 구현하고, 상기 플레이어에게 상기 피격 이벤트에 대한 열적 저항을 부여하는 전자 게임 또는 체감형 어플리케이션의 형태로 제공되는 멀티미디어 콘텐츠를 구동하는 콘텐츠 재생 디바이스와 연동되는 피드백 디바이스로서, 사용자에 의해 파지되는 파지부를 포함하고 상기 피드백 디바이스의 외관을 형성하는 케이싱; 상기 사용자의 조작에 따라 사용자 입력을 수신하는 입력 모듈; 상기 콘텐츠 재생 디바이스와 통신하는 통신 모듈; 및 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 파지부에 마련되고 상기 열전 소자의 열전 동작에 따라 발생하는 열을 상기 사용자에게 전달하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 입력 모듈을 통해 수신된 상기 사용자 입력을 획득하고, 상기 사용자 조작에 따른 상기 플레이어가 동작하도록 상기 통신 모듈을 통해 상기 콘텐츠 재생 디바이스로 상기 사용자 입력을 송신하고, 상기 통신 모듈을 통해 상기 콘텐츠 재생 디바이스로부터 상기 열적 피드백의 강도를 수신하고, 상기 열적 피드백의 강도에 기초하여 미리 정해진 복수의 전압값 중 작동 전압을 선택하고, 상기 작동 전압에 기초하여 작동 전원을 생성하고, 상기 열 출력 모듈이 상기 열적 피드백을 출력하도록 상기 전원 단자에 상기 작동 전원을 인가하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 플레이어에 부여된 상기 열적 저항이 제1 값인 경우 상기 멀티미디어 내에서 피격 이벤트가 발생한 경우 상기 열전 소자에 제1 작동 전압을 인가하고, 상기 플레이어에 부여된 상기 열적 저항이 상기 제1 값보다 큰 제2 값인 경우 상기 멀티미디어 내에서 피격 이벤트가 발생한 경우 상기 열전 소자에 상기 제1 작동 전압보다 큰 제2 작동 전압을 인가하는 피드백 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, there is provided a feedback device interlocked with a content playback device that includes a player and a virtual object, implements a hit event in which the player is hit by the virtual object, and drives multimedia content provided in the form of an electronic game or a sensory application that imparts thermal resistance to the hit event to the player, the feedback device comprising: a casing that includes a grip portion that is gripped by a user and forms an exterior of the feedback device; an input module that receives a user input according to an operation of the user; a communication module that communicates with the content playback device; and a thermal output module that includes a thermoelectric element that performs a thermoelectric operation, a power terminal that supplies power to the thermoelectric element, and a contact surface that is provided on the grip portion and transmits heat generated according to the thermoelectric operation of the thermoelectric element to the user, and outputs the thermal feedback by transmitting the heat generated by the thermoelectric operation to the user through the contact surface. And a controller which obtains the user input received through the input module, transmits the user input to the content playback device through the communication module so that the player operates according to the user operation, receives the intensity of the thermal feedback from the content playback device through the communication module, selects an operating voltage from among a plurality of predetermined voltage values based on the intensity of the thermal feedback, generates operating power based on the operating voltage, and applies the operating power to the power terminal so that the heat output module outputs the thermal feedback; wherein the controller is a feedback device which applies a first operating voltage to the thermoelectric element when a hit event occurs within the multimedia if the thermal resistance given to the player is a first value, and applies a second operating voltage greater than the first operating voltage to the thermoelectric element when a hit event occurs within the multimedia if the thermal resistance given to the player is a second value greater than the first value.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임 및 체감형 어플리케이션으로 제공되는 멀티미디어 콘텐츠를 구동하고 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 상기 멀티미디어 콘텐츠에 대한 열적 경험을 제공하는 방법으로, 상기 열적 피드백을 유발하는 열적 이벤트, 플레이어 및 상기 플레이어에 장착되고 상기 열적 이벤트에 대한 열적 저항이 부여된 장비를 포함하는 상기 멀티미디어 콘텐츠를 구동하는 단계; 상기 열적 이벤트의 발생 시 상기 플레이어의 상기 장비에 대한 장착 여부를 판단하는 단계; 상기 플레이어가 상기 장비를 장착하지 않은 경우, 제1 강도를 상기 열적 피드백의 강도로 획득하는 단계; 상기 플레이어가 상기 장비를 장착한 경우, 상기 제1 강도로부터 조정된 제2 강도를 상기 열적 피드백의 강도로 획득하는 단계; 및 상기 획득된 강도에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience for multimedia content is provided, which is performed by a content reproduction device that drives multimedia content provided as an electronic game and a sensory application and is linked with a feedback device that outputs thermal feedback using a thermoelectric element, the method comprising: driving the multimedia content including a thermal event that causes the thermal feedback, a player, and equipment mounted on the player and provided with thermal resistance for the thermal event; determining whether the player is equipped with the equipment when the thermal event occurs; acquiring a first intensity as the intensity of the thermal feedback when the player is not equipped with the equipment; acquiring a second intensity adjusted from the first intensity as the intensity of the thermal feedback when the player is equipped with the equipment; and controlling the feedback device so that the thermal feedback is output according to the acquired intensity.
여기서, 상기 제2 강도는, 상기 제1 강도보다 작을 수 있다. Here, the second strength may be less than the first strength.
또 여기서, 상기 제2 강도를 획득하는 단계에서, 상기 제1 강도 및 상기 장비에 부여된 열적 저항을 고려하여 상기 제2 강도를 산출할 수 있다.Also, in this step of obtaining the second strength, the second strength can be calculated by considering the first strength and the thermal resistance applied to the equipment.
본 발명의 다시 또 다른 양상에 따르면, 전자 게임 및 체감형 어플리케이션으로 제공되는 멀티미디어 콘텐츠를 구동하고 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 상기 멀티미디어 콘텐츠에 대한 열적 경험을 제공하는 방법으로, 상기 열적 피드백을 유발하는 열적 이벤트, 플레이어 및 상기 플레이어에 장착되고 상기 열적 이벤트에 대한 열적 저항이 부여된 장비를 포함하는 상기 멀티미디어 콘텐츠를 구동하는 단계; 상기 열적 이벤트의 발생 시 상기 플레이어의 상기 장비에 대한 장착 여부를 판단하는 단계; 및 상기 플레이어의 상기 장비에 대한 장착 여부에 기초하여 상기 열적 이벤트에 대응하는 상기 열적 피드백의 출력 여부를 판단하는 단계; 및 상기 플레이어가 상기 장비를 장착하지 않은 경우만, 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience for multimedia content is provided, which is performed by a content reproduction device that drives multimedia content provided as an electronic game and a sensory application and is linked with a feedback device that outputs thermal feedback using a thermoelectric element, the method comprising: driving the multimedia content including a thermal event that causes the thermal feedback, a player, and equipment mounted on the player and provided with thermal resistance for the thermal event; determining whether the player is equipped with the equipment when the thermal event occurs; and determining whether to output the thermal feedback corresponding to the thermal event based on whether the player is equipped with the equipment; and controlling the feedback device so that the thermal feedback is output only when the player is not equipped with the equipment.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로서, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 상기 열적 피드백을 유발하는 열적 이벤트, 플레이어 및 상기 플레이어에 장착되고 상기 열적 이벤트에 대한 열적 저항이 부여된 장비를 포함하고, 전자 게임 및 체감형 어플리케이션으로 제공되는 멀티미디어 콘텐츠를 구동하고, 상기 열적 이벤트의 발생 시 상기 플레이어의 상기 장비에 대한 장착 여부를 판단하고, 상기 플레이어가 상기 장비를 장착하지 않은 경우, 제1 강도를 상기 열적 피드백의 강도로 획득하고, 상기 플레이어가 상기 장비를 장착한 경우, 상기 제1 강도로부터 조정된 제2 강도를 상기 열적 피드백의 강도로 획득하고, 상기 통신 모듈을 통해 상기 획득된 강도에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content reproduction device interlocked with a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device including: a memory that stores data; a communication module that communicates with an external device; and a controller that includes a thermal event that causes the thermal feedback, a player, and equipment mounted on the player and provided with thermal resistance for the thermal event, and drives multimedia content provided as an electronic game and a sensory application, and determines whether the player is mounted on the equipment when the thermal event occurs, and if the player is not mounted on the equipment, acquires a first intensity as the intensity of the thermal feedback, and if the player is mounted on the equipment, acquires a second intensity adjusted from the first intensity as the intensity of the thermal feedback, and controls the feedback device so that the thermal feedback is output according to the acquired intensity through the communication module.
여기서, 상기 제2 강도는, 상기 제1 강도보다 작을 수 있다.Here, the second strength may be less than the first strength.
또 여기서, 상기 콘트롤러는, 상기 제1 강도 및 상기 장비에 부여된 열적 저항을 고려하여 상기 제2 강도를 산출할 수 있다.Also, the controller can calculate the second intensity by taking into account the first intensity and the thermal resistance applied to the equipment.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로서, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 상기 열적 피드백을 유발하는 열적 이벤트, 플레이어 및 상기 플레이어에 장착되고 상기 열적 이벤트에 대한 열적 저항이 부여된 장비를 포함하고, 전자 게임 및 체감형 어플리케이션으로 제공되는 멀티미디어 콘텐츠를 구동하고, 상기 열적 이벤트의 발생 시 상기 플레이어의 상기 장비에 대한 장착 여부를 판단하고, 상기 플레이어의 상기 장비에 대한 장착 여부에 기초하여 상기 열적 이벤트에 대응하는 상기 열적 피드백의 출력 여부를 판단하고, 상기 플레이어가 상기 장비를 장착하지 않은 경우만 상기 열적 피드백이 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content reproduction device interlocked with a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device including: a memory that stores data; a communication module that communicates with an external device; and a controller that includes a thermal event that causes the thermal feedback, a player, and equipment mounted on the player and provided with thermal resistance for the thermal event, the controller driving multimedia content provided as an electronic game and a sensory application, determining whether the player is mounted on the equipment when the thermal event occurs, determining whether to output the thermal feedback corresponding to the thermal event based on whether the player is mounted on the equipment, and controlling the feedback device through the communication module so that the thermal feedback is output only when the player is not mounted on the equipment.
본 발명의 다시 또 다른 양상에 따르면, 열적 피드백을 유발하는 열적 이벤트, 플레이어 및 상기 플레이어에 장착되고 상기 열적 이벤트에 대한 열적 저항이 부여된 장비를 포함하고, 전자 게임 및 체감형 어플리케이션으로 제공되는 멀티미디어 콘텐츠를 구동하는 콘텐츠 재생 디바이스와 연동되는 피드백 디바이스로서, 사용자에 의해 파지되는 파지부를 포함하고 상기 피드백 디바이스의 외관을 형성하는 케이싱; 상기 사용자의 조작에 따라 사용자 입력을 수신하는 입력 모듈; 상기 콘텐츠 재생 디바이스와 통신하는 통신 모듈; 및 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 파지부에 마련되고 상기 열전 소자의 열전 동작에 따라 발생하는 열을 상기 사용자에게 전달하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 입력 모듈을 통해 수신된 상기 사용자 입력을 획득하고, 상기 사용자 조작에 따른 상기 플레이어가 동작하도록 상기 통신 모듈을 통해 상기 콘텐츠 재생 디바이스로 상기 사용자 입력을 송신하고, 상기 통신 모듈을 통해 상기 콘텐츠 재생 디바이스로부터 상기 열적 피드백의 출력을 요청하는 메시지를 수신하고, 상기 메시지의 수신에 따라 상기 열 출력 모듈이 상기 열적 피드백을 출력하도록 상기 전원 단자에 작동 전원을 인가하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 멀티미디어 콘텐츠의 재생 중 상기 열적 이벤트의 발생 시 상기 열적 피드백을 출력하되, 상기 플레이어의 장비 장착 여부를 상기 열적 피드백의 출력 여부에 반영하는 제1 동작 또는 상기 플레이어의 장비 장착 여부를 상기 열적 피드백의 강도 조정에 반영하는 제2 동작을 수행하고, 상기 제1 동작은, 상기 플레이어가 상기 장비를 장착하지 않은 경우에는 상기 작동 전압을 인가하고 상기 플레이어가 상기 장비를 장착한 경우에는 상기 작동 전압을 인가하지 않는 동작이고, 상기 제2 동작은, 상기 플레이어가 상기 장비를 장착하지 않은 경우에는 제1 작동 전압을 인가하고 상기 플레이어가 상기 장비를 장착한 경우에는 상기 제1 작동 전압보다 작은 제2 작동 전압을 인가하는 동작인 피드백 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, there is provided a feedback device which includes a thermal event causing thermal feedback, a player, and equipment mounted on the player and provided with thermal resistance for the thermal event, and which is linked with a content reproduction device that drives multimedia content provided as an electronic game and a sensory application, the feedback device comprising: a casing which includes a grip portion gripped by a user and forms an exterior of the feedback device; an input module which receives a user input according to an operation of the user; a communication module which communicates with the content reproduction device; and a thermal output module which includes a thermoelectric element which performs a thermoelectric operation, a power terminal which supplies power to the thermoelectric element, and a contact surface which is provided on the grip portion and transmits heat generated according to the thermoelectric operation of the thermoelectric element to the user, and outputs the thermal feedback by transmitting the heat generated by the thermoelectric operation to the user through the contact surface. And a controller that obtains the user input received through the input module, transmits the user input to the content playback device through the communication module so that the player operates according to the user operation, receives a message requesting output of the thermal feedback from the content playback device through the communication module, and applies operating power to the power terminal so that the thermal output module outputs the thermal feedback according to reception of the message; wherein the controller outputs the thermal feedback when the thermal event occurs during playback of the multimedia content, and performs a first operation that reflects whether the player is equipped with equipment in the output of the thermal feedback or a second operation that reflects whether the player is equipped with equipment in the intensity adjustment of the thermal feedback, and the first operation is an operation of applying the operating voltage when the player is not equipped with the equipment and not applying the operating voltage when the player is equipped with the equipment, and the second operation is an operation of applying a first operating voltage when the player is not equipped with the equipment and performing a second operation that is lower than the first operating voltage when the player is equipped with the equipment. A feedback device may be provided, which is an operation device that applies an operating voltage.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되는 열적 경험을 제공하는 방법으로, 사용자의 조작에 의해 동작하며, 체력 포인트를 가지고 상기 체력 포인트의 전량 소진 시 사망하는 플레이어를 포함하는 전자 게임을 구동하는 단계 상기 전자 게임의 진행 중 상기 체력 포인트의 변화에 따라 상기 열적 피드백의 강도 및 종류 중 적어도 하나를 획득하는 단계; 및 상기 획득된 강도 및 종류 중 적어도 하나에 따른 상기 열적 피드백이 출력되도록 상기 피드백 디바이스의 동작을 제어하는 단계;를 포함하되, 상기 획득하는 단계는, 상기 체력 포인트의 변화량의 크기에 따라 상기 열적 피드백의 강도를 획득하는 단계, 상기 체력 포인트의 최대값에 대한 상기 변화량의 비율에 따라 상기 열적 피드백의 강도를 획득하는 단계 및 상기 체력 포인트의 변화가 증가인지 감소인지 여부에 따라 상기 열적 피드백의 종류를 획득하는 단계 중 적어도 하나를 포함하는 열적 피드백 제공 방법이 제공될 수 있다. According to yet another aspect of the present invention, a method for providing a thermal experience performed by a content playback device linked with a feedback device that outputs thermal feedback using a thermoelectric element, the method comprising: a step of driving an electronic game that is operated by a user's operation and includes a player having stamina points and dying when all of the stamina points are used up; a step of acquiring at least one of an intensity and a type of the thermal feedback according to a change in the stamina points during the progress of the electronic game; and a step of controlling an operation of the feedback device so that the thermal feedback according to at least one of the acquired intensity and type is output; wherein the acquiring step includes at least one of a step of acquiring the intensity of the thermal feedback according to a magnitude of a change in the stamina points, a step of acquiring the intensity of the thermal feedback according to a ratio of the change to a maximum value of the stamina points, and a step of acquiring the type of the thermal feedback according to whether the change in the stamina points is an increase or a decrease.
여기서, 상기 체력 포인트의 변화량의 크기에 따라 상기 열적 피드백의 강도를 획득하는 단계에서, 상기 변화량이 제1 값인 경우에는 제1 강도를 획득하고, 상기 변화량이 상기 제1 값보다 큰 제2 값인 경우에는 상기 제1 강도보다 강한 제2 강도를 획득할 수 있다.Here, in the step of obtaining the intensity of the thermal feedback according to the magnitude of the change in the physical strength point, if the change is a first value, a first intensity can be obtained, and if the change is a second value greater than the first value, a second intensity stronger than the first intensity can be obtained.
또 여기서, 상기 체력 포인트의 최대값에 대한 상기 변화량의 비율에 따라 상기 열적 피드백의 강도를 획득하는 단계에서, 상기 변화량의 비율이 제1 값인 경우에는 제1 강도를 획득하고, 상기 변화량의 비율이 상기 제1 값보다 큰 제2 값인 경우에는 상기 제1 강도보다 강한 제2 강도를 획득할 수 있다.Also, in this step of obtaining the intensity of the thermal feedback according to the ratio of the amount of change to the maximum value of the physical strength points, if the ratio of the amount of change is a first value, a first intensity can be obtained, and if the ratio of the amount of change is a second value greater than the first value, a second intensity stronger than the first intensity can be obtained.
또 여기서, 상기 체력 포인트의 변화가 증가인지 감소인지 여부에 따라 상기 열적 피드백의 종류를 획득하는 단계에서, 상기 체력 포인트의 증가 시 온감 피드백 및 냉감 피드백 중 어느 하나를 상기 열적 피드백의 종류로 선택하고, 상기 체력 포인트의 감소 시 상기 온감 피드백 및 상기 냉감 피드백 중 다른 하나를 상기 열적 피드백의 종류로 선택할 수 있다.Also, in this case, in the step of obtaining the type of thermal feedback depending on whether the change in the physical strength points is an increase or a decrease, when the physical strength points increase, one of the warm feedback and the cold feedback can be selected as the type of thermal feedback, and when the physical strength points decrease, the other of the warm feedback and the cold feedback can be selected as the type of thermal feedback.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되고, 열적 경험을 제공하는 방법으로, 사용자의 조작에 의해 동작하며, 체력 포인트를 가지고 상기 체력 포인트의 전량 소진 시 사망하는 플레이어를 포함하는 전자 게임을 구동하는 단계 상기 전자 게임의 진행 중 상기 체력 포인트의 잔존량 및 상기 체력 포인트의 최대량에 대한 잔존량의 비율 중 적어도 하나에 따라 상기 열적 피드백의 출력 여부, 강도 및 종류 중 적어도 하나를 판단하는 단계; 상기 판단된 출력 여부, 강도 및 종류 중 적어도 하나에 따른 상기 열적 피드백이 출력되도록 상기 피드백 디바이스의 동작을 제어하는 단계;를 포함하는 열적 피드백 제공 방법이 제공될 수 있다. According to yet another aspect of the present invention, a method for providing thermal feedback is provided, which is performed by a content reproduction device linked to a feedback device that outputs thermal feedback using a thermoelectric element and provides a thermal experience, the method comprising: a step of driving an electronic game that is operated by a user's operation and includes a player who has stamina points and dies when all of the stamina points are used up; a step of determining at least one of whether to output, an intensity, and a type of the thermal feedback according to at least one of a remaining amount of stamina points and a ratio of the remaining amount to a maximum amount of stamina points during the progress of the electronic game; and a step of controlling an operation of the feedback device so that the thermal feedback is output according to at least one of the determined whether to output, the intensity, and the type.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로서, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 사용자의 조작에 의해 동작하며, 체력 포인트를 가지고 상기 체력 포인트의 전량 소진 시 사망하는 플레이어를 포함하는 전자 게임을 구동하고, 상기 전자 게임의 진행 중 상기 체력 포인트의 변화에 따라 상기 열적 피드백의 강도 및 종류 중 적어도 하나를 획득하고, 상기 획득된 강도 및 종류 중 적어도 하나에 따른 상기 열적 피드백이 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스의 동작을 제어하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 체력 포인트의 변화량의 크기 및 상기 체력 포인트의 최대값에 대한 상기 변화량의 비율 중 어느 하나에 기초하여 상기 열적 피드백의 강도를 결정하고, 상기 체력 포인트의 변화가 증가인지 감소인지 여부에 따라 상기 열적 피드백의 종류를 결정하는 콘텐츠 재생 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, there is provided a content reproduction device interlocked with a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device including: a memory that stores data; a communication module that communicates with an external device; and a controller that operates by a user's operation and drives an electronic game including a player who has stamina points and dies when all of the stamina points are used up, and controls the operation of the feedback device through the communication module so that the thermal feedback according to at least one of the acquired intensity and type is output according to a change in the stamina points during the progress of the electronic game, wherein the controller determines the intensity of the thermal feedback based on one of the magnitude of the change in the stamina points and the ratio of the change in the amount to the maximum value of the stamina points, and determines the type of the thermal feedback according to whether the change in the stamina points is an increase or a decrease.
여기서, 상기 콘트롤러는, 상기 변화량이 제1 값인 경우에는 제1 강도를 획득하고, 상기 변화량이 상기 제1 값보다 큰 제2 값인 경우에는 상기 제1 강도보다 강한 제2 강도를 획득할 수 있다.Here, the controller can obtain a first intensity when the change amount is a first value, and obtain a second intensity stronger than the first intensity when the change amount is a second value greater than the first value.
또 여기서, 상기 콘트롤러는, 상기 최대값에 대한 상기 변화량의 비율이 제1 값인 경우에는 제1 강도를 획득하고, 상기 변화량의 비율이 상기 제1 값보다 큰 제2 값인 경우에는 상기 제1 강도보다 강한 제2 강도를 획득할 수 있다.Also, in this case, the controller can obtain a first intensity when the ratio of the change amount to the maximum value is a first value, and can obtain a second intensity stronger than the first intensity when the ratio of the change amount is a second value greater than the first value.
또 여기서, 상기 콘트롤러는, 상기 체력 포인트의 증가 시 온감 피드백 및 냉감 피드백 중 어느 하나를 상기 열적 피드백의 종류로 선택하고, 상기 체력 포인트의 감소 시 상기 온감 피드백 및 상기 냉감 피드백 중 다른 하나를 상기 열적 피드백의 종류로 선택할 수 있다.Also, in this case, the controller may select one of the warm feedback and the cold feedback as the type of thermal feedback when the stamina points increase, and may select the other of the warm feedback and the cold feedback as the type of thermal feedback when the stamina points decrease.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로서, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 사용자의 조작에 의해 동작하며, 체력 포인트를 가지고 상기 체력 포인트의 전량 소진 시 사망하는 플레이어를 포함하는 전자 게임을 구동하고, 상기 전자 게임의 진행 중 상기 체력 포인트의 잔존량 및 상기 체력 포인트의 최대량에 대한 잔존량의 비율 중 적어도 하나에 따라 상기 열적 피드백의 출력 여부, 강도 및 종류 중 적어도 하나를 판단하고, 상기 판단된 출력 여부, 강도 및 종류 중 적어도 하나에 따른 상기 열적 피드백이 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스의 동작을 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, a content reproduction device is provided that is linked to a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device including: a memory that stores data; a communication module that communicates with an external device; and a controller that operates by a user's operation and drives an electronic game including a player who has stamina points and dies when all of the stamina points are used up, and determines at least one of whether to output, an intensity, and a type of the thermal feedback according to at least one of a remaining amount of stamina points and a ratio of the remaining amount to a maximum amount of stamina points during the progress of the electronic game, and controls the operation of the feedback device through the communication module so that the thermal feedback is output according to at least one of the determined whether to output, the intensity, and the type.
본 발명의 다시 또 다른 양상에 따르면, 사용자의 조작에 의해 동작하며, 체력 포인트를 가지고 상기 체력 포인트의 전량 소진 시 사망하는 플레이어를 포함하는 전자 게임을 구동하는 콘텐츠 재생 디바이스와 연동되는 피드백 디바이스로서, 사용자에 의해 파지되는 파지부를 포함하고 상기 피드백 디바이스의 외관을 형성하는 케이싱; 상기 사용자의 조작에 따라 사용자 입력을 수신하는 입력 모듈; 상기 콘텐츠 재생 디바이스와 통신하는 통신 모듈; 및 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 파지부에 마련되고 상기 열전 소자의 열전 동작에 따라 발생하는 열을 상기 사용자에게 전달하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 입력 모듈을 통해 수신된 상기 사용자 입력을 획득하고, 상기 사용자 조작에 따른 상기 플레이어가 동작하도록 상기 통신 모듈을 통해 상기 콘텐츠 재생 디바이스로 상기 사용자 입력을 송신하고, 상기 플레이어의 체력 포인트의 상태에 따라 상기 열 출력 모듈이 상기 열적 피드백을 출력하도록 상기 전원 단자에 작동 전원을 인가하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 체력 포인트의 변화량 또는 상기 체력 포인트의 전체량에 대한 상기 변화량의 비율이 제1 값인 경우 제1 작동 전압을 인가하고 상기 체력 포인트의 변화량 또는 상기 변화량의 비율이 상기 제1 값보다 큰 제2 값인 경우 상기 제1 작동 전압보다 큰 제2 작동 전압을 인가하는 제1 동작, 상기 체력 포인트의 증가 시 온감 피드백을 위한 정전압 또는 냉감 피드백을 위한 역전압 중 어느 하나를 인가하고 상기 체력 포인트의 감소 시 온감 피드백을 위한 정전압 또는 냉감 피드백을 위한 역전압 중 다른 하나를 인가하는 제2 동작 및 상기 체력 포인트의 잔존량 또는 상기 전체량에 대한 상기 잔존량의 비율이 제3 값인 경우 제3 작동 전압을 인가하고 상기 잔존량 또는 상기 잔존량의 비율이 상기 제3 값보다 작은 제4 값인 경우 상기 제3 작동 전압보다 큰 제4 작동 전압을 인가하는 제3 동작 중 적어도 하나를 수행하는 피드백 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, there is provided a feedback device that operates according to a user's operation and is linked to a content reproduction device that drives an electronic game including a player having stamina points and dying when all of the stamina points are used up, the feedback device comprising: a casing that includes a grip portion that is gripped by the user and forms an exterior of the feedback device; an input module that receives a user input according to the user's operation; a communication module that communicates with the content reproduction device; and a thermal output module that includes a thermoelectric element that performs a thermoelectric operation, a power terminal that supplies power to the thermoelectric element, and a contact surface that is provided on the grip portion and transmits heat generated according to the thermoelectric operation of the thermoelectric element to the user, and outputs the thermal feedback by transmitting the heat generated according to the thermoelectric operation to the user through the contact surface. And a controller that obtains the user input received through the input module, transmits the user input to the content playback device through the communication module so that the player operates according to the user operation, and applies operating power to the power terminal so that the heat output module outputs the thermal feedback according to the state of the player's stamina points; wherein the controller performs a first operation of applying a first operating voltage when the amount of change in the stamina points or the ratio of the amount of change to the total amount of stamina points is a first value and applying a second operating voltage greater than the first operating voltage when the amount of change in the stamina points or the ratio of the amount of change is a second value greater than the first value, a second operation of applying either a constant voltage for warm feedback or a reverse voltage for cold feedback when the stamina points increase and the other of the constant voltage for warm feedback or the reverse voltage for cold feedback when the stamina points decrease, and a third operation voltage when the remaining amount of the stamina points or the ratio of the remaining amount to the total amount is a third value. A feedback device may be provided that performs at least one of a third operation of applying a fourth operating voltage greater than the third operating voltage when the residual amount or the ratio of the residual amount is a fourth value less than the third value.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생디바이스에 의해 수행되는 열적 경험 제공 방법으로, 전도 타입 및 방사 타입을 포함하는 열 전달 속성이 부여되는 가상 열원을 제공하는 전자 게임 또는 체감형 어플리케이션의 형태의 멀티미디어 콘텐츠를 구동하는 단계; 상기 열 전달 속성을 고려하여 상기 멀티미디어 콘텐츠의 플레이어가 상기 가상 열원으로부터 받는 가상 열량을 판단하는 단계; 상기 산출된 가상 열량에 따라 상기 열적 피드백 강도를 결정하는 단계; 및 상기 결정된 강도에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 단계;를 포함하되, 상기 가상 열량을 판단하는 단계는, 상기 전도 타입의 가상 열원에 대해서 상기 플레이어와 접촉한 경우에 상기 가상 열원의 온도값에 기초하여 상기 상기 열량을 산출하는 단계 및 상기 방사 타입의 가상 열원에 대해서 상기 플레이어와 상기 가상 열원 간의 이격 거리 및 상기 가상 열원의 온도값에 기초하여 상기 가상 열량을 산출하는 단계를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a thermal experience providing method performed by a content playback device linked with a feedback device that outputs thermal feedback using a thermoelectric element, the method comprising: driving multimedia content in the form of an electronic game or a sensory application that provides a virtual heat source to which heat transfer properties including a conduction type and a radiation type are applied; determining a virtual heat amount received by a player of the multimedia content from the virtual heat source in consideration of the heat transfer properties; determining an intensity of the thermal feedback according to the calculated virtual heat amount; and controlling the feedback device so that the thermal feedback is output according to the determined intensity; wherein the step of determining the virtual heat amount includes a step of calculating the heat amount based on a temperature value of the virtual heat source when the virtual heat source of the conduction type comes into contact with the player, and a step of calculating the virtual heat amount based on a distance between the player and the virtual heat source and a temperature value of the virtual heat source when the virtual heat source of the radiation type is in contact with the player.
여기서, 상기 가상 열량을 판단하는 단계는, 상기 전도 타입의 가상 열원에 대해서 상기 플레이어와 이격된 경우에 상기 열량을 ‘0’으로 판단하거나 또는 상기 가상 열량이 없는 것으로 판단하는 단계를 더 포함할 수 있다.Here, the step of determining the virtual heat amount may further include a step of determining the heat amount as ‘0’ or determining that the virtual heat amount is absent when the virtual heat source of the conductive type is separated from the player.
또 여기서, 상기 방사 타입의 가상 열원에 대해서 상기 가상 열량을 산출하는 단계에서, 상기 이격 거리가 작을수록 상기 가상 열원을 크게 산출할 수 있다.Also, in this case, in the step of calculating the virtual heat amount for the virtual heat source of the radiation type, the smaller the separation distance, the larger the virtual heat source can be calculated.
또 여기서, 상기 방사 타입의 가상 열원에 대해서 상기 가상 열량을 산출하는 단계에서, 상기 이격 거리가 제1 거리인 경우 상기 가상 열량을 제1 열량으로 획득하고, 상기 이격 거리가 상기 제1 거리보다 작은 제2 거리인 경우 상기 가상 열량을 상기 제1 열량보다 큰 제2 열량으로 획득할 수 있다.Also, in this case, in the step of calculating the virtual heat amount for the virtual heat source of the radiation type, if the separation distance is a first distance, the virtual heat amount can be obtained as a first heat amount, and if the separation distance is a second distance smaller than the first distance, the virtual heat amount can be obtained as a second heat amount larger than the first heat amount.
또 여기서, 상기 열 전달 속성은, 디렉셔널 타입을 더 포함하고, 상기 가상 열량을 판단하는 단계는, 상기 디렉셔널 타입의 가상 열원에 대해서 상기 가상 열원의 온도에 기초하여 상기 가상 열량을 산출하되, 상기 플레이어와 상기 가상 열원 간의 이격 거리가 상이한 경우에도 동일한 상기 가상 열량이 동일한 단계;를 더 포함할 수 있다.In addition, the heat transfer property may further include a directional type, and the step of determining the virtual heat amount may further include a step of calculating the virtual heat amount based on the temperature of the virtual heat source for the virtual heat source of the directional type, wherein the virtual heat amount is the same even when the distance between the player and the virtual heat source is different.
또 여기서, 상기 열 전달 속성은, 에어리어 타입을 더 포함하고, 상기 가상 열량을 판단하는 단계는, 상기 에어리어 타입의 가상 열원에 대해서 상기 플레이어가 상기 가상 열원으로부터 미리 정해진 거리 이내에 있는 경우에 상기 가상 열원의 온도값에 기초하여 상기 상기 가상 열량을 산출하는 단계;를 더 포함할 수 있다.In addition, the heat transfer property may further include an area type, and the step of determining the virtual heat amount may further include a step of calculating the virtual heat amount based on a temperature value of the virtual heat source when the player is within a predetermined distance from the virtual heat source for the virtual heat source of the area type.
또 여기서, 상기 산출된 열량이 음수인지 양수인지 여부에 기초하여 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류를 판단하는 단계;를 더 포함하고, 상기 제어하는 단계에서, 상기 판단된 종류에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어할 수 있다. In addition, the method further includes a step of determining the type of the thermal feedback, including hot feedback and cold feedback, based on whether the generated heat amount is negative or positive; and in the controlling step, the feedback device can be controlled so that the thermal feedback is output according to the determined type.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로, 데이터를 저장하는 메모리; 외부 기기와 통신하는 통신 모듈; 및 전도 타입 및 방사 타입을 포함하는 열 전달 속성이 부여되는 가상 열원을 제공하는 전자 게임 또는 체감형 어플리케이션의 형태의 멀티미디어 콘텐츠를 구동하고, 상기 열 전달 속성을 고려하여 상기 멀티미디어 콘텐츠의 플레이어가 상기 가상 열원으로부터 받는 가상 열량을 판단하고, 상기 산출된 가상 열량에 따라 상기 열적 피드백 강도를 결정하고, 상기 결정된 강도에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하되, 상기 콘트롤러는, 상기 전도 타입의 가상 열원에 대해서 상기 플레이어와 접촉한 경우에 상기 가상 열원의 온도값에 기초하여 상기 상기 열량을 산출하고, 상기 방사 타입의 가상 열원에 대해서 상기 플레이어와 상기 가상 열원 간의 이격 거리 및 상기 가상 열원의 온도값에 기초하여 상기 가상 열량을 산출하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to another aspect of the present invention, there is provided a content reproduction device linked to a feedback device that outputs thermal feedback using a thermoelectric element, the content reproduction device comprising: a memory that stores data; a communication module that communicates with an external device; and a controller that drives multimedia content in the form of an electronic game or a sensory application that provides a virtual heat source to which heat transfer properties including a conduction type and a radiation type are applied, and determines a virtual heat amount received by a player of the multimedia content from the virtual heat source in consideration of the heat transfer properties, determines an intensity of the thermal feedback according to the calculated virtual heat amount, and controls the feedback device so that the thermal feedback is output according to the determined intensity; wherein the controller calculates the heat amount based on a temperature value of the virtual heat source when the virtual heat source of the conduction type comes into contact with the player, and calculates the virtual heat amount based on a distance between the player and the virtual heat source and a temperature value of the virtual heat source when the virtual heat source of the radiation type is in contact with the player.
여기서, 상기 콘트롤러는 상기 전도 타입의 가상 열원에 대해서 상기 플레이어와 이격된 경우에 상기 열량을 ‘0’으로 판단하거나 또는 상기 가상 열량이 없는 것으로 판단할 수 있다.Here, the controller can determine the heat amount as ‘0’ or determine that there is no virtual heat amount when the virtual heat source of the conductive type is separated from the player.
또 여기서, 상기 콘트롤러는, 상기 방사 타입의 가사 열원에 대해서 상기 이격 거리가 작을수록 상기 가상 열원을 크게 산출할 수 있다.Also, in this case, the controller can produce a larger virtual heat source as the separation distance from the radiant type of heat source decreases.
또 여기서, 상기 콘트롤러는, 상기 방사 타입의 가상 열원과 상기 플레이어 간의 상기 이격 거리가 제1 거리인 경우 상기 가상 열량을 제1 열량으로 획득하고, 상기 방사 타입의 가상 열원과 상기 플레이어 간의 이격 거리가 상기 제1 거리보다 작은 제2 거리인 경우 상기 가상 열량을 상기 제1 열량보다 큰 제2 열량으로 획득할 수 있다.Also, in this case, the controller can obtain the virtual heat amount as a first heat amount when the distance between the virtual heat source of the radiation type and the player is a first distance, and can obtain the virtual heat amount as a second heat amount greater than the first heat amount when the distance between the virtual heat source of the radiation type and the player is a second distance smaller than the first distance.
또 여기서, 상기 열 전달 속성은, 디렉셔널 타입을 더 포함하고, 상기 콘트롤러는, 상기 디렉셔널 타입의 가상 열원에 대해서 상기 가상 열원의 온도에 기초하여 상기 가상 열량을 산출하되, 상기 플레이어와 상기 가상 열원 간의 이격 거리가 상이한 경우에도 동일할 수 있다.In addition, the heat transfer property further includes a directional type, and the controller calculates the virtual heat amount based on the temperature of the virtual heat source for the virtual heat source of the directional type, which may be the same even when the distance between the player and the virtual heat source is different.
또 여기서, 상기 열 전달 속성은, 에어리어 타입을 더 포함하고, 상기 콘트롤러는, 상기 에어리어 타입의 가상 열원에 대해서 상기 플레이어가 상기 가상 열원으로부터 미리 정해진 거리 이내에 있는 경우에 상기 가상 열원의 온도값에 기초하여 상기 상기 가상 열량을 산출할 수 있다.In addition, the heat transfer property further includes an area type, and the controller can calculate the virtual heat amount based on the temperature value of the virtual heat source when the player is within a predetermined distance from the virtual heat source for the virtual heat source of the area type.
또 여기서, 상기 콘트롤러는, 상기 산출된 열량이 음수인지 양수인지 여부에 기초하여 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류를 판단하고, 상기 제어하는 단계에서, 상기 판단된 종류에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어할 수 있다.In addition, the controller may determine the type of the thermal feedback, including hot feedback and cold feedback, based on whether the calculated heat amount is negative or positive, and, in the controlling step, control the feedback device so that the thermal feedback is output according to the determined type.
본 발명의 다시 또 다른 양상에 따르면, 가상 열원을 포함하는 전자 게임 또는 체감형 어플리케이션을 구동하는 콘텐츠 재생 디바이스와 연동하여 플레이어가 상기 가상 열원으로부터 받는 가상 열량을 열적 피드백으로 출력하는 피드백 디바이스로서, 발열 동작, 흡열 동작 및 상기 발열 동작과 상기 흡열 동작이 복합된 열 그릴 동작을 포함하는 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 열전 소자의 일 측면에 마련되고 사용자의 신체 부위와 접촉하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 플레이어가 제1 가상 열원과 접촉 상태인 경우 상기 제1 가상 열원로부터 상기 플레이어에게 전도되는 상기 가상 열량을 반영하는 상기 열적 피드백의 출력을 위하여 상기 전원 단자에 제1 전원을 인가하고 상기 플레이어가 상기 제1 가상 열원과 이격 상태인 경우 상기 제1 전원의 인가를 중단하고, 상기 플레이어가 상기 제1 가상 열원과 상이한 열 전달 속성을 가지는 제2 가상 열원로부터 제1 거리만큼 이격된 경우 상기 제2 가상 열원으로부터 상기 플레이어에게 복사되는 상기 가상 열량을 반영하는 상기 열적 피드백의 출력을 위하여 상기 전원 단자에 제2 전원을 인가하고, 상기 플레이어가 상기 제2 가상 열원으로부터 상기 제1 거리보다 가까운 제2 거리만큼 이격된 경우 상기 전원 단자에 상기 제2 전원보다 큰 제3 전원을 인가하는 콘트롤러;를 포함하는 피드백 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, there is provided a feedback device which outputs a virtual amount of heat received by a player from a virtual heat source as thermal feedback in conjunction with a content playback device which drives an electronic game or a sensory application including a virtual heat source, the feedback device comprising: a thermoelectric element which performs a thermoelectric operation including a heating operation, an absorption operation, and a heat grill operation in which the heating operation and the absorption operation are combined; a power terminal which supplies power to the thermoelectric element; and a contact surface which is provided on one side of the thermoelectric element and comes into contact with a body part of a user, the heat output module which outputs the thermal feedback by transferring heat generated by the thermoelectric operation to the user through the contact surface; And a controller which applies a first power to the power terminal for outputting the thermal feedback reflecting the virtual heat amount conducted from the first virtual heat source to the player when the player is in contact with the first virtual heat source, stops applying the first power when the player is away from the first virtual heat source, applies a second power to the power terminal for outputting the thermal feedback reflecting the virtual heat amount radiated from the second virtual heat source to the player when the player is away from the second virtual heat source by a first distance having a different heat transfer property from the first virtual heat source, and applies a third power greater than the second power to the power terminal when the player is away from the second virtual heat source by a second distance shorter than the first distance.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스에 의해 수행되는 전자 게임 또는 체감형 어플리케이션의 형태의 멀티미디어 콘텐츠에 관한 열적 경험을 사용자에게 제공하는 방법으로서, 플레이어 및 온도 정보 및 재질 정보를 포함하는 열 속성이 부여된 가상 오브젝트를 포함하고, 상기 플레이어의 상기 가상 오브젝트에 대한 터치 또는 그랩을 포함하는 상호 작용이 제공하는 상기 멀티미디어 콘텐츠를 구동하는 단계; 상기 사용자의 조작에 따라 상기 플레이어 및 상기 가상 오브젝트 간의 상기 상호 작용이 유지되는 동안 상기 상호 작용의 유지 시간, 상기 온도 정보 및 상기 재질 정보에 따라 상기 열적 피드백의 강도를 변화시키는 단계; 및 상기 강도에 따라 상기 열적 피드백이 출력되도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a user with a thermal experience regarding multimedia content in the form of an electronic game or a sensory application, which is performed by a content reproduction device linked with a feedback device that outputs thermal feedback using a thermoelectric element, may be provided, the method comprising: a step of driving the multimedia content provided by an interaction including a touch or grab of the virtual object by the player, wherein the interaction between the player and the virtual object is maintained according to the user's operation, a maintenance time of the interaction, and the temperature information and the material information; and a step of controlling the feedback device so that the thermal feedback is output according to the intensity.
여기서, 상기 온도 정보에 기초하여 상기 열적 피드백의 최대 강도를 설정하는 단계; 및 상기 열적 피드백의 강도가 상기 최대 강도에 도달한 경우, 상기 열적 피드백의 강도를 상기 최대 강도로 고정시키는 단계;를 더 포함할 수 있다.Here, the method may further include a step of setting a maximum intensity of the thermal feedback based on the temperature information; and a step of fixing the intensity of the thermal feedback to the maximum intensity when the intensity of the thermal feedback reaches the maximum intensity.
또 여기서, 상기 강도를 변화시키는 단계에서, 상기 재질 정보에 기초하여 상기 강도의 시간 당 변화 정도를 조절할 수 있다.Also, in this step of changing the intensity, the degree of change in the intensity per hour can be controlled based on the material information.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스와 연동되고, 전자 게임 또는 체감형 어플리케이션의 형태의 멀티미디어 콘텐츠를 구동하는 콘텐츠 재생 디바이스로, 발열 동작 및 흡열 동작을 포함하는 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 상기 열전 동작을 위한 전원을 공급하는 전원 단자 및 상기 열전 소자의 일 측에 마련되고 사용자의 신체 부위와 접촉하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 열적 피드백을 출력하는 열 출력 모듈; 및 데이터를 저장하는 메모리; 외부 기기와 통신을 수행하는 통신 모듈; 및 플레이어 및 열 속성이 부여된 가상 오브젝트를 포함하고, 상기 플레이어의 상기 가상 오브젝트에 대한 터치 또는 그랩을 포함하는 상호 작용이 제공하는 상기 멀티미디어 콘텐츠를 구동하고, 상기 사용자의 조작에 따라 상기 플레이어 및 상기 가상 오브젝트 간의 상기 상호 작용이 유지되는 동안 상기 상호 작용의 유지 시간 및 상기 열 속성의 온도값 및 재질값에 따라 상기 열적 피드백의 강도를 변화시키고, 상기 강도에 따라 상기 열적 피드백이 출력되도록 상기 통신 모듈을 통해 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다. According to yet another aspect of the present invention, there is provided a content playback device that drives multimedia content in the form of an electronic game or a sensory application, and is linked with a feedback device that outputs thermal feedback using a thermoelectric element, the content playback device comprising: a thermoelectric element that performs a thermoelectric operation including a heat-generating operation and a heat-absorbing operation, a power terminal that supplies power for the thermoelectric operation to the thermoelectric element, and a contact surface that is provided on one side of the thermoelectric element and comes into contact with a body part of a user, the heat output module that outputs thermal feedback by transferring heat generated by the thermoelectric operation to the user through the contact surface; and a memory that stores data; a communication module that performs communication with an external device; And a controller including a player and a virtual object endowed with thermal properties, and driving the multimedia content provided by an interaction including a touch or grab of the virtual object of the player, and changing the intensity of the thermal feedback according to the maintenance time of the interaction and the temperature value and material value of the thermal property while the interaction between the player and the virtual object is maintained according to the operation of the user, and controlling the feedback device through the communication module so that the thermal feedback is output according to the intensity can be provided.
여기서, 상기 콘트롤러는, 상기 온도 정보에 기초하여 상기 열적 피드백의 최대 강도를 설정하고, 상기 열적 피드백의 강도가 상기 최대 강도에 도달한 경우, 상기 열적 피드백의 강도를 상기 최대 강도로 고정시킬 수 있다.Here, the controller can set the maximum intensity of the thermal feedback based on the temperature information, and when the intensity of the thermal feedback reaches the maximum intensity, fix the intensity of the thermal feedback to the maximum intensity.
또 여기서, 싱기 콘트롤러는, 상기 재질값에 기초하여 상기 강도의 시간 당 변화 정도를 조절할 수 있다.Also, the singi controller can control the degree of change in the intensity per hour based on the material value.
본 발명의 다시 또 다른 양상에 따르면, 플레이어 및 가상 오브젝트를 포함하고, 상기 플레이어의 상기 가상 오브젝트에 대한 터치 또는 그랩을 포함하는 상호 작용이 제공하는 전자 게임 또는 체감형 어플리케이션 형태의 상기 멀티미디어 콘텐츠를 구동하는 콘텐츠 재생 디바이스와 연동되고, 사용자 조작을 입력받는 피드백 디바이스로서, 상기 사용자에 의해 파지되는 파지부를 포함하고 상기 피드백 디바이스의 외관을 형성하는 케이싱; 상기 사용자의 조작에 따라 사용자 입력을 수신하는 입력 모듈; 상기 콘텐츠 재생 디바이스와 통신하는 통신 모듈; 및 열전 동작을 수행하는 열전 소자, 상기 열전 소자에 전원을 공급하는 전원 단자 및 상기 파지부에 마련되고 상기 열전 소자의 열전 동작에 따라 발생하는 열을 상기 사용자에게 전달하는 접촉면을 포함하고, 상기 접촉면을 통해 상기 열전 동작에 의해 발생한 열을 상기 사용자에게 전달함으로써 상기 열적 피드백을 출력하는 열 출력 모듈; 및 상기 사용자의 조작에 따라 상기 플레이어 및 상기 가상 오브젝트 간의 상기 상호 작용이 개시된 경우, 상기 상호 작용이 유지되는 동안 상기 열전 소자에 인가되는 상기 전원의 전압을 증가시키는 피드백 콘트롤러;를 포함하는 피드백 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a feedback device is provided, which includes a player and a virtual object, and which is linked to a content playback device that drives the multimedia content in the form of an electronic game or a sensory application that provides interaction including a touch or grab of the virtual object by the player, and which receives a user operation, the feedback device comprising: a casing that includes a grip portion that is gripped by the user and forms an exterior of the feedback device; an input module that receives a user input according to the user operation; a communication module that communicates with the content playback device; and a thermal output module that includes a thermoelectric element that performs a thermoelectric operation, a power terminal that supplies power to the thermoelectric element, and a contact surface that is provided on the grip portion and transmits heat generated according to the thermoelectric operation of the thermoelectric element to the user, and outputs the thermal feedback by transmitting the heat generated by the thermoelectric operation to the user through the contact surface; and a feedback controller that increases the voltage of the power applied to the thermoelectric element while the interaction is maintained when the interaction between the player and the virtual object is initiated according to the user operation.
여기서, 상기 피드백 콘트롤러는, 상기 가상 오브젝트가 나무 소재인 경우 상기 전원의 전압을 제1 속도로 증가시키고, 상기 가상 오브젝트가 금속 소재인 경우 상기 전원의 전압을 상기 제1 속도보다 빠른 제2 속도로 증가시킬 수 있다.Here, the feedback controller can increase the voltage of the power supply at a first speed when the virtual object is made of wood, and can increase the voltage of the power supply at a second speed that is faster than the first speed when the virtual object is made of metal.
또 여기서, 상기 피드백 콘트롤러는, 상기 가상 오브젝트의 온도가 상이한 경우 상기 전압의 최대치를 상이하게 설정할 수 있다.Also, the feedback controller can set the maximum value of the voltage differently when the temperature of the virtual object is different.
또 여기서, 상기 피드백 콘트롤러는, 상기 가상 오브젝트의 재질이 상이한 경우 상기 전압의 증가 속도를 상이하게 설정할 수 있다.Also, the feedback controller can set the increase speed of the voltage differently when the material of the virtual object is different.
본 발명의 다시 또 다른 양상에 따르면, 가상 오브젝트들 간의 충돌 이벤트에 대해 적어도 운동량을 고려하여 상기 가상 오브젝트들의 거동을 산출하는 콜리전 방식 및 어느 하나 가상 오브젝트가 다른 하나의 가상 오브젝트를 투과하도록 하는 트리거 방식을 포함하는 충돌 처리 방식을 지원하는 물리 엔진을 이용하는 게임을 실행하는 단계; 플레이어 캐릭터에 대한 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인지 상기 트리거 방식인지 판단하는 단계; 상기 판단 결과에 기초하여 열적 피드백의 강도를 결정하는 단계; 및 상기 열적 피드백의 강도에 따라 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작의 강도를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience may be provided, including: a step of executing a game using a physics engine that supports a collision processing method including a collision method for calculating a behavior of virtual objects by considering at least momentum for a collision event between virtual objects and a trigger method for allowing one virtual object to pass through another virtual object; a step of determining whether a collision processing method of a hit event for a player character is the collision method or the trigger method; a step of determining an intensity of thermal feedback based on a result of the determination; and a step of controlling an intensity of a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element according to the intensity of the thermal feedback.
여기서, 상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인 경우에 상기 콜리전 방식에 따라 산출된 운동량에 기초하여 상기 열적 피드백의 강도를 결정하는 단계를 포함할 수 있다.Here, the step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback based on the momentum calculated according to the collision method when the collision processing method of the hit event is the collision method.
또 여기서, 상기 열적 피드백의 강도는, 상기 산출된 운동량이 클수록 강하게 결정될 수 있다.Also, here, the strength of the thermal feedback can be determined to be stronger as the generated momentum increases.
또 여기서, 상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 열적 피드백의 강도를 미리 정해진 값으로 결정하는 단계를 포함할 수 있다.In addition, the step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback to a predetermined value when the collision processing method of the hit event is the trigger method.
또 여기서, 상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 플레이어 캐릭터를 타격한 타격물의 식별 정보 및 상기 타격물을 발사한 발사체의 식별 정보 중 적어도 하나에 따라 상기 열적 피드백의 강도를 결정하는 단계를 포함할 수 있다.In addition, the step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback based on at least one of the identification information of the striking object that struck the player character and the identification information of the projectile that fired the striking object when the collision processing method of the hitting event is the trigger method.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하는 피드백 디바이스와 연동되는 콘텐츠 재생 디바이스로, 데이터를 저장하는 메모리; 상기 피드백 디바이스와 통신하는 통신 모듈; 및 가상 오브젝트들 간의 충돌 이벤트에 대해 적어도 운동량을 고려하여 상기 가상 오브젝트들의 거동을 산출하는 콜리전 방식 및 어느 하나 가상 오브젝트가 다른 하나의 가상 오브젝트를 투과하도록 하는 트리거 방식을 포함하는 충돌 처리 방식을 지원하는 물리 엔진을 이용하는 게임을 실행하고, 플레이어 캐릭터에 대한 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인지 상기 트리거 방식인지 판단하고, 상기 판단 결과에 기초하여 열적 피드백의 강도를 결정하고, 상기 열적 피드백의 강도에 따라 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작의 강도를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content reproduction device is provided, which is linked to a feedback device using a thermoelectric element, the content reproduction device including: a memory for storing data; a communication module for communicating with the feedback device; and a controller for executing a game using a physics engine that supports a collision processing method including a collision method for calculating behaviors of virtual objects by considering at least momentum for a collision event between virtual objects and a trigger method for allowing one virtual object to pass through another virtual object, and for determining whether a collision processing method of a hit event for a player character is the collision method or the trigger method, determining an intensity of thermal feedback based on a result of the determination, and controlling an intensity of a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element according to the intensity of the thermal feedback.
여기서, 상기 콘트롤러는, 상기 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인 경우에 상기 콜리전 방식에 따라 산출된 운동량에 기초하여 상기 열적 피드백의 강도를 결정할 수 있다.Here, the controller can determine the intensity of the thermal feedback based on the momentum calculated according to the collision method when the collision processing method of the hit event is the collision method.
또 여기서, 상기 열적 피드백의 강도는, 상기 산출된 운동량이 클수록 강하게 결정될 수 있다.Also, here, the strength of the thermal feedback can be determined to be stronger as the generated momentum increases.
또 여기서, 상기 콘트롤러는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 열적 피드백의 강도를 미리 정해진 값으로 결정할 수 있다.Also, in this case, the controller can determine the intensity of the thermal feedback to a predetermined value when the collision processing method of the hit event is the trigger method.
또 여기서, 상기 콘트롤러는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 플레이어 캐릭터를 타격한 타격물의 식별 정보 및 상기 타격물을 발사한 발사체의 식별 정보 중 적어도 하나에 따라 상기 열적 피드백의 강도를 결정할 수 있다. Also, in this case, the controller can determine the intensity of the thermal feedback based on at least one of the identification information of the striking object that struck the player character and the identification information of the projectile that fired the striking object when the collision processing method of the striking event is the trigger method.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스에 의해 수행되는 열적 경험 제공 방법으로서, 가상 공간을 구현하는 가상 현실 어플리케이션을 실행하되, HMD로부터 감지된 사용자의 시선 방향에 따른 시계(FOV: Field Of View)를 통해 상기 가상 공간에 대한 이미지를 디스플레이하는 단계; 상기 가상 공간 내에서 열적 이벤트가 발생한 경우, 상기 시계에 대한 상기 열적 이벤트의 발생 방향에 기초하여 상기 복수의 피드백 디바이스 중 상기 열적 피드백을 출력할 대상 피드백 디바이스를 판단하는 단계; 및 상기 대상 피드백 디바이스로 상기 열적 피드백의 출력을 지시하는 신호를 송신하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience, which is performed by a content playback device that plays multimedia content and is linked with a plurality of feedback devices that output thermal feedback using thermoelectric elements, may be provided, the method including the steps of: executing a virtual reality application that implements a virtual space, and displaying an image of the virtual space through a field of view (FOV) according to a direction of a user's gaze detected from an HMD; determining, when a thermal event occurs within the virtual space, a target feedback device among the plurality of feedback devices that will output the thermal feedback based on a direction in which the thermal event occurs with respect to the field of view; and transmitting a signal instructing output of the thermal feedback to the target feedback device.
여기서, 상기 판단하는 단계에서, 상기 FOV의 중앙에 위치하는 중앙 영역에서 상기 열적 이벤트가 발생한 경우 상기 복수의 디바이스 중 사용자의 오른손에 파지되는 제1 디바이스 및 상기 사용자의 왼손에 파지되는 제2 디바이스를 상기 대상 피드백 디바이스로 판단할 수 있다.Here, in the judging step, if the thermal event occurs in a central area located at the center of the FOV, the first device held in the user's right hand and the second device held in the user's left hand among the plurality of devices can be judged as the target feedback devices.
또 여기서, 상기 제1 디바이스 및 상기 제2 디바이스가 동일한 강도로 상기 열적 피드백을 출력하도록 제어하는 단계;를 더 포함할 수 있다. In addition, the method may further include a step of controlling the first device and the second device to output the thermal feedback with the same intensity.
또 여기서, 상기 판단하는 단계에서, 상기 중앙 영역의 일측에서 상기 열적 이벤트가 발생한 경우 상기 제1 디바이스 및 상기 제2 디바이스 중 상기 일측과 동일한 방향의 손에 파지되는 상기 피드백 디바이스만 상기 대상 디바이스로 결정할 수 있다.Also, in this case, in the judging step, if the thermal event occurs on one side of the central region, only the feedback device that is held by a hand in the same direction as the one side among the first device and the second device can be determined as the target device.
또 여기서, 상기 판단하는 단계에서, 상기 중앙 영역의 일측에서 상기 열적 이벤트가 발생한 경우 상기 제1 디바이스 및 상기 제2 디바이스를 상기 대상 디바이스로 판단하되, 상기 제1 디바이스 및 상기 제2 디바이스의 상기 열적 강도를 상이하게 설정할 수 있다.Also, in this case, in the judging step, if the thermal event occurs on one side of the central region, the first device and the second device are judged as the target devices, but the thermal intensities of the first device and the second device can be set differently.
또 여기서, 상기 판단하는 단계에서, 상기 대상 디바이스 중 상기 열적 이벤트가 발생한 일측에 대응되는 디바이스가 다른 디바이스보다 강한 열적 피드백 강도를 갖도록 설정할 수 있다.Also, in this case, in the judging step, the device corresponding to one side of the target devices where the thermal event occurred can be set to have a stronger thermal feedback intensity than the other devices.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스로 데이터를 저장하는 메모리; 상기 피드백 디바이스와 통신하는 통신 모듈; 및 가상 공간을 구현하는 가상 현실 어플리케이션을 실행하되, HMD로부터 감지된 사용자의 시선 방향에 따른 시계(FOV: Field Of View)를 통해 상기 가상 공간에 대한 이미지를 디스플레이하고, 상기 가상 공간 내에서 열적 이벤트가 발생한 경우, 상기 시계에 대한 상기 열적 이벤트의 발생 방향에 기초하여 상기 복수의 피드백 디바이스 중 상기 열적 피드백을 출력할 대상 피드백 디바이스를 판단하고, 상기 대상 피드백 디바이스로 상기 열적 피드백의 출력을 지시하는 신호를 송신하는 콘트롤러;를 더 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content playback device may be provided, which further includes: a memory for storing data, which is linked to a plurality of feedback devices that output thermal feedback using thermoelectric elements, and a content playback device that plays multimedia content; a communication module for communicating with the feedback devices; and a controller for executing a virtual reality application that implements a virtual space, displaying an image of the virtual space through a field of view (FOV) according to a direction of a user's gaze detected from an HMD, and, when a thermal event occurs within the virtual space, determining a target feedback device among the plurality of feedback devices to output the thermal feedback based on a direction in which the thermal event occurs with respect to the field of view, and transmitting a signal instructing output of the thermal feedback to the target feedback device.
여기서, 상기 콘트롤러는, 상기 FOV의 중앙에 위치하는 중앙 영역에서 상기 열적 이벤트가 발생한 경우 상기 복수의 디바이스 중 사용자의 오른손에 파지되는 제1 디바이스 및 상기 사용자의 왼손에 파지되는 제2 디바이스를 상기 대상 피드백 디바이스로 판단할 수 있다.Here, the controller may determine a first device held in the user's right hand and a second device held in the user's left hand among the plurality of devices as the target feedback devices when the thermal event occurs in a central area located at the center of the FOV.
또 여기서, 상기 콘트롤러는, 상기 제1 디바이스 및 상기 제2 디바이스가 동일한 강도로 상기 열적 피드백을 출력하도록 제어할 수 있다.Also, in this case, the controller can control the first device and the second device to output the thermal feedback with the same intensity.
또 여기서, 상기 콘트롤러는, 상기 중앙 영역의 일측에서 상기 열적 이벤트가 발생한 경우 상기 제1 디바이스 및 상기 제2 디바이스 중 상기 일측과 동일한 방향의 손에 파지되는 상기 피드백 디바이스만 상기 대상 디바이스로 결정할 수 있다.Also, in this case, the controller can determine only the feedback device that is held by a hand in the same direction as the one side of the first device and the second device as the target device when the thermal event occurs on one side of the central area.
또 여기서, 상기 콘트롤러는, 상기 중앙 영역의 일측에서 상기 열적 이벤트가 발생한 경우 상기 제1 디바이스 및 상기 제2 디바이스를 상기 대상 디바이스로 판단하되, 상기 제1 디바이스 및 상기 제2 디바이스의 상기 열적 강도를 상이하게 설정할 수 있다.Also, in this case, the controller may determine the first device and the second device as the target devices when the thermal event occurs on one side of the central region, but may set the thermal intensities of the first device and the second device differently.
또 여기서, 상기 콘트롤러는, 상기 대상 디바이스 중 상기 열적 이벤트가 발생한 일측에 대응되는 디바이스가 다른 디바이스보다 강한 열적 피드백 강도를 갖도록 설정할 수 있다.In addition, the controller can set the device corresponding to one of the target devices where the thermal event occurred to have a stronger thermal feedback intensity than the other devices.
본 발명의 다시 또 다른 양상에 따르면, 온도 속성이 할당되는 가상 영역 및 온도 속성이 할당되는 가상 오브젝트를 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하는 단계; 플레이어 캐릭터가 상기 가상 영역에 진입하는 영역 이벤트가 발생한 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하는 단계; 상기 플레이어 캐릭터와 상기 가상 오브젝트의 상호 작용하는 오브젝트 이벤트가 발생한 경우 상기 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하는 단계; 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생을 감지하는 단계; 및 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생이 감지된 경우, 상기 영역 이벤트에 의해 열적 피드백의 출력을 중단하고, 상기 오브젝트 이벤트에 의한 열적 피드백의 출력을 수행하도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience may be provided, comprising: a step of executing a virtual reality application providing a virtual space including a virtual area to which a temperature attribute is assigned and a virtual object to which the temperature attribute is assigned; a step of controlling a feedback device which outputs thermal feedback using a thermoelectric element performing a thermoelectric operation to output the thermal feedback when an area event in which a player character enters the virtual area occurs; a step of controlling the feedback device to output the thermal feedback when an object event in which the player character interacts with the virtual object occurs; a step of detecting the occurrence of the object event during the occurrence of the area event; and a step of controlling the feedback device to stop outputting the thermal feedback by the area event and output the thermal feedback by the object event when the occurrence of the object event is detected during the occurrence of the area event.
여기서, 상기 오브젝트 이벤트의 발생 중 새로운 영역 이벤트의 발생을 감지하는 단계; 및 상기 오브젝트 이벤트 발생 중 상기 새로운 영역 이벤트의 발생이 감지된 경우, 상기 새로운 영역 이벤트에 의한 열적 피드백의 출력을 무시하고, 상기 오브젝트 이벤트에 의한 열적 피드백의 출력을 유지하도록 상기 피드백 디바이스를 제어하는 단계;를 더 포함할 수 있다. Here, the method may further include a step of detecting the occurrence of a new area event during the occurrence of the object event; and a step of controlling the feedback device to ignore the output of the thermal feedback by the new area event and maintain the output of the thermal feedback by the object event when the occurrence of the new area event is detected during the occurrence of the object event.
또 여기서, 상기 오브젝트 이벤트 또는 상기 오브젝트 이벤트에 의한 열적 피드백의 출력 종료 시, 상기 영역 이벤트에 의한 열적 피드백의 출력을 재개하는 단계;를 더 포함할 수 있다.In addition, the method may further include a step of resuming output of thermal feedback by the area event when output of the object event or thermal feedback by the object event is terminated.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스로 데이터를 저장하는 메모리; 상기 피드백 디바이스와 통신하는 통신 모듈; 및 온도 속성이 할당되는 가상 영역 및 온도 속성이 할당되는 가상 오브젝트를 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하고, 플레이어 캐릭터가 상기 가상 영역에 진입하는 영역 이벤트가 발생한 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하고, 상기 플레이어 캐릭터와 상기 가상 오브젝트의 상호 작용하는 오브젝트 이벤트가 발생한 경우 상기 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하고, 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생을 감지하고, 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생이 감지된 경우, 상기 영역 이벤트에 의해 열적 피드백의 출력을 중단하고, 상기 오브젝트 이벤트에 의한 열적 피드백의 출력을 수행하도록 상기 피드백 디바이스를 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content playback device may be provided, which includes: a memory for storing data as a content playback device that is linked with a plurality of feedback devices that output thermal feedback using thermoelectric elements and plays multimedia content; a communication module for communicating with the feedback devices; and a controller for executing a virtual reality application that provides a virtual space including a virtual area to which a temperature attribute is assigned and a virtual object to which the temperature attribute is assigned, and for controlling the feedback device to output thermal feedback using a thermoelectric element that performs a thermoelectric operation when an area event in which a player character enters the virtual area occurs, and for controlling the feedback device to output the thermal feedback when an object event in which the player character interacts with the virtual object occurs, and for detecting the occurrence of the object event during the occurrence of the area event, and for stopping the output of the thermal feedback by the area event when the occurrence of the object event is detected during the occurrence of the area event, and for controlling the feedback device to perform the output of the thermal feedback by the object event.
여기서, 상기 콘트롤러는, 상기 오브젝트 이벤트의 발생 중 새로운 영역 이벤트의 발생을 감지하고, 상기 오브젝트 이벤트 발생 중 상기 새로운 영역 이벤트의 발생이 감지된 경우, 상기 새로운 영역 이벤트에 의한 열적 피드백의 출력을 무시하고, 상기 오브젝트 이벤트에 의한 열적 피드백의 출력을 유지하도록 상기 피드백 디바이스를 제어할 수 있다.Here, the controller can detect the occurrence of a new area event during the occurrence of the object event, and, if the occurrence of the new area event is detected during the occurrence of the object event, control the feedback device to ignore the output of the thermal feedback due to the new area event and maintain the output of the thermal feedback due to the object event.
또 여기서, 상기 콘트롤러는, 상기 오브젝트 이벤트 또는 상기 오브젝트 이벤트에 의한 열적 피드백의 출력 종료 시, 상기 영역 이벤트에 의한 열적 피드백의 출력을 재개하도록 상기 피드백 디바이스를 제어할 수 있다. Also, in this case, the controller can control the feedback device to resume output of the thermal feedback by the area event when the output of the object event or the thermal feedback by the object event is terminated.
본 발명의 다시 또 다른 양상에 따르면, 온도 속성이 할당되는 가상 영역 - 상기 가상 영역은, 글로벌 영역과 상기 글로벌 영역에 포함되는 로컬 영역을 포함함 - 을 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하는 단계; 플레이어 캐릭터가 상기 글로벌 영역에 진입하는 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 글로벌 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하는 단계; 및 상기 플레이어 캐릭터가 상기 로컬 영역에 진입하는 경우 상기 피드백 디바이스가 상기 글로벌 영역에 대한 열적 피드백의 출력을 중단하고, 상기 로컬 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience may be provided, comprising: executing a virtual reality application providing a virtual space including a virtual area to which a temperature property is assigned, the virtual area including a global area and a local area included in the global area; controlling a feedback device that outputs thermal feedback using a thermoelectric element that performs a thermoelectric operation when a player character enters the global area to output thermal feedback corresponding to the temperature property of the global area; and controlling the feedback device to stop outputting thermal feedback for the global area and output thermal feedback corresponding to the temperature property of the local area when the player character enters the local area.
여기서, 상기 플레이어 캐릭터가 상기 로컬 영역에서 벗어나는 경우 상기 글로벌 영역에 대한 열적 피드백의 출력을 재개하는 단계;를 더 포함할 수 있다. Here, the step of resuming output of thermal feedback for the global area when the player character leaves the local area may be further included.
본 발명의 다시 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스로 데이터를 저장하는 메모리; 상기 피드백 디바이스와 통신하는 통신 모듈; 및 온도 속성이 할당되는 가상 영역 - 상기 가상 영역은, 글로벌 영역과 상기 글로벌 영역에 포함되는 로컬 영역을 포함함 - 을 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하고, 플레이어 캐릭터가 상기 글로벌 영역에 진입하는 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 글로벌 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하고, 상기 플레이어 캐릭터가 상기 로컬 영역에 진입하는 경우 상기 피드백 디바이스가 상기 글로벌 영역에 대한 열적 피드백의 출력을 중단하고, 상기 로컬 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하는 콘트롤러;를 포함하는 콘텐츠 재생 디바이스가 제공될 수 있다.According to yet another aspect of the present invention, a content playback device may be provided, comprising: a memory for storing data, a content playback device that is linked to a plurality of feedback devices that output thermal feedback using thermoelectric elements and plays multimedia content; a communication module for communicating with the feedback devices; and a controller for executing a virtual reality application that provides a virtual space including a virtual area to which temperature properties are assigned, the virtual area including a global area and a local area included in the global area, and controlling the feedback device that outputs thermal feedback using thermoelectric elements that perform thermoelectric operations when a player character enters the global area to output thermal feedback corresponding to the temperature properties of the global area, and controlling the feedback device to stop outputting thermal feedback for the global area and output thermal feedback corresponding to the temperature properties of the local area when the player character enters the local area.
여기서, 상기 콘트롤러는, 상기 플레이어 캐릭터가 상기 로컬 영역에서 벗어나는 경우 상기 글로벌 영역에 대한 열적 피드백의 출력을 재개하도록 상기 피드백 디바이스를 제어할 수 있다. Here, the controller can control the feedback device to resume outputting thermal feedback to the global area when the player character leaves the local area.
본 발명의 다시 또 다른 양상에 따르면, 영상 및 상기 영상 중 특정 장면에 연동되는 열적 피드백에 관한 데이터를 포함하는 멀티미디어 콘텐츠를 재생하는 단계; 열전 동작의 개시로부터 상기 열전 동작에 의한 열적 피드백에 대한 사용자 체감까지 소요되는 지연 시간을 고려하여, 상기 특정 장면의 재생 시간보다 앞선 시점으로 설정되는 전원 인가 시점을 획득하는 단계; 상기 특정 장면의 재생 시점에 상기 사용자에게 상기 특정 장면과 상기 열적 피드백이 연동되어 제공되도록, 상기 멀티미디어 콘텐츠 재생 중 상기 전원 인가 시점에 도달한 경우, 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스로 전원 인가를 지시하는 신호를 전송하는 단계; 및 상기 멀티미디어 콘텐츠의 재생 중 상기 특정 장면의 재생 시점에 도달한 경우, 상기 특정 장면을 출력하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to yet another aspect of the present invention, a method for providing a thermal experience may be provided, including: a step of reproducing multimedia content including an image and data regarding thermal feedback linked to a specific scene of the image; a step of acquiring a power-on point in time set to a point in time earlier than a playback time of the specific scene, considering a delay time required from the start of a thermal operation to a user's perception of thermal feedback by the thermal operation; a step of transmitting a signal instructing power-on to a feedback device outputting the thermal feedback using a thermoelectric element when the power-on point in time is reached during playback of the multimedia content, so that the specific scene and the thermal feedback are provided to the user in a linked manner at the playback time of the specific scene; and a step of outputting the specific scene when the playback time of the specific scene is reached during playback of the multimedia content.
또 상기 전원 인가 시점은, 상기 특정 장면의 재생 시점보다 상기 지연 시간만큼 앞선 시점일 수 있다.Additionally, the power supply point in time may be a point in time earlier than the playback point of the specific scene by the delay time.
또 상기 열적 경험 제공 방법은 상기 멀티미디어 콘텐츠의 데이터로부터 상기 열적 피드백의 강도에 관한 정보를 획득하는 단계; 및 상기 열적 피드백의 강도를 기초하여 상기 지연 시간을 산출하는 단계;를 더 포함할 수 있다.In addition, the method for providing the thermal experience may further include a step of obtaining information about the intensity of the thermal feedback from data of the multimedia content; and a step of calculating the delay time based on the intensity of the thermal feedback.
또 상기 지연 시간은, 상기 열적 피드백의 강도가 강해지면 증가할 수 있다.Additionally, the above delay time may increase as the intensity of the thermal feedback increases.
또 상기 열적 경험 제공 방법은, 상기 멀티미디어 콘텐츠의 데이터로부터 상기 열적 피드백의 종류에 관한 정보를 획득하는 단계;를 더 포함하고,상기 산출하는 단계에서, 상기 열적 피드백의 종류를 더 고려하여 상기 지연 시간을 산출할 수 있다.In addition, the method for providing the thermal experience further includes a step of obtaining information about the type of the thermal feedback from data of the multimedia content; and in the step of calculating, the delay time can be calculated by further considering the type of the thermal feedback.
또 상기 열적 경험 제공 방법은, 상기 피드백 디바이스의 식별 정보를 획득하는 단계; 및 상기 피드백 디바이스의 식별 정보를 고려하여 상기 지연 시간을 산출하는 단계;를 더 포함할 수 있다.In addition, the method for providing the thermal experience may further include a step of obtaining identification information of the feedback device; and a step of calculating the delay time by considering the identification information of the feedback device.
또 상기 열적 경험 제공 방법은 상기 피드백 디바이스로부터 상기 지연 시간에 관한 정보를 수신하는 단계;를 더 포함할 수 있다.In addition, the method for providing the thermal experience may further include a step of receiving information about the delay time from the feedback device.
또 상기 멀티미디어 콘텐츠의 데이터에는 상기 열적 피드백의 재생 시점이 상기 특정 장면의 재생 시점과 동일하게 설정되어 있고, 상기 전원 인가 시점을 획득하는 단계에서, 상기 열적 피드백의 재생 시점 및 상기 지연 시간을 고려하여 상기 전원 인가 시점을 산출할 수 있다.In addition, in the data of the multimedia content, the playback time of the thermal feedback is set to be the same as the playback time of the specific scene, and in the step of obtaining the power-on time, the power-on time can be calculated by considering the playback time of the thermal feedback and the delay time.
또 상기 전원 인가 시점을 획득하는 단계에서, 상기 특정 장면의 재생 시점 및 상기 지연 시간을 고려하여 상기 전원 인가 시점을 산출할 수 있다.In addition, in the step of obtaining the power-on point in time, the power-on point in time can be calculated by considering the playback point in time of the specific scene and the delay time.
또 상기 전원 인가 시점을 획득하는 단계에서, 상기 특정 장면의 재생 시점 및 상기 지연 시간을 고려하여 상기 전원 인가 시점을 산출할 수 있다.In addition, in the step of obtaining the power-on point in time, the power-on point in time can be calculated by considering the playback point in time of the specific scene and the delay time.
본 발명의 다른 양상에 따르면, 화염, 냉기, 번개를 포함하는 원소 속성이 부여된 스킬을 포함하는 전자 게임을 실행하는 단계; 상기 스킬의 발동을 지시하는 사용자 입력이 획득하는 경우, 상기 스킬의 원소 속성에 고려하여 설정되는 열적 피드백의 종류를 획득하되, 상기 스킬이 상기 화염 속성인 경우에는 상기 열적 피드백의 종류로 온감 피드백을 획득하고, 상기 스킬이 상기 냉기 속성인 경우에는 상기 열적 피드백의 종류로 냉감 피드백을 획득하고, 상기 스킬이 상기 전기 속성인 경우에는 상기 열적 피드백의 종류로 열 통감 피드백을 획득하는 단계; 상기 열적 피드백의 종류에 따라 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작을 제어하되, 상기 열적 피드백의 종류가 상기 온감 피드백인 경우에는 상기 피드백 디바이스가 발열 동작을 수행하도록 제어하고, 상기 열적 피드백의 종류가 상기 냉감 피드백인 경우에는 상기 피드백 디바이스가 흡열 동작을 수행하도록 제어하고, 상기 열적 피드백의 종류가 상기 열 통감 피드백인 경우에는 상기 피드백 디바이스가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 수행하도록 제어하는 단계; 및 상기 스킬을 그래픽적으로 출력하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, there is provided a method of executing an electronic game including a skill endowed with an elemental attribute including fire, cold, and lightning; when a user input instructing activation of the skill is acquired, a type of thermal feedback set in consideration of the elemental attribute of the skill is acquired, wherein, if the skill is the fire attribute, a warm feedback is acquired as the type of thermal feedback, a cold feedback is acquired as the type of thermal feedback, and if the skill is the cold attribute, a heat penetration feedback is acquired as the type of thermal feedback, and if the skill is the electric attribute, a heat penetration feedback is acquired as the type of thermal feedback; a method of controlling a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element according to the type of the thermal feedback, wherein, if the type of the thermal feedback is the warm feedback, the feedback device is controlled to perform a heating operation, if the type of the thermal feedback is the cold feedback, the feedback device is controlled to perform an absorption operation, and if the type of the thermal feedback is the heat penetration feedback, the feedback device is controlled to perform a heat grill operation in which the heating operation and the absorption operation are combined; A method for providing a thermal experience can be provided, including a step of graphically outputting the above skill.
또 열적 경험 제공 방법은 상기 스킬의 레벨, 데미지 또는 상기 스킬이 속하는 스킬 트리 상에서 상기 스킬의 티어 중 적어도 하나를 고려하여 설정되는 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 열전 동작을 제어하는 단계에서, 상기 열적 피드백의 강도에 따라 상기 피드백 디바이스의 상기 열전 동작의 강도를 제어할 수 있다.In addition, the method for providing a thermal experience further includes a step of obtaining an intensity of the thermal feedback set by considering at least one of the level of the skill, damage, or tier of the skill on the skill tree to which the skill belongs; and in the step of controlling the thermal operation, the intensity of the thermal operation of the feedback device can be controlled according to the intensity of the thermal feedback.
본 발명의 또 다른 양상에 따르면, 화염, 냉기, 번개를 포함하는 원소 속성이 부여된 스킬을 포함하는 전자 게임을 실행하는 단계; 상기 전자 게임 내에서 상기 스킬에 의한 피격 이벤트가 발생한 경우, 상기 스킬의 원소 속성에 고려하여 설정되는 열적 피드백의 종류를 획득하되, 상기 스킬이 상기 화염 속성인 경우에는 상기 열적 피드백의 종류로 온감 피드백을 획득하고, 상기 스킬이 상기 냉기 속성인 경우에는 상기 열적 피드백의 종류로 냉감 피드백을 획득하고, 상기 스킬이 상기 전기 속성인 경우에는 상기 열적 피드백의 종류로 열 통감 피드백을 획득하는 단계; 및 상기 피격 이벤트에 따른 피격 그래픽과 함께 상기 스킬의 원소 속성에 대응하는 상기 열적 피드백이 출력되도록, 상기 열적 피드백의 종류에 따라 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작을 제어하되, 상기 열적 피드백의 종류가 상기 온감 피드백인 경우에는 상기 피드백 디바이스가 발열 동작을 수행하도록 제어하고, 상기 열적 피드백의 종류가 상기 냉감 피드백인 경우에는 상기 피드백 디바이스가 흡열 동작을 수행하도록 제어하고, 상기 열적 피드백의 종류가 상기 열 통감 피드백인 경우에는 상기 피드백 디바이스가 상기 발열 동작 및 상기 흡열 동작이 복합된 열 그릴 동작을 수행하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, there is provided a method of executing an electronic game including a skill endowed with an elemental attribute including fire, cold, and lightning; when a hit event by the skill occurs in the electronic game, a type of thermal feedback set in consideration of the elemental attribute of the skill is acquired, wherein, when the skill is of the fire attribute, a warm sensation feedback is acquired as the type of thermal feedback, when the skill is of the cold attribute, a cold sensation feedback is acquired as the type of thermal feedback, and when the skill is of the electricity attribute, a heat sensation feedback is acquired as the type of thermal feedback. And a method for providing a thermal experience including the step of controlling a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element according to the type of the thermal feedback so that the thermal feedback corresponding to the elemental property of the skill is output together with the hit graphic according to the hit event, wherein when the type of the thermal feedback is the warm sensation feedback, the feedback device is controlled to perform a heating operation, when the type of the thermal feedback is the cold sensation feedback, the feedback device is controlled to perform an absorption operation, and when the type of the thermal feedback is the heat penetration feedback, the feedback device is controlled to perform a heat grill operation in which the heating operation and the absorption operation are combined.
또 열적 경험 제공 방법은 상기 스킬의 레벨, 상기 피격 이벤트에 따른 데미지 또는 상기 스킬이 속하는 스킬 트리 상에서 상기 스킬의 티어 중 적어도 하나를 고려하여 설정되는 상기 열적 피드백의 강도를 획득하는 단계;를 더 포함하고, 상기 열전 동작을 제어하는 단계에서, 상기 열적 피드백의 강도에 따라 상기 피드백 디바이스의 상기 열전 동작의 강도를 제어할 수 있다.In addition, the method for providing a thermal experience further includes a step of obtaining an intensity of the thermal feedback set by considering at least one of a level of the skill, damage according to the hit event, or a tier of the skill on a skill tree to which the skill belongs; and in the step of controlling the thermal operation, the intensity of the thermal operation of the feedback device can be controlled according to the intensity of the thermal feedback.
또 상기 열전 동작을 제어하는 단계에서, 상기 스킬의 피격 이벤트에 따라 부여되는 디버프 효과의 지속 시간을 따라 상기 피드백 디바이스의 상기 열전 동작의 유지 시간을 제어할 수 있다.In addition, in the step of controlling the above-mentioned thermal operation, the maintenance time of the above-mentioned thermal operation of the above-mentioned feedback device can be controlled according to the duration of the debuff effect granted according to the hit event of the above-mentioned skill.
또 상기 열전 동작을 제어하는 단계에서, 상기 디버프 효과의 지속 시간 동안 상기 피드백 디바이스의 열전 동작의 강도가 감소하도록 제어할 수 있다.In addition, in the step of controlling the thermoelectric operation, the intensity of the thermoelectric operation of the feedback device can be controlled to decrease during the duration of the debuff effect.
본 발명의 또 다른 양상에 따르면, 가상 오브젝트들 간의 충돌 이벤트에 대해 적어도 운동량을 고려하여 상기 가상 오브젝트들의 거동을 산출하는 콜리전 방식 및 어느 하나 가상 오브젝트가 다른 하나의 가상 오브젝트를 투과하도록 하는 트리거 방식을 포함하는 충돌 처리 방식을 지원하는 물리 엔진을 이용하는 게임을 실행하는 단계; 플레이어 캐릭터에 대한 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인지 상기 트리거 방식인지 판단하는 단계; 상기 판단 결과에 기초하여 열적 피드백의 강도를 결정하는 단계; 및 상기 열적 피드백의 강도에 따라 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작의 강도를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: a step of executing a game using a physics engine that supports a collision processing method including a collision method for calculating a behavior of virtual objects by considering at least momentum for a collision event between virtual objects and a trigger method for allowing one virtual object to penetrate another virtual object; a step of determining whether a collision processing method of a hit event for a player character is the collision method or the trigger method; a step of determining an intensity of thermal feedback based on a result of the determination; and a step of controlling an intensity of a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element according to the intensity of the thermal feedback.
또 상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 콜리전 방식인 경우에 상기 콜리전 방식에 따라 산출된 운동량에 기초하여 상기 열적 피드백의 강도를 결정하는 단계를 포함할 수 있다.In addition, the step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback based on the momentum calculated according to the collision method when the collision processing method of the hit event is the collision method.
또 상기 열적 피드백의 강도는, 상기 산출된 운동량이 클수록 강하게 결정될 수 있다.또 In addition, the strength of the thermal feedback can be determined more strongly as the calculated momentum increases.
상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 열적 피드백의 강도를 미리 정해진 값으로 결정하는 단계를 포함할 수 있다.The step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback to a predetermined value when the collision processing method of the hit event is the trigger method.
또 상기 열적 피드백의 강도를 결정하는 단계는, 상기 피격 이벤트의 충돌 처리 방식이 상기 트리거 방식인 경우에 상기 플레이어 캐릭터를 타격한 타격물의 식별 정보 및 상기 타격물을 발사한 발사체의 식별 정보 중 적어도 하나에 따라 상기 열적 피드백의 강도를 결정하는 단계를 포함할 수 있다.In addition, the step of determining the intensity of the thermal feedback may include a step of determining the intensity of the thermal feedback based on at least one of the identification information of the striking object that struck the player character and the identification information of the projectile that fired the striking object when the collision processing method of the hitting event is the trigger method.
본 발명의 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스에 의해 수행되는 열적 경험 제공 방법으로서, 가상 공간을 구현하는 가상 현실 어플리케이션을 실행하되, HMD로부터 감지된 사용자의 시선 방향에 따른 시계(FOV: Field Of View)를 통해 상기 가상 공간에 대한 이미지를 디스플레이하는 단계; 상기 가상 공간 내에서 열적 이벤트가 발생한 경우, 상기 시계에 대한 상기 열적 이벤트의 발생 방향에 기초하여 상기 복수의 피드백 디바이스 중 상기 열적 피드백을 출력할 대상 피드백 디바이스를 판단하는 단계; 및 상기 대상 피드백 디바이스로 상기 열적 피드백의 출력을 지시하는 신호를 송신하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience, which is performed by a content playback device that plays multimedia content and is linked with a plurality of feedback devices that output thermal feedback using thermoelectric elements, may be provided, the method including the steps of: executing a virtual reality application that implements a virtual space, and displaying an image of the virtual space through a field of view (FOV) according to a direction of a user's gaze detected from an HMD; determining, when a thermal event occurs within the virtual space, a target feedback device among the plurality of feedback devices that will output the thermal feedback based on a direction in which the thermal event occurs with respect to the field of view; and transmitting a signal instructing output of the thermal feedback to the target feedback device.
본 발명의 또 다른 양상에 따르면, 열전 소자를 이용하여 열적 피드백을 출력하는 복수의 피드백 디바이스와 연동되고, 멀티미디어 콘텐츠를 재생하는 콘텐츠 재생 디바이스에 의해 수행되는 열적 경험 제공 방법으로서, 가상 공간을 구현하는 가상 현실 어플리케이션을 실행하되, HMD로부터 감지된 사용자의 시선 방향에 따른 시계(FOV: Field Of View)를 통해 상기 가상 공간에 대한 이미지를 디스플레이하는 단계; 상기 가상 공간 내에서 열적 이벤트가 발생한 경우, 상기 시계에 대한 상기 열적 이벤트의 발생 방향에 기초하여 상기 복수의 피드백 디바이스 중 상기 열적 피드백을 출력할 대상 피드백 디바이스를 판단하는 단계; 및 상기 대상 피드백 디바이스로 상기 열적 피드백의 출력을 지시하는 신호를 송신하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience, which is performed by a content playback device that plays multimedia content and is linked with a plurality of feedback devices that output thermal feedback using thermoelectric elements, may be provided, the method including the steps of: executing a virtual reality application that implements a virtual space, and displaying an image of the virtual space through a field of view (FOV) according to a direction of a user's gaze detected from an HMD; determining, when a thermal event occurs within the virtual space, a target feedback device among the plurality of feedback devices that will output the thermal feedback based on a direction in which the thermal event occurs with respect to the field of view; and transmitting a signal instructing output of the thermal feedback to the target feedback device.
본 발명의 또 다른 양상에 따르면, 체력 포인트를 가지는 플레이어 캐릭터를 포함하는 게임을 실행하는 단계; 상기 체력 포인트에 기초하여 열적 피드백 정보를 생성하는 단계; 및 열전 소자를 이용하여 상기 열적 피드백을 출력하는 피드백 디바이스의 열전 동작을 상기 열적 피드백 정보에 기초하여 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: executing a game including a player character having stamina points; generating thermal feedback information based on the stamina points; and controlling a thermoelectric operation of a feedback device that outputs the thermal feedback using a thermoelectric element based on the thermal feedback information.
또 상기 열적 피드백 정보를 생성하는 단계에는, 상기 체력 포인트의 변화 시 그 변화량의 크기에 기초하여 상기 열적 피드백 정보 중 상기 열적 피드백의 강도를 판단할 수 있다.In addition, in the step of generating the thermal feedback information, the intensity of the thermal feedback among the thermal feedback information can be determined based on the size of the change amount when the physical strength point changes.
또 상기 열적 피드백의 강도는, 상기 변화량이 클수록 크게 판단될 수 있다.In addition, the intensity of the thermal feedback can be judged to be greater as the amount of change increases.
또 상기 열적 피드백 정보를 생성하는 단계는, 상기 체력 포인트의 변화 시 상기 체력 포인트의 증감 여부에 따라 상기 열적 피드백의 출력 여부를 결정하는 단계를 포함할 수 있다.In addition, the step of generating the thermal feedback information may include a step of determining whether to output the thermal feedback depending on whether the physical strength points increase or decrease when the physical strength points change.
또 열적 경험 제공 방법은 상기 열적 피드백 정보를 생성하는 단계는, 상기 체력 포인트가 감소하는 경우에 상기 열적 피드백의 출력을 결정하는 단계를 더 포함할 수 있다.In addition, the method for providing a thermal experience may further include a step of generating the thermal feedback information, wherein the step of determining an output of the thermal feedback when the stamina points decrease.
또 상기 열적 피드백 정보를 생성하는 단계는, 상기 체력 포인트의 변화 시 상기 체력 포인트의 증감 여부에 따라 상기 열적 피드백의 종류를 결정할 수 있다.In addition, the step of generating the thermal feedback information can determine the type of thermal feedback depending on whether the stamina points increase or decrease when the stamina points change.
또 상기 열적 피드백 정보를 생성하는 단계는, 상기 체력 포인트의 증가 시 온감 피드백 및 냉감 피드백 중 어느 하나인 제1 열적 피드백을 상기 열적 피드백으로 결정하는 단계 및 상기 체력 포인트의 감소 시 상기 온감 피드백 및 상기 냉감 피드백 중 다른 하나인 제2 열적 피드백을 상기 열적 피드백으로 결정하는 단계를 포함할 수 있다.In addition, the step of generating the thermal feedback information may include the step of determining, as the thermal feedback, a first thermal feedback, which is one of the warm feedback and the cold feedback, when the stamina points increase, and the step of determining, as the thermal feedback, a second thermal feedback, which is the other of the warm feedback and the cold feedback, when the stamina points decrease.
또 상기 열적 피드백 정보를 생성하는 단계에는, 최대 체력 포인트에 대한 현재 체력 포인트의 비율 또는 현재 체력 포인트의 양에 따라 상기 열적 피드백 정보 중 상기 열적 피드백의 강도 및 종류를 판단할 수 있다.In addition, in the step of generating the thermal feedback information, the intensity and type of the thermal feedback among the thermal feedback information can be determined based on the ratio of the current stamina points to the maximum stamina points or the amount of the current stamina points.
본 발명의 또 다른 양상에 따르면, 가상 오브젝트에 대한 터치 이벤트에 따라 열적 피드백을 출력하는 열적 경험 어플리케이션을 실행하는 단계; 상기 가상 오브젝트에 대한 터치 이벤트의 발생한 경우, 상기 가상 오브젝트에 부여된 온도 속성 및 텍스쳐 속성을 획득하는 단계; 상기 온도 속성에 기초하여 적어도 온감 피드백 및 냉감 피드백을 포함하는 열적 피드백의 종류를 결정하는 단계; 상기 텍스쳐 속성에 기초하여 상기 열적 피드백의 강도를 결정하는 단계; 및 열전 동작에 따라 상기 열적 피드백을 출력하는 열전 소자를 포함하는 피드백 디바이스로 상기 열적 피드백의 종류 및 강도를 포함하는 열적 피드백 개시 신호를 송신하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: executing a thermal experience application that outputs thermal feedback according to a touch event for a virtual object; when a touch event for the virtual object occurs, acquiring temperature properties and texture properties assigned to the virtual object; determining a type of thermal feedback including at least hot feedback and cold feedback based on the temperature properties; determining an intensity of the thermal feedback based on the texture properties; and transmitting a thermal feedback initiation signal including the type and intensity of the thermal feedback to a feedback device including a thermoelectric element that outputs the thermal feedback according to a thermoelectric operation.
본 발명의 또 다른 양상에 따르면, 가상 열원이 배치되는 가상 공간을 구현하는 가상 현실 어플리케이션 등의 멀티미디어 콘텐츠를 구동하는 단계; 상기 가상 열원에 따라 상기 가상 공간 내의 플레이어 캐릭터가 받는 열량을 판단하는 단계; 상기 판단된 열량에 기초하여 열적 피드백의 강도를 결정하는 단계; 및 열전 동작에 따라 상기 열적 피드백을 출력하는 열전 소자를 포함하는 피드백 디바이스로 상기 열적 피드백의 강도를 포함하는 열적 피드백 개시 신호를 송신하는 단계;를 포함하되, 상기 열량을 판단하는 단계에서, 상기 가상 열원의 열 전달 속성이 전도 타입인지 복사 타입인지 여부를 판단하는 단계 및 상기 가상 열원의 열 전달 속성 및 상기 플레이어 캐릭터에 대한 거리에 기초하여 상기 열량을 산출하는 단계를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: a step for driving multimedia content such as a virtual reality application that implements a virtual space in which a virtual heat source is arranged; a step for determining an amount of heat received by a player character in the virtual space according to the virtual heat source; a step for determining an intensity of thermal feedback based on the determined amount of heat; and a step for transmitting a thermal feedback initiation signal including the intensity of the thermal feedback to a feedback device including a thermoelectric element that outputs the thermal feedback according to a thermoelectric operation; wherein, in the step of determining the amount of heat, the method includes a step for determining whether a heat transfer property of the virtual heat source is a conduction type or a radiation type and a step for calculating the amount of heat based on the heat transfer property of the virtual heat source and a distance to the player character.
또 상기 열량을 산출하는 단계는, 상기 전도 타입의 가상 열원에 대해서는 상기 플레이어 캐릭터가 상기 가상 열원에 접촉한 경우에만 상기 가상 열원에 부여된 온도값에 기초하여 상기 열량을 산출하고 상기 플레이어 캐릭터가 상기 가상 열원으로부터 이격된 경우에는 상기 열량을 ‘0’으로 산출하는 단계를 포함할 수 있다.In addition, the step of calculating the heat amount may include a step of calculating the heat amount based on the temperature value assigned to the virtual heat source only when the player character comes into contact with the virtual heat source for the virtual heat source of the conductive type, and calculating the heat amount as ‘0’ when the player character is separated from the virtual heat source.
또 상기 열량을 산출하는 단계는, 상기 복사 타입의 가상 열원에 대해서는 상기 플레이어 캐릭터와 상기 가상 열원 간의 거리에 기초하여 상기 열량을 산출하는 단계를 포함할 수 있다.In addition, the step of calculating the amount of heat may include a step of calculating the amount of heat based on the distance between the player character and the virtual heat source for the virtual heat source of the copy type.
또 상기 열량을 산출하는 단계는, 상기 복사 타입의 가상 열원에 대한 열량을 산출하는 단계는, 상기 복사 타입의 열원이 방사 열원인 경우 상기 거리가 작을수록 상기 열량을 크게 산출하는 단계, 상기 복사 타입의 열원이 디렉셔널 열원인 경우 상기 거리와 무관하게 상기 열량을 상기 열원에 부여된 온도에 따라 일정한 값으로 산출하는 단계 및 상기 복사 타입의 열원이 에어리어 열원인 경우 상기 거리가 미리 정해진 거리 이하인 경우에만 상기 열량을 산출하는 단계 중 적어도 하나의 단계를 포함할 수 있다.In addition, the step of calculating the amount of heat, the step of calculating the amount of heat for the virtual heat source of the radiation type may include at least one of the steps of calculating the amount of heat as the distance decreases when the heat source of the radiation type is a radiant heat source, the step of calculating the amount of heat as a constant value according to the temperature applied to the heat source regardless of the distance when the heat source of the radiation type is a directional heat source, and the step of calculating the amount of heat only when the distance is less than or equal to a predetermined distance when the heat source of the radiation type is an area heat source.
본 발명의 또 다른 양상에 따르면, 온도 속성이 할당되는 가상 영역 및 온도 속성이 할당되는 가상 오브젝트를 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하는 단계; 플레이어 캐릭터가 상기 가상 영역에 진입하는 영역 이벤트가 발생한 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하는 단계; 상기 플레이어 캐릭터와 상기 가상 오브젝트의 상호 작용하는 오브젝트 이벤트가 발생한 경우 상기 피드백 디바이스가 상기 열적 피드백을 출력하도록 제어하는 단계; 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생을 감지하는 단계; 및 상기 영역 이벤트의 발생 중 상기 오브젝트 이벤트의 발생이 감지된 경우, 상기 영역 이벤트에 의해 열적 피드백의 출력을 중단하고, 상기 오브젝트 이벤트에 의한 열적 피드백의 출력을 수행하도록 상기 피드백 디바이스를 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: executing a virtual reality application providing a virtual space including a virtual area to which a temperature attribute is assigned and a virtual object to which the temperature attribute is assigned; controlling a feedback device that outputs thermal feedback using a thermoelectric element that performs a thermoelectric operation to output the thermal feedback when an area event in which a player character enters the virtual area occurs; controlling the feedback device to output the thermal feedback when an object event in which the player character interacts with the virtual object occurs; detecting the occurrence of the object event during the occurrence of the area event; and controlling the feedback device to stop outputting the thermal feedback by the area event and output the thermal feedback by the object event when the occurrence of the object event is detected during the occurrence of the area event.
본 발명의 또 다른 양상에 따르면, 온도 속성이 할당되는 가상 영역 - 상기 가상 영역은, 글로벌 영역과 상기 글로벌 영역에 포함되는 로컬 영역을 포함함 - 을 포함하는 가상 공간을 제공하는 가상 현실 어플리케이션을 실행하는 단계; 플레이어 캐릭터가 상기 글로벌 영역에 진입하는 경우 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 글로벌 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하는 단계; 및 상기 플레이어 캐릭터가 상기 로컬 영역에 진입하는 경우 상기 피드백 디바이스가 상기 글로벌 영역에 대한 열적 피드백의 출력을 중단하고, 상기 로컬 영역의 온도 속성에 대응하는 열적 피드백을 출력하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, comprising: executing a virtual reality application providing a virtual space including a virtual area to which a temperature property is assigned, the virtual area including a global area and a local area included in the global area; controlling a feedback device that outputs thermal feedback using a thermoelectric element that performs a thermoelectric operation when a player character enters the global area to output thermal feedback corresponding to the temperature property of the global area; and controlling the feedback device to stop outputting thermal feedback for the global area and output thermal feedback corresponding to the temperature property of the local area when the player character enters the local area.
본 발명의 또 다른 양상에 따르면, 플레이어 캐릭터의 피격 이벤트 발생 시 열적 피드백을 유발하는 게임을 실행하는 단계; 상기 피격 이벤트에 따라 상기 열적 피드백의 강도를 설정하는 단계; 상기 피격 이벤트 발생 시 상기 플레이어 캐릭터에 부여된 열적 저항력을 획득하는 단계; 상기 열적 저항력을 고려하여 상기 열적 피드백의 강도를 보정하는 단계; 및 열전 동작을 수행하는 열전 소자를 이용하여 열적 피드백을 출력하는 피드백 디바이스가 상기 보정된 열적 피드백의 강도에 따라 상기 열적 피드백을 출력하도록 제어하는 단계;를 포함하는 열적 경험 제공 방법이 제공될 수 있다.According to another aspect of the present invention, a method for providing a thermal experience may be provided, including: a step of executing a game that induces thermal feedback when a hit event of a player character occurs; a step of setting the intensity of the thermal feedback according to the hit event; a step of acquiring thermal resistance given to the player character when the hit event occurs; a step of correcting the intensity of the thermal feedback in consideration of the thermal resistance; and a step of controlling a feedback device that outputs thermal feedback using a thermoelectric element that performs a thermoelectric operation to output the thermal feedback according to the intensity of the corrected thermal feedback.
또 상기 열적 저항력을 획득하는 단계는, 상기 플레이어 캐릭터의 능력치 및 상기 플레이어 캐릭터의 장비에 할당된 열적 저항력 수치에 기초하여 상기 플레이어 캐릭터의 열적 저항력을 산출하는 단계를 포함할 수 있다.In addition, the step of acquiring the thermal resistance may include a step of calculating the thermal resistance of the player character based on the ability value of the player character and the thermal resistance value assigned to the equipment of the player character.
또 상기 보정하는 단계는, 상기 피격 이벤트에 따른 열적 피드백의 종류를 판단하는 단계, 상기 캐릭터의 열적 저항력 중 상기 열적 피드백의 종류에 대응하는 열적 저항력을 판단하는 단계 및 상기 열적 피드백의 종류에 대응하는 열적 저항력에 기초하여 상기 열적 피드백의 강도를 보정하는 단계를 포함할 수 있다.In addition, the above-described correcting step may include a step of determining a type of thermal feedback according to the hit event, a step of determining a thermal resistance corresponding to the type of thermal feedback among the thermal resistances of the character, and a step of correcting the intensity of the thermal feedback based on the thermal resistance corresponding to the type of thermal feedback.
1. 열적 경험 제공 시스템1. Thermal experience provision system
이하에서는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000)에 관하여 설명한다. Below, a thermal experience provision system (1000) according to an embodiment of the present invention is described.
1.1. 열적 경험 제공 시스템의 개요1.1. Overview of the thermal experience provision system
본 발명의 실시예에 따른 열적 경험 제공 시스템(1000)은 사용자가 열적 경험(TX: Thermal eXperince)을 체험하도록 하는 시스템이다. 구체적으로 열적 경험 제공 시스템(1000)은 멀티미디어 콘텐츠를 재생 시 콘텐츠의 표현 양식의 일환으로 열적 피드백을 출력함으로써 사용자가 열적 경험을 체험하도록 할 수 있다. The thermal experience providing system (1000) according to an embodiment of the present invention is a system that allows a user to experience a thermal experience (TX: Thermal eXperince). Specifically, the thermal experience providing system (1000) can allow a user to experience a thermal experience by outputting thermal feedback as part of the expression form of content when playing multimedia content.
여기서, 열적 피드백이란 주로 사용자의 신체에 분포되어 있는 열 감각 기관을 자극하여 사용자가 열적 감각을 느끼도록 하는 열적 자극의 일종으로 본 명세서에서 열적 피드백은 사용자의 열 감각 기관을 자극하는 모든 열적 자극을 포괄적으로 아우르는 것으로 해석되어야 한다.Here, thermal feedback refers to a type of thermal stimulation that mainly stimulates the thermal sensory organs distributed throughout the user's body to allow the user to feel a thermal sensation. In this specification, thermal feedback should be interpreted as comprehensively encompassing all thermal stimuli that stimulate the user's thermal sensory organs.
열적 피드백의 대표적인 예로는 온감 피드백과 냉감 피드백을 들 수 있다. 온감 피드백은 사용자가 온감을 느끼도록 피부에 분포한 온점(hot spot)에 온열을 인가하는 것을 의미하며 냉감 피드백은 사용자가 냉감을 느끼도록 피부에 분포된 냉점(cold spot)에 냉열을 인가하는 것을 의미한다. Representative examples of thermal feedback include hot feedback and cold feedback. Hot feedback refers to applying heat to hot spots distributed on the skin so that the user feels hot, and cold feedback refers to applying cold heat to cold spots distributed on the skin so that the user feels cold.
여기서, 열은 양의 스칼라 형태로 표현되는 물리량이므로 ‘냉열을 인가한다’ 또는 ‘냉열을 전달한다’는 표현이 물리적 관점에서 엄밀한 표현은 아닐 수 있지만, 본 명세서에서는 설명의 편의를 위하여 열이 인가되거나 전달되는 현상에 대해서 온열이 인가되거나 전달되는 것으로 표현하고, 그 역이 되는 현상, 즉 열을 흡수하는 현상에 대하여는 냉열이 인가되거나 전달되는 것으로 표현하기로 한다.Here, heat is a physical quantity expressed in the form of a positive scalar, so the expressions ‘applying cold heat’ or ‘transferring cold heat’ may not be strict expressions from a physical point of view, but in this specification, for the convenience of explanation, the phenomenon in which heat is applied or transferred is expressed as ‘heat is applied or transferred,’ and the opposite phenomenon, that is, the phenomenon in which heat is absorbed, is expressed as ‘cold heat is applied or transferred.’
또한, 본 명세서에서 열적 피드백에는 온감 피드백 및 냉감 피드백 이외에도 열 그릴 피드백(thermal grill feedback)이 더 포함될 수 있다. 온열과 냉열이 동시에 주어지는 경우 사용자는 이를 개별적인 온감과 냉감으로 인식하는 대신 통감으로 인식하게 되는데 이러한 감각을 소위 열 그릴 환감(TGI: Thermal Grill Illusion, 이하 ‘열 통감’이라고 함)이라고 한다. 즉, 열 그릴 피드백은 온열과 냉열을 복합적으로 인가하는 열적 피드백을 의미하며, 주로 온감 피드백과 냉감 피드백을 동시에 출력함으로써 제공될 수 있다. 또 열 그릴 피드백은 통감에 가까운 감각을 제공하는 측면에서 열 통감 피드백으로 지칭될 수도 있다. 열 그릴 피드백과 관련된 보다 자세한 설명은 후술될 것이다.In addition, in the present specification, the thermal feedback may further include thermal grill feedback in addition to the warm feedback and the cool feedback. When warm and cold are provided simultaneously, the user perceives them as a thermal sensation instead of individual warm and cold sensations, and this sensation is called the thermal grill illusion (TGI, hereinafter referred to as “thermal sensation”). In other words, the thermal grill feedback refers to thermal feedback that comprehensively applies warm and cold heat, and can be provided mainly by outputting warm feedback and cold feedback simultaneously. In addition, the thermal grill feedback may also be referred to as thermal sensation feedback in that it provides a sensation close to a thermal sensation. A more detailed description of the thermal grill feedback will be described later.
또 여기서, 멀티미디어 콘텐츠에는 동영상, 게임, 가상 현실 어플리케이션, 증강 현실 어플리케이션 등을 비롯한 다양한 종류의 콘텐츠를 포함할 수 있다. Also, multimedia content here may include various types of content, including videos, games, virtual reality applications, and augmented reality applications.
일반적으로 멀티미디어 콘텐츠는 주로 영상과 음성에 기반한 시청각적 표현 양식에 따라 사용자에게 제공되지만, 본 발명에서는 상술한 열적 피드백에 기반한 열적 표현을 필수적인 표현 양식으로 포함할 수 있다.In general, multimedia content is provided to users mainly in audiovisual expression forms based on images and audio, but in the present invention, thermal expression based on the thermal feedback described above may be included as an essential expression form.
한편, 멀티미디어 콘텐츠의 ‘재생’이란 멀티미디어 콘텐츠를 실행시켜 사용자에게 제공하는 동작을 모두 포함하는 포괄적인 의미로 해석되어야 한다. 따라서, 본 명세서에서 ‘재생’이란 용어는 단순히 미디어 플레이어를 통해 동영상을 재현하는 동작은 물론, 게임 프로그램이나 교육용 프로그램, 가상 현실 어플리케이션, 증강 현실 어플리케이션을 실행하는 동작 등을 모두 포함하는 것으로 해석되어야 한다. Meanwhile, the term ‘playback’ of multimedia content should be interpreted as a comprehensive meaning that includes all actions of executing multimedia content and providing it to users. Accordingly, the term ‘playback’ in this specification should be interpreted as including not only the action of simply reproducing a video through a media player, but also the actions of executing a game program, an educational program, a virtual reality application, or an augmented reality application.
1.2. 열적 경험 제공 시스템의 구성1.2. Configuration of the thermal experience provision system
도 1은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000)의 구성에 관한 블록도이다. FIG. 1 is a block diagram of the configuration of a thermal experience provision system (1000) according to an embodiment of the present invention.
도 1을 참조하면, 열적 경험 제공 시스템(1000)은 콘텐츠 재생 디바이스(1200), 시청각 디바이스(1400) 및 피드백 디바이스(1600)를 포함할 수 있다. Referring to FIG. 1, a thermal experience provision system (1000) may include a content playback device (1200), an audiovisual device (1400), and a feedback device (1600).
여기서, 콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠를 재생하고, 시청각 디바이스(1400)는 콘텐츠 재생에 따른 영상이나 음성을 출력하며, 피드백 디바이스(1600)는 콘텐츠 재생에 따른 열적 피드백을 출력할 수 있다. Here, the content playback device (1200) plays multimedia content, the audio-visual device (1400) outputs images or audio according to the content playback, and the feedback device (1600) can output thermal feedback according to the content playback.
예를 들어, 콘텐츠 재생 디바이스(1200)는 영상 데이터/음성 데이터/열적 피드백 데이터를 포함하는 동영상 콘텐츠를 디코딩하여 시청각 디바이스(1400)과 피드백 출력 디바이스에 각각 영상 신호/음성 신호/열적 피드백에 관한 신호로 전달할 수 있다. 시청각 디바이스(1400)는 영상 신호와 음성 신호를 전달받아 영상과 음성을 출력하고, 피드백 출력 디바이스는 열적 피드백 신호를 전달받아 열적 피드백을 출력할 수 있다. For example, the content playback device (1200) can decode video content including video data/audio data/thermal feedback data and transmit the video signal/audio signal/thermal feedback signal to the audiovisual device (1400) and the feedback output device, respectively. The audiovisual device (1400) can receive the video signal and the audio signal and output the video and audio, and the feedback output device can receive the thermal feedback signal and output the thermal feedback.
이하에서는 열적 경험 제공 시스템(1000)의 각 구성 요소에 관하여 보다 구체적으로 설명하기로 한다. Below, each component of the thermal experience provision system (1000) will be described in more detail.
1.2.1. 콘텐츠 재생 디바이스1.2.1. Content playback device
콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠를 재생한다. The content playback device (1200) plays multimedia content.
도 2는 본 발명의 실시예에 따른 콘텐츠 재생 디바이스(1200)의 구성에 관한 블록도이다.FIG. 2 is a block diagram of the configuration of a content playback device (1200) according to an embodiment of the present invention.
도 2를 참조하면, 콘텐츠 재생 디바이스(1200)는 통신 모듈(1220), 메모리(1240) 및 콘트롤러(1260)를 포함할 수 있다. Referring to FIG. 2, the content playback device (1200) may include a communication module (1220), a memory (1240), and a controller (1260).
통신 모듈(1220)은 외부 기기와 통신을 수행할 수 있다. 콘텐츠 재생 디바이스(1200)는 통신 모듈(1220)을 통해 시청각 디바이스(1400)나 피드백 디바이스(1600)와 데이터 송수신을 할 수 있다. 예를 들어, 콘텐츠 재생 디바이스(1200)는 통신 모듈(1220)을 통해 A/V 신호를 시청각 디바이스(1400)에 전달하거나 열적 피드백 신호를 피드백 디바이스(1600)에 전달할 수 있다. 이외에도 콘텐츠 재생 디바이스(1200)는 통신 모듈(1220)을 통해 인터넷에 접속하여 멀티미디어 콘텐츠를 다운로딩할 수 있다. The communication module (1220) can communicate with an external device. The content playback device (1200) can transmit and receive data with an audiovisual device (1400) or a feedback device (1600) through the communication module (1220). For example, the content playback device (1200) can transmit an A/V signal to the audiovisual device (1400) or a thermal feedback signal to the feedback device (1600) through the communication module (1220). In addition, the content playback device (1200) can access the Internet through the communication module (1220) and download multimedia content.
통신 모듈(1220)은 크게 유선 타입과 무선 타입으로 나뉜다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서는 콘텐츠 재생 디바이스(1200)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. The communication module (1220) is largely divided into wired type and wireless type. Since the wired type and wireless type each have their own advantages and disadvantages, in some cases, the content playback device (1200) may be equipped with both wired type and wireless type at the same time.
유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다. For wired types, representative examples include LAN (Local Area Network) or USB (Universal Serial Bus) communication, but other methods are also possible.
무선 타입의 경우에는 주로 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용할 수 있다. 그러나, 무선 통신 프로토콜이 이로 제한되는 것은 아니므로 무선 타입의 통신 모듈은 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다. In the case of wireless type, mainly, communication methods of the WPAN (Wireless Personal Area Network) series such as Bluetooth or Zigbee can be used. However, since wireless communication protocols are not limited to this, wireless type communication modules can also use communication methods of the WLAN (Wireless Local Area Network) series such as Wi-Fi or other known communication methods.
한편, 유/무선 통신 프로토콜로 게임기나 콘솔 제조사에 의해 개발된 독자적인 프로토콜을 사용하는 것도 가능하다. Meanwhile, it is also possible to use proprietary protocols developed by game machine or console manufacturers as wired/wireless communication protocols.
메모리(1240)는 각종 정보를 저장할 수 있다. 메모리(1240)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1240)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1240)는 콘텐츠 재생 디바이스(1200)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. The memory (1240) can store various types of information. Various types of data can be temporarily or semi-permanently stored in the memory (1240). Examples of the memory (1240) may include a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), etc. The memory (1240) may be provided in a form built into the content playback device (1200) or in a detachable form.
메모리(1240)에는 콘텐츠 재생 디바이스(1200)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 콘텐츠 재생 디바이스(1200)에서 실행될 콘텐츠를 비롯해 콘텐츠 재생 디바이스(1200)의 동작에 필요한 각종 데이터가 저장될 수 있다. The memory (1240) may store various data necessary for the operation of the content playback device (1200), including an operating program (OS: Operating System) for driving the content playback device (1200) and content to be executed in the content playback device (1200).
콘트롤러(1260)는 콘텐츠 재생 디바이스(1200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 콘트롤러(1260)는 메모리(1240)로부터 멀티미디어 콘텐츠를 로딩하여 재생하거나 콘텐츠 재생에 따라 영상이나 음성 또는 열적 피드백 출력을 제어하기 위한 제어 신호를 생성할 수 있다. The controller (1260) can control the overall operation of the content playback device (1200). For example, the controller (1260) can load and play multimedia content from the memory (1240) or generate a control signal to control image, audio, or thermal feedback output according to the content playback.
콘트롤러(1260)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다. The controller (1260) may be implemented as a CPU (Central Processing Unit) or a similar device according to hardware, software, or a combination thereof. In terms of hardware, it may be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and in terms of software, it may be provided in the form of a program or code that drives a hardware circuit.
1.2.2. 시청각 디바이스1.2.2. Audiovisual devices
시청각 디바이스(1400)는 멀티미디어 재생에 따른 영상 및 음성을 출력할 수 있다. The audiovisual device (1400) can output video and audio according to multimedia playback.
도 3은 본 발명의 실시예에 따른 시청각 디바이스(1400)의 구성에 관한 블록도이다.FIG. 3 is a block diagram of the configuration of an audiovisual device (1400) according to an embodiment of the present invention.
도 3을 참조하면, 시청각 디바이스(1400)는 통신 모듈(1420) 및 A/V 모듈(1440)을 포함할 수 있다. Referring to FIG. 3, the audiovisual device (1400) may include a communication module (1420) and an A/V module (1440).
통신 모듈(1420)은 외부 기기와 통신을 수행할 수 있다. 시청각 디바이스(1400)는 통신 모듈(1420)을 통해 콘텐츠 재생 디바이스(1200)와 데이터를 송수신할 수 있다. 예를 들어, 시청각 디바이스(1400)는 통신 모듈(1420)을 통해 콘텐츠 재생 디바이스(1200)로부터 A/V 신호를 수신할 수 있다. The communication module (1420) can communicate with an external device. The audiovisual device (1400) can transmit and receive data with the content playback device (1200) through the communication module (1420). For example, the audiovisual device (1400) can receive an A/V signal from the content playback device (1200) through the communication module (1420).
시청각 디바이스(1400)의 통신 모듈(1420)은 콘텐츠 재생 디바이스(1200)의 통신 모듈(1220)과 유사하게 제공될 수 있으므로, 이에 대한 보다 자세한 설명은 생략하기로 한다. The communication module (1420) of the audiovisual device (1400) may be provided similarly to the communication module (1220) of the content playback device (1200), so a more detailed description thereof will be omitted.
A/V 모듈(1440)은 사용자에게 영상이나 음성을 제공할 수 있다. 이를 위해 A/V 모듈(1440)은 영상 모듈(1442)과 음성 모듈(1444)을 포함할 수 있다. The A/V module (1440) can provide video or audio to the user. To this end, the A/V module (1440) can include a video module (1442) and an audio module (1444).
영상 모듈(1442)은 일반적으로 디스플레이 형태로 제공되어, 콘텐츠 재생 디바이스(1200)로부터 수신되는 영상 신호에 따라 영상을 출력할 수 있다. 음성 모듈(1444)은 일반적으로 스피커 형태로 제공되어, 콘텐츠 재생 디바이스(1200)로부터 수신되는 음성 신호에 따라 음성을 출력할 수 있다. The video module (1442) is generally provided in the form of a display and can output a video according to a video signal received from a content playback device (1200). The audio module (1444) is generally provided in the form of a speaker and can output audio according to a audio signal received from a content playback device (1200).
1.2.3. 피드백 디바이스1.2.3. Feedback Device
피드백 디바이스(1600)는 멀티미디어 재생에 따른 열적 피드백을 출력할 수 있다. The feedback device (1600) can output thermal feedback according to multimedia playback.
도 4는 본 발명의 실시예에 따른 피드백 디바이스(1600)의 구성에 관한 블록도이다.FIG. 4 is a block diagram of the configuration of a feedback device (1600) according to an embodiment of the present invention.
도 4를 참조하면, 피드백 디바이스(1600)는 통신 모듈(1620) 및 열 출력 모듈(1640)을 포함할 수 있다. Referring to FIG. 4, the feedback device (1600) may include a communication module (1620) and a heat output module (1640).
통신 모듈(1620)은 외부 기기와 통신을 수행할 수 있다. 피드백 디바이스(1600)는 통신 모듈(1620)을 통해 콘텐츠 재생 디바이스(1200)와 데이터를 송수신할 수 있다. 예를 들어, 피드백 디바이스(1600)는 통신 모듈(1620)을 통해 콘텐츠 재생 디바이스(1200)로부터 열적 피드백 신호를 수신할 수 있다.The communication module (1620) can communicate with an external device. The feedback device (1600) can transmit and receive data with the content playback device (1200) through the communication module (1620). For example, the feedback device (1600) can receive a thermal feedback signal from the content playback device (1200) through the communication module (1620).
열 출력 모듈(1640)은 열적 피드백을 출력할 수 있다. 열적 피드백은 사용자의 신체와 접촉하는 접촉면(1641)과 접촉면(1641)에 연결되는 열전 소자를 포함하는 열 출력 모듈(1640)이 전원 인가에 따라 열전 소자에 발생하는 온열이나 냉열을 접촉면(1641)을 통해 사용자 신체에 인가하는 것에 의해 출력될 수 있다. The thermal output module (1640) can output thermal feedback. The thermal feedback can be output by the thermal output module (1640) including a contact surface (1641) that comes into contact with the user's body and a thermoelectric element connected to the contact surface (1641), which applies heat or cold generated in the thermoelectric element to the user's body through the contact surface (1641) according to power supply.
열 출력 모듈(1640)은 통신 모듈(1620)을 통해 콘텐츠 재생 디바이스(1200)로부터 수신되는 열적 피드백 신호를 따라 발열 동작이나 흡열 동작 또는 열 그릴 동작을 수행하여 열적 피드백을 출력할 수 있고, 사용자는 출력되는 열적 피드백에 의해 열적 경험을 체험할 수 있다. The thermal output module (1640) can output thermal feedback by performing a heating operation, a heat absorption operation, or a heat grill operation according to a thermal feedback signal received from a content playback device (1200) through a communication module (1620), and a user can experience a thermal experience through the output thermal feedback.
한편, 열 출력 모듈(1640)의 구체적인 구성이나 동작 방식에 대한 보다 자세한 설명은 후술하기로 한다. Meanwhile, a more detailed description of the specific configuration and operation method of the heat output module (1640) will be described later.
1.3. 열적 경험 제공 시스템의 구현에1.3. Implementation of a thermal experience provision system
이상에서 설명한 구성을 가지는 열적 경험 제공 시스템(1000)은 다양한 형태로 구현될 수 있는데, 이하에서는 열적 경험 제공 시스템(1000)의 그 몇몇 구현예에 관하여 설명하기로 한다. The thermal experience provision system (1000) having the configuration described above can be implemented in various forms. Hereinafter, several implementation examples of the thermal experience provision system (1000) will be described.
1.3.1. 제1 구현예1.3.1. First implementation example
열적 경험 제공 시스템의 제1 구현예(1000-1)는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 재생하는 시스템이다.A first embodiment (1000-1) of a thermal experience provision system is a system for playing an augmented reality application or a virtual reality application.
도 5는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 개략도이고, 도 6은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 구성에 관한 블록도이다.FIG. 5 is a schematic diagram of a first embodiment of a thermal experience providing system (1000-1) according to an embodiment of the present invention, and FIG. 6 is a block diagram regarding the configuration of a first embodiment of a thermal experience providing system (1000-1) according to an embodiment of the present invention.
도 5 및 도 6을 참조하면, 본 구현예에 따른 열적 경험 제공 시스템(1000-1)은 콘솔 디바이스(1200-1), 두부장착교시기기(HMD: Head-Mounted Display, 1400-1) 및 입력 디바이스(1600-1)를 포함할 수 있다. 여기서, 콘솔 디바이스(1200-1)는 콘텐츠 재생 디바이스(1200)에, HMD(1400-1)는 시청각 디바이스(1400)에, 입력 디바이스(1600-1)는 피드백 디바이스(1600)에 해당할 수 있다. Referring to FIGS. 5 and 6, a thermal experience provision system (1000-1) according to the present implementation example may include a console device (1200-1), a head-mounted display (HMD) 1400-1, and an input device (1600-1). Here, the console device (1200-1) may correspond to a content playback device (1200), the HMD (1400-1) may correspond to an audiovisual device (1400), and the input device (1600-1) may correspond to a feedback device (1600).
이하에서는 본 구현예에 따른 열적 경험 제공 시스템(1000-1)의 각 구성 요소에 관하여 설명한다. Below, each component of the thermal experience provision system (1000-1) according to the present implementation example is described.
콘텐츠 재생 디바이스(1200)에 해당하는 콘솔 디바이스(1200-1)는 증강 현실이나 가상 현실 어플리케이션을 재생하는 전자 기기로 제공될 수 있다. 예를 들어, 콘솔 디바이스(1200-1)는 전문적으로 VR 어플리케이션을 실행하기 위한 소니(Sony)社의 VR용 플레이스테이션(Playstation VR)TM과 같은 게임 콘솔이나 AR/VR 어플리케이션을 구동할 수 있는 PC 등의 형태로 제공될 수 있다. A console device (1200-1) corresponding to a content playback device (1200) may be provided as an electronic device that plays an augmented reality or virtual reality application. For example, the console device (1200-1) may be provided in the form of a game console such as Sony's Playstation VRTM for VR, which is specifically designed to execute VR applications, or a PC capable of running AR/VR applications.
콘솔 디바이스(1200-1)는, 상술한 콘텐츠 재생 디바이스(1200)와 유사하게, 통신 모듈(1220), 메모리(1240) 및 콘트롤러(1260)를 포함할 수 있다. The console device (1200-1) may include a communication module (1220), a memory (1240), and a controller (1260), similar to the content playback device (1200) described above.
도 7 및 도 8은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 HMD(1400-1)의 예시적 형태를 도시한 개략도이다.FIGS. 7 and 8 are schematic diagrams illustrating an exemplary form of an HMD (1400-1) of a first embodiment of a thermal experience provision system (1000-1) according to an embodiment of the present invention.
시청각 디바이스(1400)에 해당하는 HMD(1400-1)는 사용자의 두부에 장착되어 사용자에게 영상을 제공하며 이어폰 등을 통해 음성 출력을 수행할 수도 있다. An HMD (1400-1), which corresponds to an audiovisual device (1400), is mounted on the user's head and provides images to the user and can also output audio through earphones, etc.
예를 들어, HMD(1400-1)는 도 7에 도시된 것과 유사하게, 오큘러스(Oculus)社의 리프트(Rift)TM나 HTC社의 바이브(Vive)TM와 같이 PC나 게임 콘솔과 연동하여 동작하며 불투명 디스플레이를 통해 직접적 또는 간접적으로 영상을 출력하는 형태(1400a)의 기기로 제공될 수 있다. For example, HMD (1400-1) may be provided as a device (1400a) that operates in conjunction with a PC or game console, such as Oculus RiftTM or HTC ViveTM, and directly or indirectly outputs images through an opaque display, similar to that illustrated in FIG. 7.
다른 예를 들어, 시청각 디바이스(1400)는, 도 8에 도시된 것과 유사하게, 구글(Google)社의 구글 글래스(Google Glass)TM와 같이 투명 디스플레이를 통해 육안으로 실제 세계에 대한 영상과 함께 가상 영상을 제공하는 안경 형태(1400-1)의 웨어러블 디바이스(1400b)로 제공될 수도 있다. 한편, 여기서 안경 형태의 웨어러블 디바이스(1400b)는 전통적인 불투명 디스플레이를 이용하는 HMD(1400a)와는 다소 구분되는 개념이지만, 본 명세서에서는 HMD(1400-1)가 이러한 안경 형태의 웨어러블 디바이스(1400b)까지 포함하는 포괄적인 개념으로 이해되어야 할 것이다.For another example, the audiovisual device (1400) may be provided as a wearable device (1400b) in the form of glasses (1400-1) that provides a virtual image together with an image of the real world to the naked eye through a transparent display, similar to Google GlassTM of Google, as illustrated in FIG. 8. Meanwhile, the wearable device (1400b) in the form of glasses here is a concept that is somewhat distinct from the HMD (1400a) that uses a traditional opaque display, but in this specification, the HMD (1400-1) should be understood as a comprehensive concept that includes the wearable device (1400b) in the form of glasses.
도 9는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1) 의 제1 구현예의 HMD(1400-1)의 구성에 관한 블록도이다.FIG. 9 is a block diagram of the configuration of an HMD (1400-1) of a first embodiment of a thermal experience provision system (1000-1) according to an embodiment of the present invention.
도 9를 참조하면, HMD(1400-1)는 상술한 시청각 디바이스(1400)와 유사하게, 통신 모듈(1420) 및 A/V 모듈(1440)을 포함할 수 있다. Referring to FIG. 9, the HMD (1400-1) may include a communication module (1420) and an A/V module (1440), similar to the audiovisual device (1400) described above.
다만, 본 구현예에서 통신 모듈(1420)은 콘솔 디바이스(1200-1)로부터 A/V 신호를 수신하는 이외에도 센싱 모듈(1460)에서 감지된 정보를 콘솔 디바이스(1200-1)에 송신할 수 있다. 또 통신 모듈(1420)은 사용자의 두부에 장착된 HMD(1400-1)가 사용자의 움직임을 최대한 방해하지 않도록 주로 무선 타입으로 제공될 수 있다. However, in the present implementation example, the communication module (1420) may transmit information detected by the sensing module (1460) to the console device (1200-1) in addition to receiving an A/V signal from the console device (1200-1). In addition, the communication module (1420) may be provided primarily as a wireless type so that the HMD (1400-1) mounted on the user's head does not interfere with the user's movements as much as possible.
또 A/V 모듈(1440)에서 영상 모듈(1442)은 가상 현실이나 증강 현실을 구현하기 위한 스테레오스코픽 3D(stereoscopic 3D)를 출력하기 위하여 좌안 디스플레이와 우안 디스플레이로 구성되는 두 개의 디스플레이로 구성될 수 있다. 또는 영상 모듈(1442)은, 사용자가 육안으로 보는 실제 영상과 가상 영상이 함께 제공되도록, 투명 디스플레이 형태나 투명 글래스에 가상 영상을 투사하는 프로젝터 형태로 제공될 수 있다. Also, in the A/V module (1440), the image module (1442) may be configured with two displays, a left-eye display and a right-eye display, to output stereoscopic 3D for implementing virtual reality or augmented reality. Alternatively, the image module (1442) may be provided in the form of a projector that projects a virtual image onto a transparent display or transparent glass, so that a real image seen by the user with the naked eye and a virtual image are provided together.
한편, 다시 도 9를 참조하면, HMD(1400-1)는 센싱 모듈(1460) 및 카메라(1480)를 더 포함할 수 있다. Meanwhile, referring again to FIG. 9, the HMD (1400-1) may further include a sensing module (1460) and a camera (1480).
센싱 모듈(1460)은 증강 현실이나 가상 현실을 구현하기 위해 필요한 각종 정보를 센싱할 수 있다. 특히, 증강 현실이나 가상 현실에서 높은 현실감을 제공하기 위해서는 사용자의 두부 움직임에 맞춰 영상 출력을 제어할 필요가 있으므로, 센싱 모듈(1460)에는 사용자의 두부의 자세나 움직임을 센싱하기 위한 자세 센서나 모션 센서가 포함될 수 있다. The sensing module (1460) can sense various types of information required to implement augmented reality or virtual reality. In particular, in order to provide a high sense of reality in augmented reality or virtual reality, it is necessary to control the image output according to the movement of the user's head, so the sensing module (1460) can include a posture sensor or a motion sensor for sensing the posture or movement of the user's head.
카메라(1480)는 영상을 촬영한다. 증강 현실을 구현하기 위해서는 실제 공간에 대한 인식이 필요한데, 여기에 카메라(1480)로 촬영된 영상을 이용할 수 있다. 또 촬영된 영상은 가상 영상과 합성되어 증강 영상을 생성하는데 이용될 수도 있다. The camera (1480) captures images. In order to implement augmented reality, recognition of actual space is required, and images captured by the camera (1480) can be used for this. Additionally, the captured images can be synthesized with virtual images to create augmented images.
도 10 및 도 11은 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1) 의 제1 구현예의 입력 디바이스(1600-1)의 예시적 형태를 도시한 개략도이다.FIGS. 10 and 11 are schematic diagrams illustrating an exemplary form of an input device (1600-1) of a first embodiment of a thermal experience providing system (1000-1) according to an embodiment of the present invention.
피드백 디바이스(1600)에 해당하는 입력 디바이스(1600-1)는 사용자 조작을 입력받을 수 있으며, 열적 피드백을 출력할 수 있다. An input device (1600-1) corresponding to a feedback device (1600) can receive user operations and output thermal feedback.
예를 들어, 입력 디바이스(1600-1)는, 도 10에 도시된 것과 유사하게, VR용 플레이스테이션과 연동되는 소니社의 무브 모션(Move Motion)TM이나 바이브(Vive)TM용 게이밍 콘트롤러와 같이 사용자의 손으로 파지되는 바 타입(1600a)으로 제공될 수 있다. 여기서, 바 타입의 입력 디바이스(1600-1)는, 도 11에 도시된 것과 유사하게, 경우에 따라 양손에 각각 파지되도록 두 개가 한 쌍으로 제공되는 타입(1600b)인 것도 가능하다. For example, the input device (1600-1) may be provided as a bar type (1600a) that is held by the user's hand, such as Sony's Move Motion TM or Vive TM gaming controller that is linked with a PlayStation for VR, similar to that illustrated in FIG. 10. Here, the bar type input device (1600-1) may also be a type (1600b) that is provided as a pair of two to be held by each hand, similar to that illustrated in FIG. 11.
도 12는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 입력 디바이스(1600-1)의 구성에 관한 블록도이다.FIG. 12 is a block diagram of the configuration of an input device (1600-1) of a first embodiment of a thermal experience provision system (1000-1) according to an embodiment of the present invention.
도 12를 참조하면, 입력 디바이스(1600-1)는 상술한 피드백 디바이스(1600)와 유사하게, 통신 모듈(1620) 및 열 출력 모듈(1640)을 포함할 수 있다. Referring to FIG. 12, the input device (1600-1) may include a communication module (1620) and a heat output module (1640), similar to the feedback device (1600) described above.
다만, 본 구현예에서 통신 모듈(1620)은 콘솔 디바이스(1200-1)로부터 열적 피드백 신호를 수신하는 이외에도 입력 모듈(1650)을 통해 입력된 사용자 조작이나 센싱 모듈(1660)에서 감지된 정보를 콘솔 디바이스(1200-1)에 송신할 수 있다. 또 통신 모듈(1620)은 사용자가 입력 모듈(1650)을 다루기 용이하도록 주로 무선 타입으로 제공될 수 있다. However, in the present implementation example, the communication module (1620) may, in addition to receiving a thermal feedback signal from the console device (1200-1), transmit user manipulation input through the input module (1650) or information detected by the sensing module (1660) to the console device (1200-1). In addition, the communication module (1620) may be provided primarily as a wireless type so that the user can easily handle the input module (1650).
한편, 도 12를 참조하면, 입력 디바이스(1600-1)는 케이싱(1610), 입력 모듈(1650), 센싱 모듈(1660) 및 진동 모듈(1670)을 더 포함할 수 있다. Meanwhile, referring to FIG. 12, the input device (1600-1) may further include a casing (1610), an input module (1650), a sensing module (1660), and a vibration module (1670).
케이싱(1610)은 입력 디바이스(1600-1)의 외관을 형성하며, 그 내부에 입력 디바이스(1600-1)의 다른 구성 요소들을 수납할 수 있다. 이에 따라 수납된 구성들은 케이싱에 의해 외부 충격 등으로부터 보호될 수 있다. The casing (1610) forms the exterior of the input device (1600-1) and can store other components of the input device (1600-1) inside it. Accordingly, the stored components can be protected from external impacts, etc. by the casing.
케이싱(1610)에는 사용자가 입력 디바이스(1600-1)를 파지하기 위한 파지부(1612)가 마련될 수 있다. 파지부(1612)는 입력 디바이스(1600-1)가 사용자의 신체와 접촉하는 부분이 되므로, 열 출력 모듈(1640)의 접촉면(1641)은 파지부(1612)에 형성될 수 있다. 또 사용자의 용이한 파지를 위해 파지부(1612)는 그 재질이 마찰력이 높은 재질(예를 들어, 고무나 우레탄 등)로 마련되거나 미끄럼 방지 형상(예를 들어, 요철 형상 등)을 갖질 수 있다. 또 파지부는 사용자의 피부로부터 발생하는 땀을 잘 흡수하는 재질로 마련되는 것도 가능하다. The casing (1610) may be provided with a grip portion (1612) for the user to grip the input device (1600-1). Since the grip portion (1612) is a portion where the input device (1600-1) comes into contact with the user's body, the contact surface (1641) of the heat output module (1640) may be formed on the grip portion (1612). In addition, for the user's easy gripping, the grip portion (1612) may be provided with a material having high friction (e.g., rubber or urethane) or may have an anti-slip shape (e.g., uneven shape). In addition, the grip portion may be provided with a material that absorbs sweat generated from the user's skin well.
입력 모듈(1650)은 사용자로부터 사용자 입력을 획득할 수 있다. 입력 모듈(1650)은 주로 버튼이나 스틱일 수 있으며, 사용자는 버튼을 누르거나 스틱을 특정 방향으로 조작하여 사용자 입력을 입력할 수 있다. 물론, 입력 모듈(1650)이 상술한 예시의 형태로 한정되는 것은 아니다. The input module (1650) can obtain user input from the user. The input module (1650) can be mainly a button or a stick, and the user can input user input by pressing the button or manipulating the stick in a specific direction. Of course, the input module (1650) is not limited to the form of the above-described example.
센싱 모듈(1660)은 입력 디바이스(1600-1)와 관련된 다양한 정보를 센싱할 수 있다. 대표적인 센싱 모듈(1660)의 예로는, 입력 디바이스(1600-1)의 자세를 감지하는 자세 센서나 동작을 감지하는 모션 센서가 있으며, 이외에도 사용자의 신체 신호를 감지하는 바이오 센서를 들 수 있다. 자세 센서나 모션 센서로는 자이로 센서, 가속도 센서를 이용할 수 있다. 바이오 센서에는 사용자의 신체 온도를 감지하는 온도 센서나 심전도를 감지하는 심전도 센서 등이 포함될 수 있다. The sensing module (1660) can sense various information related to the input device (1600-1). Representative examples of the sensing module (1660) include a posture sensor that detects the posture of the input device (1600-1) or a motion sensor that detects movement, and in addition, a biosensor that detects a user's body signal can be mentioned. A gyro sensor or an acceleration sensor can be used as the posture sensor or the motion sensor. The biosensor can include a temperature sensor that detects the user's body temperature or an electrocardiogram sensor that detects an electrocardiogram.
진동 모듈(1670)은 진동 피드백을 출력할 수 있다. 진동 피드백은 열적 피드백과 함께 게임에 대한 사용자의 몰입도를 한층 향상시켜 주는 역할을 할 수 있다. The vibration module (1670) can output vibration feedback. Vibration feedback, together with thermal feedback, can play a role in further enhancing the user's immersion in the game.
한편, 상술한 입력 디바이스(1600-1)는 바 타입 이외에도 다양한 형태로 제공될 수 있다. 이는 후술되는 다른 구현예들에서도 마찬가지이다.Meanwhile, the above-described input device (1600-1) may be provided in various forms other than the bar type. This also applies to other implementation examples described below.
도 13 내지 도 17은 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 입력 디바이스(1600-1)의 다른 예시적 형태를 도시한 개략도이다.FIGS. 13 to 17 are schematic diagrams illustrating other exemplary forms of an input device (1600-1) of a first embodiment of a thermal experience providing system (1000-1) according to an embodiment of the present invention.
도 13을 참조하면, 입력 디바이스(1600-1)는, 소니(Sony)社의 플레이스테이션(Playstation)TM용 듀얼 쇼크(Dual Shock)TM나 마이크로소프트社의 엑스박스(Xbox)TM용 게이밍 콘트롤러와 같이 양손으로 파지되는 게이밍 콘트롤러의 형태(1600c)로 제공될 수 있다. Referring to FIG. 13, the input device (1600-1) may be provided in the form of a gaming controller (1600c) that is held with both hands, such as a Dual ShockTM for Sony's PlaystationTM or a gaming controller for Microsoft's XboxTM.
게이밍 콘트롤러 형태의 입력 디바이스(1600-1)에는 양손으로 파지 가능하도록 케이싱(1610)의 서로 이격된 두 부위에 복수의 파지부(1612)가 마련될 수 있으며, 각 파지부 별로 접촉면(1641)이 형성될 수 있다. An input device (1600-1) in the form of a gaming controller may have multiple gripping portions (1612) provided on two separate portions of a casing (1610) so that it can be gripped with both hands, and a contact surface (1641) may be formed for each gripping portion.
이외에도 입력 디바이스(1600-1)는 주로 레이싱 게임에 이용되는 도 14에 도시된 것과 유사한 휠 타입(1600d), 플라이트 시뮬레이터 게임에 이용되는 도 15에 도시된 것과 유사한 조이스틱 타입(1600e), 일인칭 슈터(FPS: First Person Shooter) 게임에 이용되는 도 16에 도시된 것과 유사한 건 타입(1600f) 또는 컴퓨터 게이밍 환경에서 일반적인 이용되는 도 17에 도시된 것과 유사한 마우스 타입(1600g)으로 구현될 수도 있다. In addition, the input device (1600-1) may be implemented as a wheel type (1600d) similar to that illustrated in FIG. 14, which is mainly used in racing games, a joystick type (1600e) similar to that illustrated in FIG. 15, which is mainly used in flight simulator games, a gun type (1600f) similar to that illustrated in FIG. 16, which is used in first-person shooter (FPS) games, or a mouse type (1600g) similar to that illustrated in FIG. 17, which is generally used in computer gaming environments.
또한, 본 구현예에서 열적 경험 제공 시스템(1000-1)에는 웨어러블 디바이스(1600-1’, wearable device)가 추가적으로 포함되거나 입력 디바이스(1600-1)가 웨어러블 디바이스(1600-1’)로 대체될 수 있다. 이때, 웨어러블 디바이스(1600-1’)가 피드백 디바이스(1600)에 해당할 수 있다. 이는 후술되는 다른 구현예들에서도 마찬가지이다.In addition, in the present implementation example, the thermal experience provision system (1000-1) may additionally include a wearable device (1600-1') or the input device (1600-1) may be replaced with a wearable device (1600-1'). In this case, the wearable device (1600-1') may correspond to the feedback device (1600). This also applies to other implementation examples described below.
도 18및 도 22는 본 발명의 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-1)의 제1 구현예의 웨어러블 디바이스(1600-1’)의 예시적 형태를 도시한 개략도이다.FIG. 18 and FIG. 22 are schematic diagrams illustrating an exemplary form of a wearable device (1600-1') of a first embodiment of a thermal experience providing system (1000-1) according to an embodiment of the present invention.
피드백 디바이스(1600)에 해당하는 웨어러블 디바이스(1600-1’)는 사용자의 신체에 착용되어 인간-기계 인터페이스(HMI: Human-Machine Interface)의 역할을 할 수 있으며, 또 열적 피드백을 출력할 수 있다. A wearable device (1600-1’) corresponding to a feedback device (1600) can be worn on a user’s body and serve as a human-machine interface (HMI) and also output thermal feedback.
웨어러블 디바이스(1600-1’)는 사용자의 신체에 장착되는 부위에 따라 다양한 형태로 제공될 수 있다. 예를 들어, 웨어러블 디바이스(1600-1’)는 상술한 안경이나 HMD 형태나, 도 18에 도시된 것과 유사한 슈트 타입(1600h), 도 19에 도시된 것과 유사한 장갑 타입(1600i), 도 20에 도시된 것과 같은 신발 타입(1600j), 도 21 및 도 22에 도시된 것과 유사한 워치 타입(1600k)나 밴드 타입(1600l) 등으로 제공될 수 있다.The wearable device (1600-1') may be provided in various forms depending on the part worn on the user's body. For example, the wearable device (1600-1') may be provided in the form of glasses or HMD described above, a suit type (1600h) similar to that illustrated in FIG. 18, a glove type (1600i) similar to that illustrated in FIG. 19, a shoe type (1600j) similar to that illustrated in FIG. 20, a watch type (1600k) or band type (1600l) similar to that illustrated in FIGS. 21 and 22, etc.
웨어러블 디바이스(1600-1’)는 통신 모듈(1620) 및 열 출력 모듈(1640)을 포함할 수 있으며, 이들에 대해서는 입력 디바이스(1600-1)와 관련하여 설명한 바 있으므로 생략하기로 한다 The wearable device (1600-1’) may include a communication module (1620) and a heat output module (1640), which have been described with respect to the input device (1600-1), and thus will be omitted.
한편, 웨어러블 디바이스(1600-1’)는 그 외관을 이루고 사용자에 착용되는 몸체와 착용자의 동작이나 자세 또는 신체 정보를 감지하는 센싱 모듈(1660)을 포함할 수 있다. 여기서, 몸체에는 열 출력 모듈(1640)의 접촉면(1641)이 형성될 수 있다. Meanwhile, a wearable device (1600-1’) may include a body that forms its appearance and is worn by a user, and a sensing module (1660) that detects the wearer’s movements, posture, or body information. Here, a contact surface (1641) of a heat output module (1640) may be formed on the body.
또 웨어러블 디바이스(1600-1’)는 그 타입 별로 다소 상이한 추가 구성을 가질 수 있다. 예를 들어, 밴드나 워치 타입의 웨어러블 디바이스(1600-1’)는 시간이나 시각 정보를 표시하기 위한 디스플레이 등을 가질 수 있다. In addition, the wearable device (1600-1') may have additional configurations that are somewhat different depending on its type. For example, a wearable device (1600-1') of the band or watch type may have a display for displaying time or visual information.
1.3.2. 제2 구현예1.3.2. Second implementation example
열적 경험 제공 시스템(1000-2)의 제2 구현예는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 재생하는 시스템이다.A second embodiment of the thermal experience provision system (1000-2) is a system that plays an augmented reality application or a virtual reality application.
도 23은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-2)의 제2 구현예의 개략도이고, 도 24는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-2)의 제2 구현예의 구성에 관한 블록도이다.FIG. 23 is a schematic diagram of a second embodiment of a thermal experience providing system (1000-2) according to an embodiment of the present invention, and FIG. 24 is a block diagram regarding the configuration of the second embodiment of a thermal experience providing system (1000-2) according to an embodiment of the present invention.
열적 경험 제공 시스템(1000-2)의 제2 구현예는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 처리하기 위한 것으로, 열적 경험 제공 시스템(1000-1)의 제1 구현예와 유사하게 제공될 수 있다. 다만 도 23을 참조하면, 본 구현예에서는 콘솔 디바이스(1200-1)가 스마트 디바이스(1200-2)로 대체될 수 있다. 여기서, 스마트 디바이스(1200-2)는 콘텐츠 재생 디바이스(1200) 및 시청각 디바이스(1400)에 동시에 해당할 수 있다. The second embodiment of the thermal experience provision system (1000-2) is for processing an augmented reality application or a virtual reality application, and can be provided similarly to the first embodiment of the thermal experience provision system (1000-1). However, referring to FIG. 23, in this embodiment, the console device (1200-1) can be replaced with a smart device (1200-2). Here, the smart device (1200-2) can correspond to a content playback device (1200) and an audiovisual device (1400) at the same time.
예를 들어, 스마트 디바이스(1200-2)는 삼성전자(Samsung Electronics)社의 갤럭시 S6(Galaxy S6)TM과 같은 스마트 폰 형태로 제공될 수 있다. 스마트 디바이스(1200-2)는 일반적으로 디스플레이, 음성 단자, 카메라, 자세 센서 등을 자체적으로 내장하고 있으며, HMD(1400-2)에 탑재되어 가상 현실 또는 증강 현실을 구현할 수 있다. For example, the smart device (1200-2) may be provided in the form of a smart phone such as the Galaxy S6TM from Samsung Electronics. The smart device (1200-2) generally has a display, an audio terminal, a camera, a posture sensor, etc. built into it, and may be mounted on an HMD (1400-2) to implement virtual reality or augmented reality.
도 25는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-2)의 제2 구현예의 스마트 디바이스(1200-2)의 구성에 관한 블록도이다.FIG. 25 is a block diagram of the configuration of a smart device (1200-2) of a second embodiment of a thermal experience provision system (1000-2) according to an embodiment of the present invention.
따라서, 본 구현예에서는 도 25에 도시된 바와 같이 HMD(1400-2) 대신 스마트 디바이스(1200-2)가 A/V 모듈(1440), 센싱 모듈(1460) 및 카메라(1480)를 더 포함할 수 있다. 하지만, HMD(1400-2)에서 A/V 모듈(1440), 센싱 모듈(1460) 및 카메라(1480)가 반드시 생략되어야 하는 것은 아니다.Therefore, in the present implementation example, instead of the HMD (1400-2), the smart device (1200-2) may further include an A/V module (1440), a sensing module (1460), and a camera (1480), as illustrated in FIG. 25. However, the A/V module (1440), the sensing module (1460), and the camera (1480) are not necessarily omitted from the HMD (1400-2).
1.3.3. 제3 구현예1.3.3. Third implementation example
열적 경험 제공 시스템(1000-3)의 제3 구현예는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 재생하는 시스템이다.A third embodiment of the thermal experience providing system (1000-3) is a system that plays an augmented reality application or a virtual reality application.
도 26은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-3)의 제3 구현예의 개략도이고, 도 27은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-3)의 제3 구현예의 구성에 관한 블록도이다.FIG. 26 is a schematic diagram of a third embodiment of a thermal experience providing system (1000-3) according to an embodiment of the present invention, and FIG. 27 is a block diagram regarding the configuration of a third embodiment of a thermal experience providing system (1000-3) according to an embodiment of the present invention.
열적 경험 제공 시스템(1000-3)의 제3 구현예는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 처리하기 위한 것으로, 열적 경험 제공 시스템(1000-1)의 제1 구현예와 유사하게 제공될 수 있다. 다만 도 27을 참조하면, 본 구현예에서는 HMD(1200-3)에 제1 구현예의 콘솔 디바이스(1200-1)가 통합될 수 있다. 따라서, HMD(1200-3)는 콘텐츠 재생 디바이스(1200) 및 시청각 디바이스(1400)에 동시에 해당할 수 있다. The third embodiment of the thermal experience provision system (1000-3) is for processing an augmented reality application or a virtual reality application, and can be provided similarly to the first embodiment of the thermal experience provision system (1000-1). However, referring to FIG. 27, in this embodiment, the console device (1200-1) of the first embodiment can be integrated into the HMD (1200-3). Accordingly, the HMD (1200-3) can correspond to the content playback device (1200) and the audiovisual device (1400) at the same time.
예를 들어, HMD(1200-3)는 마이크로소프트(Microsoft)社의 홀로렌즈(Hololens)TM와 같이 CPU가 내장된 HMD 형태로 제공될 수 있다. 이에 따라 HMD(1200-3)가 콘솔 디바이스(1200-1)와 연동되지 않고도 가상 현실 또는 증강 현실 어플리케이션을 독자적으로 구동할 수 있다. 따라서, 본 구현예에서는 열적 경험 제공 시스템(1000-3)에 콘솔 디바이스(1200-1)가 생략되고 HMD(1200-3)가 메모리(1240) 및 콘트롤러(1260)를 포함할 수 있다. For example, the HMD (1200-3) may be provided in the form of an HMD with a built-in CPU, such as Microsoft's HololensTM. Accordingly, the HMD (1200-3) may independently drive a virtual reality or augmented reality application without being linked with the console device (1200-1). Accordingly, in the present implementation example, the console device (1200-1) may be omitted from the thermal experience provision system (1000-3), and the HMD (1200-3) may include a memory (1240) and a controller (1260).
1.3.4. 제4 구현예1.3.4. 4th implementation example
열적 경험 제공 시스템(1000-4)의 제4 구현예는 전통적인 2D 화면을 통해 동영상이나 게임 등의 멀티미디어 콘텐츠를 재생하는 시스템이다.The fourth implementation example of the thermal experience provision system (1000-4) is a system that plays multimedia content such as videos or games through a traditional 2D screen.
도 28는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-4)의 제4 구현예의 개략도이다. FIG. 28 is a schematic diagram of a fourth embodiment of a thermal experience providing system (1000-4) according to an embodiment of the present invention.
열적 경험 제공 시스템(1000-4)의 제4 구현예는 전통적인 2D 화면을 통해 멀티미디어 콘텐츠를 처리하기 위한 것으로, 열적 경험 제공 시스템(1000-1)의 제1 구현예와 유사하게 제공될 수 있다. 다만 도 28를 참조하면, 본 구현예에서는 제1 구현예의 HMD(1400-1)가 2D 화면을 제공하는 디스플레이 장치(1400-4)로 대체될 수 있다. 여기서, 콘솔 디바이스(1200-4)는 콘텐츠 재생 디바이스(1200)에, 디스플레이 장치(1400-4)는 시청각 디바이스(1400)에, 입력 디바이스(1600-4)는 피드백 디바이스(1600)에 해당할 수 있다. The fourth embodiment of the thermal experience provision system (1000-4) is for processing multimedia content through a traditional 2D screen, and can be provided similarly to the first embodiment of the thermal experience provision system (1000-1). However, referring to FIG. 28, in this embodiment, the HMD (1400-1) of the first embodiment can be replaced with a display device (1400-4) that provides a 2D screen. Here, the console device (1200-4) can correspond to the content playback device (1200), the display device (1400-4) can correspond to the audiovisual device (1400), and the input device (1600-4) can correspond to the feedback device (1600).
디스플레이 장치(1400-4)는 상술한 제1 구현예의 HMD(1400-1)의 통신 모듈(1420) 및 A/V 모듈(1440)을 포함할 수 있다. 예를 들어, 디스플레이 장치(1400-4)는 TV나 모니터 또는 프로젝터 등의 형태로 제공될 수 있다. 또한, 디스플레이 장치(1400-4)는 스테레오스코픽 방식으로 사용자에게 3D 영상을 제공하는 것도 가능하다. The display device (1400-4) may include the communication module (1420) and the A/V module (1440) of the HMD (1400-1) of the first embodiment described above. For example, the display device (1400-4) may be provided in the form of a TV, a monitor, a projector, or the like. In addition, the display device (1400-4) may also provide a 3D image to the user in a stereoscopic manner.
1.3.5. 제5 구현예1.3.5. Fifth implementation example
열적 경험 제공 시스템(1000-5)의 제5 구현예는 전통적인 2D 화면을 통해 동영상이나 게임 등의 멀티미디어 콘텐츠를 재생하는 시스템이다.The fifth implementation example of the thermal experience provision system (1000-5) is a system that plays multimedia content such as videos or games through a traditional 2D screen.
도 29는 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-5)의 제5 구현예의 개략도이다. FIG. 29 is a schematic diagram of a fifth embodiment of a thermal experience providing system (1000-5) according to an embodiment of the present invention.
열적 경험 제공 시스템(1000-5)의 제5 구현예는 증강 현실 어플리케이션이나 가상 현실 어플리케이션을 처리하기 위한 것으로, 열적 경험 제공 시스템(1000-4)의 제4 구현예와 유사하게 제공될 수 있다. 다만 도 29를 참조하면, 본 구현예에서는 제3 구현예의 콘솔 디바이스(1200-4)와 디스플레이 장치(1400-4)가 통합된 스마트 디바이스(1200-5)가 콘솔 디바이스(1200-4)와 디스플레이 장치(1400-4)를 대체할 수 있다. 여기서, 스마트 디바이스(1200-5)는 콘텐츠 재생 디바이스(1200) 및 시청각 디바이스(1400)에 동시에 해당할 수 있다. The fifth embodiment of the thermal experience provision system (1000-5) is for processing an augmented reality application or a virtual reality application, and can be provided similarly to the fourth embodiment of the thermal experience provision system (1000-4). However, referring to FIG. 29, in this embodiment, a smart device (1200-5) in which the console device (1200-4) and the display device (1400-4) of the third embodiment are integrated can replace the console device (1200-4) and the display device (1400-4). Here, the smart device (1200-5) can correspond to the content playback device (1200) and the audiovisual device (1400) at the same time.
예를 들어, 스마트 디바이스(1200-5)는 스마트 폰이나 노트북, 태블릿 등의 형태로 제공될 수 있다. 따라서, 본 구현예에서는 스마트 디바이스(1200-5)가 A/V 모듈(1440)을 더 포함할 수 있다. For example, the smart device (1200-5) may be provided in the form of a smart phone, a laptop, a tablet, etc. Accordingly, in the present implementation example, the smart device (1200-5) may further include an A/V module (1440).
1.3.6. 제6 구현예1.3.6. Implementation Example 6
열적 경험 제공 시스템(1000-6)의 제6 구현예에서는 열적 경험 제공 시스템(1000-6)에 휴대용 스마트 디바이스(1200-6)와 이에 장착되는 스마트 디바이스용 주변 기기(1600-6)가 포함된다. 본 구현예는 사용자가 스마트 디바이스(1200-6)를 휴대하고 이동하는 상황 등에서 유용할 수 있다. In a sixth embodiment of a thermal experience provision system (1000-6), a portable smart device (1200-6) and a peripheral device (1600-6) for a smart device mounted thereon are included in the thermal experience provision system (1000-6). This embodiment may be useful in situations where a user carries and moves a smart device (1200-6).
도 30은 본 발명의 실시예에 따른 열적 경험 제공 시스템(1000-6)의 제6 구현예의 개략도이다. FIG. 30 is a schematic diagram of a sixth embodiment of a thermal experience providing system (1000-6) according to an embodiment of the present invention.
본 구현예에서 스마트 디바이스(1200-6)는 제5 구현예에서의 스마트 디바이스(1000-5)와 유사하게 제공될 수 있다. In this implementation example, the smart device (1200-6) may be provided similarly to the smart device (1000-5) in the fifth implementation example.
또 주변 기기(1600-6)는 피드백 디바이스(1600)의 기본 구성을 포함하며, 추가적으로 스마트 디바이스(1200-6)가 장착될 수 있는 장착부와 자체적으로 열적 피드백을 출력하기 위한 배터리를 포함할 수 있다. 예를 들어, 주변 기기는 도 30에 도시된 셀카봉(selfi stick)이나 스마트 폰의 케이스 형태 등으로 제공될 수 있다. 이러한 주변 기기(1600-6)는 스마트 디바이스(1200-6)와 연동하여 열적 피드백을 출력할 수 있다. In addition, the peripheral device (1600-6) includes the basic configuration of the feedback device (1600), and may additionally include a mounting portion on which a smart device (1200-6) can be mounted, and a battery for outputting thermal feedback on its own. For example, the peripheral device may be provided in the form of a selfie stick or a smart phone case as illustrated in FIG. 30. This peripheral device (1600-6) may output thermal feedback in conjunction with the smart device (1200-6).
2. 열 출력 모듈2. Heat output module
이하에서는 본 발명의 실시예에 따른 열 출력 모듈(1640)에 관하여 설명한다.Below, a heat output module (1640) according to an embodiment of the present invention is described.
2.1. 열 출력 모듈의 개요2.1. Overview of the heat output module
열 출력 모듈(1640)은 발열 동작, 흡열 동작 또는 열 그릴 동작을 수행함으로써 사용자에게 온열 및 냉열을 전달하는 열적 피드백을 출력할 수 있다. 열적 경험 제공 시스템(1000)에서 피드백 디바이스(1600)에 탑재되는 열 출력 모듈(1640)은 피드백 디바이스(1600)가 열적 피드백 신호를 입력받으면 열적 피드백을 출력해 열적 경험 제공 시스템(1000)에 사용자에게 열적 경험을 제공할 수 있도록 한다. The thermal output module (1640) can output thermal feedback that conveys heat and cold to the user by performing a heating action, an absorbing action, or a thermal grill action. In the thermal experience provision system (1000), the thermal output module (1640) mounted on the feedback device (1600) outputs thermal feedback when the feedback device (1600) receives a thermal feedback signal, thereby providing the user with a thermal experience through the thermal experience provision system (1000).
상술한 발열 동작, 흡열 동작 또는 열 그릴 동작을 수행하기 위해 열 출력 모듈(1640)은 펠티에 소자 등의 열전 소자(thermoelectric element such as a Peltier element)를 이용할 수 있다.To perform the above-described heating operation, heat absorption operation, or heat grill operation, the heat output module (1640) may use a thermoelectric element such as a Peltier element.
펠티에 효과는 1834년 쟝 펠티에(Jean Peltier)에 의해 발견된 열전 현상으로, 이종(異種)의 금속을 접합한 뒤 전류를 흘리면 전류의 방향에 따라 한쪽에서는 발열 반응이 발생하고 다른 쪽에서는 냉각 반응이 발생하는 현상을 의미한다. 펠티에 소자는 이러한 펠티에 효과를 일으키는 소자로서, 펠티에 소자는 초기에는 비스무트와 안티몬과 같은 이종 금속 접합체로 만들어졌으나 최근에는 보다 높은 열전 효율을 갖도록 두 개의 금속판 사이에 N-P 반도체를 배열하는 방식으로 제조되고 있다. The Peltier effect is a thermoelectric phenomenon discovered by Jean Peltier in 1834. It refers to the phenomenon in which, when dissimilar metals are joined and current is passed through them, a heating reaction occurs on one side and a cooling reaction occurs on the other side depending on the direction of the current. A Peltier element is a device that produces this Peltier effect. Peltier elements were initially made of dissimilar metal junctions such as bismuth and antimony, but recently they have been manufactured by arranging N-P semiconductors between two metal plates to have higher thermoelectric efficiency.
펠티에 소자는 전류가 인가되면 양쪽 금속판에서 발열과 흡열이 즉각적으로 유도되며, 전류 방향에 따라 발열과 흡열의 전환이 가능하고, 전류량에 따라 발열이나 흡열 정도도 비교적 정밀하게 조절 가능하므로 열적 피드백을 위한 발열 동작이나 흡열 동작에 이용되기 적절하다. 특히, 최근 유연 열전 소자(flexible thermoelectric element)가 개발됨에 따라 사용자의 신체에 대해 접촉이 용이한 형태로 제조가 가능해져 피드백 디바이스(1600)로서의 상업적 이용 가능성이 증대되고 있다. When current is applied to the Peltier element, heat generation and heat absorption are immediately induced at both metal plates, and the switching between heat generation and heat absorption is possible depending on the direction of the current, and the degree of heat generation or heat absorption can be relatively precisely controlled depending on the amount of current, so it is suitable for use in heat generation or heat absorption operations for thermal feedback. In particular, with the recent development of flexible thermoelectric elements, it has become possible to manufacture them in a form that is easy to contact with the user's body, thereby increasing the possibility of commercial use as a feedback device (1600).
이에 따라 열 출력 모듈(1640)은 상술한 열전 소자에 전기가 인가됨에 따라 발열 동작이나 흡열 동작을 수행할 수 있다. 물리적으로는 전기를 인가받은 열전 소자에서는 발열 반응과 흡열 반응이 동시에 일어나지만, 본 명세서에서는 열 출력 모듈(1640) 관해 사용자의 신체에 접하는 면이 열을 발생시키는 것을 발열 동작으로, 열을 흡수하는 것을 흡열 동작으로 정의한다. 예를 들어, 열전 소자는 기판(1642) 상에 N-P 반도체를 배치하여 구성될 수 있는데, 여기에 전류가 인가되면 일측에서는 발열이 이루어지고 타측에서는 흡열이 이루어진다. 여기서, 사용자의 신체를 향한 측면을 전면, 그 반대 측면을 배면으로 하면, 열 출력 모듈(1640)에 대하여 전면에서 발열, 배면에서 흡열이 일어나는 것을 발열 동작을 수행하는 것으로 정의하고, 그 반대로 전면에서 흡열, 후면에서 발열이 일어나는 것을 흡열 동작을 수행하는 것으로 정의할 수 있다. Accordingly, the heat output module (1640) can perform a heat generating operation or a heat absorbing operation when electricity is applied to the thermoelectric element described above. Physically, heat generating and heat absorbing reactions occur simultaneously in a thermoelectric element to which electricity is applied, but in this specification, the heat generating operation is defined when the surface of the heat output module (1640) in contact with the user's body is generated, and the heat absorbing operation is defined as the heat absorbing operation. For example, the thermoelectric element can be configured by arranging an N-P semiconductor on a substrate (1642), and when current is applied thereto, heat generation occurs on one side and heat absorption occurs on the other side. Here, if the side facing the user's body is the front and the opposite side is the back, heat generation occurring on the front and heat absorption occurring on the back of the heat output module (1640) can be defined as performing a heat generating operation, and conversely, heat absorption occurring on the front and heat generation occurring on the back can be defined as performing an heat absorbing operation.
또 열전 효과는 열전 소자에 흐르는 전하에 의해 유도되므로, 열 출력 모듈(1640)의 발열 동작이나 흡열 동작을 유도하는 전기에 대해서 전류 관점으로 서술하는 것도 가능하지만, 본 명세서에서는 설명의 편의를 위해 일괄적으로 전압 관점에서 서술하기로 한다. 다만, 이는 설명의 편의를 위한 것에 불과하며 전압 관점에서의 서술에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하 ‘당업자’라고 함)가 이를 전류 관점으로 치환하여 해석하는 것에 발명적 사고가 필요한 것도 아니므로, 본 발명이 전압 관점으로 한정 해석되어서는 아니됨을 밝혀둔다. In addition, since the thermoelectric effect is induced by the charge flowing in the thermoelectric element, it is possible to describe the electricity that induces the heat-generating or heat-absorbing operation of the heat output module (1640) in terms of current, but in this specification, for the convenience of explanation, it will be described uniformly in terms of voltage. However, this is merely for the convenience of explanation, and it does not require an inventive idea for a person having ordinary knowledge in the technical field to which the present invention belongs (hereinafter referred to as “those skilled in the art”) to interpret the description in terms of voltage by replacing it with the current perspective, so it is made clear that the present invention should not be interpreted as being limited to the voltage perspective.
2.2. 열 출력 모듈의 구성2.2. Configuration of the heat output module
도 31은 본 발명의 실시예에 따른 열 출력 모듈(1640)의 구성에 관한 블록도이다. FIG. 31 is a block diagram of the configuration of a heat output module (1640) according to an embodiment of the present invention.
도 31을 참조하면, 열 출력 모듈(1640)은 접촉면(1641), 기판(1642), 기판(1642)에 배치되는 열전 쌍 어레이(1643), 열 출력 모듈(1640)에 전원을 인가하는 전원 단자(1644) 및 피드백 콘트롤러 (1645)를 포함할 수 있다. Referring to FIG. 31, the heat output module (1640) may include a contact surface (1641), a substrate (1642), a thermocouple array (1643) disposed on the substrate (1642), a power terminal (1644) for supplying power to the heat output module (1640), and a feedback controller (1645).
접촉면(1641)은 사용자의 신체에 직접 접촉해 열 출력 모듈(1640)에서 발생하는 온열 또는 냉열을 사용자의 피부로 전달한다. 다시 말해, 피드백 디바이스(1600)의 외면 중 사용자의 신체에 직접 접촉하는 부위가 접촉면(1641)이 될 수 있다. 예를 들어, 접촉면(1641)은 피드백 디바이스(1600) 케이싱 중 사용자가 파지하는 파지부에 형성될 수 있다. The contact surface (1641) directly contacts the user's body and transfers heat or cold generated from the heat output module (1640) to the user's skin. In other words, the part of the outer surface of the feedback device (1600) that directly contacts the user's body can be the contact surface (1641). For example, the contact surface (1641) can be formed on a grip portion of the feedback device (1600) casing that the user grips.
일 예로, 접촉면(1641)은 열 출력 모듈(1640)에서 발열 동작 또는 흡열 동작을 수행하는 열전 쌍 어레이(1643)의 외면(사용자의 신체 방향)에 직간접적으로 부착되는 레이어로 제공될 수 있다. 이러한 형태의 접촉면(1641)은 열전 쌍 어레이(1643)와 사용자의 피부 사이에 배치되어 열 전달을 수행할 수 있다. 이를 위해 접촉면(1641)은 열전 쌍 어레이(1643)로부터 사용자 신체로의 열 전달이 잘 이루어지도록 열 전도도가 높은 재질로 제공될 수 있다. 또 레이어 타입의 접촉면(1641)은 열전 쌍 어레이(1643)가 외부에 직접 노출되는 것을 방지하여 열전 쌍 어레이(1643)를 외부 충격으로부터 보호하는 역할도 가진다.For example, the contact surface (1641) may be provided as a layer directly or indirectly attached to the outer surface (toward the user's body) of the thermocouple array (1643) that performs a heat-generating or heat-absorbing operation in the heat output module (1640). The contact surface (1641) of this type may be placed between the thermocouple array (1643) and the user's skin to perform heat transfer. To this end, the contact surface (1641) may be provided with a material having high thermal conductivity so that heat is well transferred from the thermocouple array (1643) to the user's body. In addition, the layer-type contact surface (1641) prevents the thermocouple array (1643) from being directly exposed to the outside, thereby protecting the thermocouple array (1643) from external impact.
한편, 이상에서는 접촉면(1641)이 열전 쌍 어레이(1643)의 외면에 배치되는 별도의 구성인 것으로 설명하였으나, 이와 달리 열전 쌍 어레이(1643)의 외면 그 자체가 접촉면(1641)이 되는 것도 가능하다. 다시 말해, 열전 쌍 어레이(1643)의 전면의 일부 또는 전부가 접촉면(1641)이 될 수 있는 것이다.Meanwhile, in the above, the contact surface (1641) is described as a separate component arranged on the outer surface of the thermocouple array (1643), but it is also possible for the outer surface of the thermocouple array (1643) itself to become the contact surface (1641). In other words, part or all of the front surface of the thermocouple array (1643) can become the contact surface (1641).
기판(1642)은 단위 열전 쌍(1465)을 지지하는 역할을 하며 절연 소재로 제공된다. 예를 들어, 기판(1642)의 소재로는 세라믹을 선택할 수 있다. 또 기판(1642)은 평판 형상의 것을 이용할 수도 있지만 반드시 그러한 것은 아니다. The substrate (1642) serves to support the unit thermocouple (1465) and is provided with an insulating material. For example, ceramic may be selected as the material of the substrate (1642). Also, the substrate (1642) may be in the shape of a flat plate, but this is not necessarily the case.
기판(1642)은 다양한 형상의 접촉면(1641)을 가지는 여러 종류의 피드백 디바이스(1600)에 범용적으로 이용 가능한 유연성을 갖도록 유연 소재로 제공될 수도 있다. 예를 들어, 게이밍 콘트롤러 타입의 피드백 디바이스(1600)에서는 사용자가 손바닥으로 게이밍 콘트롤러를 파지하는 부위가 곡면 형상인 것이 대부분인데, 이러한 곡면 부위에 열 출력 모듈(1640)을 사용하기 위해서는 열 출력 모듈(1640)이 유연성을 갖는 것이 중요할 수 있다. 이를 위해 기판(1642)에 이용되는 유연 소재의 예로는, 유리 섬유(glass fiber)나 유연성 플라스틱이 있을 수 있다. The substrate (1642) may be provided with a flexible material so as to have flexibility that can be universally used in various types of feedback devices (1600) having contact surfaces (1641) of various shapes. For example, in the feedback device (1600) of the gaming controller type, the portion where the user holds the gaming controller with the palm of his/her hand is mostly curved, and in order to use the heat output module (1640) in such a curved portion, it may be important for the heat output module (1640) to have flexibility. For this purpose, examples of the flexible material used in the substrate (1642) may include glass fiber or flexible plastic.
열전 쌍 어레이(1643)는 기판(1642) 상에 배치되는 복수의 단위 열전 쌍(1465)으로 구성된다. 단위 열전 쌍(1465)으로는 서로 상이한 금속 쌍(예를 들어, 비스무트와 안티몬 등)을 이용할 수 있지만, 주로는 N형과 P형의 반도체 쌍을 이용할 수 있다. The thermocouple array (1643) is composed of a plurality of unit thermocouples (1465) arranged on a substrate (1642). Different metal pairs (e.g., bismuth and antimony) can be used as the unit thermocouples (1465), but mainly, an N-type and P-type semiconductor pair can be used.
단위 열전 쌍(1465)에서 반도체 쌍은 일단에서 전기적으로 연결되며, 타단에서 단위 열전 쌍(1465)과 전기적으로 연결된다. 반도체 쌍 간(1645a, 1646b) 또는 인접 반도체와의 전기적 연결은 기판(1642)에 배치되는 도체 부재(1646)에 의해 이루어진다. 도체 부재(1646)는 구리나 은 등의 도선이나 전극일 수 있다. In a unit thermocouple (1465), a semiconductor pair is electrically connected at one end and electrically connected to the unit thermocouple (1465) at the other end. Electrical connection between the semiconductor pairs (1645a, 1646b) or with adjacent semiconductors is made by a conductive member (1646) arranged on a substrate (1642). The conductive member (1646) may be a conductor or electrode made of copper or silver.
단위 열전 쌍(1465)의 전기적 연결은 주로 직렬 연결로 이루어질 수 있으며, 서로 직렬로 연결된 단위 열전 쌍(1465)은 열전 쌍 그룹(1644)을 이루고, 다시 열전 쌍 그룹(1644)은 열전 쌍 어레이(1643)를 이룰 수 있다. The electrical connection of the unit thermocouple pairs (1465) can be mainly achieved by a series connection, and the unit thermocouple pairs (1465) connected in series with each other form a thermocouple group (1644), and the thermocouple group (1644) can again form a thermocouple array (1643).
전원 단자(1644)는 열 출력 모듈(1640)에 전원을 인가할 수 있다. 전원 단자(1644)로 인가되는 전원의 전압값 및 전류의 방향에 따라 열전 쌍 어레이(1643)는 열을 발생시키거나 열을 흡수할 수 있다. 보다 구체적으로 전원 단자(1644)는 하나의 열전 쌍 그룹(1644)에 대하여 두 개씩 연결될 수 있다. 따라서, 열전 쌍 그룹(1644)이 여러 개인 경우에는 각각의 열전 쌍 그룹(1644)별로 두 개의 전원 단자(1644)가 배치될 수도 있다. 이러한 연결 방식에 의하면 열전 쌍 그룹(1644) 별로 전압값이나 전류 방향을 개별 제어하여, 발열 및 흡열 중 어느 것을 수행할지 여부와 발열이나 흡열 시 그 정도가 조절될 수 있다. The power terminal (1644) can apply power to the heat output module (1640). Depending on the voltage value and current direction of the power applied to the power terminal (1644), the thermocouple array (1643) can generate heat or absorb heat. More specifically, two power terminals (1644) can be connected to each thermocouple group (1644). Accordingly, when there are multiple thermocouple groups (1644), two power terminals (1644) may be arranged for each thermocouple group (1644). According to this connection method, the voltage value or current direction can be individually controlled for each thermocouple group (1644), so that whether to perform heat generation or heat absorption and the degree of heat generation or heat absorption can be controlled.
또 후술하겠지만, 전원 단자(1644)는 피드백 콘트롤러1645)에 의해 출력된 전기 신호를 인가 받으며, 이에 따라 결과적으로 피드백 콘트롤러(1645)는 전기 신호의 방향이나 크기를 조절하여 열 출력 모듈(1640)의 발열 동작 및 흡열 동작을 제어할 수 있을 것이다. 또 열전 쌍 그룹(1644)이 복수인 경우에는 각각의 전원 단자(1644)에 인가되는 전기 신호를 개별 조절하여 열전 쌍 그룹(1644) 별로 개별 제어하는 것도 가능할 것이다. As will be described later, the power terminal (1644) receives an electric signal output by the feedback controller (1645), and as a result, the feedback controller (1645) can control the heat generation and heat absorption operations of the heat output module (1640) by adjusting the direction or size of the electric signal. In addition, in the case where there are multiple thermocouple groups (1644), it may be possible to individually control each thermocouple group (1644) by individually adjusting the electric signal applied to each power terminal (1644).
피드백 콘트롤러(1645)는 전원 단자(1644)를 통해 열전 쌍 어레이(1643)에 전기 신호를 인가할 수 있다. 구체적으로 피드백 콘트롤러(1645)는 통신 모듈(1620)을 통해 콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)로부터 열적 피드백에 관한 정보를 수신하고, 열적 피드백에 관한 정보를 해석하여 열적 피드백의 종류나 강도를 판단하고, 판단 결과에 따라 전기 신호를 생성, 전원 단자(1644)에 인가함으로써 열전 쌍 어레이(1643)가 열적 피드백을 출력하도록 할 수 있다. The feedback controller (1645) can apply an electric signal to the thermocouple array (1643) through the power terminal (1644). Specifically, the feedback controller (1645) receives information about thermal feedback from the controller (1260) of the content playback device (1200) through the communication module (1620), interprets the information about thermal feedback to determine the type or intensity of thermal feedback, and generates an electric signal according to the determination result and applies the electric signal to the power terminal (1644), thereby causing the thermocouple array (1643) to output thermal feedback.
이를 위해 피드백 콘트롤러(1645)는 각종 정보의 연산 및 처리를 수행하고 처리 결과에 따라 열전 쌍 어레이(1643)에 전기 신호를 출력하여 열전 쌍 어레이(1643)의 동작을 제어할 수 있다. 따라서, 피드백 콘트롤러(1645)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 피드백 콘트롤러(1645)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다. To this end, the feedback controller (1645) performs calculations and processing of various types of information and outputs an electric signal to the thermocouple array (1643) according to the processing result to control the operation of the thermocouple array (1643). Therefore, the feedback controller (1645) may be implemented as a computer or a similar device according to hardware, software, or a combination thereof. In terms of hardware, the feedback controller (1645) may be provided in the form of an electronic circuit that processes an electric signal to perform a control function, and in terms of software, it may be provided in the form of a program or code that drives a hardware circuit.
피드백 디바이스(1600)에는 상술한 열 출력 모듈(1640)이 복수로 제공되는 것도 가능하다. 에를 들어, 피드백 디바이스(1600)가 도 13에서와 같이 복수의 파지부(1621)를 가지는 경우, 피드백 디바이스(1600)의 파지부(1621)마다 열 출력 모듈(1640)이 탑재될 수 있다. 이와 같이 하나의 피드백 디바이스(1600)에 복수의 열 출력 모듈(1640)이 제공되는 경우, 피드백 디바이스(1600)에는 각 열 출력 모듈(1640) 별로 피드백 콘트롤러(1660)이 마련되거나 또는 전체 열 출력 모듈(1640)을 통합 관리하는 하나의 피드백 콘트롤러(1660)가 마련될 수 있다. 또 도 11과 같이 열적 경험 시스템(1000)에 피드백 디바이스(1600)가 복수로 제공될 때에는 각 피드백 디바이스(1600)에 하나 또는 복수의 열 출력 모듈(1640)이 배치될 수 있다. The feedback device (1600) may also be provided with a plurality of the aforementioned heat output modules (1640). For example, when the feedback device (1600) has a plurality of grip sections (1621) as in FIG. 13, a heat output module (1640) may be mounted on each grip section (1621) of the feedback device (1600). When a plurality of heat output modules (1640) are provided in one feedback device (1600) in this way, a feedback controller (1660) may be provided for each heat output module (1640) in the feedback device (1600), or a single feedback controller (1660) that comprehensively manages the entire heat output modules (1640) may be provided. Also, when a plurality of feedback devices (1600) are provided in a thermal experience system (1000) as shown in FIG. 11, one or more thermal output modules (1640) may be placed in each feedback device (1600).
2.3. 열 출력 모듈의 형태2.3. Type of heat output module
이상에서 설명한 열 출력 모듈(1640)의 구성에 대한 설명을 바탕으로 열 출력 모듈(1640)의 몇몇 대표적인 형태들에 관하여 설명한다. Based on the description of the configuration of the heat output module (1640) described above, several representative forms of the heat output module (1640) are described.
도 32는 본 발명의 실시예에 따른 열 출력 모듈(1640)의 일 형태에 관한 도면이다.FIG. 32 is a drawing of one form of a heat output module (1640) according to an embodiment of the present invention.
도 32를 참조하면, 열 출력 모듈(1640)의 일 형태에서 한 쌍의 기판(1642)이 서로 마주보도록 제공된다. 두 기판(1642) 중 하나의 기판(1642)의 외측에는 접촉면(1641)이 위치하여, 열 출력 모듈(1640)에서 발생한 열을 사용자의 신체로 전달할 수 있다. 또 기판(1642)으로 유연성 기판(1642)으로 이용하면, 열 출력 모듈(1640)에 유연성이 부여될 수 있다. Referring to FIG. 32, in one form of a heat output module (1640), a pair of substrates (1642) are provided to face each other. A contact surface (1641) is positioned on the outer side of one of the two substrates (1642), so that heat generated from the heat output module (1640) can be transferred to the user's body. In addition, if a flexible substrate (1642) is used as the substrate (1642), flexibility can be provided to the heat output module (1640).
기판(1642) 사이에는 복수의 단위 열전 쌍(1465)이 위치된다. 각 단위 열전 쌍(1465)은 N형 반도체와 P형 반도체의 반도체 쌍으로 구성된다. 각각의 단위 열전 쌍(1465)에서 N형 반도체와 P형 반도체는 일단에서 도체 부재(1646)에 의해 서로 전기적으로 연결된다. 또 임의의 단위 열전 쌍(1465)의 N형 반도체와 P형 반도체의 타단이 각각 인접한 단위 열전 쌍(1465)의 P형 반도체와 N형 반도체의 타단과 도체 부재(1646)에 의해 서로 전기적으로 연결되는 방식으로 단위 소자 간의 전기적 연결이 이루어진다. 이에 따라 단위 연결 소자들이 직렬 연결되어 하나의 열전 쌍 그룹(1644)을 이루게 된다. 본 형태에서는 열전 쌍 어레이(1643) 전체가 하나의 열전 쌍 그룹(1644)으로 이루어지고 있으며, 전원 단자(1644) 사이에서 전체 단위 열전 쌍(1465)이 직렬 연결되어 있으므로 열 출력 모듈(1640)은 그 전면 전체에 걸쳐 동일한 동작을 수행한다. 즉, 전원 단자(1644)에 일 방향으로 전원이 인가되면 열 출력 모듈(1640)은 발열 동작을 수행하며, 반대 방향으로 전원이 인가되면 흡열 동작을 수행할 수 있다. A plurality of unit thermocouple pairs (1465) are positioned between the substrates (1642). Each unit thermocouple pair (1465) is composed of a semiconductor pair of an N-type semiconductor and a P-type semiconductor. In each unit thermocouple pair (1465), the N-type semiconductor and the P-type semiconductor are electrically connected to each other at one end by a conductive member (1646). In addition, electrical connection between unit elements is made in such a way that the other ends of the N-type semiconductor and the P-type semiconductor of any unit thermocouple pair (1465) are electrically connected to each other by the conductive member (1646) with the other ends of the P-type semiconductor and the N-type semiconductor of an adjacent unit thermocouple pair (1465). Accordingly, the unit connection elements are connected in series to form one thermocouple group (1644). In this form, the entire thermocouple array (1643) is composed of one thermocouple group (1644), and since the entire unit thermocouple (1465) is connected in series between the power terminals (1644), the heat output module (1640) performs the same operation over its entire front surface. That is, when power is applied to the power terminal (1644) in one direction, the heat output module (1640) performs a heat-generating operation, and when power is applied in the opposite direction, it can perform a heat-absorbing operation.
도 33은 본 발명의 실시예에 따른 열 출력 모듈(1640)의 다른 형태에 관한 도면이다. FIG. 33 is a drawing of another form of a heat output module (1640) according to an embodiment of the present invention.
도 33을 참조하면, 열 출력 모듈(1640)의 다른 형태는 상술한 일 형태와 유사하다. 다만, 본 형태에서는 열전 쌍 어레이(1643)가 복수의 열전 쌍 그룹(1644)을 가지며 각각의 열전 쌍 그룹(1644)이 각각의 전원 단자(1644)와 연결됨에 따라 열전 쌍 그룹(1644) 별 개별 제어가 가능하다. 예를 들면, 도 33에서 제1 열전 쌍 그룹(1644)과 제2 열전 쌍 그룹(1644)에 서로 다른 방향의 전류를 인가하여 제1 열전 쌍 그룹(1644)은 발열 동작(이때의 전류 방향을 ‘정방향’으로 함)을, 제2 열전 쌍 그룹(1644)은 흡열 동작(이때의 전류 방향을 ‘역방향’으로 함)을 수행하도록 할 수 있다. 다른 예를 들면, 제1 열전 쌍 그룹(1644)의 전원 단자(1644)와 제2 열전 쌍 그룹(1644)의 전원 단자(1644)에 서로 상이한 전압값을 인가하여 제1 열전 쌍 그룹(1644)과 제2 열전 쌍 그룹(1644)이 서로 상이한 정도의 발열 동작 또는 흡열 동작을 수행하도록 할 수도 있다. Referring to FIG. 33, another form of the heat output module (1640) is similar to the above-described form. However, in this form, since the thermocouple array (1643) has a plurality of thermocouple groups (1644) and each thermocouple group (1644) is connected to each power terminal (1644), individual control of each thermocouple group (1644) is possible. For example, in FIG. 33, currents in different directions are applied to the first thermocouple group (1644) and the second thermocouple group (1644), so that the first thermocouple group (1644) performs a heat-generating operation (the current direction at this time is set to ‘forward’) and the second thermocouple group (1644) performs a heat-absorbing operation (the current direction at this time is set to ‘reverse’). As another example, by applying different voltage values to the power terminal (1644) of the first thermocouple group (1644) and the power terminal (1644) of the second thermocouple group (1644), the first thermocouple group (1644) and the second thermocouple group (1644) may perform different degrees of heat-generating or heat-absorbing operations.
한편, 도 33에서는 열전 쌍 어레이(1643)에서 열전 쌍 그룹(1644)이 일차원 어레이로 배열되는 것으로 도시하고 있으나, 이와 달리 열전 쌍 그룹(1644)이 이차원 어레이로 배열되도록 하는 것도 가능하다. 도 34는 본 발명의 실시예에 따른 열 출력 모듈(1640)의 또 다른 형태에 관한 도면이다. 도 34를 참조하면, 이차원 어레이로 배치된 열전 쌍 그룹(1644)을 이용하면 보다 세분화된 지역 별 동작 제어가 가능할 수 있다. Meanwhile, in Fig. 33, the thermocouple pair groups (1644) are arranged in a one-dimensional array in the thermocouple pair array (1643), but it is also possible to arrange the thermocouple pair groups (1644) in a two-dimensional array. Fig. 34 is a drawing regarding another form of the heat output module (1640) according to an embodiment of the present invention. Referring to Fig. 34, by utilizing the thermocouple pair groups (1644) arranged in a two-dimensional array, more detailed regional operation control may be possible.
또 한편, 상술한 열 출력 모듈(1640)의 형태들에서는 한 쌍의 마주보는 기판(1642)을 이용하는 것으로 설명하였으나, 이와 달리 단일의 기판(1642)을 이용하는 것도 가능하다. 도 35는 본 발명의 실시예에 따른 열 출력 모듈(1640)의 다시 또 다른 형태에 관한 도면이다. 도 35를 참조하면, 단일 기판(1642)에 단위 열전 쌍(1465)과 도체 부재(1646)가 단일 기판(1642)에 매립되는 방식으로 배치될 수 있다. 이를 위해 기판(1642)으로 유리 섬유 등을 이용하는 것이 가능하다. 이와 같은 형태의 단일 기판(1642)을 이용하면 열 출력 모듈(1640)에 보다 높은 유연성을 부여할 수 있다. Meanwhile, although the forms of the heat output module (1640) described above have been described as using a pair of opposing substrates (1642), it is also possible to use a single substrate (1642). FIG. 35 is a drawing regarding yet another form of the heat output module (1640) according to an embodiment of the present invention. Referring to FIG. 35, a unit thermocouple pair (1465) and a conductive member (1646) may be arranged in a manner in which they are embedded in a single substrate (1642). For this purpose, it is possible to use glass fiber or the like as the substrate (1642). Using a single substrate (1642) of this form can provide greater flexibility to the heat output module (1640).
이상에서 설명한 열 출력 모듈(1640)의 다양한 형태는 당업자에게 자명한 범위 내에서 조합되거나 변형될 수 있다. 예를 들어, 열 출력 모듈(1640)의 각 형태에서는 열 출력 모듈(1640)의 전면에 접촉면(1641)이 열 출력 모듈(1640)과 별개의 레이어로 형성되는 것으로 설명하였으나, 열 출력 모듈(1640)의 전면 자체가 접촉면(1641)이 될 수 있다. 예를 들면, 상술한 열 출력 모듈(1640)의 일 형태에서는 일 기판(1642)의 외측면이 접촉면(1641)이 될 수 있는 식이다. The various forms of the heat output module (1640) described above can be combined or modified within a range obvious to those skilled in the art. For example, in each form of the heat output module (1640), the contact surface (1641) on the front surface of the heat output module (1640) is described as being formed as a separate layer from the heat output module (1640), but the front surface of the heat output module (1640) itself can be the contact surface (1641). For example, in one form of the heat output module (1640) described above, the outer surface of one substrate (1642) can be the contact surface (1641).
2.4. 열적 피드백 출력 2.4. Thermal feedback output
이하에서는 피드백 디바이스(1600)에 의해 수행하는 열적 피드백 출력 동작에 관하여 설명하기로 한다. Below, the thermal feedback output operation performed by the feedback device (1600) will be described.
피드백 디바이스(1600)는 열 출력 모듈(1640)이 발열 동작이나 흡열 동작을 수행함에 따라 열적 피드백을 출력할 수 있다. 열적 피드백에는 온감 피드백, 냉감 피드백 및 열 그릴 피드백이 포함될 수 있다. The feedback device (1600) can output thermal feedback as the heat output module (1640) performs a heat generating or heat absorbing operation. The thermal feedback can include warm feedback, cool feedback, and heat grill feedback.
여기서, 온감 피드백은 열 출력 모듈(1640)이 발열 동작을 수행하여 출력될 수 있고, 냉감 피드백은 흡열 동작을 수행하여 출력될 수 있다. 또 열 그릴 피드백은 발열 동작과 흡열 동작이 복합된 열 그릴 동작을 통해 출력될 수 있다. Here, the thermal feedback can be output by the thermal output module (1640) performing a heating operation, and the cooling feedback can be output by performing an absorption operation. In addition, the thermal grill feedback can be output through a thermal grill operation that combines a heating operation and an absorption operation.
한편, 피드백 디바이스(1600)는 위의 열적 피드백을 다양한 강도로 출력할 수 있다. 열적 피드백의 강도는 열 출력 모듈(1640)의 피드백 콘트롤러(1645)가 전원 단자(1644)를 통해 열전 쌍 어레이(1643)에 인가하는 전압의 크기를 조절하는 등의 방식으로 조절될 수 있다. 여기서, 전압의 크기를 조절하는 방식은 듀티 신호를 평활한 뒤 최종적으로 열전 소자에 인가되는 전원을 인가하는 방식을 포함한다. 즉, 듀티 신호의 듀티 레이트를 조절함으로써 전압의 크기를 조절하는 것 역시 전압의 크기를 조절하는 것에 포함되는 것으로 봐야할 것이다.Meanwhile, the feedback device (1600) can output the above thermal feedback with various intensities. The intensity of the thermal feedback can be adjusted by, for example, adjusting the magnitude of the voltage applied to the thermocouple array (1643) through the power terminal (1644) by the feedback controller (1645) of the heat output module (1640). Here, the method of adjusting the magnitude of the voltage includes a method of smoothing the duty signal and then finally applying power to the thermocouple element. In other words, adjusting the magnitude of the voltage by adjusting the duty rate of the duty signal should also be considered as included in adjusting the magnitude of the voltage.
이하에서는 발열 동작, 흡열 동작 및 열 그릴 동작에 관하여 보다 상세하게 설명하기로 한다.Below, the heating operation, the absorption operation, and the heat grill operation are described in more detail.
2.4.1. 발열/흡열 동작2.4.1. Exothermic/endothermic action
피드백 디바이스(1600)는 열 출력 모듈(1640)로 발열 동작을 수행하여 사용자에게 온감 피드백을 제공할 수 있다. 유사하게 열 출력 모듈(1640)로 흡열 동작을 수행하여 사용자에게 냉감 피드백을 제공할 수 있다. The feedback device (1600) can provide a warm sensation feedback to the user by performing a heating operation with the heat output module (1640). Similarly, the feedback device (1600) can provide a cool sensation feedback to the user by performing a heat absorption operation with the heat output module (1640).
도 36은 본 발명의 실시예에 따른 온감 피드백을 제공하기 위한 발열 동작에 관한 도면이고, 도 37은 본 발명의 실시예에 따른 온감 피드백의 강도에 관한 그래프이다. FIG. 36 is a drawing regarding a heating operation for providing thermal feedback according to an embodiment of the present invention, and FIG. 37 is a graph regarding the intensity of thermal feedback according to an embodiment of the present invention.
도 36을 참조하면, 발열 동작은 피드백 콘트롤러(1645)가 열전 쌍 어레이(1643)에 정방향 전류를 인가함에 따라 접촉면(1641) 방향에 발열 반응을 유도시켜 수행될 수 있다. 여기서, 피드백 콘트롤러(1645)가 열전 쌍 어레이(1643)에 일정한 전압(이하에서는 발열 반응을 일으키는 전압을 ‘정전압’으로 지칭함)을 인가하면 열전 쌍 어레이(1643)는 발열 동작을 개시하는데, 접촉면(1641)의 온도는 도 37에 도시된 것과 같이 시간에 따라서 포화 온도까지 상승하게 된다. 따라서, 사용자는 발열 동작 개시 초기에는 온감을 느끼지 못하거나 미약하게 느끼며, 포화 온도에 도달하기까지 온감이 상승하는 것을 느낀 뒤, 일정 시간이 경과한 이후로는 포화 온도에 해당하는 온감 피드백을 제공받게 된다. Referring to FIG. 36, the heating operation can be performed by inducing a heating reaction in the direction of the contact surface (1641) by the feedback controller (1645) applying a forward current to the thermocouple array (1643). Here, when the feedback controller (1645) applies a constant voltage (hereinafter, the voltage causing the heating reaction is referred to as a “constant voltage”) to the thermocouple array (1643), the thermocouple array (1643) initiates the heating operation, and the temperature of the contact surface (1641) increases to the saturation temperature over time, as illustrated in FIG. 37. Accordingly, the user does not feel a sense of warmth or feels a weak sense of warmth at the beginning of the heating operation, and then feels the warmth increasing until it reaches the saturation temperature, and then receives a sense of warmth feedback corresponding to the saturation temperature after a certain period of time has elapsed.
도 38은 본 발명의 실시예에 따른 냉감 피드백을 제공하기 위한 발열 동작에 관한 도면이고, 도 39는 본 발명의 실시예에 따른 냉감 피드백의 강도에 관한 그래프이다. FIG. 38 is a drawing regarding a heating operation for providing cooling feedback according to an embodiment of the present invention, and FIG. 39 is a graph regarding the intensity of cooling feedback according to an embodiment of the present invention.
도 38을 참조하면, 흡열 동작은 피드백 콘트롤러(1645)가 열전 쌍 어레이(1643)에 역방향 전류를 인가함에 따라 접촉면(1641) 방향에 흡열 반응을 유도시켜 수행될 수 있다. 여기서, 피드백 콘트롤러(1645)가 열전 쌍 어레이(1643)에 일정한 전압(이하에서는 흡열 반응을 일으키는 전압을 ‘역전압’으로 지칭함)을 인가하면 열전 쌍 어레이(1643)는 흡열 동작을 개시하는데, 접촉면(1641)의 온도는 도 39에 도시된 것과 같이 시간에 따라서 포화 온도까지 상승하게 된다. 따라서, 사용자는 흡열 동작 개시 초기에는 냉감을 느끼지 못하거나 미약하게 느끼며, 포화 온도에 도달하기까지 냉감이 상승하는 것을 느낀 뒤, 일정 시간이 경과한 이후로는 포화 온도에 해당하는 냉감 피드백을 제공받게 된다. Referring to FIG. 38, the endothermic action can be performed by inducing an endothermic reaction toward the contact surface (1641) by applying a reverse current to the thermocouple array (1643) by the feedback controller (1645). Here, when the feedback controller (1645) applies a constant voltage (hereinafter, the voltage causing the endothermic reaction is referred to as a “reverse voltage”) to the thermocouple array (1643), the thermocouple array (1643) initiates an endothermic action, and the temperature of the contact surface (1641) increases to a saturation temperature over time, as illustrated in FIG. 39. Accordingly, the user does not feel a cold sensation or feels a slight cold sensation at the beginning of the endothermic action, and then feels the cold sensation increasing until it reaches the saturation temperature, and then receives a cold sensation feedback corresponding to the saturation temperature after a certain period of time has elapsed.
한편, 열전 소자에 전원을 인가하면 열전 소자에서는 그 양측에서 발생하는 발열 반응과 흡열 반응에 더하여 전기 에너지가 열 에너지로 전환되면서 열이 발생한다. 따라서, 열전 쌍 어레이(1643)에 동일한 크기의 전압을 전류의 방향만 바꾸어 인가하는 경우에는 발열 동작에 따른 온도 변화량이 흡열 동작에 따른 온도 변화량보다 클 수 있다. 여기서, 온도 변화량은 열 출력 모듈(1640)이 동작하지 않는 상태에서의 초기 온도와 포화 온도 간의 온도 차이를 의미한다. Meanwhile, when power is applied to the thermoelectric element, in addition to the exothermic and endothermic reactions occurring on both sides of the thermoelectric element, heat is generated as the electrical energy is converted into thermal energy. Therefore, when the same voltage is applied to the thermoelectric pair array (1643) by only changing the direction of the current, the temperature change due to the exothermic operation may be greater than the temperature change due to the endothermic operation. Here, the temperature change refers to the temperature difference between the initial temperature and the saturation temperature when the heat output module (1640) is not operating.
한편, 이하에서는 열전 소자가 전기 에너지를 이용하여 수행하는 발열 동작 및 흡열 동작에 관하여 포괄적으로 ‘열전 동작’이라고 지칭하기로 한다. 또 추가적으로 이하에서 후술될 열 그릴 동작 역시 발열 동작 및 흡열 동작이 복합된 동작이므로 열 그릴 동작 역시 ‘열전 동작’의 일종으로 해석될 수 있다.Meanwhile, in the following, the heat generating and heat absorbing operations performed by the thermoelectric element using electric energy will be comprehensively referred to as “thermoelectric operation.” In addition, since the heat grill operation described below is also a combined operation of heat generating and heat absorbing operations, the heat grill operation can also be interpreted as a type of “thermoelectric operation.”
2.4.2. 발열/흡열 동작의 강도 제어2.4.2. Controlling the intensity of exothermic/endothermic action
상술한 바와 같이 열 출력 모듈(1640)이 발열 동작이나 흡열 동작을 수행할 시, 피드백 콘트롤러(1645)는 인가되는 전압의 크기를 조정함으로써 열 출력 모듈(1640)의 발열 정도나 흡열 정도를 제어할 수 있다. 따라서, 피드백 콘트롤러(1645)가 전류의 방향을 조정하여 온감 피드백과 냉감 피드백 중 제공할 열 피드백의 종류를 선택하는 것에 더해, 전압의 크기를 조정하여 온감 피드백이나 냉감 피드백의 강도를 조절할 수 있다. As described above, when the heat output module (1640) performs a heat generating operation or a heat absorbing operation, the feedback controller (1645) can control the degree of heat generating or heat absorbing of the heat output module (1640) by adjusting the magnitude of the applied voltage. Accordingly, in addition to selecting the type of heat feedback to be provided among the heat feedback and the cool feedback by adjusting the direction of the current, the feedback controller (1645) can adjust the intensity of the heat feedback or the cool feedback by adjusting the magnitude of the voltage.
도 40은 본 발명의 실시예에 따른 전압 조절을 이용한 온감/냉감 피드백의 강도에 관한 그래프이다.Figure 40 is a graph regarding the intensity of hot/cold feedback using voltage control according to an embodiment of the present invention.
예를 들어, 도 40을 살펴보면 피드백 콘트롤러(1645)는 5단계의 전압값을 정방향 또는 역방향으로 인가함으로써, 피드백 디바이스(1600)가 사용자에게 온감 피드백 5단계와 냉감 피드백 5단계의 총 10가지의 열적 피드백을 제공할 수 있다. For example, looking at FIG. 40, the feedback controller (1645) can provide a total of 10 thermal feedbacks to the user, including 5 levels of warm feedback and 5 levels of cold feedback, by applying 5-step voltage values in the forward or reverse direction.
여기서, 도 40에서는 온감 피드백과 냉감 피드백이 각각 동일한 개수의 강도 등급을 가지는 것으로 도시하고 있으나, 반드시 온감 피드백과 냉감 피드백의 강도 등급의 개수가 동일해야 하는 것은 아니며 서로 상이할 수도 있다. Here, in Fig. 40, the warm feedback and the cold feedback are illustrated as each having the same number of intensity grades, but the number of intensity grades of the warm feedback and the cold feedback does not necessarily have to be the same and may be different.
또 여기서, 동일한 크기의 전압값을 이용하여 전류 방향을 바꿔줌으로써 온감 피드백과 냉감 피드백을 구현하는 것으로 도시하고 있으나, 온감 피드백을 위해 인가되는 전압값의 크기와 냉감 피드백을 위해 인가되는 전압값의 크기가 서로 동일할 필요도 없다. Also, here, it is illustrated that the warm feedback and the cold feedback are implemented by changing the current direction using the same size of voltage value, but the size of the voltage value applied for the warm feedback and the size of the voltage value applied for the cold feedback do not need to be the same.
특히, 동일한 전압을 인가하여 발열 동작과 흡열 동작을 수행하는 경우, 일반적으로 발열 동작에 따른 온감 피드백의 온도 변화량이 흡열 동작에 따른 온도 변화량보다 크므로, 도 41에 도시된 것과 유사하게 냉감 피드백 시에 동일 등급의 온감 피드백에 인가되는 전압보다 큰 전압을 인가하여 서로 대응되는 강도 등급에서 동일한 온도 변화량을 보이도록 하는 것도 가능하다. 도 41은 본 발명의 실시예에 따른 동일 온도 변화량을 갖는 온감/냉감 피드백에 관한 그래프이다.In particular, when performing a heating operation and an endothermic operation by applying the same voltage, since the temperature change amount of the thermal feedback according to the heating operation is generally greater than the temperature change amount according to the endothermic operation, it is also possible to apply a voltage greater than the voltage applied to the thermal feedback of the same grade during the cooling feedback so as to show the same temperature change amount at the corresponding intensity grade, similar to what is shown in Fig. 41. Fig. 41 is a graph regarding thermal/cool feedback having the same temperature change amount according to an embodiment of the present invention.
상술한 바와 같이 열적 피드백의 강도를 조절하면 사용자에게 단순히 온감과 냉감을 제공하는 것에서 벗어나, 강한 온감, 약한 온감, 강한 냉감, 약한 냉감 등의 세분화된 열적 피드백을 제공할 수 있다. 이처럼 다양하게 세분화된 열적 피드백을 게임 환경이나 가상/증강 현실 환경 등에서 사용자에게 보다 높은 몰입감을 제공할 수 있으며, 의료 기기에 적용되는 경우라면 환자의 감각을 보다 정밀하게 검사할 수 있는 장점이 있다.As described above, by controlling the intensity of thermal feedback, it is possible to provide detailed thermal feedback such as strong hot, weak hot, strong cold, and weak cold, rather than simply providing hot and cold sensations to the user. Such detailed thermal feedback can provide a higher sense of immersion to the user in game environments or virtual/augmented reality environments, and when applied to medical devices, it has the advantage of allowing more precise examination of the patient's senses.
2.4.3. 열 그릴 동작2.4.3. Heat grill operation
2.4.3.1. 열 그릴 피드백의 종류2.4.3.1. Types of heat grill feedback
열 그릴 피드백에는 중립 열 그릴 피드백, 온열 그릴 피드백 및 냉열 그릴 피드백이 포함될 수 있다. Thermal grill feedback may include neutral thermal grill feedback, warm thermal grill feedback, and cold thermal grill feedback.
여기서, 중립 열 그릴 피드백, 온열 그릴 피드백, 냉열 그릴 피드백은 각각 사용자에게 중립 열 통감, 온열 통감, 냉열 통감을 유발한다. 중립 열 통감은 온감 및 냉감 없이 통감만 느껴지는 것을 의미하고, 온열 통감이란 온감에 더하여 통감이 느껴지는 것을 의미하고, 냉열 통감이란 냉감에 더하여 통감이 느껴지는 것을 의미할 수 있다. Here, neutral heat grill feedback, warm grill feedback, and cold grill feedback induce neutral heat sensation, warm heat sensation, and cold heat sensation in the user, respectively. Neutral heat sensation means that only the sensation is felt without the heat or cold sensation, warm heat sensation means that the sensation is felt in addition to the heat sensation, and cold heat sensation means that the sensation is felt in addition to the cold sensation.
중립 열 통감은 사용자가 느끼는 온감과 냉감의 강도가 소정 비율 범위에 해당하는 경우 유발된다. 중립 열 통감을 느끼는 비율(이하 ‘중립 비율’이라 함)은 열적 피드백을 제공받는 신체 부위마다 상이할 수 있으며 동일한 신체 부위라고 하더라도 개인 별로 다소 상이할 수 있으나, 대개의 경우 냉감의 강도가 온감의 강도보다 크게 주어지는 상황에서 중립 열 통감이 느껴지는 경향이 있다.Neutral thermal sensation is induced when the intensity of the warm and cold sensations felt by the user falls within a certain ratio range. The ratio of feeling neutral thermal sensation (hereinafter referred to as “neutral ratio”) may vary depending on the body part receiving thermal feedback, and may differ somewhat from person to person even for the same body part. However, in most cases, neutral thermal sensation tends to be felt in situations where the intensity of the cold sensation is greater than the intensity of the warm sensation.
여기서, 열적 피드백의 강도는 피드백 디바이스(1600)가 접촉면(1641)에 접한 신체 부위에 가하는 열량 내지는 해당 신체 부위로부터 흡수하는 열량일 수 있다. 따라서, 일정한 면적에 일정한 시간 동안 열적 피드백이 가해지는 경우, 열적 피드백의 강도는 열적 피드백이 가해지는 대상 부위의 온도에 대한 온감이나 냉감의 온도의 차이값으로 표현될 수 있다. Here, the intensity of the thermal feedback may be the amount of heat applied by the feedback device (1600) to a body part in contact with the contact surface (1641) or the amount of heat absorbed from the body part. Accordingly, when thermal feedback is applied to a certain area for a certain period of time, the intensity of the thermal feedback may be expressed as a difference value between the temperature of the hot or cold sensation and the temperature of the target part to which the thermal feedback is applied.
한편, 사람의 체온은 대개 36.5~36.9℃ 사이이며, 피부의 온도는 개인마다 또 부위마다 차이가 있으나 평균적으로 약 30~32℃로 알려져 있다. 손바닥의 온도는 평균적인 피부 온도보다 다소 높은 약 33℃ 정도이다. 물론, 상술한 온도 수치들은 개인에 따라 다소 다를 수 있으며, 동일인이라도 어느 정도 변동될 수는 있다.Meanwhile, human body temperature is usually between 36.5 and 36.9℃, and skin temperature varies from person to person and body part, but is known to be around 30 to 32℃ on average. The temperature of the palm is around 33℃, which is slightly higher than the average skin temperature. Of course, the above-mentioned temperature values may vary slightly from person to person, and may vary to some extent even within the same person.
일 실험예에 따르면, 33℃의 손바닥에 약 40℃의 온감과 약 20℃의 냉감이 주어지는 경우 중립 열 통감이 느껴지는 것을 확인하였다. 이는 손바닥 온도를 기준으로 볼 때 +7℃의 온감과 -13℃의 냉감이 주어진 것이며, 따라서 온도 관점에서의 중립 비율은 1.86에 해당할 수 있다. According to an experimental example, it was confirmed that neutral thermal sensation was felt when a warm sensation of about 40℃ and a cold sensation of about 20℃ were given to a palm at 33℃. This means that a warm sensation of +7℃ and a cold sensation of -13℃ were given based on the palm temperature, and therefore the neutral ratio from a temperature perspective can be 1.86.
이로부터 확인할 수 있듯이 대부분의 사람의 경우에는 온감과 냉감이 각각 동일한 크기의 신체 영역에 대하여 지속적으로 가해지는 경우에 접촉 대상인 피부에 대해 온감이 유발하는 온도차에 대한 냉감이 유발하는 온도차의 비율로 표현되는 중립 비율은 약 1.5~5의 범위이다. 또 온열 통감은 중립 비율보다 온감의 크기가 큰 경우에 느껴질 수 있으며, 냉열 통감은 중립 비율보다 냉감의 크기가 큰 경우에 느껴질 수 있다.As can be seen from this, for most people, when hot and cold sensations are continuously applied to the same size of body area, the neutral ratio, which is expressed as the ratio of the temperature difference caused by the cold sensation to the temperature difference caused by the hot sensation on the skin of the contacting object, is in the range of about 1.5 to 5. Also, hot sensation can be felt when the size of the hot sensation is larger than the neutral ratio, and cold sensation can be felt when the size of the cold sensation is larger than the neutral ratio.
2.4.3.2. 전압 조절에 따른 열 그릴 동작 2.4.3.2. Thermal grill operation according to voltage regulation
피드백 디바이스(1600)는 전압 조절 방식으로 열 그릴 동작을 수행할 수 있다. 전압 조절 방식의 열 그릴 동작은 열전 쌍 어레이(1643)가 복수의 열전 쌍 그룹(1644)으로 구성된 피드백 디바이스(1600)에 적용될 수 있다. The feedback device (1600) can perform a heat grill operation in a voltage-regulated manner. The heat grill operation in a voltage-regulated manner can be applied to the feedback device (1600) in which the thermocouple array (1643) is composed of a plurality of thermocouple groups (1644).
구체적으로 전압 조절 방식의 열 그릴 동작은, 피드백 콘트롤러(1645)가 열전 쌍 그룹(1644)의 일부에 정방향 전압을 인가하여 발열 동작을 수행시키고 다른 일부에 역방향 전압을 인가하여 흡열 동작을 수행시켜, 열 출력 모듈(1640)이 온감 피드백과 냉감 피드백을 동시에 제공함에 따라 이루어질 수 있다. Specifically, the heat grill operation of the voltage control method can be achieved by the feedback controller (1645) applying a forward voltage to some of the thermocouple groups (1644) to perform a heat generating operation and applying a reverse voltage to other parts to perform a heat absorbing operation, so that the heat output module (1640) provides both heat feedback and cool feedback simultaneously.
도 42는 본 발명의 실시예에 따른 전압 조절 방식의 열 그릴 동작에 관한 도면이다. FIG. 42 is a diagram of a heat grill operation using a voltage control method according to an embodiment of the present invention.
도 42를 참조하면, 열전 쌍 어레이(1643)는 복수의 라인을 형성하도록 배치되는 복수의 열전 쌍 그룹(1644)을 포함한다. 여기서 피드백 콘트롤러(1645)는 제1 열전 쌍 그룹(1644)들(예를 들어 홀수 라인의 열전 쌍 그룹(1644)들)은 발열 동작을 수행하도록 하고 제2 열전 쌍 그룹(1644)들(예를 들어 짝수 라인의 열전 쌍 그룹(1644)들)은 흡열 동작을 수행하도록 전원을 인가할 수 있다. 이처럼 열전 쌍 그룹(1644)들이 라인 배치에 따라 발열 동작과 흡열 동작을 교번적으로 수행하면 사용자는 온감과 냉감이 동시에 전달받게 돼 결과적으로 열 그릴 피드백을 제공받을 수 있다. 여기서, 홀수 라인과 짝수 라인의 구분은 임의적인 것이므로 그 반대가 되어도 무방하다.Referring to FIG. 42, the thermocouple array (1643) includes a plurality of thermocouple groups (1644) arranged to form a plurality of lines. Here, the feedback controller (1645) can apply power to the first thermocouple groups (1644) (e.g., the thermocouple groups (1644) of odd lines) to perform a heating operation and the second thermocouple groups (1644) (e.g., the thermocouple groups (1644) of even lines) to perform an absorption operation. In this way, when the thermocouple groups (1644) alternately perform the heating operation and the absorption operation according to the line arrangement, the user can receive a feeling of warmth and a feeling of coolness at the same time, and as a result, the user can receive a heat grill feedback. Here, the distinction between odd lines and even lines is arbitrary, so that the opposite may be done.
여기서, 피드백 디바이스(1600)는 제1 열전 쌍 그룹(1644)들의 발열 동작에 따른 포화 온도와 제2 열전 쌍 그룹(1644)들의 흡열 동작에 따른 포화 온도가 중립 비율에 따르도록 제어함으로써 중립 열 그릴 피드백을 제공할 수 있다.Here, the feedback device (1600) can provide a neutral heat grill feedback by controlling the saturation temperature according to the heat generating operation of the first thermocouple pair groups (1644) and the saturation temperature according to the heat absorbing operation of the second thermocouple pair groups (1644) to follow a neutral ratio.
도 43은 본 발명의 실시예에 따른 전압 조절 방식에서 중립 열 그릴 피드백을 제공하기 위한 전압에 관한 표이다.FIG. 43 is a table regarding voltages for providing neutral heat grill feedback in a voltage regulation method according to an embodiment of the present invention.
예를 들어, 도 43을 참조하면 피드백 콘트롤러(1645)가 열 출력 모듈(1640)에 각각 5개의 정전압과 역전압을 인가할 수 있으며, 열 출력 모듈(1640)이 이에 따라 각각 5등급의 발열 동작과 흡열 동작을 수행하며, 동일한 등급의 발열 동작과 흡열 동작에 따른 온도 변화량의 크기가 동일하며, 각 등급 간의 온도 변화량의 크기가 일정한 피드백 디바이스(1600)를 가정하면, 중립 비율이 3으로 세팅된 경우 피드백 콘트롤러(1645)는 제1 열전 쌍 그룹(1644)에 대해서 크기가 가장 작은 등급인 제1 등급의 정전압을 인가하고 제2 열전 쌍 그룹(1644)에 대해서 제3 등급의 역전압을 인가함으로써 열 출력 모듈(1640)이 중립 열 통각 피드백을 제공할 수 있다. 유사하게 중립 비율이 2.5인 경우라면 중립 열 그릴 피드백을 제공하기 위해 피드백 콘트롤러(1645)는 제1 열전 쌍 그룹(1644)에 대해서 제2 등급의 정전압을 인가하고 제2 열전 쌍 그룹(1644)에 대해서는 제5 등급의 역전압을 인가할 수 있다. 또는 중립 비율이 4인 경우에는 피드백 콘트롤러(1645)는 제1 열전 쌍 그룹(1644)에 대하여 제1 등급의 정전압을, 제2 열전 쌍 그룹(1644)에 대해서는 제4 등급의 역전압을 인가하여 중립 열 그릴 피드백을 발생시킬 수 있다. 또는 중립 비율이 2인 경우에는 피드백 콘트롤러(1645)는 제1 등급의 정전압과 제2 등급의 역전압을 인가하거나 또는 제2 등급의 정전압과 제4 등급의 역전압을 인가함으로써 중립 열 통감을 제공할 수 있다. 이때에는 전자의 중립 열 통감(제1 등급 정전압과 제2 등급의 역전압을 이용한 경우)이 후자의 중립 열 통감(제2 등급의 정전압과 제4 등급의 역전압을 이용한 경우)의 강도가 더 강하게 될 수 있다. 즉, 열 그릴 피드백의 경우에도 그 강도 조절이 가능한 것이다. 한편, 중립 열 통감을 제공하는 방식에 대하여 상술한 내용은 예시적인 것으로, 본 발명이 이로 한정되는 것은 아니다. 예를 들어, 열적 피드백의 등급수가 5단계일 필요가 없으며, 냉열, 온열 등급의 개수가 상이한 것도 가능하다. 또 각 등급의 온도 변화량 간격이 일정해야 하는 것도 아니며, 이를 테면 각 등급의 전압 간격이 일정할 수도 있다. For example, referring to FIG. 43, the feedback controller (1645) can apply five constant voltages and reverse voltages to the heat output module (1640), and the heat output module (1640) performs five grades of heat generation and heat absorption operations accordingly, and assuming a feedback device (1600) in which the magnitudes of temperature changes according to the heat generation and heat absorption operations of the same grade are the same and the magnitudes of temperature changes between each grade are constant, when the neutral ratio is set to 3, the feedback controller (1645) can apply a constant voltage of the first grade, which is the smallest grade, to the first thermocouple group (1644), and apply a reverse voltage of the third grade to the second thermocouple group (1644), so that the heat output module (1640) can provide a neutral thermal pain feedback. Similarly, when the neutral ratio is 2.5, the feedback controller (1645) may apply a second-grade constant voltage to the first thermocouple group (1644) and a fifth-grade reverse voltage to the second thermocouple group (1644) to provide neutral heat grill feedback. Alternatively, when the neutral ratio is 4, the feedback controller (1645) may apply a first-grade constant voltage to the first thermocouple group (1644) and a fourth-grade reverse voltage to the second thermocouple group (1644) to generate neutral heat grill feedback. Alternatively, when the neutral ratio is 2, the feedback controller (1645) may apply a first-grade constant voltage and a second-grade reverse voltage, or a second-grade constant voltage and a fourth-grade reverse voltage, to provide neutral heat grill feedback. At this time, the neutral thermal sensation of the former (when using the 1st grade constant voltage and the 2nd grade reverse voltage) can be stronger than the neutral thermal sensation of the latter (when using the 2nd grade constant voltage and the 4th grade reverse voltage). In other words, the intensity can be adjusted even in the case of thermal grill feedback. Meanwhile, the above-described method for providing the neutral thermal sensation is exemplary, and the present invention is not limited thereto. For example, the number of grades of thermal feedback does not have to be 5, and the number of cold and hot grades can be different. Also, the temperature change interval of each grade does not have to be constant, and for example, the voltage interval of each grade can be constant.
또 피드백 콘트롤러(1645)는 정전압과 역전압을 중립 비율 이하가 되도록 조정함으로써 온열 그릴 피드백을 제공하거나 중립 비율 이상이 되도록 조정함으로써 냉열 그릴 피드백을 제공할 수 있다. Additionally, the feedback controller (1645) can provide warm grill feedback by adjusting the positive and negative voltages to be below the neutral ratio, or cold grill feedback by adjusting them to be above the neutral ratio.
예를 들어, 다시 도 43을 참조하면 피드백 콘트롤러(1645)는 중립 비율이 3으로 세팅된 경우 제1 열전 쌍 그룹(1644)에 대하여 제1 등급 정전압을 인가하고 제2 열전 쌍 그룹(1644)에 제 1 등급이나 제2 등급의 역전압을 인가하면, 열 출력 모듈(1640)에서 중립 비율보다 낮은 비율로 열감과 통감을 발생시키므로 사용자에게 온감과 통감을 동시에 느끼는 온열 그릴 피드백을 제공할 수 있다. 한편, 이때 정전압이 반드시 중립 열 그릴 피드백에 이용되는 정전압일 필요는 없다. 다시 말해 피드백 콘트롤러(1645)는 4등급의 정전압과 4등급의 역전압을 이용하여 열 출력 모듈(1640)이 온열 그릴 피드백을 제공하도록 할 수도 있을 것이다.For example, referring again to FIG. 43, when the feedback controller (1645) applies a first-grade constant voltage to the first thermocouple group (1644) and applies a first-grade or second-grade reverse voltage to the second thermocouple group (1644) when the neutral ratio is set to 3, the heat output module (1640) generates a heat sensation and a thermal sensation at a lower ratio than the neutral ratio, thereby providing a thermal grill feedback that allows the user to feel both a heat sensation and a thermal sensation. Meanwhile, at this time, the constant voltage does not necessarily need to be the constant voltage used for the neutral heat grill feedback. In other words, the feedback controller (1645) may use a fourth-grade constant voltage and a fourth-grade reverse voltage to allow the heat output module (1640) to provide a thermal grill feedback.
냉열 그릴 피드백의 경우에는 피드백 콘트롤러(1645)가 중립 비율이 3으로 세팅된 경우, (1등급, 4등급)이나 (1등급, 5등급)의 (정전압, 역전압)을 열 출력 모듈(1640)에 인가할 수 있다. In the case of cold grill feedback, if the feedback controller (1645) is set to a neutral ratio of 3, (
다만, 온열 그릴 피드백이나 냉열 그릴 피드백을 제공하려는 경우, 중립 비율로부터 크게 벗어난 비율로 정전압과 역전압을 인가하는 경우에는 사용자가 통감이 느끼지 못하는 문제가 있을 수 있으므로, 중립 비율에 가까운 비율이 되도록 정전압/역전압의 등급을 조절하는 것이 바람직할 수도 있다. However, when providing warm grill feedback or cold grill feedback, if constant voltage and reverse voltage are applied at a ratio that is significantly different from the neutral ratio, there may be a problem in which the user does not feel the sensation, so it may be desirable to adjust the grade of constant voltage/reverse voltage so that the ratio is close to the neutral ratio.
3. 열적 경험 제공 방법3. How to provide thermal experience
이하에서는 본 발명의 실시예에 따른 열적 경험 제공 방법에 관하여 설명한다. 이하의 설명에서는 본 발명의 실시예에 따른 열적 경험 제공 방법에 관하여 상술한 열적 경험 제공 시스템(1000) 및 열 출력 모듈(1640)에 의한 열적 피드백 제공 동작을 참고하여 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 발명의 실시예에 따른 열적 경험 제공 방법이 이로 한정되는 것은 아니다. Hereinafter, a method for providing a thermal experience according to an embodiment of the present invention will be described. In the following description, a method for providing a thermal experience according to an embodiment of the present invention will be described with reference to the thermal feedback providing operation by the thermal experience providing system (1000) and the thermal output module (1640) described above. However, this is only for the convenience of explanation, and thus, a method for providing a thermal experience according to an embodiment of the present invention is not limited thereto.
3.1. 열적 경험 제공 방법의 개요3.1. Overview of the method for providing thermal experience
도 44는 본 발명의 실시예에 따른 열적 경험 제공 방법의 기본 순서도이다.Figure 44 is a basic flowchart of a method for providing thermal experience according to an embodiment of the present invention.
도 44를 참조하면, 본 발명의 실시예에 따른 열적 경험 제공 방법은, 콘텐츠 재생 디바이스(1200)가 멀티미디어 콘텐츠를 재생하는 단계(S1), 콘텐츠 재생 디바이스(1200)가 멀티미디어 콘텐츠의 재생에 따라 열적 피드백 정보를 획득하는 단계(S2), 콘텐츠 재생 디바이스(1200)가 열적 피드백 정보에 따라 열적 피드백 신호를 피드백 디바이스(1600)로 전송하는 단계(S3) 및 피드백 디바이스(1600)가 열적 피드백 신호에 따라 열적 피드백 출력 동작을 수행하는 단계(S4)를 포함할 수 있다. 이상에서는 상술한 단계들에 관하여 설명한다. Referring to FIG. 44, a method for providing a thermal experience according to an embodiment of the present invention may include a step (S1) in which a content playback device (1200) plays multimedia content, a step (S2) in which the content playback device (1200) acquires thermal feedback information according to the playback of the multimedia content, a step (S3) in which the content playback device (1200) transmits a thermal feedback signal to a feedback device (1600) according to the thermal feedback information, and a step (S4) in which the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback signal. The above-described steps will be described.
먼저, 콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠를 재생할 수 있다(S1). First, the content playback device (1200) can play multimedia content (S1).
멀티미디어 콘텐츠는 동영상, 게임, 가상 현실 어플리케이션, 증강 현실 어플리케이션, 체감형 어플리케이션 등일 수 있다. 콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)는 메모리(1240)로부터 메모리(1240)에 저장되어 있는 멀티미디어 콘텐츠를 로딩하거나 통신 모듈(1220)을 통해 멀티미디어 콘텐츠를 수신하여, 이를 재생할 수 있다. The multimedia content may be a video, a game, a virtual reality application, an augmented reality application, an experiential application, etc. The controller (1260) of the content playback device (1200) may load multimedia content stored in the memory (1240) from the memory (1240) or receive multimedia content through the communication module (1220) and play it.
예를 들어, 콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)는 메모리(1240)에 저장되어 있는 게임이나 영화 파일 등의 멀티미디어 콘텐츠를 재생할 수 있다. 다른 예를 들어, 콘텐츠 재생 디바이스(1200)는 통신 모듈(1220)을 통해 인터넷으로부터 멀티미디어 콘텐츠를 다운로딩 또는 스트리밍 방식에 따라 수신하여 재생할 수도 있다. For example, the controller (1260) of the content playback device (1200) can play multimedia content such as game or movie files stored in the memory (1240). As another example, the content playback device (1200) can receive and play multimedia content from the Internet through the communication module (1220) in a downloading or streaming manner.
콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠의 재생에 따라 열적 피드백 정보를 획득할 수 있다(S2). A content playback device (1200) can obtain thermal feedback information according to playback of multimedia content (S2).
멀티미디어 콘텐츠에 열적 피드백 데이터나 열적 피드백을 처리하기 위한 알고리즘이 포함되어 있을 수 있다. 콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)는 멀티미디어 콘텐츠의 재생에 따라 열적 피드백 데이터를 디코딩하거나 열적 피드백 처리 알고리즘을 수행하고, 그 결과물로써 열적 피드백 정보를 획득할 수 있다. Multimedia content may include thermal feedback data or an algorithm for processing thermal feedback. The controller (1260) of the content playback device (1200) may decode thermal feedback data or perform a thermal feedback processing algorithm according to playback of multimedia content, and obtain thermal feedback information as a result.
여기서, 열적 피드백 정보는 열적 피드백 대상, 열적 피드백 종류, 열적 피드백 강도 및 열적 피드백 제공 시간에 관한 정보 중 적어도 하나를 포함할 수 있다. Here, the thermal feedback information may include at least one of information regarding a thermal feedback target, a thermal feedback type, a thermal feedback intensity, and a thermal feedback provision time.
열적 피드백 대상은 열적 피드백이 가해질 대상을 의미할 수 있다. 예를 들어, 열적 경험 제공 시스템(1000)에 복수의 피드백 디바이스(1600)가 이용되는 경우(도 11 참조), 피드백 디바이스(1600)에 복수의 열 출력 모듈(1640)이 있는 경우(도 13 참조) 또는 열 출력 모듈(1640)이 영역 별로 제어되는 경우(도 33 참조) 등에 열적 피드백 대상은 열적 피드백을 수행할 대상을 지시할 수 있다. The thermal feedback target may refer to a target to which thermal feedback is to be applied. For example, in a case where a plurality of feedback devices (1600) are used in a thermal experience provision system (1000) (see FIG. 11), in a case where a plurality of thermal output modules (1640) are present in the feedback device (1600) (see FIG. 13), or in a case where the thermal output modules (1640) are controlled by region (see FIG. 33), the thermal feedback target may indicate a target to which thermal feedback is to be performed.
열적 피드백 종류는 열적 피드백의 종류를 의미할 수 있다. 예를 들어, 열적 피드백 종류에는 온감 피드백, 냉감 피드백 및 열 그릴 피드백이 포함될 수 있다. 또 열 그릴 피드백에는 중립 열 그릴 피드백, 온열 그릴 피드백, 냉열 그릴 피드백이 포함될 수 있다. Thermal feedback type can refer to the type of thermal feedback. For example, thermal feedback types can include warm feedback, cool feedback, and thermal grill feedback. In addition, thermal grill feedback can include neutral thermal grill feedback, warm grill feedback, and cold grill feedback.
열적 피드백 강도는 열적 피드백의 세기를 의미할 수 있다. 경우에 따라서는 열적 피드백 강도가 열적 피드백 종류를 포함할 수 있다. 예를 들면, 열적 피드백 강도가 1~10 등급으로 분류하고, 1~5 등급에는 냉감 피드백을 할당하고 6~10 등급에는 온감 피드백을 할당할 수 있는 식이다.Thermal feedback intensity can mean the strength of thermal feedback. In some cases, thermal feedback intensity can include the type of thermal feedback. For example, thermal feedback intensity can be classified into 1 to 10, and cold feedback can be assigned to 1 to 5, and warm feedback can be assigned to 6 to 10.
열적 피드백 제공 시간은 열적 피드백을 출력할 시간을 의미할 수 있다. 열적 피드백 제공 시간은 열적 피드백 출력의 개시 시간, 종료 시간, 수행 시간 등을 포함할 수 있다. The thermal feedback provision time may refer to the time to output thermal feedback. The thermal feedback provision time may include the start time, end time, execution time, etc. of the thermal feedback output.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보에 따라 열적 피드백 신호를 피드백 디바이스(1600)로 전송하고(S3), 피드백 디바이스(1600)는 열적 피드백 신호를 수신하고 수신된 신호에 따라 열적 피드백 출력 동작을 수행할 수 있다(S4). The content playback device (1200) transmits a thermal feedback signal to the feedback device (1600) according to the thermal feedback information (S3), and the feedback device (1600) can receive the thermal feedback signal and perform a thermal feedback output operation according to the received signal (S4).
구체적으로 콘트롤러(1260)는 열적 피드백 정보에 기초하여 열적 피드백 신호를 생성하고, 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 신호를 송신할 수 있다. 피드백 디바이스(1600)가 복수인 열적 경험 제공 시스템(1000)에서는 콘트롤러(1260)는 열적 피드백 대상 정보에 기초하여 열적 피드백 신호를 송신할 피드백 디바이스(1600)를 선택할 수도 있다. 피드백 콘트롤러(1645)는 통신 모듈(1620)을 통해 열적 피드백 신호를 수신하고, 열적 피드백 신호에 따라 열적 피드백 출력 동작을 수행할 수 있다. Specifically, the controller (1260) can generate a thermal feedback signal based on thermal feedback information and transmit the thermal feedback signal to the feedback device (1600) through the communication module (1220). In a thermal experience provision system (1000) having a plurality of feedback devices (1600), the controller (1260) can also select a feedback device (1600) to transmit the thermal feedback signal based on thermal feedback target information. The feedback controller (1645) can receive the thermal feedback signal through the communication module (1620) and perform a thermal feedback output operation according to the thermal feedback signal.
열적 피드백 신호는 열적 피드백의 출력을 제어하기 위한 신호이다. 열적 피드백 신호는 열적 피드백 출력의 개시를 지시하는 열적 피드백 개시 신호와 열적 피드백 출력의 종료를 지시하는 열적 피드백 종료 신호를 포함할 수 있다. The thermal feedback signal is a signal for controlling the output of thermal feedback. The thermal feedback signal may include a thermal feedback start signal for indicating the start of thermal feedback output and a thermal feedback end signal for indicating the end of thermal feedback output.
콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)가 통신 모듈(1220)을 통해 개시 신호를 송신하고, 피드백 디바이스(1600)의 피드백 콘트롤러(1645)가 통신 모듈(1620)을 통해 개시 신호를 수신할 수 있다. 피드백 디바이스(1600)가 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 개시 신호에 따라 열전 쌍 어레이(1643)에 전원을 인가하여 열전 쌍 어레이(1643)가 열적 피드백 출력 동작을 수행하도록 할 수 있다. A controller (1260) of a content playback device (1200) can transmit a start signal through a communication module (1220), and a feedback controller (1645) of a feedback device (1600) can receive the start signal through the communication module (1620). When the feedback device (1600) receives the start signal, the feedback controller (1645) can apply power to a thermocouple array (1643) according to the start signal to cause the thermocouple array (1643) to perform a thermal feedback output operation.
콘텐츠 재생 디바이스(1200)의 콘트롤러(1260)가 통신 모듈(1220)을 통해 종료 신호를 송신하고, 피드백 디바이스(1600)의 피드백 콘트롤러(1645)가 통신 모듈(1620)을 통해 종료 신호를 수신할 수 있다. 피드백 디바이스(1600)가 종료 신호를 수신하면, 피드백 콘트롤러(1645)는 종료 신호에 따라 열전 쌍 어레이(1643)에 전원을 차단하여 열전 쌍 어레이(1643)가 열적 피드백 출력 동작을 중지할 수 있다. The controller (1260) of the content playback device (1200) can transmit a termination signal through the communication module (1220), and the feedback controller (1645) of the feedback device (1600) can receive the termination signal through the communication module (1620). When the feedback device (1600) receives the termination signal, the feedback controller (1645) can cut off power to the thermocouple array (1643) according to the termination signal, so that the thermocouple array (1643) can stop a thermal feedback output operation.
여기서, 열적 피드백 종료 신호는 필수적인 것은 아니다. 예를 들어, 개시 신호에 피드백 제공 시간 정보가 포함되어 있다면, 피드백 콘트롤러(1645)는 피드백 제공 시간 정보에 따라 열적 피드백의 출력 시간을 판단하여 출력 시간 동안 열적 피드백의 출력을 유지한 뒤 열적 피드백의 출력을 종료할 수 있으므로 종료 신호가 필요치 않을 수 있다. 다른 예를 들어, 피드백 디바이스(1600)에 열적 피드백의 출력 시간이 디폴트로 설정되어 있다면, 피드백 콘트롤러(1645)가 미리 설정된 시간 동안 열적 피드백의 출력을 유지한 뒤 열적 피드백의 출력을 종료할 수 있으므로 역시 종료 신호가 필요치 않을 수 있다.Here, the thermal feedback end signal is not essential. For example, if the start signal includes feedback provision time information, the feedback controller (1645) can determine the output time of the thermal feedback according to the feedback provision time information, maintain the output of the thermal feedback during the output time, and then terminate the output of the thermal feedback, so the end signal may not be necessary. For another example, if the output time of the thermal feedback in the feedback device (1600) is set to a default, the feedback controller (1645) can maintain the output of the thermal feedback for a preset time and then terminate the output of the thermal feedback, so the end signal may also not be necessary.
한편, 피드백 디바이스(1600)의 피드백 콘트롤러(1645)는 통신 모듈(1620)을 통해 열 출력 모듈(1640)의 동작 상태를 보고하는 열적 피드백 보고 신호를 콘텐츠 재생 디바이스(1200)에 전신할 수 있다. 피드백 디바이스(1600)는 보고 신호를 주기적으로 또는 열적 피드백 신호의 수신에 대한 응신으로 콘텐츠 재생 디바이스(1200)에 송신할 수 있다. 열적 피드백 보고 신호에는 열적 피드백 출력 여부, 출력 중인 열적 피드백의 종류나 강도, 접촉면(1641)의 온도, 센싱 모듈에 의해 센싱된 사용자의 바이오 정보, 에러 발생 여부, 배터리량 등의 정보가 포함될 수 있을 것이다.Meanwhile, the feedback controller (1645) of the feedback device (1600) can transmit a thermal feedback report signal reporting the operating status of the thermal output module (1640) to the content playback device (1200) through the communication module (1620). The feedback device (1600) can transmit the report signal to the content playback device (1200) periodically or in response to receiving the thermal feedback signal. The thermal feedback report signal may include information such as whether thermal feedback is output, the type or intensity of thermal feedback being output, the temperature of the contact surface (1641), the user's bio-information sensed by the sensing module, whether an error has occurred, and the battery level.
열적 피드백 신호에 따른 피드백 디바이스(1600)의 열적 피드백 출력 동작은 다양한 방식으로 이루어질 수 있다. The thermal feedback output operation of the feedback device (1600) according to the thermal feedback signal can be performed in various ways.
먼저 피드백 디바이스(1600)의 열적 피드백 출력 동작의 개시와 종료는 다음과 같이 이루어질 수 있다. 일 예로, 피드백 디바이스(1600)는 열적 피드백 신호가 수신되는 동안에만 열적 피드백 출력 동작을 수행하고, 수신되지 않으면 열적 피드백 출력 동작을 중지할 수 있다. 다른 예로, 피드백 디바이스(1600)는 개시 신호가 수신되면 디폴트로 정해진 시간 동안 또는 개시 신호에 포함된 열적 피드백 제공 시간 동안만큼 열적 피드백을 출력한 뒤 출력을 중지할 수 있다. 또 다른 예로, 피드백 디바이스(1600)는 개시 신호의 수신 시점으로부터 종료 신호의 수신 시점까지의 시간 동안만큼 열적 피드백을 출력한 뒤 출력을 중지할 수 있다. First, the start and end of the thermal feedback output operation of the feedback device (1600) can be performed as follows. For example, the feedback device (1600) can perform the thermal feedback output operation only while a thermal feedback signal is received, and can stop the thermal feedback output operation if it is not received. As another example, when the start signal is received, the feedback device (1600) can output thermal feedback for a default time or for a thermal feedback provision time included in the start signal, and then stop the output. As yet another example, the feedback device (1600) can output thermal feedback for a time from the time of receiving the start signal to the time of receiving the end signal, and then stop the output.
또 열적 피드백 신호는 단순한 온/오프 신호로 제공될 수도 있지만, 상술한 열적 피드백 정보의 전부 또는 일부를 포함하는 형태로 제공될 수도 있다. 피드백 콘트롤러(1645)는 열적 피드백 신호를 수신하면, 그 내부에 포함된 정보를 추출하여 열적 피드백 출력 동작을 제어할 수 있다. 예를 들어, 피드백 콘트롤러(1645)는 열적 피드백 대상 정보에 기초하여 어느 열 출력 모듈(1640)이 열적 피드백 출력 동작을 수행할 것인지를 판단할 수 있다. 다른 예를 들어, 피드백 콘트롤러(1645)는 열적 피드백 종류 정보에 기초하여 발열 동작, 흡열 동작, 열 그릴 동작을 수행할지 여부를 결정할 수 있다. 또 다른 예를 들어, 피드백 콘트롤러(1645)는 열적 피드백 강도 정보에 기초하여 열전 쌍 어레이(1643)에 인가할 전원의 전압값 등을 결정할 수 있다. 또 다시 다른 예를 들어, 피드백 콘트롤러(1645)는 열적 피드백 제공 시간 정보에 기초하여 열적 피드백 출력의 시작 시점과 종료 시점을 결정할 수도 있다. 물론, 상술한 열적 피드백의 종류/강도/제공 시간 중 적어도 하나는 열적 피드백 디바이스(1600)에 디폴트로 설정되어 있을 수도 있다. In addition, the thermal feedback signal may be provided as a simple on/off signal, but may also be provided in a form including all or part of the thermal feedback information described above. When the feedback controller (1645) receives the thermal feedback signal, it may extract the information included therein and control the thermal feedback output operation. For example, the feedback controller (1645) may determine which thermal output module (1640) will perform the thermal feedback output operation based on the thermal feedback target information. For another example, the feedback controller (1645) may determine whether to perform the heating operation, the heat absorption operation, or the heat grill operation based on the thermal feedback type information. For another example, the feedback controller (1645) may determine the voltage value of the power to be applied to the thermocouple array (1643) based on the thermal feedback intensity information. For another example, the feedback controller (1645) may determine the start and end times of the thermal feedback output based on the thermal feedback provision time information. Of course, at least one of the types/intensities/provision times of the thermal feedback described above may be set as default in the thermal feedback device (1600).
3.2. 열적 경험 제공 방법의 응용3.2. Application of the method of providing thermal experience
전통적으로 게임이나 영화 등을 비롯한 콘텐츠는 영상이나 음성으로 제공되는 시청각 형태의 표현 방식에 따라 체험되어 왔다. 또한 콘텐츠에 대한 몰입도를 향상시키기 위하여 진동 피드백으로 대표되는 촉각 경험이나 냄새 따위를 이용한 후각 경험이 기존의 시청각 형태의 표현 양식을 보조하고 있는 추세이다. 뿐만 아니라 최근에는 가상 현실이나 증강 현실과 같이 전방위적인 사용자 경험을 체험할 수 있는 솔루션들이 개발되고 있다. Traditionally, content such as games and movies have been experienced through the audiovisual expression method provided in the form of images or audio. In addition, in order to enhance the immersion in content, tactile experiences represented by vibration feedback and olfactory experiences using smells are trending to supplement the existing audiovisual expression methods. In addition, solutions that can experience an all-round user experience such as virtual reality and augmented reality are being developed recently.
열적 경험 제공 시스템(1000)은 사용자가 콘텐츠를 체험하도록 함에 있어서 상술한 기존의 방식들로 제공되는 다양한 상황들과 연동되어 열적 피드백을 출력함으로써 열적 현실(TR: Thermal Reality)을 구현하여 각종 콘텐츠에 대한 사용자 경험을 한층 강화할 수 있다. The thermal experience provision system (1000) can further enhance the user experience for various contents by implementing thermal reality (TR) by outputting thermal feedback in conjunction with various situations provided by the above-described existing methods to allow the user to experience the contents.
이와 관련하여 이상에서 설명한 열적 경험 제공 방법을 이용하면, 콘텐츠 디바이스가 멀티미디어 콘텐츠의 재생에 따라 열적 피드백 신호를 통해 피드백 디바이스(1600)가 열적 피드백을 출력하도록 함으로써 열적 경험 제공 시스템(1000)이 사용자에게 열적 경험을 제공할 수 있다. In this regard, by using the thermal experience providing method described above, the thermal experience providing system (1000) can provide a thermal experience to the user by causing the feedback device (1600) to output thermal feedback through a thermal feedback signal according to the playback of multimedia content by the content device.
따라서, 열적 경험 제공 방법은 사용자 경험이 요청되는 다양한 기술 분야에 응용될 수 있는데, 이하에서는 열적 경험 제공 시스템(1000)과 열적 경험 제공 방법이 활용될 수 있는 몇몇 대표적인 기술 분야에 대하여 개략적으로 살펴본다. Therefore, the thermal experience provision method can be applied to various technical fields where user experience is required. Below, a brief overview of several representative technical fields in which the thermal experience provision system (1000) and the thermal experience provision method can be utilized will be provided.
3.2.1. 가상 현실3.2.1. Virtual Reality
가상 현실은 열적 경험 제공 시스템(1000)이 활용될 수 있는 분야의 대표적인 예이다. Virtual reality is a representative example of a field in which a thermal experience providing system (1000) can be utilized.
가상 현실은 가상의 환경이나 상황을 생성하여 사용자로 하여금 실제로 가상 공간 상에 있는 것처럼 느끼도록 하는 것을 의미한다. 일반적으로 가상 현실은 HMD 이용하여 사용자의 시선에 따라 동적으로 변화하는 삼차원 영상에 기초하여 구현된다. 가상 현실은 각종 게임이나 영화를 비롯하여 교육이나 업무 보조 용도로 활발히 개발이 이루어지고 있다. Virtual reality means creating a virtual environment or situation to make the user feel as if he or she is actually in the virtual space. Generally, virtual reality is implemented based on three-dimensional images that change dynamically according to the user's gaze using HMD. Virtual reality is actively being developed for various games and movies as well as for educational and work assistance purposes.
특히, 최근 스마트 기기의 발달과 함께 삼성전자(Samsung Electronic)社의 기어 VR(Gear VR) TM가 출시된 이후 VR 기기들이 잇따라 출시되면서 향후 가상 현실 시장이 커질 전망이다.In particular, with the recent development of smart devices and the subsequent launch of Samsung Electronics' Gear VR TM, VR devices are expected to be released one after another, and the virtual reality market is expected to grow in the future.
본 발명의 열적 경험 제공 시스템(1000)은 이와 같은 가상 현실 어플리케이션에 탑재되어 기존의 시각/청각/촉각에 열적 감각을 더해 줄 수 있다. The thermal experience provision system (1000) of the present invention can be installed in such virtual reality applications to add thermal sensation to existing visual/auditory/tactile sensations.
예를 들어, 열적 경험 제공 시스템(1000)은 가상 공간 내에 배치된 특정 오브젝트에 온도를 부여하고 가상 현실 속에서 사용자의 분신인 아바타(avatar)가 그 오브젝트를 터치할 때 온감 피드백을 제공함으로써 열적 현실을 구현할 수 있다. For example, the thermal experience provision system (1000) can implement thermal reality by giving temperature to a specific object placed in a virtual space and providing thermal feedback when an avatar, which is a user's alter ego in virtual reality, touches the object.
또 이와 유사하게, 열적 경험 제공 시스템(1000)은 사막이나 극지 등의 환경으로 주어지는 가상 공간에 적절한 온도감을 부여하고, 그에 따라 사용자에게 온감 피드백이나 냉감 피드백을 출력함으로써 가상 현실에 대한 사용자의 몰입도를 향상시킬 수 있다. Similarly, the thermal experience provision system (1000) can provide an appropriate sense of temperature to a virtual space given as an environment such as a desert or polar region, and accordingly output warm or cold feedback to the user, thereby enhancing the user's immersion in virtual reality.
3.2.2. 증강 현실3.2.2 Augmented Reality
증강 현실 역시 열적 경험 제공 시스템(1000)이 활용되는 분야의 대표적으로 예이다. Augmented reality is also a representative example of a field in which a thermal experience provision system (1000) is utilized.
증강 현실이란 현실 세계에 가상 오브젝트를 겹쳐 제공하는 것으로 현실 환경에 가상 환경을 복합하기 때문에 혼합 현실로 불리우기도 한다. Augmented reality is also called mixed reality because it superimposes virtual objects on the real world, combining a virtual environment with the real environment.
가상 현실이 사용자를 완전한 가상 공간으로 몰입시키는 것과 비교해 증강 현실은 기본적으로 현실 세계에 가상 오브젝트나 가상의 부가 정보를 증강시키기 때문에, HMD를 사용하더라도 사용자의 시야를 완전히 차단하는 대신 현실을 그대로 투사시키는 글래스 타입의 투명 디스플레이 상에 가상 영상을 증강시키거나, 카메라(1480)를 이용하여 촬영된 실사 영상에 실시간으로 가상 영상을 합성하는 식으로 구현되고 있다. Compared to virtual reality, which immerses the user in a completely virtual space, augmented reality basically augments the real world with virtual objects or virtual additional information, so even if an HMD is used, instead of completely blocking the user's field of vision, it is implemented by augmenting virtual images on a glass-type transparent display that projects reality as it is, or by synthesizing virtual images in real time on real-life images captured using a camera (1480).
따라서, 증강 현실 기술은 가상 현실 기술과 달리 사용자가 현실 환경과 가상 환경을 동시에 제공하므로 보다 나은 현실감과 실제 환경에 있는 정보와 상호 작용 가능한 점에 그 장점이 있다 하겠다.Therefore, augmented reality technology has the advantage of providing users with both real and virtual environments at the same time, unlike virtual reality technology, which provides a better sense of realism and allows interaction with information in the real environment.
애플(Apple)社의 아이폰(iPhone)TM을 비롯한 각종 스마트 기기들은 제한적이나마 증강 현실 기능을 탑재하고 있으며, 최근에는 스탠드 얼론으로 동작하는 HMD 타입의 마이크로소프트社의 홀로렌즈TM가 등장하면서 증강 현실에 대한 관심이 커지고 있다. Various smart devices, including Apple's iPhoneTM, are equipped with limited augmented reality functions, and recently, interest in augmented reality has been growing with the introduction of Microsoft's HololensTM, a stand-alone HMD type.
열적 경험 제공 시스템(1000)은 이러한 증강 현실 어플리케이션과 연동되는 열적 감각을 제공하여 기존의 시각/청각을 위주로 하는 사용자 경험을 보조할 수 있다. The thermal experience provision system (1000) can provide a thermal sensation that is linked to such augmented reality applications to assist the existing visual/auditory-based user experience.
예를 들어, 열적 경험 제공 시스템(1000)은 뜨거운 물체가 사용자 시야 내로 진입하는 경우 증강 요소의 하나로써 온감 피드백을 출력함으로써 사용자에게 유용한 정보를 제공할 수 있다. For example, the thermal experience provision system (1000) can provide useful information to the user by outputting thermal feedback as one of the augmentation elements when a hot object enters the user's field of view.
3.2.3. 게임 콘텐츠3.2.3. Game Content
열적 경험 제공 시스템(1000)은 게임 콘텐츠에 활용될 수도 있다. The thermal experience provision system (1000) can also be utilized in game content.
게임 콘텐츠는 기본적으로 게임 내의 구성 요소들과 사용자 간의 상호 작용에 기반하는 멀티미디어 콘텐츠로서 인터렉티브 요소를 가지고 있기 때문에 사용자 경험이 매우 중요한 분야이다. Game content is a field where user experience is very important because it is multimedia content that is fundamentally based on the interaction between users and components within the game and has interactive elements.
게임 콘텐츠의 구현은 기존의 TV나 모니터를 통해 출력되는 게임 화면에 사용자의 조작을 반영하는 전통적인 기법은 물론 상술한 가상 현실이나 증강 현실 기법을 통해 이루어질 수 있다. 열적 경험 제공 시스템(1000)은 위에 언급한 기법들을 통해 구현되는 게임 환경에 게임 몰입도를 향상시키기 위한 일환으로 열적 경험을 추가할 수 있다. 예를 들면, 열적 경험 제공 시스템(1000)은 일인칭슈터 장르의 게임에서 총 등에 의해 피격되는 경우 피격에 따른 열적 피드백을 출력할 수 있다. The implementation of game content can be accomplished through traditional techniques that reflect the user's operation on the game screen output through an existing TV or monitor, as well as through the virtual reality or augmented reality techniques described above. The thermal experience provision system (1000) can add thermal experience to the game environment implemented through the techniques mentioned above as a part of improving game immersion. For example, the thermal experience provision system (1000) can output thermal feedback according to the hit when hit by a gun, etc. in a first-person shooter genre game.
3.2.4. 동영상 콘텐츠3.2.4. Video Content
또 열적 경험 제공 시스템(1000)은 동영상 콘텐츠 등에도 활용될 수도 있다. 동영상 콘텐츠는 영상이나 음성과 같은 시청각 표현 양식에 기반을 두고 있는데, 열적 경험 제공 시스템(1000)은 시청각적으로 표현되는 동영상 장면들에 대응되는 열적 피드백을 출력함으로써 멀티미디어 콘텐츠에 열적 경험을 더해줄 수 있다. 예를 들어, 열적 경험 제공 시스템(1000)은 폭발 장면에서는 온열 피드백을 출력하고 물을 뒤집어 쓰는 장면에서는 냉열 피드백을 출력하는 식의 열적 피드백을 출력할 수 있다. The thermal experience provision system (1000) can also be used for video content, etc. Video content is based on audiovisual expression forms such as images or audio, and the thermal experience provision system (1000) can add thermal experience to multimedia content by outputting thermal feedback corresponding to video scenes expressed audiovisually. For example, the thermal experience provision system (1000) can output thermal feedback such as outputting hot feedback in an explosion scene and outputting cold feedback in a water-splashing scene.
이상에서는 열적 경험 제공 시스템(1000)의 다양한 응용 분야에 관하여 설명하였으나, 열적 경험 제공 시스템(1000)의 응용 분야가 상술한 예로 한정되는 것은 아니다. 상술한 기술 분야 이외에도 열적 경험 제공 시스템(1000)은 교육이나 학습용 콘텐츠나 의료 어플리케이션을 비롯한 다양한 멀티미디어 콘텐츠에 활용이 가능하다. In the above, various application fields of the thermal experience provision system (1000) have been described, but the application fields of the thermal experience provision system (1000) are not limited to the examples described above. In addition to the technical fields described above, the thermal experience provision system (1000) can be utilized in various multimedia contents including educational or learning contents and medical applications.
따라서, 본 발명에서 열적 경험 제공 시스템(1000)은 사용자 경험을 향상시키기 위해 열적 피드백을 제공할 수 있는 분야에 제한없이 적용 가능한 것으로 해석되어야 할 것이다.Therefore, the thermal experience provision system (1000) of the present invention should be interpreted as being applicable without limitation to any field that can provide thermal feedback to improve user experience.
4. 열적 경험 제공 방법들의 구현예4. Implementation examples of methods for providing thermal experience
이상에서는 열적 경험 제공 방법이 다양한 기술 분야에서 사용자 경험을 향상시키기 위해 이용될 수 있음에 대하여 소개하였다. 그러나, 사용자에게 보다 향상된 열적 경험을 제공하기 위해서는 멀티미디어 콘텐츠의 재생에 따라 적절한 열적 피드백을 출력하는 것이 중요할 수 있다. 예를 들어, 동영상 재생 시에는 재생되는 화면과 열적 피드백을 서로 연동시켜 폭발 장면에서는 온감 피드백을, 추운 장면에서는 냉감 피드백을 제공하는 것이 중요할 수 있다. In the above, we have introduced how the thermal experience provision method can be used to improve user experience in various technical fields. However, in order to provide a more improved thermal experience to the user, it may be important to output appropriate thermal feedback according to the playback of multimedia content. For example, when playing a video, it may be important to link the screen being played with the thermal feedback to provide warm feedback in an explosion scene and cold feedback in a cold scene.
이하에서는 이러한 점에 착안하여 기술 분야 별로 사용자 경험을 향상시킬 수 있는 열적 경험 제공 방법의 다양한 구현예에 관하여 설명하기로 한다. In the following, we will describe various implementation examples of thermal experience provision methods that can improve user experience in each technical field, taking these points into consideration.
4.1. 제1 구현예4.1. First implementation example
본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예는, 동영상 콘텐츠의 재생 시 영상이나 음성에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다. A first embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking thermal feedback to an image or audio and outputting the same when playing video content.
동영상 콘텐츠 재생 시 영상이나 음성에 열적 피드백을 연동시킬 때에는 열적 피드백을 연동시키고자 하는 특정 장면이나 특정 음성과 열적 피드백의 싱크가 일치하는 것이 중요할 수 있다. 예를 들면, 폭파 장면의 재생 시 온감 피드백이 느껴지도록 하고자 하는 경우 폭파 장면의 영상 출력 시점과 온감 피드백의 체감 시점이 일치하는 것이 바람직하며 그렇지 않으면 사용자 경험이 저해될 수 있다. When linking thermal feedback to images or audio during video content playback, it may be important that the thermal feedback is synchronized with a specific scene or audio to which the thermal feedback is to be linked. For example, if you want to feel thermal feedback during playback of an explosion scene, it is desirable that the timing of the video output of the explosion scene and the timing of the perceived thermal feedback are the same, otherwise the user experience may be impaired.
그런데, 특정 장면의 출력 시점에 피드백 콘트롤러(1645)가 열적 피드백 출력을 위한 전원을 인가하게 되면 특정 장면의 출력 시점과 열적 피드백의 체감 시점 간에 시간차가 발생할 수 있다. 이는 열전 쌍 어레이(1643)에 전원이 인가되더라도 접촉면(1641)의 온도가 사용자가 열적 피드백을 체감할 수 있는 온도에 도달하기까지는 다소 간의 시간의 소요되기 때문이다. 즉, 전원 인가 시점과 사용자가 열적 피드백을 체감하는 체감 시점이 일치하지 않을 수 있으므로 특정 장면의 출력 시점과 전원 인가 시점을 일치시키는 경우 영상과 열적 피드백의 싱크가 어긋나게 되는 것이다. 이하에서는, 이와 같이 열적 피드백을 위한 열전 동작의 개시로부터 열적 피드백에 대한 사용자의 체감까지 소요되는 시간을 ‘지연 시간’으로 지칭하기로 한다. However, if the feedback controller (1645) applies power for thermal feedback output at the output point of a specific scene, a time difference may occur between the output point of the specific scene and the time when the thermal feedback is perceived. This is because even if power is applied to the thermocouple array (1643), it takes some time for the temperature of the contact surface (1641) to reach a temperature at which the user can perceive the thermal feedback. In other words, the time when the power is applied and the time when the user perceives the thermal feedback may not match, so if the output point of a specific scene and the time when the power is applied are matched, the synchronization between the image and the thermal feedback will be misaligned. Hereinafter, the time required from the start of the thermocouple operation for thermal feedback to the user's perception of the thermal feedback will be referred to as the 'delay time'.
본 구현예에서는 영상 출력과 열적 피드백 출력의 동기화를 구축해 사용자 경험을 향상시킬 수 있다. In this implementation, synchronization of image output and thermal feedback output can be established to improve user experience.
한편, 이하에서는 열적 피드백과 연동되는 것에 의해 사용자 경험이 향상되는 특정 장면을 열적 이벤트 장면으로 지칭하기로 한다. 열적 이벤트 장면에는 영상 내에 폭발이나 총기 피격 등과 같이 실제 세계에서 열을 동반하는 이벤트들이 포함되는 것이 일반적이지만 반드시 그러한 것은 아니며 사용자의 몰입도를 향상시키기 위해 열적 피드백과 연동될 수 있는 모든 장면들이 포함될 수 있다. 또 이와 유사하게 열적 피드백과 연동되는 것에 의해 사용자 경험이 향상되는 특정 음성을 열적 이벤트 음성으로 지칭하기로 한다. Meanwhile, in the following, a specific scene where the user experience is improved by being linked with thermal feedback is referred to as a thermal event scene. Although thermal event scenes usually include events that involve heat in the real world, such as explosions or gunshots in the video, this is not necessarily the case, and all scenes that can be linked with thermal feedback to improve user immersion can be included. Similarly, a specific voice where the user experience is improved by being linked with thermal feedback is referred to as a thermal event voice.
도 45는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예의 순서도이다. Figure 45 is a flowchart of a first embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 45을 참조하면, 열적 경험 제공 방법의 제1 구현예는, 열적 이벤트 장면을 포함하는 영상 데이터 및 열적 이벤트 장면에 연동되는 열적 피드백을 포함하는 열적 피드백 데이터를 포함하는 동영상 콘텐츠를 로딩하는 단계(S110), 영상 데이터에 따라 영상을 출력하는 단계(S120), 열적 피드백이 체감될 시점을 획득하는 단계(S130), 열적 피드백의 체감 시점 및 보정 시간에 기초하여 열적 피드백을 위한 열전 동작의 개시 시점을 산출하는 단계(S140), 열전 동작의 개시 시점에 열적 피드백 개시 신호를 송출하는 단계(S150) 및 열적 피드백의 개시 신호에 따라 열적 피드백의 출력을 위한 열전 동작을 개시하는 단계(S160)를 포함할 수 있다. Referring to FIG. 45, a first embodiment of a method for providing a thermal experience may include a step (S110) of loading video content including video data including a thermal event scene and thermal feedback data including thermal feedback linked to the thermal event scene, a step (S120) of outputting a video according to the video data, a step (S130) of obtaining a point in time at which thermal feedback is felt, a step (S140) of calculating a start point of a thermal operation for thermal feedback based on the point in time at which thermal feedback is felt and a correction time, a step (S150) of transmitting a thermal feedback start signal at the start point of the thermal operation, and a step (S160) of starting a thermal operation for outputting thermal feedback according to the start signal of the thermal feedback.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다. Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 열적 이벤트 장면을 포함하는 영상 데이터 및 열적 이벤트 장면에 연동되는 열적 피드백을 포함하는 열적 피드백 데이터를 포함하는 동영상 콘텐츠를 로딩할 수 있다(S110). A content playback device (1200) can load video content including image data including a thermal event scene and thermal feedback data including thermal feedback linked to the thermal event scene (S110).
구체적으로 콘트롤러(1260)는 메모리(1240)에 기 저장되어 있는 동영상 콘텐츠를 로딩하거나 통신 모듈(1220)을 통해 동영상 콘텐츠를 다운로딩 방식 또는 스트리밍 방식으로 수신할 수 있다. Specifically, the controller (1260) can load video content previously stored in the memory (1240) or receive video content in a downloading or streaming manner through the communication module (1220).
동영상 콘텐츠에는 영상 데이터 및 열적 피드백 데이터가 포함될 수 있다. 여기서, 동영상 콘텐츠는 영상 데이터와 열적 피드백 데이터를 포함한 하나의 파일로 제공될 수도 있지만, 동영상 콘텐츠는 영상 데이터를 포함하는 동영상 파일과 열적 피드백 데이터를 포함하는 별도의 파일을 포함하는 형태로 제공될 수도 있다. The video content may include video data and thermal feedback data. Here, the video content may be provided as a single file including the video data and the thermal feedback data, or the video content may be provided in a form including a video file including the video data and a separate file including the thermal feedback data.
도 46은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예에 이용되는 열적 피드백 데이터의 일 예에 관한 도면이다. FIG. 46 is a diagram illustrating an example of thermal feedback data used in a first embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
일 예에 따르면, 열적 피드백 데이터는 도 46에 도시된 것과 유사하게 동영상 파일과 함께 로딩되어 동영상 출력 시 자막을 오버레이시켜 주는데 이용되는 자막 파일과 유사한 형태로 제공될 수 있다. As an example, thermal feedback data may be provided in a form similar to a subtitle file that is loaded along with a video file and used to overlay subtitles when outputting the video, similar to that illustrated in FIG. 46.
여기서, “<HEADER>” 부분에는 열적 피드백의 종류나 강도 별로의 보정 시간이 정의되어 있을 수 있다. 이러한 보정 시간은 지연 시간에 대응되는 시간 간격으로 설정될 수 있다. 예를 들어, 도 46의 경우에는, 헤더 부분에 온열 피드백과 냉열 피드백에 관하여 각각 1단계부터 5단계까지의 보정 시간이 설정되어 있다. Here, the “<HEADER>” section may define a correction time according to the type or intensity of thermal feedback. This correction time may be set to a time interval corresponding to the delay time. For example, in the case of Fig. 46, correction times from
또 여기서, “<BODY>” 부분에는 열적 피드백이 체감되어야 할 시간(이는 열적 피드백과 연동되는 특정 장면의 출력 시점과 동일할 수 있으며, 시작 시간과 종료 시간을 포함할 수 있음)과 그 체감 시간에 출력할 열적 피드백의 종류, 강도 및 열적 피드백을 출력할 대상 기기나 대상 열전 쌍 그룹(1643)에 대한 정보가 포함될 수 있다. Also here, the “<BODY>” section may include information about the time at which the thermal feedback is to be felt (which may be the same as the output time of a specific scene linked to the thermal feedback, and may include a start time and an end time), the type of thermal feedback to be output at that felt time, its intensity, and the target device or target thermocouple group (1643) to output the thermal feedback.
영상 데이터에는 동영상 콘텐츠 재생 시 출력될 장면에 관한 정보가 포함되어 있다. 또 출력될 장면 중에는 열적 이벤트 장면이 포함될 수 있다. The video data contains information about the scenes to be output when playing video content. Also, the scenes to be output may include thermal event scenes.
열적 피드백 데이터에는 동영상 콘텐츠 재생 시 출력될 열적 피드백에 관한 정보, 즉 열적 피드백 정보가 포함되어 있다. 예를 들어, 열적 피드백 정보는 열적 피드백 대상, 열적 피드백 종류, 열적 피드백 강도, 열적 피드백 체감 시점에 관한 정보가 포함되어 있을 수 있다. 여기서, 열적 피드백 체감 시점은 열적 이벤트 장면의 재생 시점과 동일한 시점으로 설정되어 있을 수 있다. Thermal feedback data includes information about thermal feedback to be output when playing video content, i.e., thermal feedback information. For example, thermal feedback information may include information about thermal feedback target, thermal feedback type, thermal feedback intensity, and thermal feedback perception point in time. Here, the thermal feedback perception point in time may be set to the same point in time as the playback point of the thermal event scene.
콘텐츠 재생 디바이스(1200)는 영상 데이터에 따라 영상을 출력할 수 있다(S120). 예를 들어, 콘트롤러(1260)는 영상 데이터를 영상 코덱으로 디코딩하여 영상을 출력할 수 있다. 영상 출력은 외부 또는 내장 디스플레이를 통해 수행될 수 있다.The content playback device (1200) can output a video according to the video data (S120). For example, the controller (1260) can decode the video data with a video codec and output the video. The video output can be performed through an external or built-in display.
콘텐츠 재생 디바이스(1200)는 열적 피드백이 체감될 시점을 획득할 수 있다(S130). 구체적으로 콘트롤러(1260)는 열적 피드백 데이터로부터 사용자가 열적 피드백을 체감해야할 시점을 획득할 수 있다. 여기서, 열적 피드백의 체감 시점은 열적 피드백과 연동될 특정 장면의 출력 시점과 동일할 수 있다. The content playback device (1200) can obtain the point in time at which thermal feedback is felt (S130). Specifically, the controller (1260) can obtain the point in time at which the user should feel thermal feedback from the thermal feedback data. Here, the point in time at which thermal feedback is felt may be the same as the output point of a specific scene to be linked with thermal feedback.
콘텐츠 재생 디바이스(1200)는 열적 피드백의 체감 시점 및 보정 시간에 기초하여 열적 피드백을 위한 열전 동작의 개시 시점을 산출할 수 있다(S140). 구체적으로 콘트롤러(1260)는 열적 피드백의 체감 시점으로부터 보정 시간만큼을 차감하여 열적 피드백을 위한 열전 동작의 개시 시점을 산출할 수 있다. The content playback device (1200) can calculate the start time of the thermal operation for thermal feedback based on the sensed point in time and the correction time of the thermal feedback (S140). Specifically, the controller (1260) can calculate the start time of the thermal operation for thermal feedback by deducting the correction time from the sensed point in time of the thermal feedback.
여기서, 보정 시간은 열전 쌍 어레이(1643)에 전원이 인가되는 전원 인가 시점으로부터 접촉면(1641)의 온도가 사용자가 열적 피드백을 체감할 수 있는 온도가 되는 체감 시점까지의 시간 간격일 수 있다.Here, the calibration time may be the time interval from the power supply point at which power is supplied to the thermocouple array (1643) to the perceived point at which the temperature of the contact surface (1641) becomes a temperature at which the user can sense thermal feedback.
콘트롤러(1260)는 메모리(1240)에 기 저장되어 있는 보정 시간 테이블을 참조하여 보정 시간을 결정할 수 있다. 또는 영상 데이터에 보정 시간에 관한 정보가 포함되어 있는 경우에는 콘트롤러(1260)는 영상 데이터를 참조하여 보정 시간을 결정할 수 있다. The controller (1260) can determine the correction time by referring to the correction time table stored in the memory (1240). Alternatively, if the image data includes information about the correction time, the controller (1260) can determine the correction time by referring to the image data.
보정 시간은 열적 피드백의 종류나 강도와 무관하게 미리 정해진 값일 수도 있지만, 이와 달리 보정 시간 테이블이나 영상 데이터의 보정 시간에 관한 정보에는 보정 시간이 열적 피드백의 종류 별로 또는 열적 피드백의 강도 별로 또는 열적 피드백의 종류 및 강도 별로 상이하게 설정되어 있을 수 있다.The correction time may be a predetermined value regardless of the type or intensity of thermal feedback, but in contrast, the correction time table or the information about the correction time in the image data may have the correction time set differently depending on the type of thermal feedback, the intensity of the thermal feedback, or the type and intensity of the thermal feedback.
이 경우, 콘트롤러(1260)는 열적 피드백의 종류 및 열적 피드백의 강도 중 적어도 하나에 기초하여 보정 시간을 결정할 수 있다. In this case, the controller (1260) can determine the compensation time based on at least one of the type of thermal feedback and the intensity of the thermal feedback.
예를 들어, 열적 피드백의 종류는 온감 피드백과 냉감 피드백이 있을 수 있으며, 발열 동작의 개시로부터 온감 피드백이 체감되기까지의 지연 시간과 흡열 동작의 개시로부터 냉감 피드백이 체감되기까지의 지연 시간이 서로 상이할 수 있으므로, 콘트롤러(1260)는 열적 피드백이 온감 피드백인지 냉감 피드백인지 여부에 따라 보정 시간을 달리 정할 수 있다. 구체적으로 동일한 강도의 온감 피드백과 냉감 피드백의 경우에는, 발열 동작에 의해 접촉면이 포화 온도까지 도달하는 시간이 흡열 동작에 의해 접촉면이 포화 온도까지 도달하는 시간보다 빠를 수 있으므로 온감 피드백의 경우에 냉감 피드백의 경우보다 지연 시간이 짧을 수 있다. For example, the types of thermal feedback may include warm feedback and cool feedback, and the delay time from the start of the heating operation until the warm feedback is felt may be different from the delay time from the start of the absorbing operation until the cool feedback is felt, so the controller (1260) may set a different correction time depending on whether the thermal feedback is warm feedback or cool feedback. Specifically, in the case of warm feedback and cool feedback of the same intensity, the time for the contact surface to reach the saturation temperature by the heating operation may be faster than the time for the contact surface to reach the saturation temperature by the absorbing operation, so the delay time may be shorter in the case of warm feedback than in the case of cool feedback.
다른 예를 들어, 열적 피드백의 강도는 복수의 등급으로 분류될 수 있으며, 강한 강도와 약한 강도의 열적 피드백에서 열전 동작의 개시로부터 열적 피드백의 체감까지 소요되는 지연 시간이 상이할 수 있으므로, 콘트롤러(1260)는 열적 피드백의 강도에 따라 보정 시간을 달리 설정할 수 있다. 이때에는 약한 강도에서 온도 변화가 느리고 강한 강도에서 온도 변화가 빠르므로 약한 강도에서 보정 시간이 크게 설정될 수 있다. 또는 반대로 강한 열적 피드백을 체감하기 위해 필요한 온도가 약한 열적 피드백을 체감하기 위해 필요한 온도보다 높으므로 강한 강도에서 보정 시간이 크게 설정될 수도 있다.For another example, the intensity of thermal feedback can be classified into multiple grades, and the delay time from the start of the thermoelectric operation to the perception of the thermal feedback can be different for strong and weak thermal feedback, so the controller (1260) can set a different compensation time according to the intensity of the thermal feedback. In this case, since the temperature change is slow at weak intensity and fast at strong intensity, the compensation time can be set to be large at weak intensity. Or, conversely, since the temperature required to perceive strong thermal feedback is higher than the temperature required to perceive weak thermal feedback, the compensation time can be set to be large at strong intensity.
한편, 열적 피드백의 체감에 소요되는 지연 시간은 열적 피드백을 출력하는 피드백 디바이스(1600)의 고유 특성일 수 있으므로, 콘트롤러(1260)는 피드백 디바이스(1600)의 식별 정보를 고려하여 지연 시간을 결정할 수도 있다. 이를 위해 콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)의 식별 정보를 수신하여 획득할 수도 있다. 또는 피드백 디바이스(1600)가 자체적으로 보정 시간 정보를 저장하고 있는 경우, 콘트롤러(1260)는 피드백 디바이스(1600)로부터 보정 시간 정보를 수신하여 이를 참조하여 보정 시간을 설정할 수도 있을 것이다.Meanwhile, since the delay time required to sense the thermal feedback may be a unique characteristic of the feedback device (1600) that outputs the thermal feedback, the controller (1260) may determine the delay time by considering the identification information of the feedback device (1600). To this end, the controller (1260) may receive and obtain the identification information of the feedback device (1600) through the communication module (1220). Alternatively, if the feedback device (1600) stores correction time information on its own, the controller (1260) may receive the correction time information from the feedback device (1600) and set the correction time by referring to the information.
콘텐츠 재생 디바이스(1200)는 열적 피드백을 위한 열전 동작의 개시 시점에 열적 피드백 개시 신호를 송출할 수 있다(S150). 열전 동작의 개시 시점이 결정되면, 콘트롤러(1260)는 동영상 콘텐츠 재생 중 현재 재생이 진행되고 있는 시간(이하 ‘재생 시점’이라 함)이 열전 동작의 개시 시점에 도달하면 통신 모듈(1220)을 통해 열적 피드백 개시 신호를 피드백 디바이스(1600)에 송신할 수 있다. The content playback device (1200) can transmit a thermal feedback start signal at the start time of the thermal operation for thermal feedback (S150). When the start time of the thermal operation is determined, the controller (1260) can transmit a thermal feedback start signal to the feedback device (1600) through the communication module (1220) when the time (hereinafter referred to as “playback time”) during the video content playback reaches the start time of the thermal operation.
피드백 디바이스(1600)는 열적 피드백의 개시 신호에 따라 열적 피드백 출력 동작을 개시할 수 있다(S160). The feedback device (1600) can initiate a thermal feedback output operation according to a thermal feedback initiation signal (S160).
도 47는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제1 구현예의 열적 피드백 출력 동작에 관한 도면이다.FIG. 47 is a diagram illustrating a thermal feedback output operation of a first embodiment of a method for providing thermal experience according to an embodiment of the present invention.
구체적으로는 피드백 콘트롤러(1645)는 개시 신호의 수신 시점(실질적으로 열전 동작의 개시 시점과 동일한 시점임)에 열전 쌍 어레이(1643)에 전원을 인가한다. 열전 쌍 어레이(1643)는 전원 인가 시점으로부터 발열 또는 흡열 동작을 수행한다. 전원 인가 시점으로부터 보정 시간만큼 시간이 경과하면, 접촉면(1641)의 온도가 사용자가 열적 피드백을 체감할 수 있는 온도에 도달한다. Specifically, the feedback controller (1645) applies power to the thermocouple array (1643) at the time of receiving the initiation signal (which is substantially the same time as the initiation of the thermoelectric operation). The thermocouple array (1643) performs a heat-generating or heat-absorbing operation from the time of power application. When the compensation time elapses from the time of power application, the temperature of the contact surface (1641) reaches a temperature at which the user can feel the thermal feedback.
이에 따라 멀티미디어 콘텐츠의 재생 시점이 열적 이벤트 장면의 출력 시점에 사용자가 열적 피드백을 체감할 수 있게 된다. 다시 말해, 피드백 디바이스(1600)는 콘텐츠 재생 디바이스(1200)의 제어를 받아, 열적 피드백과 연동될 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작의 개시 시점에 열전 소자에 전원을 인가하여 열전 동작을 수행하기 시작할 수 있고, 사용자가 특정 정면의 출력 시점에 열적 피드백을 체감하도록 할 수 있다.Accordingly, the playback time of the multimedia content can be set to the output time of the thermal event scene so that the user can experience the thermal feedback. In other words, the feedback device (1600) can, under the control of the content playback device (1200), start performing the thermal operation by applying power to the thermal element at the start time of the thermal operation, which is set to be a time earlier than the output time of a specific scene to be linked with the thermal feedback, and enable the user to experience the thermal feedback at the output time of a specific front.
한편, 이상의 설명에서는 본 구현예에 관하여 영상과 열적 피드백을 동기화시키는 것을 기준으로 설명하였으나, 영상을 음성으로 대체하여 음성과 열적 피드백을 동기화시키는 것도 가능하다. 이는 영상 데이터, 열적 이벤트 장면을 음성 데이터, 열적 이벤트 음성으로 대체하는 것에 의해 당업자에게 용이하게 이해될 수 있을 것이다. 이는 후술될 본 발명의 실시예에 따른 열적 경험 제공 방법의 다른 구현예에서도 마찬가지로 적용될 수 있다. Meanwhile, in the above description, the synchronization of image and thermal feedback was explained based on the implementation example, but it is also possible to replace the image with audio and synchronize the audio and thermal feedback. This can be easily understood by those skilled in the art by replacing the image data, thermal event scene with audio data, thermal event audio. This can be similarly applied to other implementation examples of the thermal experience providing method according to the embodiment of the present invention described below.
상술한 본 구현예에 의하면, 영상이나 음성에 따른 시청각적 경험과 열적 피드백에 따른 열적 경험이 조화롭게 제공됨에 따라 동영상 콘텐츠에 대한 사용자 경험이 향상될 수 있다. According to the above-described implementation example, the user experience for video content can be improved by harmoniously providing an audiovisual experience based on image or audio and a thermal experience based on thermal feedback.
4.2. 제2 구현예4.2. Second implementation example
기존의 멀티미디어 콘텐츠 중 일부 게임이나 4D 영화 등에서는 사용자 몰입도를 향상시키기 위해 영상이나 음성 출력에 진동 피드백을 연동시켜 출력하고 있다. 따라서, 향후 열적 경험을 제공하는 멀티미디어 콘텐츠가 시장에 활발히 배포되기 이전까지 기존에 제작된 멀티미디어 콘텐츠의 재생 시 열적 경험을 제공하기 위한 일환으로 진동 피드백에 열적 피드백을 연동시키는 것을 고려해 볼 수 있다.Some existing multimedia content, such as games or 4D movies, are outputting vibration feedback in conjunction with video or audio output to enhance user immersion. Therefore, until multimedia content that provides thermal experience is actively distributed in the market in the future, it may be worth considering linking thermal feedback to vibration feedback as part of providing thermal experience when playing existing multimedia content.
본 발명의 실시예에 따른 열적 경험 제공 방법의 제2 구현예는, 진동 피드백과 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A second embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking vibration feedback and thermal feedback and outputting them.
도 48은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제2 구현예의 순서도이다. Figure 48 is a flowchart of a second embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 48을 참조하면, 열적 경험 제공 방법의 제2 구현예는, 진동 이벤트를 포함하는 멀티미디어 콘텐츠를 재생하는 단계(S210), 진동 이벤트가 발생한 경우, 진동 피드백 개시 신호를 송신하는 단계(S220) 및 진동 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하는 단계(S230)을 포함할 수 있다. Referring to FIG. 48, a second embodiment of a method for providing a thermal experience may include a step of playing multimedia content including a vibration event (S210), a step of transmitting a vibration feedback initiation signal when a vibration event occurs (S220), and a step of performing a thermal feedback output operation according to the vibration feedback initiation signal (S230).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 진동 이벤트를 포함하는 멀티미디어 콘텐츠를 재생할 수 있다(S210). 구체적으로 콘트롤러(1260)는 메모리(1240) 또는 통신 모듈(1220)을 통해 멀티미디어 콘텐츠를 로딩하여 이를 재생할 수 있다. 예를 들어, 콘텐츠 재생 디바이스(1200)는 동영상 콘텐츠를 재생하거나, 게임 어플리케이션, 가상 현실 어플리케이션이나 증강 현실 어플리케이션을 실행할 수 있다. The content playback device (1200) can play multimedia content including a vibration event (S210). Specifically, the controller (1260) can load the multimedia content through the memory (1240) or the communication module (1220) and play it. For example, the content playback device (1200) can play video content, or execute a game application, a virtual reality application, or an augmented reality application.
여기서, 멀티미디어 콘텐츠는 영상 데이터나 음성 데이터에 더해 진동 피드백 데이터를 포함할 수 있다. 콘텐츠 재생 디바이스(1200)는 진동 피드백 데이터에 기초하여 멀티미디어 콘텐츠 재생에 따라 진동 이벤트의 발생 여부를 판단할 수 있다. 진동 이벤트란, 멀티미디어 콘텐츠의 재생 중 진동 피드백 출력을 필요로 하는 이벤트를 의미한다. 예를 들어, 동영상 콘텐츠의 경우 진동 피드백 데이터에는 영상 데이터의 자동차 충돌 장면이나 총탄 피격 장면 등의 재생 시점을 진동 피드백 출력이 필요한 진동 이벤트로 설정되어 있을 수 있다. 다른 예를 들어, 게임 콘텐츠에는 캐릭터의 피탄 이벤트, 스킬 사용 이벤트 등이 진동 이벤트로 설정되어 있을 수 있다. Here, multimedia content may include vibration feedback data in addition to video data or audio data. The content playback device (1200) may determine whether a vibration event occurs according to the playback of multimedia content based on the vibration feedback data. A vibration event refers to an event that requires vibration feedback output during playback of multimedia content. For example, in the case of video content, a playback point in time, such as a car crash scene or a bullet hit scene in the video data, may be set as a vibration event that requires vibration feedback output in the vibration feedback data. As another example, in the case of game content, a character's bullet hit event, a skill use event, etc. may be set as a vibration event.
진동 이벤트가 발생한 경우, 콘텐츠 재생 디바이스(1200)는 피드백 디바이스(1600)로 진동 피드백 개시 신호를 송신하고(S220), 피드백 디바이스(1600)는 진동 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하는 단계(S230)When a vibration event occurs, the content playback device (1200) transmits a vibration feedback initiation signal to the feedback device (1600) (S220), and the feedback device (1600) performs a thermal feedback output operation according to the vibration feedback initiation signal (S230).
콘트롤러(1260)는 진동 이벤트가 발생한 것으로 판단된 때 통신 모듈(1220)을 통해 진동 피드백 개시 신호를 피드백 디바이스(1600)로 송출할 수 있다. 또 피드백 콘트롤러(1645)는 통신 모듈(1620)을 통해 진동 피드백 개시 신호를 수신하고, 이에 따라 열전 쌍 어레이(1643)에 전원을 인가하여 열적 피드백 출력 동작을 수행할 수 있다. The controller (1260) can transmit a vibration feedback initiation signal to the feedback device (1600) through the communication module (1220) when it is determined that a vibration event has occurred. In addition, the feedback controller (1645) can receive the vibration feedback initiation signal through the communication module (1620) and, accordingly, apply power to the thermocouple array (1643) to perform a thermal feedback output operation.
한편, 피드백 디바이스(1600)에 진동 모듈(1670)이 포함되어 있는 경우에는 피드백 디바이스(1600)는 진동 모듈(1670)을 통해 열적 피드백의 출력과 함께 진동 피드백을 출력할 수도 있을 것이다. Meanwhile, if the feedback device (1600) includes a vibration module (1670), the feedback device (1600) may output vibration feedback together with the output of thermal feedback through the vibration module (1670).
한편, 이상에서 설명한 본 구현예는 열적 피드백 데이터가 부재한 멀티미디어 콘텐츠에서 열적 피드백을 구현하기 위한 방법으로, 열적 피드백 데이터 대신 진동 피드백 데이터를 이용하여 열적 피드백을 출력하는 것이다. 한편, 본 구현예에서 진동 피드백 데이터 대신 열적 피드백 출력을 위해 멀티미디어 콘텐츠에 포함된 몇몇 다른 데이터를 활용하는 것도 가능하다. Meanwhile, the above-described implementation example is a method for implementing thermal feedback in multimedia content where thermal feedback data is absent, and outputs thermal feedback using vibration feedback data instead of thermal feedback data. Meanwhile, in the present implementation example, it is also possible to utilize some other data included in the multimedia content for thermal feedback output instead of vibration feedback data.
일 예로, 본 구현예는 진동 이벤트 대신 화면 쉐이킹 이벤트에 따라 열적 피드백을 출력하는 것으로 변형될 수 있다. FPS를 비롯한 몇몇 게임에서는 총탄 피격 이벤트나 충돌 이벤트가 발생하는 경우, 게임 엔진 내의 가상 카메라를 흔들어 영상이 흔들리도록 하는 화면 쉐이킹 기법을 이용하고 있다. 따라서, 콘트롤러(1260)는 진동 이벤트 대신 화면 쉐이킹 이벤트를 포함하는 멀티미디어 콘텐츠의 재생하고, 재생 중 화면 쉐이킹 이벤트가 발생한 경우 통신 모듈(1220)을 통해 열적 피드백 개시 신호를 피드백 디바이스(1600)로 송출하고, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행할 수 있을 것이다. For example, the present implementation can be modified to output thermal feedback according to a screen shaking event instead of a vibration event. Some games including FPS use a screen shaking technique to shake a virtual camera within the game engine to cause an image to shake when a bullet hit event or a collision event occurs. Accordingly, the controller (1260) may play multimedia content including a screen shaking event instead of a vibration event, and if a screen shaking event occurs during playback, transmit a thermal feedback initiation signal to the feedback device (1600) through the communication module (1220), and the feedback controller (1645) may perform a thermal feedback output operation according to the thermal feedback initiation signal.
다른 예로는, 본 구현예가 진동 이벤트 대신 특정 음성에 따라 열적 피드백을 출력하는 것으로 변형될 수 있다. 구체적으로는 콘트롤러(1260)가 멀티미디어 콘텐츠의 재생하고, 재생 중 특정 음성이 출력되는 경우 통신 모듈(1220)을 통해 열적 피드백 개시 신호를 피드백 디바이스(1600)로 송출하고, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행할 수 있을 것이다. 여기서, 특정 음성이란 예를 들어 충돌 시 발생하는 음성, 폭발 장면에서 발생하는 음성, 비명 소리 등일 수 있다. 콘트롤러(1260)는 음성 출력이 미리 정해진 볼륨 이상인 경우 이를 특정 음성으로 판단하거나, 미리 정해진 주파수 대역에 속하는 경우 이를 특정 음성으로 판단할 수 있을 것이다. As another example, the present implementation may be modified to output thermal feedback according to a specific sound instead of a vibration event. Specifically, the controller (1260) may play multimedia content, and when a specific sound is output during playback, the controller may transmit a thermal feedback initiation signal to the feedback device (1600) through the communication module (1220), and the feedback controller (1645) may perform a thermal feedback output operation according to the thermal feedback initiation signal. Here, the specific sound may be, for example, a sound generated during a collision, a sound generated during an explosion scene, a scream, etc. The controller (1260) may determine that the sound output is a specific sound when it is above a predetermined volume, or may determine that the sound output is a specific sound when it falls within a predetermined frequency band.
본 구현예에 의하면, 본격적으로 열적 경험을 이용하는 게임 콘텐츠가 제작되지 않은 상황에서도 기존의 진동 피드백을 출력하는 게임 콘텐츠의 재생 시에도 열적 피드백을 통한 열적 경험이 가능해질 수 있다. According to this implementation example, even in a situation where game content that fully utilizes thermal experience is not produced, thermal experience through thermal feedback can be made possible when playing game content that outputs existing vibration feedback.
4.3. 제3 구현예4.3. Third implementation example
본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예는, 게임 구동 시 스킬의 발동 또는 피격 시 스킬의 원소 속성에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A third embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking thermal feedback to the elemental properties of a skill when the skill is activated or hit during game operation and outputting the same.
여기서, 원소 속성은 게임 내의 스킬에 부여되는 속성이다. 예를 들어, 스킬의 원소 속성에는 불 속성(또는 화염 속성), 얼음 속성(또는 냉기 속성), 바람 속성, 번개 속성(또는 전기 속성) 등이 포함될 수 있다. 스킬의 원소 속성은 게임 개발자의 스킬 속성 설계에 따라 정의될 수 있지만, 일반적으로 많은 게임에서는 스킬 속성에 불 속성, 얼음 속성 및 번개 속성이 포함되고 있다. Here, the elemental attribute is an attribute given to a skill in the game. For example, the elemental attribute of a skill may include fire attribute (or flame attribute), ice attribute (or cold attribute), wind attribute, lightning attribute (or electric attribute), etc. The elemental attribute of a skill may be defined according to the skill attribute design of the game developer, but in general, many games include fire attribute, ice attribute, and lightning attribute as skill attributes.
한편, 본 구현예에서 게임이란 전통적인 형태의 2D 게임은 물론, 스테레오스코픽 3D 게임이나 가상 현실 기법 또는 증강 현실 기법을 이용한 게임을 모두 포함하는 포괄적인 개념으로 이해되어야 한다. 이는 후술될 본 발명의 실시예에 따른 열적 경험 제공 방법의 다른 구현예에서도 마찬가지이다. Meanwhile, in the present implementation example, the game should be understood as a comprehensive concept that includes not only traditional 2D games, but also stereoscopic 3D games, games using virtual reality techniques, or augmented reality techniques. This also applies to other implementation examples of the method for providing a thermal experience according to an embodiment of the present invention, which will be described later.
도 49는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예의 순서도이다. Figure 49 is a flowchart of a third embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 49를 참조하면, 열적 경험 제공 방법의 제3 구현예는, 복수의 원소 속성을 갖는 스킬들이 구현되는 게임을 실행하는 단계(S310), 게임 실행 중 스킬 발동 이벤트 또는 스킬 피격 이벤트의 발생한 경우 스킬의 원소 속성에 대응하는 열적 피드백 종류 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S320), 열적 피드백 개시 신호를 전송하는 단계(S330) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 종류 정보에 대응되는 열적 피드백을 출력하는 단계(S340)를 포함할 수 있다. Referring to FIG. 49, a third embodiment of a method for providing a thermal experience may include a step (S310) of executing a game in which skills having a plurality of elemental properties are implemented, a step (S320) of generating a thermal feedback initiation signal including thermal feedback type information corresponding to the elemental properties of a skill when a skill activation event or a skill hit event occurs during the game execution, a step (S330) of transmitting the thermal feedback initiation signal, and a step (S340) of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback type information.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 복수의 원소 속성을 갖는 스킬들이 구현되는 게임을 실행할 수 있다(S310). 콘트롤러(1260)는 이러한 게임을 로딩하고 이를 실행할 수 있다. The content playback device (1200) can execute a game in which skills having multiple elemental properties are implemented (S310). The controller (1260) can load and execute such a game.
여기서, 스킬은 게임 내의 가상 캐릭터가 사용하는 주문이나 투사체 발사 액션 등의 동작 등에 해당할 수 있다. 예를 들어, 스킬의 대표적인 예에는 파이어볼, 아이스볼트, 라이트닝체인 등이 있을 수 있다. 다른 예를 들어, 스킬의 대표적인 예는, 무기를 휘두르는 액션, 투사체를 발사하는 액션 등이 포함될 수 있으며, 이 경우에는 무기에 부여된 속성이나 투사체에 부여된 속성이 스킬의 속성으로 취급될 수 있다. 또 여기서, 가상 캐릭터는 플레이어에 의해 조종되는 플레이어 캐릭터나 플레이어를 공격하는 적 캐릭터를 포함할 수 있다. 또 VR/AR을 비롯한 1인칭 게임의 경우에는 화면 상 플레이어 캐릭터가 등장하는 대신 플레이어 자체가 가상 현실 환경이나 증강 현실 환경에서 플레이어 캐릭터의 역할을 대신할 수도 있다. 이하에서 ‘플레이어’라는 표현은 플레이어에 의해 조종되는 가상의 캐릭터(플레이어블 캐릭터)나 가상 공간이나 증강 공간 상에서의 사용자 또는 그 아바타를 포괄적으로 아우르는 용어로 해석되어야 한다.Here, a skill may correspond to an action, such as a spell or a projectile-firing action used by a virtual character in the game. For example, representative examples of skills may include fireball, ice bolt, and lightning chain. For another example, representative examples of skills may include an action of swinging a weapon, an action of firing a projectile, etc., in which case the attributes granted to the weapon or the attributes granted to the projectile may be treated as attributes of the skill. Also, here, a virtual character may include a player character controlled by a player or an enemy character attacking the player. Also, in the case of first-person games including VR/AR, instead of a player character appearing on the screen, the player himself may take on the role of a player character in a virtual reality environment or augmented reality environment. Hereinafter, the expression “player” shall be interpreted as a term comprehensively encompassing a virtual character controlled by a player (playable character) or a user or his avatar in a virtual space or augmented space.
게임 내의 스킬에는 원소 속성이 부여되어 있을 수 있다. 예를 들어, 파이어 볼인 경우에는 화염 속성, 아이스 볼트인 경우에는 얼음 속성, 라이트닝 체인인 경우에는 전기 속성이 부여되어 있을 수 있다. Skills within the game may have elemental attributes. For example, a Fire Ball may have the Fire attribute, an Ice Bolt may have the Ice attribute, and a Lightning Chain may have the Electric attribute.
또 각 스킬에는 스킬 등급(skill level)이 부여되어 있을 수 있다. 일 예로 게임 내에서 스킬은 스킬 등급이 올라갈수록 그 스킬의 위력이 강화되는 형태로 구현될 수 있는데, 예를 들어, 파이어볼 스킬에는 레벨이 부여되어 파이어볼 1레벨은 파이어볼 2레벨로 강화될 수 있는 식이다.Also, each skill may be given a skill level. For example, in a game, a skill may be implemented in a way that the power of the skill increases as the skill level increases. For example, the Fireball skill may be given a level, so that
또 동종 원소 속성을 갖는 스킬 간에도 우위가 있을 수 있다. 즉, 스킬에는 스킬 티어(skill tier)가 부여되어 있을 수 있다. 예를 들어, 화염 속성의 스킬에는 파이어볼트, 파이어볼, 파이어스톰이 포함되어 있을 수 있으며, 이 중 파이어볼트에는 1레벨, 파이어볼에는 2레벨, 파이어볼에는 3레벨로 등급이 부여되어 있을 수도 있다. There may also be advantages between skills with the same elemental attribute. That is, skills may have skill tiers. For example, a skill with the fire attribute may include Firebolt, Fireball, and Firestorm, and among these, Firebolt may be ranked as
또는 각 스킬들은 데미지값을 가질 수 있다. 예를 들어, 파이어볼의 데미지는 100~200 데미지를 갖는 식이다. Or each skill can have a damage value. For example, the damage of Fireball is 100~200 damage.
콘텐츠 재생 디바이스(1200)는 게임 실행 중 스킬 발동 이벤트 또는 스킬 피격 이벤트의 발생한 경우 스킬의 원소 속성에 대응하는 열적 피드백 종류 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S320). The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback type information corresponding to the elemental properties of a skill when a skill activation event or skill hit event occurs during game execution (S320).
콘트롤러(1260)는 게임 구동 중 스킬 발동을 지시하는 사용자 입력에 따라 게임 내에서 스킬이 발동되는 것을 스킬 발동 이벤트로 감지할 수 있다. 또는 콘트롤러(1260)는 게임 내에서 발동된 스킬이 사용자 캐릭터를 타격하는 경우 이를 스킬 피격 이벤트로 판단할 수 있다. The controller (1260) can detect the activation of a skill within the game as a skill activation event based on a user input instructing the activation of a skill during game operation. Alternatively, the controller (1260) can determine that a skill activated within the game hits a user character as a skill hit event.
콘트롤러(1260)가 스킬 발동 이벤트 또는 스킬 피격 이벤트를 감지하면, 콘트롤러(1260)는 발동된 스킬 또는 피격된 스킬의 원소 속성을 참조하여 원소 속성에 대응하는 열적 피드백 종류를 결정할 수 있다. 예를 들어, 화염 속성의 스킬에 대해서는 열적 피드백의 종류를 온감 피드백으로, 얼음 속성의 스킬에 대해서는 열적 피드백의 종류를 냉감 피드백으로 결정할 수 있다. 또 전기 속성의 스킬에 대해서는 열적 피드백의 종류를 열 그릴 피드백으로 설정할 수 있다. When the controller (1260) detects a skill activation event or a skill hit event, the controller (1260) may determine a type of thermal feedback corresponding to the elemental attribute by referring to the elemental attribute of the activated skill or the hit skill. For example, for a skill of the fire attribute, the type of thermal feedback may be determined as warm feedback, and for a skill of the ice attribute, the type of thermal feedback may be determined as cold feedback. In addition, for a skill of the electric attribute, the type of thermal feedback may be set as heat grill feedback.
이때, 콘트롤러(1260)는 스킬의 종류, 등급, 데미지값 및 피격 피해량 중 적어도 하나에 기초하여 열적 피드백의 강도를 결정할 수 있다. 예를 들어, 화염 속성의 스킬에 파이어볼트, 파이어볼, 파이어스톰이 있고 후자로 갈수록 강한 스킬인 경우 파이어볼트에 대해서는 약한 강도로, 파이어볼에 대해서는 중간 강도로, 파이어스톰에 대해서는 강한 강도로 열적 피드백의 강도를 결정할 수 있다. 다른 예를 들어, 파이어볼 1레벨에 대해서는 약한 강도로, 2레벨에 대해서는 중간 강도로, 3레벨에 대해서는 강한 강도로 열적 피드백의 강도를 결정할 수 있다. 또 다른 예를 들어, 스킬의 데미지값이 커질수록 열적 피드백의 강도를 강하게 결정할 수도 있다. 다시 또 다른 예를 들어, 피격 이벤트 발생 시에는 피격 시 캐릭터가 입는 피해량이 커질수록 열적 피드백의 강도를 강하게 설정할 수 있다. At this time, the controller (1260) can determine the intensity of the thermal feedback based on at least one of the type, grade, damage value, and hit damage amount of the skill. For example, if there are fire bolt, fireball, and fire storm skills of the fire attribute, and the latter is a stronger skill, the intensity of the thermal feedback can be determined as weak for fire bolt, medium for fireball, and strong for fire storm. As another example, the intensity of the thermal feedback can be determined as weak for
또 추가적으로 콘트롤러(1260)는 열적 피드백을 지속시키고자 하는 시간에 관해서도 결정할 수 있다. 예를 들어, 화염 속성의 스킬이 피격된 가상 캐릭터는 미리 설정된 시간 동안 불타는 효과를 받을 수 있고, 얼음 속성의 스킬에 피격된 가상 캐릭터는 미리 정해진 시간 동안 정지 또는 슬로우 효과를 받을 수 있고, 번개 속성의 스킬에 피격된 캐릭터는 마비 효과를 받을 수 있다. 콘트롤러(1260)는 스킬로 인해 캐릭터에 유발되는 특수 효과의 지속 시간에 따라 열적 피드백 제공 시간을 판단할 수 있다. Additionally, the controller (1260) can also determine the time for which the thermal feedback is to be maintained. For example, a virtual character hit by a skill of a fire attribute can receive a burning effect for a preset time, a virtual character hit by a skill of an ice attribute can receive a stop or slow effect for a preset time, and a character hit by a skill of a lightning attribute can receive a paralysis effect. The controller (1260) can determine the time for providing thermal feedback based on the duration of a special effect induced on the character by the skill.
이러한 특수 효과로는 스킬의 대상에게 이로운 효과를 주는 버프 효과와 해로운 효과를 주는 디버프 효과가 있을 수 있다. 플레이어에 대한 피격 이벤트에 대해 열적 피드백을 출력하고자 할 때, 피격 이벤트에 따라 플레이어에 대해 디버프 효과가 유발되면 그 디버프 효과의 지속 시간 동안 열적 피드백이 출력되도록 할 수 있다. 또 플레이어의 스킬 발동 이벤트에 대해 열적 피드백을 출력하고자 할 때, 스킬 발동 이벤트에 따라 플레이어에 대해 유발되는 버프 효과의 지속 시간 동안 열적 피드백이 출력되도록 할 수 있다. These special effects can include buff effects that give a beneficial effect to the target of the skill, and debuff effects that give a detrimental effect. When you want to output thermal feedback for a hit event for a player, if a debuff effect is triggered for the player according to the hit event, you can output thermal feedback for the duration of the debuff effect. Also, when you want to output thermal feedback for a skill activation event for a player, you can output thermal feedback for the duration of the buff effect triggered for the player according to the skill activation event.
또 콘트롤러(1260)는 열적 피드백의 지속 시간 동안 열적 피드백의 강도를 점차 감소시킬 수 있으며, 사용자는 이를 통해 버프나 디버프 효과의 종료 시점을 알 수 있다. Additionally, the controller (1260) can gradually reduce the intensity of the thermal feedback over the duration of the thermal feedback, thereby allowing the user to know when the buff or debuff effect ends.
콘트롤러(1260)는 열적 피드백의 종류가 결정되면 이에 관한 정보를 포함한 열적 피드백 개시 신호를 생성할 수 있다. 또 열적 피드백 개시 신호에는 열적 피드백의 강도에 관한 정보도 포함될 수 있다. 또 열적 피드백 개시 신호에는 열적 피드백의 지속 시간에 관한 정보도 포함될 수 있다. The controller (1260) can generate a thermal feedback initiation signal including information about the type of thermal feedback when it is determined. In addition, the thermal feedback initiation signal can also include information about the intensity of the thermal feedback. In addition, the thermal feedback initiation signal can also include information about the duration of the thermal feedback.
한편, 상술한 바와 콘트롤러(1260)가 열적 피드백의 종류 및 열적 피드백의 강도를 결정할 때 콘트롤러(1260)는, 도 50에 도시된 것과 유사한, 게임 콘텐츠나 메모리(1240)에 저장되어 있는 스킬-열적 피드백 테이블을 참조하여 결정할 수 있다. Meanwhile, as described above, when the controller (1260) determines the type of thermal feedback and the intensity of the thermal feedback, the controller (1260) may make the determination by referring to a skill-thermal feedback table stored in the game content or memory (1240), similar to that illustrated in FIG. 50.
도 50은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예에 이용되는 스킬-열적 피드백 테이블에 관한 도면이다. FIG. 50 is a diagram of a skill-thermal feedback table used in a third embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
도 50을 살펴보면, 스킬의 식별자, 스킬의 원소 속성, 원소 속성에 따른 피드백의 종류, 스킬의 티어, 스킬의 레벨, 열적 피드백의 강도, 열적 피드백을 제공할 시간 간격 등이 기재되어 있다. Looking at Figure 50, the skill identifier, the skill's elemental properties, the type of feedback according to the elemental properties, the skill's tier, the skill's level, the intensity of the thermal feedback, the time interval at which the thermal feedback is provided, etc. are described.
콘텐츠 재생 디바이스(1200)는 열적 피드백 개시 신호를 전송할 수 있다(S330). 콘트롤러(1260)는 생성한 열적 피드백 개시 신호를 통신 모듈(1220)을 통해 피드백 디바이스(1600)에 송출할 수 있다. The content playback device (1200) can transmit a thermal feedback initiation signal (S330). The controller (1260) can transmit the generated thermal feedback initiation signal to the feedback device (1600) through the communication module (1220).
피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 종류 정보에 대응되는 열적 피드백을 출력할 수 있다(S340).The feedback device (1600) performs a thermal feedback output operation according to a thermal feedback initiation signal, and can output thermal feedback corresponding to thermal feedback type information (S340).
열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. 예를 들어, 콘트롤러(1260)는 열적 피드백의 종류를 참조하여 발열 동작, 흡열 동작 또는 열 그릴 동작을 수행할지 여부를 판단하고 그에 맞는 전원 신호를 생성할 수 있다. 또 콘트롤러(1260)는 열적 피드백의 강도를 참조하여 전원 신호의 전압 크기를 결정할 수 있다. When a thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to information included in the thermal feedback initiation signal. For example, the controller (1260) can determine whether to perform a heating operation, an absorption operation, or a thermal grill operation by referring to the type of thermal feedback, and generate a power signal accordingly. In addition, the controller (1260) can determine the voltage size of the power signal by referring to the intensity of the thermal feedback.
또 콘트롤러(1260)는 열적 피드백의 제공 시간이나 지속 시간에 기초하여 전원 신호를 인가할 시간 길이를 결정할 수도 있다. 이때, 콘트롤러(1260)는 열적 피드백의 지속 시간 동안 일정한 크기의 열적 피드백을 출력하는 것도 가능하지만, 열적 피드백의 지속 시간 동안 점차적으로 열적 피드백의 강도를 감소시켜가면서 출력하는 것도 가능하다. 예를 들면, 최초에 가상 캐릭터가 스킬에 피격된 경우에는 강한 강도의 열적 피드백을 출력하고, 미리 정해진 시간 이후 스킬 피격에 따라 피격된 가상 캐릭터에 특수 효과(예를 들어, 마비나 슬로우 등)가 지속되는 시간 동안에는 약한 강도의 열적 피드백을 출력할 수 있다. 이에 따르면, 사용자는 강한 열적 피드백에 의해 피격 여부를 판단할 수 있고, 약한 열적 피드백에 의해 가상 캐릭터가 특수 효과를 받고 있음을 알 수 있으며, 열적 피드백이 중지되는 것에 의해 피격에 따라 발생한 특수 효과가 종료된 것을 알 수 있으며, 이에 따라 게임의 직관성과 게임에 대한 사용자 몰입도가 향상될 수 있다. In addition, the controller (1260) may determine the length of time for applying the power signal based on the provision time or duration of the thermal feedback. At this time, the controller (1260) may output thermal feedback of a constant size during the duration of the thermal feedback, but may also output thermal feedback while gradually reducing the intensity of the thermal feedback during the duration of the thermal feedback. For example, when the virtual character is initially hit by a skill, thermal feedback of high intensity may be output, and after a predetermined time, thermal feedback of low intensity may be output during the duration of a special effect (e.g., paralysis or slow) that is applied to the virtual character hit by the skill. Accordingly, the user can determine whether or not he or she has been hit by the strong thermal feedback, can know that the virtual character is receiving a special effect by the weak thermal feedback, and can know that the special effect that occurred due to the hit has ended by stopping the thermal feedback, and thus, the intuitiveness of the game and the user's immersion in the game may be improved.
상술한 방법에 따라 이에 따라 피드백 디바이스(1600)는 화염 속성의 스킬의 발동 시 또는 화염 속성의 스킬에 대한 피격 시에는 열전 소자에 정전압을 인가하고, 냉기 속성에 대해서는 역전압을 인가하고, 전기 속성에 대해서는 정전압과 역전압을 복합인가하도록 콘텐츠 재생 디바이스(1200)에 의해 제어될 수 있다. According to the method described above, the feedback device (1600) can be controlled by the content playback device (1200) to apply a positive voltage to the thermoelectric element when a skill of the fire attribute is activated or when a skill of the fire attribute is hit, to apply a reverse voltage for the cold attribute, and to apply a combination of positive voltage and reverse voltage for the electric attribute.
한편, 이하의 설명에서는 스킬의 원소 속성이 불/얼음/번개로 구성되는 것을 기준으로 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것이므로, 스킬의 원소 속성이 이와 달리 정의되는 것도 가능함을 미리 밝혀둔다. Meanwhile, the following explanation will be based on the elemental properties of the skill being composed of fire/ice/lightning. However, this is for convenience of explanation, so it is possible for the elemental properties of the skill to be defined differently.
또 이상에서는 원소 속성에 따라 온감/냉감/열 그릴 피드백이 매칭되는 것으로 설명하였으나, 속성 별 열적 피드백의 매칭은 설계자의 선택에 따라 자유로이 변경될 수 있다. 또 열적 피드백 중 열 그릴 피드백의 중립 열 통감/온열 통감/냉열 그릴 피드백을 활용하는 것도 가능하다. 예를 들어, 화염 속성에는 온열 그릴 피드백을, 냉기 속성에는 냉열 그릴 피드백을, 전기 속성에는 중립 열 그릴 피드백을 매칭시키는 것도 가능하다. In addition, although it has been explained above that the warm/cold/heat grill feedback is matched according to the element properties, the matching of thermal feedback by property can be freely changed according to the designer's choice. It is also possible to utilize the neutral heat sensation/heat sensation/cold grill feedback among the thermal feedbacks. For example, it is possible to match the warm grill feedback to the flame property, the cold grill feedback to the cold property, and the neutral heat grill feedback to the electricity property.
한편, 이상에서는 스킬의 피격과 발동을 중심으로 설명하였으나, 스킬 대신 다른 공격 액션에 대하여서도 유사한 열적 피드백을 제공할 수 있다. 예를 들어, 공격 액션에는 스킬 공격 이외에도 무기 공격이 포함될 수 있다. 또 무기 공격에는 근접 무기 공격과 원거리 무기 공격이 포함될 수 있다. Meanwhile, the above explanation focuses on skill hits and activations, but similar thermal feedback can be provided for other attack actions instead of skills. For example, attack actions can include weapon attacks in addition to skill attacks. Weapon attacks can also include melee weapon attacks and ranged weapon attacks.
이때, 공격 액션의 원소 속성은 스킬 공격의 원소 속성이나 무기 공격의 원소 속성에 따라 결정될 수 있다. 또 무기 공격의 원소 속성은 무기 공격에 이용된 무기에 부여된 원소 속성 또는 무기가 원거리 무기인 경우 발사체(또는 투사체)에 부여된 원소 속성에 따라 결정될 수 있다. 이때 원거리 무기와 발사체 양측에 원소 속성이 부여된 경우에는 두 원소 속성 중 어느 하나를 우선하여 무기 공격의 원소 속성으로 판단할 수 있다. At this time, the elemental attribute of the attack action can be determined by the elemental attribute of the skill attack or the elemental attribute of the weapon attack. Also, the elemental attribute of the weapon attack can be determined by the elemental attribute granted to the weapon used in the weapon attack or, if the weapon is a ranged weapon, the elemental attribute granted to the projectile (or projectile). At this time, if elemental attributes are granted to both the ranged weapon and the projectile, one of the two elemental attributes can be given priority and determined as the elemental attribute of the weapon attack.
또, 열적 피드백의 강도는, 공격 액션이 스킬 공격의 경우에는 스킬의 레벨, 스킬의 피해량 및 동일한 원소 속성을 갖는 복수의 스킬을 포함하는 스킬 트리 상에서 스킬의 티어 중 적어도 하나에 기초하여 정해질 수 있고, 공격 액션이 무기 공격인 경우에는 무기의 등급, 무기의 공격력, 발사체의 등급 및 발사체의 공격력 중 적어도 하나에 기초하여 정해질 수 있다. Additionally, the intensity of thermal feedback may be determined based on at least one of the skill level, the skill damage, and the tier of the skill on a skill tree that includes multiple skills with the same elemental property in the case where the attack action is a skill attack, and based on at least one of the weapon grade, the weapon attack power, the projectile grade, and the projectile attack power in the case where the attack action is a weapon attack.
이외에도 열적 피드백의 강도는 공격 액션의 공격력, 피격 이벤트에 따른 상기 플레이어의 피해량, 플레이어의 전체 체력 포인트에 대한 피해량의 비율 및 상기 플레이어의 잔존 체력 포인트 중 적어도 하나에 기초하여 판단될 수 있다. Additionally, the intensity of thermal feedback may be determined based on at least one of the attack power of an attack action, damage to said player due to a hit event, a ratio of damage to the player's total health points, and the player's remaining health points.
또 예를 들어, 무기의 종류에 따라 열적 피드백을 매칭시키는 것도 가능하다. 예를 들어, 피격 무기가 칼이나 창과 같은 냉병기인 경우에는 냉열 그릴 피드백을, 총이나 레이저, 대포 등의 화력병기인 경우에는 온열 그릴 피드백을 대응시킬 수 있을 것이다.It is also possible to match thermal feedback to the type of weapon, for example. For example, if the target weapon is a cold weapon such as a sword or spear, you can match cold grill feedback, and if it is a firearm such as a gun, laser, or cannon, you can match hot grill feedback.
상술한 본 구현예에 의하면, 게임 내에서 스킬의 발동이나 피격에 따라 스킬의 원소 속성에 적합한 열적 피드백을 출력함으로써 게임에 대한 사용자의 재미나 몰입도를 향상시킬 수 있다. According to the above-described implementation example, the user's enjoyment or immersion in the game can be improved by outputting thermal feedback appropriate to the elemental properties of the skill according to the skill's activation or hit in the game.
4.4. 제4 구현예4.4. 4th implementation example
본 발명의 실시예에 따른 열적 경험 제공 방법의 제4 구현예는, 게임 구동 시 캐릭터의 감정 표현이나 지문 선택에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A fourth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking thermal feedback to a character's emotional expression or fingerprint selection when a game is played.
여기서, 캐릭터의 감정 표현에는 즐거움, 화남, 두려움 등이 있을 수 있다. 게임 내에는 캐릭터의 속성에 일종으로 캐릭터의 감정 상태가 정의되어 있는 경우도 있지만, 경우에 따라서는 감정 상태를 직접 반영하는 속성이 캐릭터에게 부여되어 있는 대신 게임 내에서 캐릭터는 특정 동작을 수행하거나 특정 표정을 지음으로써 감정 상태를 표현할 수 있다. 본 구현예에서 감정 표현은 직접적으로 감정을 지시하는 속성은 물론, 캐릭터가 감정을 표현하는 특정 동작이나 특정 표정을 포함하는 포괄적인 의미로 해석되어야 한다. Here, the character's emotional expressions may include joy, anger, fear, etc. In the game, the character's emotional state is sometimes defined as a type of character attribute, but in some cases, instead of being given an attribute that directly reflects the emotional state, the character can express the emotional state by performing a specific action or making a specific facial expression in the game. In this implementation example, emotional expression should be interpreted as a comprehensive meaning that includes not only the attribute that directly indicates the emotion, but also the specific action or facial expression that the character expresses the emotion.
또 여기서, 지문 선택이란 게임의 진행 중 사용자에게 제공되는 지문 중 어느 하나를 선택하는 것을 의미한다. 예를 들어, 사용자에 의해 조작되는 플레이어블 캐릭터(PC: Playable Character)가 넌플레이어블 캐릭터(NPC: Non-Playable Character)와 대화를 하는 상황이나 사용자가 어떤 결정을 내려야 하는 상황에서 사용자가 선택 가능한 지문들이 제시될 수 있으며, 사용자는 지문 중 어느 하나를 선택할 수 있다. Also, here, fingerprint selection means selecting one of the fingerprints provided to the user during the game. For example, in a situation where a playable character (PC: Playable Character) controlled by the user is talking to a non-playable character (NPC: Non-Playable Character) or in a situation where the user must make a decision, fingerprints that the user can select may be presented, and the user may select one of the fingerprints.
도 51은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제4 구현예의 순서도이다. FIG. 51 is a flowchart of a fourth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 51을 참조하면, 열적 경험 제공 방법의 제4 구현예는, 감정 표현을 수행하는 가상 캐릭터를 포함하거나 사용자에 의해 선택되는 지문을 제공하는 게임을 실행하는 단계(S410), 가상 캐릭터의 감정 표현 이벤트 또는 지문 제시 이벤트가 감지된 경우 감정 표현 또는 지문 선택에 대응하는 열적 피드백 종류 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S420), 열적 피드백 개시 신호를 전송하는 단계(S430) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 종류 정보에 대응되는 열적 피드백을 출력하는 단계(S440)를 포함할 수 있다. Referring to FIG. 51, a fourth embodiment of a method for providing a thermal experience may include a step (S410) of executing a game that includes a virtual character performing an emotional expression or providing a fingerprint selected by a user, a step (S420) of generating a thermal feedback initiation signal including thermal feedback type information corresponding to the emotional expression or fingerprint selection when an emotional expression event of the virtual character or a fingerprint presentation event is detected, a step (S430) of transmitting the thermal feedback initiation signal, and a step (S440) of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback type information.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 감정 표현을 수행하는 가상 캐릭터를 포함하거나 사용자에 의해 선택되는 지문을 제공하는 게임을 실행할 수 있다(S410). 콘트롤러(1260)는 감정 표현을 수행하는 가상 캐릭터를 포함하거나 사용자에 의해 선택되는 지문을 제공하는 게임을 실행할 수 있다. The content playback device (1200) can execute a game that includes a virtual character performing an emotional expression or provides a fingerprint selected by the user (S410). The controller (1260) can execute a game that includes a virtual character performing an emotional expression or provides a fingerprint selected by the user.
콘텐츠 재생 디바이스(1200)는 가상 캐릭터의 감정 표현 이벤트 또는 지문 제시 이벤트가 감지된 경우 감정 표현 또는 지문 선택에 대응하는 열적 피드백 종류 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S420). 콘트롤러(1260)는 게임 진행 중 가상 캐릭터의 감정 표현 이벤트를 감지할 수 있다. 예를 들어, 캐릭터의 감정 표현 이벤트는 사용자 입력에 의해 캐릭터가 특정 동작이나 특정 표정을 지음으로써 발생되거나 캐릭터의 대화 중 특정 상황에서 발생할 수 있다. 또 콘트롤러(1260)는 지문 제시 이벤트를 감지할 수 있다. 지문 제시 이벤트는 주로 플레이어블 캐릭터가 넌플레이어블 캐릭터에 대화 액션을 수행함에 따라 발생되거나 게임 진행 중 스토리 진행 과정 중 발생할 수 있다. The content playback device (1200) may generate a thermal feedback initiation signal including thermal feedback type information corresponding to the emotional expression or fingerprint selection when an emotional expression event or a fingerprint presentation event of a virtual character is detected (S420). The controller (1260) may detect an emotional expression event of a virtual character during game play. For example, the emotional expression event of a character may be generated when the character performs a specific action or a specific facial expression by a user input, or may occur in a specific situation during a conversation between the character. In addition, the controller (1260) may detect a fingerprint presentation event. The fingerprint presentation event may mainly be generated when a playable character performs a conversation action with a non-playable character, or may occur during the story progression during the game.
감정 표현 이벤트 또는 지문 제시 이벤트가 발생하면, 콘트롤러(1260)는 캐릭터에 의해 표현되는 감정 표현의 종류나 지문 제시 이벤트에 따라 선택된 지문의 종류를 판단할 수 있다. 콘트롤러(1260)는 판단된 감정 표현의 종류나 선택된 지문의 종류에 따라 열적 피드백의 종류를 판단할 수 있다. 여기서, 콘트롤러(1260)는 메모리(1240)나 게임 프로그램 내에 저장되어 있는 감정/지문-열적 피드백 종류 테이블을 참조하여 열적 피드백 종류를 판단할 수 있다. 감정/지문-열적 피드백 종류 테이블에는 감정 상태 및 지문 종류에 따른 열적 피드백의 종류가 정의되어 있을 수 있다. When an emotional expression event or a fingerprint presentation event occurs, the controller (1260) can determine the type of emotional expression expressed by the character or the type of fingerprint selected according to the fingerprint presentation event. The controller (1260) can determine the type of thermal feedback according to the type of emotional expression determined or the type of fingerprint selected. Here, the controller (1260) can determine the type of thermal feedback by referring to an emotional/fingerprint-thermal feedback type table stored in a memory (1240) or a game program. The emotional/fingerprint-thermal feedback type table can define the type of thermal feedback according to the emotional state and fingerprint type.
도 52는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제4 구현예에서 제공되는 지문 제시 이벤트와 관련된 도면이다.FIG. 52 is a diagram related to a fingerprint presentation event provided in a fourth embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
도 52를 참조하면, 플레이어블 캐릭터와 넌플레이어블 캐릭터 간의 대화 중 사용자가 선택할 수 있는 지문들이 제시되고 있다. 콘트롤러(1260)는 통신 모듈(1220)을 통해 입력디바이스로부터 사용자 입력을 수신해 특정 지문을 선택/선택 준비할 수 있으며, 이에 따라 열적 피드백 종류를 판단할 수 있다.Referring to FIG. 52, fingerprints that a user can select during a conversation between a playable character and a non-playable character are presented. The controller (1260) can receive user input from an input device via the communication module (1220) to select/prepare for selection a specific fingerprint, and can determine the type of thermal feedback accordingly.
콘텐츠 재생 디바이스(1200)는 열적 피드백 개시 신호를 전송할 수 있다(S430). 콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 종류 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. The content playback device (1200) can transmit a thermal feedback initiation signal (S430). The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback type information to the feedback device (1600) through the communication module (1220).
피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 종류 정보에 대응되는 열적 피드백을 출력할 수 있다(S440).The feedback device (1600) performs a thermal feedback output operation according to a thermal feedback initiation signal, and can output thermal feedback corresponding to thermal feedback type information (S440).
열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. 예를 들어, 콘트롤러(1260)는 열적 피드백의 종류를 참조하여 발열 동작, 흡열 동작 또는 열 그릴 동작을 수행할지 여부를 판단할 수 있다. When a thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to information included in the thermal feedback initiation signal. For example, the controller (1260) can determine whether to perform a heating operation, an absorption operation, or a heat grill operation by referring to the type of thermal feedback.
상술한 본 구현예에 의하면, 가상 캐릭터가 화난 경우 온감 피드백을 출력하고, 겁난 경우 냉감 피드백을 출력하는 등에 따라 가상 캐릭터의 감정에 적합한 열적 피드백을 제공하여 사용자의 게임 몰입도를 향상시킬 수 있다. 이와 유사하게 가상 캐릭터의 지문 선택 시, 선한 결정을 하는 지문에는 온감 피드백을 출력하고 악한 결정을 하는 지문에는 냉감 피드백을 출력하는 등의 방식으로 게임 내의 지문 별로 적합한 열적 피드백을 제공하여 사용자의 게임 몰입도를 향상시킬 수 있다. According to the above-described implementation example, by outputting warm feedback when the virtual character is angry, and outputting cold feedback when the virtual character is scared, the user's game immersion can be improved by providing thermal feedback appropriate to the virtual character's emotions. Similarly, when selecting a virtual character's fingerprint, the user's game immersion can be improved by providing thermal feedback appropriate to each fingerprint in the game, such as outputting warm feedback for fingerprints that make good decisions and outputting cold feedback for fingerprints that make bad decisions.
4.5. 제5 구현예4.5. Fifth implementation example
본 발명의 실시예에 따른 열적 경험 제공 방법의 제5 구현예는, 게임 구동 시 게임 내의 이동 속도에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다. 여기서, 이동 속도란 게임 내의 가상 공간 내에서 플레이어블 캐릭터의 이동 속도를 의미할 수 있다.A fifth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by outputting thermal feedback in conjunction with a movement speed within a game when the game is run. Here, the movement speed may mean the movement speed of a playable character within a virtual space within the game.
도 53은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제5 구현예의 순서도이다. FIG. 53 is a flowchart of a fifth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 53을 참조하면, 열적 경험 제공 방법의 제5 구현예는, 가상 공간 및 가상 공간 내에서 이동하는 캐릭터를 구현하는 게임을 실행하는 단계(S510), 캐릭터의 이동 시 이동 속도에 대응하는 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S520), 열적 피드백 개시 신호를 전송하는 단계(S530) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 강도 정보에 대응되는 열적 피드백을 출력하는 단계(S540)를 포함할 수 있다. Referring to FIG. 53, a fifth embodiment of a method for providing a thermal experience may include a step (S510) of executing a game that implements a virtual space and a character moving within the virtual space, a step (S520) of generating a thermal feedback initiation signal including thermal feedback intensity information corresponding to a movement speed when the character moves, a step (S530) of transmitting the thermal feedback initiation signal, and a step (S540) of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback intensity information.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 가상 공간 및 가상 공간 내에서 이동하는 캐릭터를 구현하는 게임을 실행할 수 있다(S510). 콘트롤러(1260)는 가상 공간과 가상 공간 내에서 이동하는 캐릭터를 포함하는 게임을 실행할 수 있다. 여기서, 캐릭터는 게임의 가상 공간 내에서 게임 콘텐츠의 이용자에 의해 조종되는 가상의 캐릭터일 수 있다. 가상 캐릭터는 3인칭 시점의 게임에서는 화면 상에 출력되지만, 1인칭 시점의 게임에서는 화면 상에 출력되지 않거나 가상 캐릭터의 일부만이 화면에 표시될 수 있다. 또는, 가상 현실 기법을 이용한 게임에서는 사용자의 신체나 입력 디바이스가 신체가 캐릭터가 될 수 있다. The content playback device (1200) can execute a game that implements a virtual space and a character moving within the virtual space (S510). The controller (1260) can execute a game that includes a virtual space and a character moving within the virtual space. Here, the character may be a virtual character controlled by a user of the game content within the virtual space of the game. The virtual character may be output on the screen in a third-person perspective game, but may not be output on the screen in a first-person perspective game, or only a part of the virtual character may be displayed on the screen. Alternatively, in a game using a virtual reality technique, the user's body or an input device may become a character.
콘텐츠 재생 디바이스(1200)는 캐릭터의 이동 시 이동 속도에 대응하는 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S520). 콘트롤러(1260)는 게임의 가상 공간에서 캐릭터의 이동을 감지할 수 있다. 예를 들어, 캐릭터의 이동은 캐릭터의 이동을 지시하는 사용자 입력에 따라 이루어질 수 있다. 콘트롤러(1260)는 통신 모듈(1220)을 통해 입력 디바이스로부터 캐릭터 이동을 지시하는 사용자 입력을 획득하여 이에 따라 캐릭터를 이동시키거나 캐릭터의 이동을 조작할 수 있다. 또, 캐릭터가 게임의 가상 공간 내에 제공되는 탈 것에 탑승하여 이동할 수도 있다. 예를 들어, 레이싱 게임이나 플레이트 시뮬레이션 등의 게임에서는 비행기나 자동차가 캐릭터에 해당할 수도 있으며, 사용자의 조작에 따라 이동될 수 있다. 콘트롤러(1260)는 가상 공간에서 캐릭터 이동 시 그 이동 속도에 따라 열적 피드백 강도를 결정할 수 있다. 예를 들어, 콘트롤러(1260)는 가상 공간 내에서 캐릭터의 이동 속도가 빠를수록 열적 피드백의 강도를 강하게 할 수 있다. 또 강도가 결정되면, 콘트롤러(1260)는 열적 피드백 강도 정보를 포함시킨 열적 피드백 개시 신호를 생성할 수 있다. The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback intensity information corresponding to the movement speed of the character when the character moves (S520). The controller (1260) can detect the movement of the character in the virtual space of the game. For example, the movement of the character can be performed according to a user input instructing the movement of the character. The controller (1260) can obtain a user input instructing the movement of the character from an input device through the communication module (1220) and move the character or manipulate the movement of the character accordingly. In addition, the character can ride a vehicle provided in the virtual space of the game and move. For example, in games such as racing games or plate simulations, an airplane or a car can correspond to the character and move according to the user's manipulation. The controller (1260) can determine the thermal feedback intensity according to the movement speed of the character when the character moves in the virtual space. For example, the controller (1260) can make the intensity of the thermal feedback stronger as the movement speed of the character in the virtual space is faster. Additionally, once the intensity is determined, the controller (1260) can generate a thermal feedback initiation signal that includes thermal feedback intensity information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 개시 신호를 전송할 수 있다(S530). 콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 강도 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. The content playback device (1200) can transmit a thermal feedback initiation signal (S530). The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback intensity information to the feedback device (1600) through the communication module (1220).
피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 강도 정보에 대응되는 열적 피드백을 출력할 수 있다(S540).The feedback device (1600) performs a thermal feedback output operation according to a thermal feedback initiation signal, and can output thermal feedback corresponding to thermal feedback intensity information (S540).
열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. 예를 들어, 콘트롤러(1260)는 열적 피드백의 강도를 참조하여 전원의 전압값을 조절함으로써 열적 피드백의 출력 강도를 조절할 수 있다. When a thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to information included in the thermal feedback initiation signal. For example, the controller (1260) can adjust the output intensity of the thermal feedback by adjusting the voltage value of the power with reference to the intensity of the thermal feedback.
본 구현예에서는 열적 피드백을 주로 냉감 피드백으로 출력할 수 있다. 이에 따라 현실 세계에서 이동 속도가 빨라지면 느껴지는 바람 등을 열적 경험으로 표현할 수 있다.In this implementation example, thermal feedback can be output primarily as cool feedback. Accordingly, the wind felt when moving at an increased speed in the real world can be expressed as a thermal experience.
한편, 본 구현예에서 캐릭터의 이동의 종료되면, 일시적으로 온감 피드백을 출력하는 것도 가능하다. 콘트롤러(1260)는 캐릭터의 이동 종료 여부를 판단하고, 이동이 종료된 경우 온감 피드백을 지시하는 열적 피드백 정보를 포함시킨 열적 피드백 개시 신호를 생성하고, 통신 모듈(1220)을 통해 이를 피드백 디바이스(1600)에 전송할 수 있다. 피드백 신호는 이에 따라 온감 피드백을 출력할 수 있다. 이러한 온감 피드백에 의하면 사용자는 현실 세계에서 이동이 정지된 순간 신체에 순간적으로 느껴지는 열기를 체험할 수 있다. Meanwhile, in the present implementation example, when the movement of the character ends, it is also possible to temporarily output thermal feedback. The controller (1260) determines whether the movement of the character has ended, and when the movement has ended, generates a thermal feedback initiation signal including thermal feedback information indicating thermal feedback, and transmits it to the feedback device (1600) through the communication module (1220). The feedback signal can output thermal feedback accordingly. According to this thermal feedback, the user can experience heat that is momentarily felt on the body when the movement stops in the real world.
4.6. 제6 구현예4.6. Implementation Example 6
본 발명의 실시예에 따른 열적 경험 제공 방법의 제6 구현예는, 게임 구동 시 캐릭터의 체력 포인트에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A sixth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking thermal feedback to a character's health points and outputting the same when the game is played.
도 54는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제6 구현예의 순서도이다. Figure 54 is a flowchart of a sixth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 54를 참조하면, 열적 경험 제공 방법의 제6 구현예는, 체력 포인트를 가진 가상의 캐릭터가 등장하는 게임을 실행하는 단계(S610), 캐릭터의 체력 포인트의 변화, 잔존 체력 포인트 또는 최대 체력 포인트 대비 잔존 체력 포인트의 비율 중 적어도 하나에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S620), 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하는 단계(S630) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S640)를 포함할 수 있다. Referring to FIG. 54, a sixth embodiment of a method for providing a thermal experience may include a step of executing a game in which a virtual character having health points appears (S610), a step of generating a thermal feedback initiation signal including thermal feedback information corresponding to at least one of a change in the health points of the character, remaining health points, or a ratio of remaining health points to maximum health points (S620), a step of transmitting a thermal feedback initiation signal including the thermal feedback information (S630), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S640).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 체력 포인트를 가진 캐릭터가 등장하는 게임을 실행할 수 있다(S610). 콘트롤러(1260)는 사용자에 의해 조작되는 캐릭터를 포함하는 게임을 실행할 수 있다. 캐릭터에는 체력 포인트가 할당될 수 있다. 체력 포인트는 게임 내에서 캐릭터의 생명력을 나타내는 정보일 수 있다. 예를 들어, 캐릭터의 체력 포인트가 모두 소진되면 게임 내에서 캐릭터가 사망할 수 있다. 체력 포인트는 게임 내의 이벤트에 따라 증감될 수 있다. 예를 들어, 캐릭터가 피격되는 경우에는 체력 포인트가 감소될 수 있으며, 캐릭터가 회복 스킬을 사용하거나 회복 아이템을 사용하는 경우에는 체력 포인트가 증가될 수 있다. The content playback device (1200) can execute a game in which a character with health points appears (S610). The controller (1260) can execute a game including a character controlled by a user. Health points can be assigned to the character. Health points can be information representing the character's vitality within the game. For example, if the character's health points are all used up, the character can die within the game. Health points can increase or decrease depending on an event within the game. For example, if the character is hit, health points can decrease, and if the character uses a recovery skill or a recovery item, health points can increase.
콘텐츠 재생 디바이스(1200)는 캐릭터의 체력 포인트의 변화, 잔존 체력 포인트 또는 최대 체력 포인트 대비 잔존 체력 포인트의 비율 중 적어도 하나에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 신호를 생성할 수 있다(S620). The content playback device (1200) can generate a thermal feedback signal including thermal feedback information corresponding to at least one of a change in a character's health points, remaining health points, or a ratio of remaining health points to maximum health points (S620).
콘트롤러(1260)는 게임 진행 중에 체력 포인트의 변화되는 경우, 체력 포인트의 변화에 따라 열적 피드백 정보를 생성할 수 있다. The controller (1260) can generate thermal feedback information according to changes in health points during game play.
일 예로, 콘트롤러(1260)는 체력 포인트가 감소되는지 또는 증가되는지 여부에 따라 열적 피드백의 종류를 결정할 수 있다. 예를 들어, 콘트롤러(1260)는 체력 포인트가 감소되면 열적 피드백의 종류를 냉감 피드백으로 결정할 수 있다. 다른 예를 들어, 콘트롤러(1260)는 체력 포인트가 증가되면 열적 피드백의 종류를 온감 피드백으로 결정할 수 있다. For example, the controller (1260) can determine the type of thermal feedback depending on whether the stamina points are decreased or increased. For example, if the stamina points are decreased, the controller (1260) can determine the type of thermal feedback as cold feedback. For another example, if the stamina points are increased, the controller (1260) can determine the type of thermal feedback as warm feedback.
다른 예로, 콘트롤러(1260)는 체력 포인트의 변화량의 크기에 따라 열적 피드백의 강도를 결정할 수 있다. 예를 들어, 콘트롤러(1260)는 체력 포인트의 변화량이 클수록 열적 피드백의 강도를 강하게 결정할 수 있다. As another example, the controller (1260) can determine the strength of the thermal feedback based on the size of the change in health points. For example, the controller (1260) can determine the strength of the thermal feedback to be stronger as the change in health points becomes larger.
또는 콘트롤러(1260)는 전체 체력 포인트에 대한 체력 포인트의 변화량의 비율에 따라 열적 피드백 정보를 판단할 수 있다. 일 예로, 콘트롤러(1260)는 전체 체력 포인트에 대한 체력 변화량의 비율이 클수록 열적 피드백의 강도를 강하게 결정할 수 있다. Alternatively, the controller (1260) may determine thermal feedback information based on the ratio of the change in physical strength points to the total physical strength points. For example, the controller (1260) may determine the strength of thermal feedback to be stronger as the ratio of the change in physical strength points to the total physical strength points increases.
또 콘트롤러(1260)는 잔존 체력 포인트에 따라 열적 피드백 정보를 판단할 수 있다. 일 예로, 콘트롤러(1260)는 잔존 체력 포인트가 적을수록 열적 피드백의 강도를 강하게 결정할 수 있다. 다른 예로, 콘트롤러(1260)는 잔존 체력 포인트의 수치에 따라 열적 피드백의 종류를 결정할 수도 있다. 예를 들어, 잔존 체력 포인트의 수치가 제1 범위인 경우에는 냉감 피드백을, 제2 범위인 경우에는 온감 피드백을 열적 피드백 종류로 결정할 수 있다. In addition, the controller (1260) can determine thermal feedback information according to the remaining stamina points. For example, the controller (1260) can determine the strength of thermal feedback to be stronger as the remaining stamina points decrease. As another example, the controller (1260) can determine the type of thermal feedback according to the value of the remaining stamina points. For example, if the value of the remaining stamina points is in the first range, cold feedback can be determined as the type of thermal feedback, and if it is in the second range, warm feedback can be determined as the type of thermal feedback.
또는 콘트롤러(1260)는 전체 체력 포인트에 대한 잔존 체력 포인트의 비율에 따라 열적 피드백 정보를 판단할 수 있다. 일 예로, 콘트롤러(1260)는 체력 비율이 적을수록 열적 피드백의 강도를 강하게 결정할 수 있다. 다른 예로, 콘트롤러(1260)는 체력 비율에 따라 열적 피드백의 종류를 결정할 수도 있다. 예를 들어, 체력 비율이 제1 범위인 경우에는 냉감 피드백을, 체력 비율이 제2 범위인 경우 온감 피드백을 열적 피드백 종류로 결정할 수 있다. Alternatively, the controller (1260) may determine thermal feedback information based on the ratio of the remaining stamina points to the total stamina points. For example, the controller (1260) may determine the strength of thermal feedback to be stronger as the stamina ratio is lower. As another example, the controller (1260) may determine the type of thermal feedback based on the stamina ratio. For example, when the stamina ratio is in the first range, cold feedback may be determined as the type of thermal feedback, and when the stamina ratio is in the second range, warm feedback may be determined as the type of thermal feedback.
이처럼 열적 피드백 정보가 결정되면, 콘트롤러(1260)는 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 생성할 수 있다. Once the thermal feedback information is determined in this way, the controller (1260) can generate a thermal feedback initiation signal including the thermal feedback information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송할 수 있다(S630). 콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. The content playback device (1200) can transmit a thermal feedback initiation signal including thermal feedback information (S630). The controller (1260) can transmit the thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220).
피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S640).The feedback device (1600) performs a thermal feedback output operation according to a thermal feedback initiation signal, and can output thermal feedback corresponding to thermal feedback information (S640).
열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. When a thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to information included in the thermal feedback initiation signal.
이에 따라 피드백 디바이스(1600)는 체력 포인트의 변화가 생길 때 그 체력 포인트의 변화량, 전체 체력 포인트에 대한 변화량의 비율, 잔존 체력 포인트 또는 전체 체력 포인트에 대한 잔존 체력 포인트의 비율 등에 따라 상이한 열적 피드백을 출력할 수 있다. Accordingly, the feedback device (1600) can output different thermal feedbacks according to the amount of change in the stamina points, the ratio of the amount of change to the total stamina points, the remaining stamina points, or the ratio of the remaining stamina points to the total stamina points when a change occurs in the stamina points.
이상의 설명에서는 본 구현예에서는 열적 피드백 정보가 체력 포인트에 대응되도록 결정되는 것으로 설명하였으나, 열적 피드백 정보가 게임 내에서 구현되는 다른 포인트에 대응되도록 하는 것도 가능하다. 예를 들어, 레이싱 게임의 경우 연료량 포인트를 체력 포인트 대신 열적 피드백에 연동시키는 것도 가능하다. 다른 예를 들어, 마법 기술을 이용할 때 이용되는 마나 포인트에 열적 피드백을 연동시키는 것도 가능하다. 즉, 본 구현예는 게임 내의 캐릭터와 관련되어 증감되는 자원 포인트에 포괄적으로 적용이 가능한 것이다.In the above description, it was explained that in this implementation example, the thermal feedback information is determined to correspond to the stamina point, but it is also possible to make the thermal feedback information correspond to other points implemented in the game. For example, in the case of a racing game, it is possible to link the fuel amount point to the thermal feedback instead of the stamina point. As another example, it is also possible to link the thermal feedback to the mana point used when using a magic skill. In other words, this implementation example can be comprehensively applied to resource points that increase and decrease in relation to the character in the game.
한편, 본 구현예에서 캐릭터와 관련되어 증감되는 자원이 복수 개 제공되는 경우에는, 각 자원 별로 열적 피드백 종류를 달리 할당하는 것도 가능하다. 예를 들어, 콘트롤러(1260)는 체력 포인트와 마나 포인트를 포함하는 게임 내에서 증감되는 자원 포인트를 가지는 캐릭터를 조작하는 게임을 구동시키고, 자원 포인트의 변화량, 증감 여부, 자원 포인트의 잔존량 및 최대 자원 포인트 대비 잔존 자원 포인트의 자원 비율 중 적어도 하나에 대응하는 열적 피드백 정보를 생성하고, 생성된 정보를 포함시키는 열적 피드백 개시 신호를 통신 모듈(1220)을 통해 피드백 디바이스(1600)에 전달하고, 피드백 콘트롤러(1645)는 열적 피드백 정보에 따라 열적 피드백 동작을 출력할 수 있다. 이때, 콘트롤러(1260)는 자원의 종류에 대응하도록 열적 피드백 종류를 결정할 수 있다. 예를 들어, 체력 포인트에 대해서는 온감 피드백을, 마나 포인트에 대해서는 냉감 피드백을 열적 피드백으로 결정할 수 있다. Meanwhile, in the present implementation example, when a plurality of resources that increase and decrease in relation to a character are provided, it is also possible to assign different types of thermal feedback to each resource. For example, the controller (1260) drives a game that controls a character having resource points that increase and decrease within the game, including health points and mana points, generates thermal feedback information corresponding to at least one of the amount of change in the resource points, whether the amount has increased or decreased, the remaining amount of resource points, and the resource ratio of the remaining resource points to the maximum resource points, and transmits a thermal feedback initiation signal including the generated information to the feedback device (1600) through the communication module (1220), and the feedback controller (1645) can output a thermal feedback operation according to the thermal feedback information. At this time, the controller (1260) can determine the type of thermal feedback to correspond to the type of resource. For example, the controller (1260) can determine the thermal feedback as warm feedback for health points and the thermal feedback as cold feedback for mana points.
상술한 본 구현예에 따르면, 열적 피드백을 통해 게임 상의 캐릭터의 체력 상태 등에 관한 정보를 사용자에게 제공함으로써 게임에 대한 사용자의 직관적 이해를 돕고, 게임에 대한 몰입도를 향상시킬 수 있다. According to the above-described implementation example, by providing the user with information about the physical condition of a character in the game through thermal feedback, the user's intuitive understanding of the game can be helped and the immersion in the game can be improved.
4.7. 제7 구현예4.7. Implementation Example 7
본 발명의 실시예에 따른 열적 경험 제공 방법의 제7 구현예는, 게임 구동 시 사용자 입력 타이밍을 반영하는 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A seventh embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback reflecting user input timing when a game is run.
도 55는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제7 구현예의 순서도이다. Figure 55 is a flowchart of a seventh embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 55를 참조하면, 열적 경험 제공 방법의 제7 구현예는, 입력 타이밍에 따라 상이한 결과를 출력하는 타이밍 액션이 제공되는 게임을 실행하는 단계(S710), 타이밍 액션 수행 시 입력 타이밍에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S720), 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하는 단계(S730) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S740)를 포함할 수 있다. Referring to FIG. 55, a seventh embodiment of a method for providing a thermal experience may include a step (S710) of executing a game in which a timing action is provided that outputs different results according to an input timing, a step (S720) of generating a thermal feedback initiation signal including thermal feedback information corresponding to the input timing when the timing action is performed, a step (S730) of transmitting a thermal feedback initiation signal including the thermal feedback information, and a step (S740) of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 입력 타이밍에 따라 상이한 결과를 출력하는 타이밍 액션이 제공되는 게임을 실행할 수 있다(S710). A content playback device (1200) can execute a game that provides timing actions that output different results depending on input timing (S710).
콘트롤러(1260)는 게임을 실행할 수 있다. 여기서, 본 구현예에서 실행되는 게임에는 타이밍 액션이 포함될 수 있다. 여기서, 타이밍 액션이란 사용자의 입력 타이밍에 따라 상이한 결과를 출력하는 동작을 의미한다. The controller (1260) can execute a game. Here, the game executed in the present implementation example can include a timing action. Here, a timing action means an action that outputs different results depending on the user's input timing.
도 56은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제7 구현예에 따른 타이밍 액션을 제공하는 게임에 관한 도면이다. FIG. 56 is a drawing of a game providing timing actions according to a seventh embodiment of a method for providing a thermal experience according to an embodiment of the present invention.
도 56은 타이밍 액션을 포함하는 게임의 예로 가상 공간에서 화살을 발사하는 게임의 화면이다. 도 56에 따른 게임에서는 화살을 당기는 시간에 비례해 화살 발사 거리가 증가할 수 있다. 사용자가 화살 발사 액션이 할당된 버튼을 누르면 화살을 당기는 액션이 시작되며 버튼을 지속적으로 누르고 있으면 지속적으로 화살 시위를 점차 크게 당기며, 버튼을 놓는 순간 화살이 발사될 수 있다. 도 56에는 이러한 화살 시위가 당겨진 정도를 반영하는 게이지가 함께 제공되어 사용자는 시각적으로 화살 발사를 위한 타이밍을 확인하면서 게임을 플레이할 수 있다. 이외에도 타이밍 액션의 예로는, 축구 게임에서 슈팅 조작 시 지속적으로 슛의 강도를 증가시키는 슈팅 액션이나 리듬 게임에서 음악의 노트에 맞춘 사용자 입력을 요청하는 액션 등이 있을 수 있다. Fig. 56 is a screen of a game that fires an arrow in a virtual space as an example of a game including a timing action. In the game according to Fig. 56, the arrow firing distance can increase in proportion to the time taken to pull the arrow. When a user presses a button to which an arrow firing action is assigned, an arrow pulling action starts, and if the button is continuously pressed, the arrow string is continuously pulled increasingly larger, and the arrow can be fired at the moment the button is released. Fig. 56 also provides a gauge that reflects the degree to which the arrow string is pulled, so that the user can play the game while visually checking the timing for shooting the arrow. In addition, examples of timing actions may include a shooting action that continuously increases the strength of a shot when shooting in a soccer game, or an action that requests user input in time with a music note in a rhythm game.
콘텐츠 재생 디바이스(1200)는 타이밍 액션 수행 시 입력 타이밍에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S720). The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback information corresponding to input timing when performing a timing action (S720).
일 예로, 콘트롤러(1260)는 게임 진행 중 타이밍 액션이 발생하면 발생 시점으로부터 경과한 시간을 카운팅하고, 경과 시간에 따라 열적 피드백의 강도를 결정할 수 있다. 예를 들어, 경과 시간이 클수록 열적 피드백 강도가 크게 결정될 수 있다. For example, when a timing action occurs during game play, the controller (1260) can count the elapsed time from the time of occurrence and determine the intensity of thermal feedback based on the elapsed time. For example, the greater the elapsed time, the greater the thermal feedback intensity can be determined.
다른 예로, 콘트롤러(1260)는 미리 정해진 특정 시간과 경과 시간 간의 시간 간격의 크기에 따라 열적 피드백 강도를 결정할 수 있다. 예를 들어, 경과 시간이 특정 시간에 가까울수록 열적 피드백의 강도가 크게 결정될 수 있다. As another example, the controller (1260) may determine the strength of thermal feedback based on the size of the time interval between a predetermined specific time and an elapsed time. For example, the closer the elapsed time is to the specific time, the greater the strength of thermal feedback may be determined.
또 다른 예로, 콘트롤러(1260)는 경과 시간이 미리 정해진 특정 시간을 도과했는지 여부에 따라 열적 피드백 강도를 결정할 수 있다. 예를 들어, 경과 시간이 특정 시간을 도과하기 전까지는 경과 시간이 커질수록 열적 피드백 강도가 크게 결정되고, 특정 시간이 도과하면 열적 피드백이 출력되지 않도록 결정될 수 있다. As another example, the controller (1260) may determine the thermal feedback intensity based on whether the elapsed time has passed a predetermined specific time. For example, the thermal feedback intensity may be determined to be greater as the elapsed time increases until the elapsed time has passed a specific time, and the thermal feedback may be determined not to be output once the specific time has passed.
또 다른 예로, 콘트롤러(1260)는 경과 시간이 미리 정해진 특정 시간을 도과했는지 여부에 따라 열적 피드백 종류를 결정할 수 있다. 예를 들어, 경과 시간이 특정 시간을 도과하기 전까지는 온감 피드백이 열적 피드백 종류로 결정되고, 특정 시간이 도과하면 냉감 피드백이 열적 피드백 종류로 결정될 수 있다. As another example, the controller (1260) may determine the type of thermal feedback based on whether the elapsed time has passed a predetermined specific time. For example, until the elapsed time has passed a specific time, hot feedback may be determined as the type of thermal feedback, and once the specific time has passed, cold feedback may be determined as the type of thermal feedback.
이처럼 열적 피드백 정보가 결정되면, 콘트롤러(1260)는 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 생성할 수 있다. Once the thermal feedback information is determined in this way, the controller (1260) can generate a thermal feedback initiation signal including the thermal feedback information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송할 수 있다(S730). 콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. The content playback device (1200) can transmit a thermal feedback initiation signal including thermal feedback information (S730). The controller (1260) can transmit the thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220).
피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S740). 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The feedback device (1600) performs a thermal feedback output operation according to a thermal feedback initiation signal, and can output thermal feedback corresponding to thermal feedback information (S740). When the thermal feedback initiation signal is received, the feedback controller (1645) can perform a thermal feedback output operation by applying power to the thermocouple array (1643). At this time, the feedback controller (1645) can generate a power signal according to information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 열적 피드백을 통해 사용자에게 입력 타이밍을 알려줄 수 있어, 게임에 사용자 직관성을 부여할 수 있다. According to the above-described implementation example, input timing can be notified to the user through thermal feedback, thereby providing user intuitiveness to the game.
4.8. 제8 구현예4.8. Implementation Example 8
본 발명의 실시예에 따른 열적 경험 제공 방법의 제8 구현예는, 게임 내의 가상 공간의 속성에 따른 열적 피드백을 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.An eighth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by outputting thermal feedback according to properties of a virtual space within a game.
도 57은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제8 구현예의 순서도이다. Figure 57 is a flowchart of an eighth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 57을 참조하면, 열적 경험 제공 방법의 제8 구현예는, 가상 공간에 온도 속성이 부여된 게임을 실행하는 단계(S810), 가상 공간에 진입 시 가상 공간의 온도 속성에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S820), 열적 피드백 개시 신호를 전송하는 단계(S830) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S840)를 포함할 수 있다. Referring to FIG. 57, an eighth embodiment of a method for providing a thermal experience may include a step of executing a game in which a temperature attribute is assigned to a virtual space (S810), a step of generating a thermal feedback initiation signal including thermal feedback information corresponding to the temperature attribute of the virtual space upon entering the virtual space (S820), a step of transmitting the thermal feedback initiation signal (S830), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S840).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 가상 공간에 온도 속성이 부여된 게임을 실행할 수 있다(S810). 콘트롤러(1260)는 게임을 실행할 수 있다. 게임 내의 가상 공간에는 온도 속성이 부여되어 있을 수 있다. 예를 들어, 메모리(1240)나 게임 프로그램 내에는 영역-온도 속성 테이블이 저장되어 있을 수 있으며, 영역-온도 속성 테이블에는 영역 별로 온도 속성이 매칭되어 있을 수 있다.The content playback device (1200) can execute a game in which a temperature attribute is assigned to a virtual space (S810). The controller (1260) can execute the game. A temperature attribute may be assigned to a virtual space in the game. For example, a region-temperature attribute table may be stored in the memory (1240) or the game program, and the region-temperature attribute table may match temperature attributes by region.
도 58은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제8 구현예에서 게임 내의 가상 공간을 도시한 도면이다.FIG. 58 is a diagram illustrating a virtual space within a game in an eighth implementation example of a method for providing a thermal experience according to an embodiment of the present invention.
도 58을 참조하면, 게임 내의 가상 공간에는 글로벌 영역으로서 화염 지역, 빙하 지역, 평야 지역, 호수 지역 등이 포함될 수 있다. 여기서, 화염 영역에는 온열 속성이 부여되어 있고, 빙하 영역에는 냉열 속성이 부여되어 있을 수 있다. Referring to Figure 58, the virtual space within the game may include a flame region, a glacier region, a plain region, a lake region, etc. as global regions. Here, the flame region may be given a heat attribute, and the glacier region may be given a cold attribute.
콘텐츠 재생 디바이스(1200)는 가상 공간에 진입 시 가상 공간의 온도 속성에 대응하는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S820).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback information corresponding to the temperature property of the virtual space when entering the virtual space (S820).
콘트롤러(1260)는 실시간으로 플레이어블 캐릭터 또는 가상 현실 게임에서 가상 공간 내의 사용자의 위치를 확인하여 현재 위치한 영역을 판단할 수 있다. 또는 콘트롤러(1260)는 플레이어블 캐릭터나 가상 공간 내의 사용자가 특정 영역에 진입하면 진입 영역을 판단할 수 있다. 현재 영역 또는 진입 영역이 판단되면, 콘트롤러(1260)는 영역-온도 테이블을 참조하여 해당 영역의 온도 속성에 따라 열적 피드백 정보를 결정할 수 있다. The controller (1260) can determine the current location of a playable character or a user within a virtual space in a virtual reality game in real time. Alternatively, the controller (1260) can determine the entry area when a playable character or a user within a virtual space enters a specific area. Once the current area or entry area is determined, the controller (1260) can refer to an area-temperature table to determine thermal feedback information according to the temperature property of the corresponding area.
일 예로, 온도 속성에 따라 열적 피드백의 종류가 결정될 수 있다. 예를 들어, 열적 피드백의 종류는 온열 속성인 경우에는 온감 피드백으로, 냉열 속성인 경우에는 냉감 피드백으로 결정될 수 있다. For example, the type of thermal feedback can be determined based on the temperature property. For example, the type of thermal feedback can be determined as a warm feedback in the case of a warm property, and as a cold feedback in the case of a cold property.
다른 예로, 온도 속성에 따라 열적 피드백의 강도가 결정될 수 있다. 예를 들어, 온도 속성에는 온도값에 해당하는 수치가 포함될 수 있으며, 콘트롤러(1260)는 그 수치에 따라 열적 피드백의 강도를 결정할 수 있다. As another example, the intensity of thermal feedback may be determined based on a temperature attribute. For example, the temperature attribute may include a numerical value corresponding to a temperature value, and the controller (1260) may determine the intensity of thermal feedback based on the numerical value.
열적 피드백 강도가 결정되면, 콘트롤러(1260)는 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다. Once the thermal feedback strength is determined, the controller (1260) can generate a thermal feedback initiation signal including thermal feedback strength information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S830), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S840). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S830), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S840).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
한편, 본 구현예에서는 플레이어블 캐릭터나 가사 현실에서 사용자가 복수의 영역에 위치할 수 있다. 가상 공간에서 구현되는 영역에는 등급이 있을 수 있으며, 상위 등급의 영역은 하위 등급의 영역을 포함할 수 있다. 예를 들어, 가상 공간은 가장 큰 영역 등급인 글로벌 영역, 글로벌 영역의 하위 영역으로서 글로벌 영역에 포함되는 로컬 영역, 로컬 영역의 하위 영역으로서 로컬 영역에 포함되는 서브-로컬 영역 등이 있을 수 있다. 도 58을 참조하면, 화염 지역에는 화산 영역이 포함되고, 호수 지역에는 산 영역, 호수 영역이 포함되고, 평야 지역에는 호수 영역, 마을 영역이 포함되고, 빙하 지역에는 온천 영역, 마을 영역이 포함될 수 있다. 여기서, 화염 지역, 평야 지역, 호수 지역, 빙하 지역을 로컬 영역으로 하면, 그 하위 영역이 서브-로컬 영역이 될 수 있다. Meanwhile, in the present implementation example, a playable character or a user in the lyric reality can be located in multiple areas. Areas implemented in the virtual space can have levels, and areas of a higher level can include areas of a lower level. For example, the virtual space can have a global area which is the largest area level, a local area which is included in the global area as a lower level area of the global area, and a sub-local area which is included in the local area as a lower level area of the local area. Referring to FIG. 58, a fire area can include a volcano area, a lake area can include a mountain area and a lake area, a plain area can include a lake area and a village area, and a glacier area can include a hot spring area and a village area. Here, if a fire area, a plain area, a lake area, and a glacier area are local areas, their lower levels can become sub-local areas.
여기서, 플레이어가 빙하 지역에 있을 때에는 빙하 지역에는 냉감 피드백이 할당되어 있지만, 빙하 지역의 서브 영역이 온천 영역에는 온감 피드백이 할당되어 있을 수 있다. 이때에는 플레이어가 온천 영역에 있다면, 플레이어는 빙하 영역과 온천 영역에 동시에 존재하는 것이다. 이때에는 상위 영역보다 하위 영역에 할당된 열적 피드백을 인가할 수 있다. 즉, 온천 지역에서는 온감 피드백을 주고, 다시 온천 지역에서 빙하 지역으로 나오면 빙하 지역에 따른 냉감 피드백을 주는 것이다. 또 화염 지역에는 약한 열감 피드백이, 화산 지역에는 강한 열적 피드백이 인가된 경우에도 화산 지역을 제외한 화염 지역에서는 약한 열적 피드백을 화산 지역에서는 강한 열적 피드백을 인가할 수 있다. Here, when the player is in the glacier area, the glacier area may have a cold feedback assigned to it, but the hot spring area, a sub-area of the glacier area, may have a warm feedback assigned to it. At this time, if the player is in the hot spring area, the player exists in both the glacier area and the hot spring area at the same time. At this time, the thermal feedback assigned to the lower area may be applied rather than the upper area. That is, the hot spring area may provide a warm feedback, and when the player exits the hot spring area back to the glacier area, the cold feedback according to the glacier area may be applied. Also, even if a weak thermal feedback is applied to the flame area and a strong thermal feedback is applied to the volcano area, the weak thermal feedback may be applied to the flame area excluding the volcano area, and the strong thermal feedback may be applied to the volcano area.
이와 같이 사용자가 복수의 영역에 위치하는 경우, 콘텐츠 재생 디바이스(1200)는 어느 위치에 대한 열적 경험을 제공할 것인지를 판단할 수 있다. 구체적으로 콘트롤러(1260)는 영역의 등급에 따라 열적 경험과 관련될 영역을 판단할 수 있다. 예를 들어, 콘트롤러(1260)는 복수의 영역에 위치하는 경우 보다 좁은 영역, 즉 복수 영역 중 등급이 낮은 하위 영역을 대상 영역으로 판단하고, 대상 영역의 온도 속성에 대응되는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다. In this way, when a user is located in multiple areas, the content playback device (1200) can determine which location to provide the thermal experience for. Specifically, the controller (1260) can determine an area to be related to the thermal experience based on the grade of the area. For example, when the user is located in multiple areas, the controller (1260) can determine a narrower area, that is, a lower grade area among the multiple areas, as the target area, and generate a thermal feedback initiation signal including thermal feedback information corresponding to the temperature property of the target area.
상술한 본 구현예에 따르면, 가상 공간 상에 플레이어블 캐릭터가 진입한 경우 또는 가상 현실에서 사용자가 가상 공간에 진입한 경우, 그 지역의 환경에 적합한 열적 피드백을 출력함으로써 사용자에게 현실적인 열적 경험을 제공할 수 있다. According to the above-described implementation example, when a playable character enters a virtual space or a user enters a virtual space in virtual reality, a realistic thermal experience can be provided to the user by outputting thermal feedback suitable for the environment of the area.
4.9. 제9 구현예 4.9. 9th implementation example
본 발명의 실시예에 따른 열적 경험 제공 방법의 제9 구현예는, 게임 내의 피격 이벤트에 따른 열적 피드백을 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A ninth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by outputting thermal feedback according to a hit event in a game.
도 59는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제9 구현예의 순서도이다. FIG. 59 is a flowchart of a ninth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 59를 참조하면, 열적 경험 제공 방법의 제9 구현예는, 가상 오브젝트에 의한 피격 이벤트의 처리를 위해 콜리전 이벤트 및 트리거 이벤트를 지원하는 물리 엔진을 이용하는 게임을 실행하는 단계(S910), 플레이어블 캐릭터 또는 가상 현실 게임에서의 사용자에 대한 가상 오브젝트에 의한 피격 이벤트 발생 시 그 처리 방식이 콜리전 이벤트 및 트리거 이벤트인지에 대응되도록 결정된 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S920), 열적 피드백 개시 신호를 전송하는 단계(S930) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S940)를 포함할 수 있다. Referring to FIG. 59, a ninth embodiment of a method for providing a thermal experience may include a step (S910) of executing a game that uses a physics engine that supports collision events and trigger events for processing a hit event by a virtual object, a step (S920) of generating a thermal feedback initiation signal including thermal feedback information determined to correspond to whether a processing method of a hit event by a virtual object for a playable character or a user in a virtual reality game is a collision event and a trigger event, a step (S930) of transmitting the thermal feedback initiation signal, and a step (S940) of performing a thermal feedback output operation according to the thermal feedback initiation signal, outputting thermal feedback corresponding to the thermal feedback information.
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 가상 오브젝트에 의한 피격 이벤트의 처리를 위해 콜리전 이벤트 및 트리거 이벤트를 지원하는 물리 엔진을 이용하는 게임을 실행할 수 있다(S910).The content playback device (1200) can execute a game that uses a physics engine that supports collision events and trigger events to process hit events by virtual objects (S910).
콘트롤러(1260)는 게임을 실행할 수 있다. 본 구현예에서 실행되는 게임은 물리 엔진을 이용하여 가상 공간 내에서 발생하는 가상 오브젝트에 의한 피격 이벤트를 처리하는 게임일 수 있다. The controller (1260) can execute a game. The game executed in this implementation example may be a game that processes a hit event by a virtual object occurring in a virtual space using a physics engine.
여기서, 물리 엔진이란 컴퓨터 그래픽스, 비디오 게임, 영화 등의 기술 분야에서 물리 현상을 시뮬레이션하기 위해 사용되는 소프트웨어이다. 물리 엔진은 상술한 분야에서 주로 영상 처리 시 현실감을 불어넣기 위해 활용되고 있으며, 게임 분야에서는 실시간으로 물리 현상을 연산하는 미들웨어 형태로 제공되고 있다. 물리 엔진의 대표적인 기능으로는, 가상 오브젝트 간의 충돌 처리나 광원 처리 등을 들 수 있다. Here, a physics engine is software used to simulate physical phenomena in technical fields such as computer graphics, video games, and movies. Physics engines are mainly used in the aforementioned fields to add a sense of realism to image processing, and in the game field, they are provided in the form of middleware that calculates physical phenomena in real time. Representative functions of physics engines include collision processing between virtual objects and light source processing.
또 피격 이벤트는 사용자에 의해 조작되는 플레이어블 캐릭터 또는 가상 현실에서의 사용자가 가상 오브젝트에 의해 맞는 것(get hit)을 의미한다. 본 구현예에서 게임은 피격 이벤트를 물리 엔진을 이용해 콜리전 이벤트 또는 트리거 이벤트로 처리할 수 있다. A hit event also means that a playable character controlled by a user or a user in a virtual reality gets hit by a virtual object. In this implementation, the game can process a hit event as a collision event or a trigger event using a physics engine.
구체적으로 물리 엔진은 가상 오브젝트에 충돌 판정 속성을 부여할 수 있다. 충돌 판정 속성은 콜리전 속성과 트리거 속성을 포함할 수 있다. 물리 엔진으로 구현된 가상 공간에서 콜리전 속성이 부여된 가상 오브젝트는 다른 가상 오브젝트와 충돌할 수 있는 것으로 처리된다. 반대로 트리거 속성이 부여된 가상 오브젝트는 다른 가상 오브젝트와 충돌하지 않는 것으로 처리된다. Specifically, the physics engine can grant collision detection properties to virtual objects. The collision detection properties can include collision properties and trigger properties. In a virtual space implemented by the physics engine, a virtual object granted collision properties is treated as being able to collide with other virtual objects. Conversely, a virtual object granted trigger properties is treated as not colliding with other virtual objects.
따라서, 두 개의 가상 오브젝트의 적어도 일부가 가상 공간 내에서 동일한 좌표에 위치하게 되는 경우, 두 가상 오브젝트의 속성이 모두 콜리전인 경우에는 물리 엔진은 이를 콜리전 이벤트로 처리하고, 두 가상 오브젝트 중 적어도 하나의 속성이 트리거인 경우에는 물리 엔진은 이를 트리거 이벤트로 처리할 수 있다. 여기서, 콜리전 이벤트에 의하면 두 가상 오브젝트의 공간이 서로 겹쳐지지 않고 현실 세계에서 발생하는 물체 간의 충돌처럼 반응하며, 트리거 이벤트에 의하면 두 가상 오브젝트의 공간이 서로 중첩되어 하나의 오브젝트가 다른 오브젝트를 통과하게 된다. Therefore, when at least part of two virtual objects are positioned at the same coordinates within the virtual space, if both properties of the two virtual objects are collisions, the physics engine can process this as a collision event, and if at least one property of the two virtual objects is a trigger, the physics engine can process this as a trigger event. Here, according to the collision event, the spaces of the two virtual objects do not overlap each other and react like a collision between objects that occurs in the real world, and according to the trigger event, the spaces of the two virtual objects overlap each other and one object passes through the other.
플레이어블 캐릭터나 가상 현실의 사용자는 주로 콜리전 속성을 가지므로, 물리 엔진은 타격물, 즉 플레이어블 캐릭터나 가상 현실의 사용자가 맞은 가상 오브젝트의 충돌 판정 속성이 콜리전 속성인 경우에는 콜리전 이벤트를 발생시키고, 트리거 속성인 경우에는 트리거 이벤트를 발생시킬 수 있다. Since playable characters or virtual reality users mainly have collision properties, the physics engine can generate a collision event if the collision detection property of the hit object, i.e. the virtual object that the playable character or virtual reality user hits, is the collision property, and can generate a trigger event if it is the trigger property.
예를 들어, 플레이어블 캐릭터가 높은 곳으로부터 지면에 낙하하는 경우에는 지면은 주로 콜리전 속성을 가지므로 콜리전 이벤트가 발생할 수 있다. 유사하게 게임 내의 다른 캐릭터나 차량 등도 주로 콜리전 속성을 가지므로 피격 시 콜리전 이벤트를 발생시킬 수 있다. 다른 예를 들어, 슈팅 게임에서 총알은 주로 트리거 속성을 부여받으므로, 캐릭터가 총알에 피격되면 트리거 이벤트가 발생하게 된다. For example, when a playable character falls from a high place to the ground, a collision event can occur because the ground mainly has collision properties. Similarly, other characters or vehicles in the game mainly have collision properties and can cause collision events when hit. For another example, in a shooting game, bullets are mainly given trigger properties, so when a character is hit by a bullet, a trigger event occurs.
콘텐츠 재생 디바이스(1200)는 플레이어블 캐릭터 또는 가상 현실 게임에서의 사용자에 대한 가상 오브젝트에 의한 피격 이벤트 발생 시 그 처리 방식이 콜리전 이벤트 및 트리거 이벤트인지에 대응되도록 결정된 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S920).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback information determined to correspond to whether the processing method is a collision event or a trigger event when a hit event occurs by a virtual object to a playable character or a user in a virtual reality game (S920).
콘트롤러(1260)는 피격 이벤트 발생 시 그 처리 방식이 콜리전 이벤트인지 트리거 이벤트인지 여부를 판단할 수 있다. 이는 타격물의 타격 판정 속성에 따라 판단될 수 있다. 콘트롤러(1260)는 콜리전 이벤트와 트리거 이벤트에 대해 열적 피드백의 강도를 다른 방식으로 결정할 수 있다.The controller (1260) can determine whether the processing method of a hit event is a collision event or a trigger event when a hit event occurs. This can be determined based on the hit judgment property of the striking object. The controller (1260) can determine the strength of thermal feedback for a collision event and a trigger event in different ways.
일 예로, 콘트롤러(1260)는 피격 이벤트가 콜리전 이벤트인 경우에는 물리 엔진에서 연산된 충격량에 기초하여 열적 피드백의 강도를 결정할 수 있다. 예를 들어, 충격량이 클수록 열적 피드백의 강도를 강하게 설정할 수 있다. 이때 물리 엔진에서 충격량은 가상 오브젝트의 상대적인 속도와 가상 오브젝트에 부여된 질량값에 기초하여 산출될 수 있다. 즉, 타격물의 질량이 크고, 캐릭터에 대한 상대속도가 빠를수록 열적 피드백의 강도가 강하게 결정될 수 있다. For example, the controller (1260) can determine the intensity of thermal feedback based on the amount of impact calculated in the physics engine when the hit event is a collision event. For example, the greater the amount of impact, the stronger the intensity of thermal feedback can be set. At this time, the amount of impact in the physics engine can be calculated based on the relative speed of the virtual object and the mass value assigned to the virtual object. In other words, the greater the mass of the striking object and the faster the relative speed to the character, the stronger the intensity of thermal feedback can be determined.
다른 예로, 콘트롤러(1260)는 피격 이벤트가 트리거 이벤트인 경우에는 트리거 이벤트 시에는 물리 엔진에서 충격량을 산출하지 않으므로 가상 오브젝트의 속도나 가상 오브젝트의 종류 또는 가상 오브젝트의 발사체의 종류에 따라 열적 피드백의 강도를 결정할 수 있다. 예를 들어, 트리거 속성을 가진 총알에 의해 피격되면, 콘트롤러(1260)는 가상 공간 내에서 총알의 절대 속도가 클수록 열적 피드백의 강도를 강하게 판단할 수 있다. 다른 예를 들어, 트리거 속성을 가진 총알에 의해 피격되면, 콘트롤러(1260)는 총알의 종류에 따라 열적 피드백의 강도를 결정할 수 있다. 또 다른 예를 들어, 트리거 속성을 가진 총알에 의해 피격되면, 콘트롤러(1260)는 총알을 발사한 무기의 종류에 따라 열적 피드백의 강도를 결정할 수 있다. 이때 콘트롤러(1260)는 무기의 종류 별로 열적 피드백 강도가 설정된 테이블을 참조할 수 있다. 이를 테면, 위력이 강한 무기일수록 열적 피드백 강도가 강할 수 있다. 여기서, 총알이나 무기의 종류에 따라 열적 피드백의 강도를 설정하기 위해 콘트롤러(1260)는 총알/발사체의 종류 별 열적 피드백 강도가 설정된 테이블을 참조할 수 있다.As another example, the controller (1260) may determine the intensity of thermal feedback according to the speed of the virtual object, the type of the virtual object, or the type of the projectile of the virtual object when the hit event is a trigger event, since the physics engine does not calculate the impulse at the time of the trigger event. For example, when hit by a bullet with a trigger property, the controller (1260) may determine the intensity of thermal feedback to be stronger as the absolute velocity of the bullet in the virtual space increases. As another example, when hit by a bullet with a trigger property, the controller (1260) may determine the intensity of thermal feedback according to the type of bullet. As another example, when hit by a bullet with a trigger property, the controller (1260) may determine the intensity of thermal feedback according to the type of weapon that fired the bullet. At this time, the controller (1260) may refer to a table in which the intensity of thermal feedback is set according to the type of weapon. For example, the stronger the weapon, the stronger the thermal feedback intensity. Here, in order to set the intensity of thermal feedback according to the type of bullet or weapon, the controller (1260) can refer to a table in which the intensity of thermal feedback is set according to the type of bullet/projectile.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S930), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S940). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S930), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S940).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 가상 공간 상에 발생하는 피격 이벤트에 대하여 현실감 있는 열적 피드백을 출력하여 사용자에게 현실감을 줄 수 있다. 특히, 콜리전 속성의 가상 오브젝트에 의해 피격되는 경우에는 물리 엔진에서 산출된 충격량을 이용하여 열적 피드백의 강도를 조절함으로써 실제 현실과 부합되는 열적 피드백을 얻을 수 있다. 또 트리거 속성의 가상 오브젝트는 충격량을 산출하기 어려운 부분이 있으므로, 피격에 따른 연산량을 간단하면서도 현실적으로 처리하기 위하여 충격량 대신 적절한 다른 파라미터를 이용할 수 있다. According to the above-described implementation example, realistic thermal feedback can be output for a hit event occurring in a virtual space, thereby providing a sense of reality to the user. In particular, when hit by a virtual object with a collision property, the intensity of the thermal feedback can be adjusted using the impulse calculated by the physics engine, thereby obtaining thermal feedback that matches actual reality. In addition, since it is difficult to calculate the impulse for a virtual object with a trigger property, other appropriate parameters can be used instead of the impulse in order to simply and realistically process the amount of calculation according to the hit.
4.10. 제10 구현예4.10. Implementation Example 10
본 발명의 실시예에 따른 열적 경험 제공 방법의 제10 구현예는, 게임 내의 가상 오브젝트의 열 전달 속성에 따라 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A tenth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback according to the heat transfer properties of a virtual object in a game.
도 60은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제10 구현예의 순서도이다. FIG. 60 is a flowchart of a tenth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 60를 참조하면, 열적 경험 제공 방법의 제10 구현예는, 열 전달 속성이 부여된 가상 오브젝트를 포함하는 게임을 실행하는 단계(S1010), 가상 오브젝트의 열 전달 속성을 고려하여 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S1020), 열적 피드백 개시 신호를 전송하는 단계(S1030) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1040)를 포함할 수 있다. Referring to FIG. 60, a tenth embodiment of a method for providing a thermal experience may include a step of executing a game including a virtual object to which heat transfer properties are granted (S1010), a step of generating a thermal feedback initiation signal including thermal feedback information by considering the heat transfer properties of the virtual object (S1020), a step of transmitting the thermal feedback initiation signal (S1030), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S1040).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 열 전달 속성이 부여된 가상 오브젝트를 포함하는 게임을 실행할 수 있다(S1010). A content playback device (1200) can execute a game including a virtual object endowed with heat transfer properties (S1010).
콘트롤러(1260)는 게임을 실행할 수 있다. 한편, 본 구현예에서 게임은 가상 오브젝트를 포함하며, 가상 오브젝트에는 열 전달 속성이 부여될 수 있다. 여기서, 열 전달 속성은 가상 오브젝트가 사용자에게 열을 전달하는 방식을 지시할 수 있다. The controller (1260) can execute a game. Meanwhile, in the present implementation, the game includes a virtual object, and the virtual object can be endowed with a heat transfer property. Here, the heat transfer property can indicate how the virtual object transfers heat to the user.
열 전달 속성이 부여된 가상 오브젝트는 게임 내에서 열원으로 취급될 수 있다. 열원에는 전도 열원 및 복사 열원이 포함될 수 있다. 전도 열원은 사용자(또는 플레이어블 캐릭터)와 실질적으로 접촉된 경우에만 열을 전달할 수 있다. 복사 열원은 사용자(또는 플레이어블 캐릭터)와 이격된 상태에서도 열을 전달할 수 있다. Virtual objects with heat transfer properties can be treated as heat sources within the game. Heat sources can include conductive heat sources and radiant heat sources. A conductive heat source can transfer heat only when in physical contact with the user (or playable character). A radiant heat source can transfer heat even when separated from the user (or playable character).
콘텐츠 재생 디바이스(1200)는 가상 오브젝트의 열 전달 속성을 고려하여 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S1020).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback information by considering the heat transfer properties of the virtual object (S1020).
콘트롤러(1260)는 가상 오브젝트의 열 전달 속성을 고려하여 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다. The controller (1260) can generate a thermal feedback initiation signal including thermal feedback information by considering the heat transfer properties of the virtual object.
일 예로, 콘트롤러(1260)는 가상 오브젝트의 열 전달 속성이 전도 열원인 경우 사용자(또는 플레이어블 캐릭터)와 가상 오브젝트의 접촉 여부를 판단할 수 있다. 콘트롤러(1260)는 전도 열원에 대하여 사용자(또는 플레이어블 캐릭터)와 접촉된 경우에 열적 피드백 개시 신호를 생성할 수 있다. 이때 콘트롤러(1260)는 전도 열원에 부여된 온도에 기초하여 열적 피드백의 종류 및 열적 피드백의 강도를 결정할 수 있다. 반대로 콘트롤러(1260)는 전도 열원에 대하여 사용자(또는 플레이어블 캐릭터)와 이격된 경우에는 열적 피드백 개시 신호를 생성하지 않을 수 있다. For example, the controller (1260) may determine whether the user (or the playable character) is in contact with the virtual object if the heat transfer property of the virtual object is a conductive heat source. The controller (1260) may generate a thermal feedback initiation signal if the user (or the playable character) is in contact with the conductive heat source. At this time, the controller (1260) may determine the type and intensity of the thermal feedback based on the temperature applied to the conductive heat source. Conversely, the controller (1260) may not generate a thermal feedback initiation signal if the user (or the playable character) is separated from the conductive heat source.
다른 예로, 콘트롤러(1260)는 가상 오브젝트의 열 전달 속성이 복사 열원인 경우 사용자(또는 플레이어블 캐릭터)와 가상 오브젝트가 이격된 경우에도 열적 피드백 개시 신호를 생성할 수 있다. 이때, 콘트롤러(1260)는 복사 열원에 부여된 온도에 기초하여 열적 피드백의 종류를 결정할 수 있다. 또 콘트롤러(1260)는 박사 열원에 부여된 온도에 따라 열적 피드백 강도를 결정할 수 있다. As another example, the controller (1260) may generate a thermal feedback initiation signal even when the user (or playable character) and the virtual object are separated from each other if the heat transfer property of the virtual object is a radiant heat source. In this case, the controller (1260) may determine the type of thermal feedback based on the temperature applied to the radiant heat source. In addition, the controller (1260) may determine the intensity of the thermal feedback based on the temperature applied to the radiant heat source.
한편, 복사 열원에 대한 열적 피드백 정보를 결정할 때 콘트롤러(1260)는 복사 열원의 종류 및 사용자(또는 플레이어블 캐릭터)와 복사 열원 간의 거리를 더 고려할 수 있다. Meanwhile, when determining thermal feedback information for a radiant heat source, the controller (1260) may further consider the type of radiant heat source and the distance between the user (or playable character) and the radiant heat source.
복사 열원은 열원으로의 거리와 전달하는 열의 관계에 따라 몇 가지 종류로 구분될 수 있다. 예를 들어, 복사 열원에는 방사 열원, 디렉셔널 열원 및 에어리어 열원이 포함될 수 있다. 여기서, 방사 열원은 열원으로부터의 거리가 멀어질수록 전달되는 열이 약해지는 열원이다. 또 디렉셔널 열원은 열원으로부터의 거리와 무관하게 항상 일정한 열을 전달하는 열원이다. 또 에어리어 열원은 열원으로부터 설정된 거리 이내인 영역까지만 열을 전달하고, 설정된 거리를 넘어선 영역에는 열을 전달하지 않는 열원이다. 또 에어리어 열원은 설정된 거리 이내의 영역에 대해서는, 항상 일정한 열원을 전달하거나 또는 거리가 멀어질수록 약한 열을 전달하는 것으로 설정될 수 있다. Radiant heat sources can be classified into several types according to the relationship between the distance to the heat source and the heat transferred. For example, radiant heat sources can include radiant heat sources, directional heat sources, and area heat sources. Here, a radiant heat source is a heat source that transfers less heat as the distance from the heat source increases. In addition, a directional heat source is a heat source that always transfers constant heat regardless of the distance from the heat source. In addition, an area heat source is a heat source that transfers heat only to an area within a set distance from the heat source, and does not transfer heat to an area beyond the set distance. In addition, an area heat source can be set to always transfer constant heat to an area within a set distance, or to transfer weaker heat as the distance increases.
따라서, 콘트롤러(1260)는 복사 열원이 방사 열원인 경우에는 사용자(또는 플레이어블 캐릭터)와의 거리가 가까워질수록 열적 피드백 강도를 강하게 설정할 수 있다. 반대로 콘트롤러(1260)는 복사 열원이 디렉셔널 열원인 경우 사용자(또는 플레이어블 캐릭터)와의 거리와 무관하게 열원의 온도만 고려하여 열적 피드백 강도를 설정할 수 있다. 또 콘트롤러(1260)는 복사 열원이 에어리어 열원인 경우에는 사용자(또는 플레이어블 캐릭터)가 열원으로부터 미리 정해진 영역 내에 있는 경우에는 열원의 온도에 따라 열적 피드백 강도를 결정하거나 열원의 온도와 사용자(또는 플레이어블 캐릭터)에 대한 열원의 거리와 열원의 온도를 고려하여 열적 피드백 강도를 결정할 수 있으며, 사용자(또는 플레이어블 캐릭터)가 미리 정해진 영역 밖에 있는 경우에는 열적 피드백 개시 신호를 생성하지 않을 수 있다. Accordingly, the controller (1260) can set the thermal feedback intensity to be stronger as the distance to the user (or the playable character) gets closer when the radiant heat source is a radiant heat source. Conversely, the controller (1260) can set the thermal feedback intensity by considering only the temperature of the heat source regardless of the distance to the user (or the playable character) when the radiant heat source is a directional heat source. In addition, when the radiant heat source is an area heat source, the controller (1260) can determine the thermal feedback intensity according to the temperature of the heat source when the user (or the playable character) is within a predetermined area from the heat source, or can determine the thermal feedback intensity by considering the temperature of the heat source, the distance from the heat source to the user (or the playable character), and the temperature of the heat source, and can not generate a thermal feedback initiation signal when the user (or the playable character) is outside the predetermined area.
한편, 게임 내에서 열원에 의해 전달되는 열을 계산하기 위해서 본 구현예의 게임은 본 발명의 실시예에 따른 열적 경험 제공 방법에서 설명한 물리 엔진을 이용할 수도 있다. Meanwhile, in order to calculate the heat transferred by the heat source within the game, the game of the present implementation may also use the physics engine described in the method for providing a thermal experience according to an embodiment of the present invention.
이처럼 열적 피드백 정보가 결정되면 콘트롤러(1260)는 이를 포함한 열적 피드백 개시 신호를 생성할 수 있다. Once the thermal feedback information is determined in this way, the controller (1260) can generate a thermal feedback initiation signal including the thermal feedback information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1030), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1040). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1030), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1040).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 가상 공간 상에서 열원의 거리에 따라 사용자나 플레이어블 캐릭터에 전달되는 열을 계산하여 그에 부합하는 열적 피드백을 출력함으로써 사용자에게 현실감을 줄 수 있다. According to the above-described implementation example, the heat transferred to the user or the playable character according to the distance of the heat source in the virtual space is calculated and the corresponding thermal feedback is output, thereby providing a sense of realism to the user.
4.11. 제11 구현예 4.11. Implementation Example 11
본 발명의 실시예에 따른 열적 경험 제공 방법의 제11 구현예는, 게임 내의 가상 오브젝트의 열 전도도에 따라 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.An eleventh embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback according to the thermal conductivity of a virtual object in a game.
도 61은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제11 구현예의 순서도이다. FIG. 61 is a flowchart of an eleventh embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 61을 참조하면, 열적 경험 제공 방법의 제11 구현예는, 열 전도에 관련된 표면 속성이 부여된 가상 오브젝트를 포함하는 게임을 실행하는 단계(S1110), 가상 오브젝트에 대한 사용자 또는 플레이어블 캐릭터의 터치 이벤트 또는 그립 이벤트 발생 시 표면 속성과 관련되어 결정되는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S1120), 열적 피드백 개시 신호를 전송하는 단계(S1130) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1140)를 포함할 수 있다. Referring to FIG. 61, an eleventh embodiment of a method for providing a thermal experience may include a step of executing a game including a virtual object to which surface properties related to heat conduction are applied (S1110), a step of generating a thermal feedback initiation signal including thermal feedback information determined in relation to the surface properties when a touch event or a grip event of a user or a playable character for the virtual object occurs (S1120), a step of transmitting the thermal feedback initiation signal (S1130), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S1140).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 열적 경험 제공 방법의 제11 구현예는, 열 전도에 관련된 표면 속성이 부여된 가상 오브젝트를 포함하는 게임을 할 수 있다(S1110).The content playback device (1200) can play a game including a virtual object to which surface properties related to heat conduction are given (S1110) in the eleventh implementation example of the method for providing a thermal experience.
콘트롤러(1260)는 게임을 실행할 수 있다. 한편, 본 구현예에서 게임은 가상 오브젝트를 포함하며, 가상 오브젝트에는 열 전도에 관련된 표면 속성이 부여될 수 있다. 여기서, 표면 속성(재질 속성 또는 텍스처 속성)은 사용자(또는 플레이어블 캐릭터)가 가상 오브젝트를 그립하거나 터치한 경우 가상 오브젝트로부터 사용자(또는 플레이어블 캐릭터)에게 전달되는 열의 크기를 정의한 것이다. The controller (1260) can execute a game. Meanwhile, in the present implementation, the game includes a virtual object, and the virtual object can be provided with surface properties related to heat conduction. Here, the surface properties (material properties or texture properties) define the amount of heat transferred from the virtual object to the user (or the playable character) when the user (or the playable character) grips or touches the virtual object.
콘텐츠 재생 디바이스(1200)는 가상 오브젝트에 대한 사용자 또는 플레이어블 캐릭터의 터치 이벤트 또는 그립 이벤트 발생 시 가상 오브젝트의 표면 속성과 관련되어 결정되는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S1120).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback information determined in relation to surface properties of a virtual object when a touch event or grip event of a user or a playable character occurs for the virtual object (S1120).
콘트롤러(1260)는 터치 이벤트 또는 그립 이벤트가 발생한 경우에 열적 피드백 개시 신호를 생성할 수 있다. 여기서, 콘트롤러(1260)는 열적 피드백 개시 신호에 포함될 열적 피드백 정보를 판단할 수 있다. The controller (1260) can generate a thermal feedback initiation signal when a touch event or a grip event occurs. Here, the controller (1260) can determine thermal feedback information to be included in the thermal feedback initiation signal.
일 예로, 가상 오브젝트에 부여된 온도에 기초하여 열적 피드백의 종류를 결정할 수 있다. 예를 들어, 가상 오브젝트에 부여된 온도 및 온감 피드백, 냉감 피드백 및 열 그릴 피드백 중 열적 피드백 종류를 선택할 수 있다. 또 콘트롤러(1260)는 열원의 온도에 기초하여 열적 피드백의 강도를 결정할 수 있다.For example, the type of thermal feedback can be determined based on the temperature applied to the virtual object. For example, the type of thermal feedback can be selected from the temperature and warm feedback, cold feedback, and heat grill feedback applied to the virtual object. In addition, the controller (1260) can determine the intensity of the thermal feedback based on the temperature of the heat source.
이처럼 열적 피드백 정보가 결정되면 콘트롤러(1260)는 이를 포함한 열적 피드백 개시 신호를 생성할 수 있다. Once the thermal feedback information is determined in this way, the controller (1260) can generate a thermal feedback initiation signal including the thermal feedback information.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1030), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1040). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1030), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1040).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1130), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1140). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1130), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1140).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 가상 공간 상에서 가상 오브젝트와 사용자 간의 터치 또는 그립 시 그에 부합하는 열적 피드백을 출력함으로써 사용자에게 현실감을 줄 수 있다. According to the above-described implementation example, a sense of reality can be provided to the user by outputting thermal feedback corresponding to the touch or grip between the virtual object and the user in the virtual space.
4.12. 제12 구현예4.12. Implementation Example 12
본 발명의 실시예에 따른 열적 경험 제공 방법의 제12 구현예는, 게임 내의 열적 이벤트 발생 시 열적 이벤트의 우선 순위를 고려해 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A twelfth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback while considering the priority of a thermal event when a thermal event occurs in a game.
게임을 비롯한 멀티미디어 환경에서 열적 이벤트가 동시에 발생할 수 있다. In multimedia environments including games, thermal events can occur simultaneously.
여기서, 열적 이벤트란 열적 피드백의 출력을 유도하는 이벤트를 의미한다. 열적 이벤트의 예에는, 상술한 열적 경험 제공 방법의 제6 구현예에서 체력 포인트에 변화가 발생하는 것, 상술한 열적 경험 제공 방법의 제8 구현예에서 온도 속성이 부여된 영역에 진입하는 것 또는 상술한 열적 경험 제공 방법의 제9 구현예에서 피격 이벤트 등이 포함될 수 있다. Here, a thermal event means an event that induces the output of thermal feedback. Examples of thermal events may include, for example, a change in stamina points in the sixth embodiment of the thermal experience provision method described above, entering an area to which a temperature attribute is assigned in the eighth embodiment of the thermal experience provision method described above, or a hit event in the ninth embodiment of the thermal experience provision method described above.
예를 들어, 냉감 피드백을 유도하는 영역에 플레이어 캐릭터가 진입한 상태에서 온감 피드백을 유도하는 피격 이벤트가 발생할 수 있다.For example, a hit event that induces warm feedback may occur while the player character is entering an area that induces cold feedback.
이때에는, 콘텐츠 재생 디바이스(1200)는 열적 이벤트들의 우선 순위를 판단하고, 우선 순위가 앞선 열적 이벤트에 대해서 열적 피드백을 출력하도록 할 수 있다. At this time, the content playback device (1200) can determine the priority of thermal events and output thermal feedback for thermal events with higher priority.
예를 들면, 냉감 피드백을 유도하는 호수 영역에서 온감 피드백을 유도하는 총탄에 피격된 경우에는, 호수 영역의 진입에 따른 우선 순위와 총탄 피격에 따른 우선 순위를 판단하고, 총탄 피격에 따른 우선 순위가 높은 경우에는 온감 피드백을 우선적으로 출력할 수 있을 것이다.For example, if you are hit by a bullet that induces warm feedback in a lake area that induces cold feedback, you can determine the priority of entering the lake area and the priority of being hit by the bullet, and if the priority of being hit by the bullet is high, you can output the warm feedback first.
구체적으로 콘트롤러(1260)는 열적 피드백을 유도하는 영역에 진입한 상태에서 열적 피드백을 유도하는 피격 이벤트가 발생한 경우, 피격 이벤트에 따른 열적 피드백의 종료 시점까지는 피격 이벤트에 따른 열적 피드백의 출력을 영역 진입에 따른 열적 피드백의 출력보다 우선하도록 하는 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 생성하고, 통신 모듈(1220)을 통해 피드백 디바이스(1600)에 이를 전달해 피드백 콘트롤러(1645)가 열적 피드백 정보에 따라 열적 피드백 출력 동작을 수행하도록 할 수 있다. Specifically, when a hit event inducing thermal feedback occurs while the controller (1260) has entered an area inducing thermal feedback, the controller (1260) generates a thermal feedback initiation signal including thermal feedback information that prioritizes the output of the thermal feedback according to the hit event over the output of the thermal feedback according to the entry into the area until the end point of the thermal feedback according to the hit event, and transmits this to the feedback device (1600) through the communication module (1220) so that the feedback controller (1645) can perform a thermal feedback output operation according to the thermal feedback information.
이를 정리하면, 열적 이벤트에 영역을 진입하는 영역 진입 이벤트와 가상 오브젝트와의 플레이어가 상호 작용하는 오브젝트 이벤트가 있을 때, 오브젝트 이벤트에 따른 열적 피드백을 영역 진입 이벤트에 따른 열적 피드백에 우선 시 할 수 있는 것이다.To summarize, when there is an area entry event where the player enters an area due to a thermal event and an object event where the player interacts with a virtual object, the thermal feedback according to the object event can be given priority over the thermal feedback according to the area entry event.
구체적으로, 영역 진입 상태에서는 영역 이벤트에 따른 열적 피드백을 출력하되, 이 상태에서 오브젝트 이벤트가 발생하면 오브젝트 이벤트에 따른 열적 피드백을 출력한다. 이후 오브젝트 이벤트가 종료되면, 영역 이벤트에 따른 열적 이벤트를 재개할 수 있다. Specifically, in the region entry state, thermal feedback according to the region event is output, and if an object event occurs in this state, thermal feedback according to the object event is output. After the object event ends, the thermal event according to the region event can be resumed.
4.13. 제13 구현예4.13. Implementation Example 13
상술한 본 발명의 실시예에 따른 열적 경험 제공 방법의 제12 구현예는, 동시에 열적 이벤트가 발생한 경우, 어떤 열적 이벤트를 우선시 할 것인지에 관한 것이다.The twelfth embodiment of the thermal experience providing method according to the above-described embodiment of the present invention relates to which thermal event to prioritize when thermal events occur simultaneously.
그러나, 이와 달리 동시에 발생한 열적 이벤트에 대해서도 두 열적 이벤트를 조합하여 열적 피드백 출력하는 것도 가능하다. However, it is also possible to combine two thermal events to output thermal feedback for simultaneously occurring thermal events.
예를 들어, 온감 피드백과 냉감 피드백이 동시에 출력되는 경우에는 열 그릴 피드백을 출력할 수 있다. 이때 온감 피드백의 강도가 냉감 피드백의 강도보다 강한 경우, 콘텐츠 재생 디바이스(1200)는 온열 그릴 피드백을 출력하도록 하고, 반대의 경우에는 냉열 그릴 피드백을 출력하도록 할 수 있다. For example, when warm feedback and cold feedback are output at the same time, heat grill feedback can be output. In this case, when the intensity of the warm feedback is stronger than the intensity of the cold feedback, the content playback device (1200) can output warm grill feedback, and in the opposite case, cold grill feedback can be output.
즉, 콘트롤러(1260)는 온감 피드백을 유도하는 열적 이벤트 및 냉감 피드백을 유도하는 열적 이벤트가 동시에 열 그릴 피드백을 출력하도록 열적 피드백 개시 신호를 생성할 수 있다. 또 콘트롤러(1260)는 온감 피드백의 강도와 냉감 피드백의 강도를 비교하여 열 그릴 피드백의 종류를 결정할 수 있다. 예를 들어, 온감 피드백의 강도가 강한 경우에는 온열 그릴 피드백으로, 냉감 피드백의 강도가 강한 경우에는 냉열 그릴 피드백으로 열적 피드백의 종류를 결정할 수 있다. That is, the controller (1260) can generate a thermal feedback initiation signal so that a thermal event inducing a warm feedback and a thermal event inducing a cool feedback simultaneously output a thermal grill feedback. In addition, the controller (1260) can compare the intensity of the warm feedback and the intensity of the cool feedback to determine the type of the thermal grill feedback. For example, when the intensity of the warm feedback is strong, the type of thermal feedback can be determined as warm grill feedback, and when the intensity of the cool feedback is strong, the type of thermal feedback can be determined as cold grill feedback.
이후 콘트롤러(1260)는 통신 모듈(1220)을 통해 생성된 열적 피드백 개시 신호를 피드백 디바이스(1600)에 전달하고, 피드백 디바이스(1600)는 열적 피드백 개시 신호에 포함된 열적 피드백 정보를 참조하여 열적 피드백 출력 동작을 수행할 수 있다. Thereafter, the controller (1260) transmits the thermal feedback initiation signal generated through the communication module (1220) to the feedback device (1600), and the feedback device (1600) can perform a thermal feedback output operation by referring to the thermal feedback information included in the thermal feedback initiation signal.
4.14. 제14 구현예4.14. Implementation Example 14
본 발명의 실시예에 따른 열적 경험 제공 방법의 제14 구현예는, 게임 내의 열적 이벤트 발생 시 캐릭터의 열 저항도를 고려해 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A fourteenth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback while considering the thermal resistance of a character when a thermal event occurs in a game.
도 62는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제14 구현예의 순서도이다. Figure 62 is a flowchart of a 14th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 62를 참조하면, 열적 경험 제공 방법의 제14 구현예는, 플레이어 캐릭터 또는 가상 공간 내의 플레이어에 열적 저항도가 부여되는 게임을 실행하는 단계(S1410), 열적 이벤트 발생 시 열적 저항도를 고려하여 결정된 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S1420), 열적 피드백 개시 신호를 전송하는 단계(S1430) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1440)를 포함할 수 있다. Referring to FIG. 62, a 14th embodiment of a method for providing a thermal experience may include a step of executing a game in which a thermal resistance is applied to a player character or a player in a virtual space (S1410), a step of generating a thermal feedback initiation signal including thermal feedback intensity information determined in consideration of the thermal resistance when a thermal event occurs (S1420), a step of transmitting the thermal feedback initiation signal (S1430), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S1440).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 플레이어 캐릭터 또는 가상 공간 내의 플레이어에 열적 저항도가 부여되는 게임을 실행할 수 있다(S1410). The content playback device (1200) can execute a game in which thermal resistance is applied to a player character or a player within a virtual space (S1410).
콘트롤러(1260)는 게임을 실행할 수 있다. 여기서, 본 구현예에서 실행되는 게임에서는 플레이어 캐릭터 또는 가상 현실 내의 사용자 아바타에게 열적 저항도가 부여될 수 있다. 열적 저항도는 캐릭터나 아바타에 능력치 형태로 할당될 수 있다. 또는 게임 내에서 캐릭터나 아바타가 장착할 수 있는 무기나 방어구에도 열적 저항도가 부여될 수 있는데, 캐릭터나 아바타가 이들 장비를 장착한 경우에는 능력치 형태의 열적 저항도와 장비의 열적 저항도를 합산하는 형태로 캐릭터의 열적 저항도가 결정될 수 있다. The controller (1260) can execute a game. Here, in the game executed in the present embodiment, a thermal resistance can be granted to a player character or a user avatar in a virtual reality. The thermal resistance can be assigned to the character or avatar in the form of an ability value. Alternatively, a weapon or armor that a character or avatar can equip in the game can also be granted a thermal resistance, and when the character or avatar equips such equipment, the thermal resistance of the character can be determined by adding the thermal resistance in the form of an ability value and the thermal resistance of the equipment.
콘텐츠 재생 디바이스(1200)는 열적 이벤트 발생 시 열적 저항도를 고려하여 결정된 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S1420).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback intensity information determined by considering thermal resistance when a thermal event occurs (S1420).
콘트롤러(1260)는 열적 이벤트가 발생하면, 열적 이벤트에 따라 열적 피드백 정보를 처리할 수 있다. 이때, 캐릭터에 열적 저항도가 부여되어 있다면, 콘트롤러(1260)는 캐릭터의 열적 저항도를 더 고려하여 열적 피드백의 강도를 조정할 수 있다. 예를 들어, 열적 저항도가 높을수록 열적 피드백의 강도가 낮아질 수 있다. When a thermal event occurs, the controller (1260) can process thermal feedback information according to the thermal event. At this time, if the character is given a thermal resistance, the controller (1260) can adjust the intensity of the thermal feedback by further considering the thermal resistance of the character. For example, the higher the thermal resistance, the lower the intensity of the thermal feedback.
한편, 열적 저항도는 온감 저항도/냉감 저항도/통감 저항도로 분류되어 있을 수도 있다. 이 경우, 콘트롤러(1260)는 열적 이벤트가 발생하면, 열적 이벤트에 따라 유도되는 열적 피드백의 종류를 판단하고, 열적 피드백의 종류에 따라 고려할 열적 저항도의 종류를 선택하고, 선택된 열적 저항도에 따라 열적 피드백의 강도를 조정할 수 있다. Meanwhile, thermal resistance may be classified into hot resistance/cold resistance/passive resistance. In this case, when a thermal event occurs, the controller (1260) determines the type of thermal feedback induced by the thermal event, selects the type of thermal resistance to be considered according to the type of thermal feedback, and adjusts the intensity of the thermal feedback according to the selected thermal resistance.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1430), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1440). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1430), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1440).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 가상 공간 상에서 열적 저항도에 따라 열적 피드백의 강도가 조정됨에 따라 롤플레잉 게임(RPG: Role Playing Game) 등에서 캐릭터의 장비나 성장 정도를 반영하는 열적 경험을 제공할 수 있다. According to the above-described implementation example, the intensity of thermal feedback is adjusted according to thermal resistance in a virtual space, thereby providing a thermal experience that reflects the equipment or growth level of a character in a role-playing game (RPG).
4.15. 제15 구현예4.15. Implementation example 15
본 발명의 실시예에 따른 열적 경험 제공 방법의 제15 구현예는, 게임 내의 열적 이벤트 발생 시 시야(FOV: Field Of View)에 표시되는 열적 이벤트와 관련된 영상의 크기를 고려해 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A fifteenth embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback while considering the size of an image related to a thermal event displayed in a field of view (FOV) when a thermal event occurs in a game.
도 63은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제15 구현예의 순서도이다. FIG. 63 is a flowchart of a fifteenth embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 63을 참조하면, 열적 경험 제공 방법의 제15 구현예는, 열적 이벤트를 포함하는 게임을 실행하는 단계(S1510), FOV에서 열적 이벤트 발생 시 열적 이벤트와 관련된 영상이 차지하는 면적에 따라 결정된 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성하는 단계(S1520), 열적 피드백 개시 신호를 전송하는 단계(S1530) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1540)를 포함할 수 있다. Referring to FIG. 63, a fifteenth embodiment of a method for providing a thermal experience may include a step of executing a game including a thermal event (S1510), a step of generating a thermal feedback initiation signal including thermal feedback intensity information determined according to an area occupied by an image related to a thermal event when a thermal event occurs in a FOV (S1520), a step of transmitting the thermal feedback initiation signal (S1530), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S1540).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 열적 이벤트를 포함하는 게임을 실행할 수 있다(S1510). 이는 콘트롤러(1260)에 의해 수행될 수 있다. 또 콘트롤러(1260)는 게임 중 영상 신호를 출력할 수 있는데, 이는 가상 공간 내의 가상 카메라(1480)의 FOV에 따른 영상 신호일 수 있다. The content playback device (1200) can execute a game including a thermal event (S1510). This can be performed by the controller (1260). In addition, the controller (1260) can output a video signal during the game, which can be a video signal according to the FOV of a virtual camera (1480) in the virtual space.
콘텐츠 재생 디바이스(1200)는 FOV에서 열적 이벤트 발생 시 열적 이벤트와 관련된 영상이 차지하는 면적에 따라 결정된 열적 피드백 강도 정보를 포함하는 열적 피드백 개시 신호를 생성할 수 있다(S1520).The content playback device (1200) can generate a thermal feedback initiation signal including thermal feedback intensity information determined according to the area occupied by an image related to a thermal event when a thermal event occurs in the FOV (S1520).
콘트롤러(1260)는 FOV 내에서 열적 이벤트와 관련된 영상이 차지하는 면적을 산출할 수 있다. 이후 콘트롤러(1260)는 차지 면적에 따라 열적 피드백 강도 정보를 결정하고, 이를 포함시켜 열적 피드백 개시 신호를 생성할 수 있다. 예를 들어, 열적 이벤트와 관련된 영상이 차지하는 픽셀의 수가 증가할수록 열적 피드백의 강도를 증가시킬 수 있다.The controller (1260) can calculate the area occupied by the image related to the thermal event within the FOV. Then, the controller (1260) can determine thermal feedback intensity information according to the occupied area and generate a thermal feedback initiation signal by including the information. For example, the intensity of the thermal feedback can be increased as the number of pixels occupied by the image related to the thermal event increases.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1530), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1540). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1530), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1540).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
상술한 본 구현예에 따르면, 동일한 열적 이벤트라하더라도 사용자가 열적 이벤트 방향으로 시야를 줌인하는 경우에 강한 열적 피드백을 출력하거나 줌아웃하는 경우 약한 열적 피드백을 출력할 수 있다. 또 유사하게 사용자가 열적 이벤트가 화면 밖으로 벗어나도록 FOV를 돌리면 열적 피드백이 약해지고, 열적 이벤트가 FOV 내로 진입하여 열적 피드백이 강해질 수 있다. 이에 따라 사용자의 열적 경험이 보다 향상될 수 있다. According to the above-described implementation example, even for the same thermal event, a strong thermal feedback can be output when the user zooms in the field of view toward the thermal event, or a weak thermal feedback can be output when the user zooms out. Similarly, when the user rotates the FOV so that the thermal event goes out of the screen, the thermal feedback can be weak, and when the thermal event enters the FOV, the thermal feedback can be strong. Accordingly, the user's thermal experience can be further improved.
4.16. 제16 구현예4.16. Implementation Example 16
본 발명의 실시예에 따른 열적 경험 제공 방법의 제16 구현예는, 게임 내의 증강 현실에 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A 16th embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking thermal feedback to augmented reality within a game and outputting the same.
도 64는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제16 구현예의 순서도이다. FIG. 64 is a flowchart of a 16th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 64를 참조하면, 열적 경험 제공 방법의 제16 구현예는, 현실 세계를 촬상하는 단계(S1610), 촬상된 영상에 기초하여 사용자의 FOV 내의 열 오브젝트를 감지하는 단계(S1620), 감지된 열 오브젝트에 따라 열적 피드백 정보를 생성하는 단계(S1630), 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하는 단계(S1650) 및 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1650)를 포함할 수 있다. Referring to FIG. 64, a 16th embodiment of a method for providing a thermal experience may include a step of capturing a real world (S1610), a step of detecting a thermal object within a user's FOV based on the captured image (S1620), a step of generating thermal feedback information according to the detected thermal object (S1630), a step of transmitting a thermal feedback initiation signal including the thermal feedback information (S1650), and a step of performing a thermal feedback output operation according to the thermal feedback initiation signal, while outputting thermal feedback corresponding to the thermal feedback information (S1650).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 카메라(1480)를 통해 현실 세계를 촬상할 수 있다(S1610). 이때 콘텐츠 재생 디바이스(1200)는 카메라(1480)를 포함하는 HMD 형태로 제공될 수 있다. 또는 콘텐츠 재생 디바이스(1200)는 콘솔 디바이스로 제공되며, 콘솔 디바이스와 연동되는 HMD가 카메라를 통해 현실 세계를 촬상한 영상을 통신 모듈(1220)을 통해 획득할 수 있다.The content playback device (1200) can capture images of the real world through a camera (1480) (S1610). At this time, the content playback device (1200) can be provided in the form of an HMD including a camera (1480). Alternatively, the content playback device (1200) can be provided as a console device, and an HMD linked to the console device can obtain images of the real world captured through a camera through a communication module (1220).
콘텐츠 재생 디바이스(1200)는 촬상된 영상에 기초하여 사용자의 FOV 내의 열 오브젝트를 감지할 수 있다(S1620). 콘트롤러(1260)는 영상 인식 알고리즘을 통해 촬상 영상에 포함된 열 오브젝트를 식별할 수 있다. 여기서, 열 오브젝트는 현실 오브젝트이거나 가상 오브젝트일 수 있다.The content playback device (1200) can detect a thermal object within the user's FOV based on the captured image (S1620). The controller (1260) can identify a thermal object included in the captured image through an image recognition algorithm. Here, the thermal object can be a real object or a virtual object.
콘텐츠 재생 디바이스(1200)는 감지된 열 오브젝트에 따라 열적 피드백 정보를 생성할 수 있다(S1630), 콘트롤러(1260)는 열 오브젝트의 식별 결과를 이용하여 열 오브젝트에 할당된 온도 속성을 획득할 수 있다. 또 콘트롤러(1260)는 온도 속성에 따라 열적 피드백 종류를 결정할 수 있다.The content playback device (1200) can generate thermal feedback information according to the detected thermal object (S1630), and the controller (1260) can obtain a temperature attribute assigned to the thermal object using the identification result of the thermal object. In addition, the controller (1260) can determine the type of thermal feedback according to the temperature attribute.
콘텐츠 재생 디바이스(1200)는 열적 피드백 정보를 포함하는 열적 피드백 개시 신호를 전송하고(S1640), 피드백 디바이스(1600)는 열적 피드백 개시 신호에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력할 수 있다(S1650). The content playback device (1200) transmits a thermal feedback initiation signal including thermal feedback information (S1640), and the feedback device (1600) performs a thermal feedback output operation according to the thermal feedback initiation signal, and can output thermal feedback corresponding to the thermal feedback information (S1650).
콘트롤러(1260)는 통신 모듈(1220)을 통해 피드백 디바이스(1600)로 열적 피드백 정보를 포함한 열적 피드백 개시 신호를 송신할 수 있다. 열적 피드백 개시 신호가 수신되면, 피드백 콘트롤러(1645)는 열전 쌍 어레이(1643)에 전원을 인가해 열적 피드백 출력 동작을 수행할 수 있다. 이때, 피드백 콘트롤러(1645)는 열적 피드백 개시 신호에 포함된 정보에 따라 전원 신호를 생성할 수 있다. The controller (1260) can transmit a thermal feedback initiation signal including thermal feedback information to the feedback device (1600) through the communication module (1220). When the thermal feedback initiation signal is received, the feedback controller (1645) can apply power to the thermocouple array (1643) to perform a thermal feedback output operation. At this time, the feedback controller (1645) can generate a power signal according to the information included in the thermal feedback initiation signal.
4.17. 제17 구현예4.17. Implementation Example 17
본 발명의 실시예에 따른 열적 경험 제공 방법의 제17 구현예는, 게임 내의 열적 이벤트 발생 시 시야(FOV: Field Of View) 또는 열적 이벤트 발생 지점에 대한 캐릭터의 위치, 화면 내의 위치 고려해 열적 피드백을 연동시켜 출력함으로써 사용자에게 열적 경험을 제공하는 방법이다.A 17th embodiment of a method for providing a thermal experience according to an embodiment of the present invention is a method for providing a thermal experience to a user by linking and outputting thermal feedback in consideration of the field of view (FOV) or the position of a character relative to a point where a thermal event occurs and the position within the screen when a thermal event occurs in the game.
본 구현예에 대해서는 사용자가 양손에 두 개의 피드백 디바이스(1600)를 이용하는 경우를 기준으로 설명한다. This implementation example is described based on the case where the user uses two feedback devices (1600) on both hands.
도 65는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제17 구현예의 순서도이다. FIG. 65 is a flowchart of a 17th embodiment of a method for providing thermal experience according to an embodiment of the present invention.
도 65를 참조하면, 열적 경험 제공 방법의 제17 구현예는, 멀티미디어 콘텐츠를 재생하는 단계(S1710), 멀티미디어 콘텐츠 재생 중 열적 이벤트가 발생하는 단계(S1720), 열적 이벤트의 발생 방향에 따라 열적 피드백 대상을 결정하는 단계(S1730), 열적 피드백 대상에 따라 열적 피드백 개시 신호를 송신하는 단계(S1740) 및 열적 피드백 개시 신호의 수신에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1750)를 포함할 수 있다. Referring to FIG. 65, a 17th embodiment of a method for providing a thermal experience may include a step of playing multimedia content (S1710), a step of generating a thermal event during the playback of multimedia content (S1720), a step of determining a thermal feedback target according to a direction in which the thermal event occurs (S1730), a step of transmitting a thermal feedback initiation signal according to the thermal feedback target (S1740), and a step of performing a thermal feedback output operation according to reception of the thermal feedback initiation signal, while outputting thermal feedback corresponding to thermal feedback information (S1750).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다.Below, each step of the above-described implementation example is described in more detail.
콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠를 재생할 수 있다(S1710). 여기서, 멀티미디어 콘텐츠는 열적 이벤트를 포함할 수 있다. 또 콘텐츠 재생 디바이스(1200)는 사용자의 양손에 각각 파지되는 제1 피드백 디바이스(1600, 오른손으로 파지됨)와 제2 피드백 디바이스(1600, 왼손으로 파지됨)와 통신할 수 있다.The content playback device (1200) can play multimedia content (S1710). Here, the multimedia content can include a thermal event. In addition, the content playback device (1200) can communicate with a first feedback device (1600, held with the right hand) and a second feedback device (1600, held with the left hand) held by each of the user's two hands.
콘텐츠 재생 디바이스(1200)는 멀티미디어 콘텐츠 재생에 따라 열적 이벤트를 발생시킬 수 있다(S1720). 여기서, 열적 이벤트는 상술한 본 발명의 실시예에 따른 열적 경험 제공 방법에서 설명된 모든 열적 이벤트를 포함할 수 있다.The content playback device (1200) can generate a thermal event according to multimedia content playback (S1720). Here, the thermal event can include all thermal events described in the thermal experience providing method according to the embodiment of the present invention described above.
열적 이벤트가 발생하면, 콘텐츠 재생 디바이스(1200)는 열적 이벤트의 발생 방향에 따라 열적 피드백 대상을 결정할 수 있다(S1730). When a thermal event occurs, the content playback device (1200) can determine a thermal feedback target according to the direction in which the thermal event occurs (S1730).
콘트롤러(1260)는 열적 이벤트 발생 시 그 발생 방향을 판단할 수 있다. 구체적으로 열적 이벤트의 발생 방향은 가상 현실 어플리케이션이나 증강 현실 어플리케이션을 비롯한 1인칭 시점의 멀티미디어 콘텐츠의 경우에서는 영상의 FOV를 기준으로 열적 이벤트가 발생한 지점의 위치를 의미할 수 있다. 또 3인칭 시점의 어플리케이션에서는 게임 상의 플레이어 캐릭터를 기준으로 열적 이벤트의 발생 방향을 판단할 수 있다.The controller (1260) can determine the direction of occurrence of a thermal event when it occurs. Specifically, the direction of occurrence of a thermal event can mean the location of the point where the thermal event occurs based on the FOV of the image in the case of multimedia content of a first-person perspective, including virtual reality applications or augmented reality applications. Also, in a third-person perspective application, the direction of occurrence of a thermal event can be determined based on the player character in the game.
열적 이벤트의 발생 방향이 판단되면, 콘트롤러(1260)는 발생 방향에 따라 열적 피드백 대상을 결정할 수 있다. Once the direction of occurrence of a thermal event is determined, the controller (1260) can determine a thermal feedback target according to the direction of occurrence.
도 66은 본 발명의 실시예에 따른 열적 경험 제공 방법의 제17 구현예에 따른 1인칭 게임에서 열적 이벤트의 발생 지점에 따른 열적 피드백 대상을 도시한 도면이다.FIG. 66 is a diagram illustrating a thermal feedback target according to a point of occurrence of a thermal event in a first-person game according to a 17th implementation example of a method for providing a thermal experience according to an embodiment of the present invention.
예를 들어, 도 66을 참조하면, 콘트롤러(1260)는 1인칭 시점 어플리케이션에서 FOV를 기준으로 중심부에 열적 이벤트가 발생한 경우에는 열적 피드백 출력 대상을 제1 피드백 디바이스(1600)와 제2 피드백 디바이스(1600)로 결정할 수 있다. 또 콘트롤러(1260)는 FOV를 기준으로 우측에서 열적 이벤트가 발생한 경우에는 열적 피드백 출력 대상을 제1 피드백 디바이스(1600)로 결정할 수 있다. 반대로 콘트롤러(1260)는 FOV를 기준으로 좌측에서 열적 이벤트가 발생한 경우에는 열적 피드백 출력 대상을 제2 피드백 디바이스(1600)로 결정할 수 있다. For example, referring to FIG. 66, the controller (1260) may determine the thermal feedback output target as the first feedback device (1600) and the second feedback device (1600) when a thermal event occurs at the center based on the FOV in a first-person view application. Also, the controller (1260) may determine the thermal feedback output target as the first feedback device (1600) when a thermal event occurs at the right based on the FOV. Conversely, the controller (1260) may determine the thermal feedback output target as the second feedback device (1600) when a thermal event occurs at the left based on the FOV.
콘텐츠 재생 디바이스(1200)는 열적 피드백 대상에 따라 열적 피드백 개시 신호를 송신할 수 있다(S1740).The content playback device (1200) can transmit a thermal feedback initiation signal according to the thermal feedback target (S1740).
열적 피드백 대상이 결정되면, 콘트롤러(1260)는 통신 모듈(1220)을 통해 결정된 열적 피드백 대상에 해당하는 피드백 디바이스(1600)에 열적 피드백 개시 신호를 송신할 수 있다. Once a thermal feedback target is determined, the controller (1260) can transmit a thermal feedback initiation signal to a feedback device (1600) corresponding to the determined thermal feedback target through the communication module (1220).
열적 피드백 개시 신호를 수신한 피드백 디바이스(1600)는 열적 피드백 개시 신호의 수신에 따라 열적 피드백 출력 동작을 수행하되, 열적 피드백 정보에 대응되는 열적 피드백을 출력하는 단계(S1750)를 포함할 수 있다.A feedback device (1600) that receives a thermal feedback initiation signal may perform a thermal feedback output operation upon receipt of the thermal feedback initiation signal, and may include a step (S1750) of outputting thermal feedback corresponding to thermal feedback information.
한편, 본 구현예에서 열적 이벤트의 발생 지점이 이동하면, 본 구현예가 실시간으로 적용됨에 따라 열적 피드백을 출력하는 피드백 디바이스(1600)가 변경될 수 있을 것이다. 예를 들어, FOV 상 열적 이벤트가 우측에서 발생한 상태에서 사용자가 FOV를 돌리면 열적 이벤트 발생 지점이 중앙을 거쳐 좌측으로 이동할 수 있다. 이때에는 우측 피드백 디바이스(1600), 양 피드백 디바이스(1600), 좌측 피드백 디바이스(1600) 순으로 열적 피드백 대상이 변경될 수 있을 것이다.Meanwhile, if the point of occurrence of a thermal event in this embodiment moves, the feedback device (1600) that outputs thermal feedback may be changed as this embodiment is applied in real time. For example, if a user turns the FOV while a thermal event has occurred on the right side of the FOV, the point of occurrence of the thermal event may move to the left via the center. At this time, the thermal feedback target may be changed in the order of the right feedback device (1600), the two feedback devices (1600), and the left feedback device (1600).
이상에서는 본 구현예가 복수의 피드백 디바이스(1600)를 이용하는 환경에서 수행되는 것으로 설명하였으나, 반드시 그러한 것은 아니다. 예를 들어, 하나의 피드백 디바이스(1600)를 이용하더라도 양손으로 파지되는 게이밍 콘트롤러와 같이 복수의 열 출력 모듈(1640)이 있는 경우에도 본 구현예가 적용될 수 있다. 이때에는 열적 피드백 대상을 제1 피드백 디바이스(1600), 제2 피드백 디바이스(1600)를 선택하는 대신 제1 열 출력 모듈(1640), 제2 열 출력 모듈(1640)을 선택할 수 있으며, 열적 피드백 개시 신호에 열적 피드백 대상 정보를 실어 보냄으로써 피드백 디바이스(1600)의 피드백 콘트롤러(1645)가 어느 열 출력 모듈(1640)로 열적 피드백을 출력할지 판단할 수 있을 것이다. 다른 예를 들어, 하나의 열 출력 모듈(1640)만이 있는 피드백 디바이스(1600)의 경우에도 열전 쌍 어레이(1643)가 복수의 열전 쌍 그룹(1644)으로 구성되어 영역 별 제어가 가능한 경우에도 본 구현예가 적용될 수 있다. 이 경우에는 사용자 손에 파지되는 접촉면(1641)의 중앙/우측/좌측/전체 중 어떤 영역으로 열적 피드백을 출력할 것인지 결정할 수 있다.In the above, the present implementation example has been described as being performed in an environment using a plurality of feedback devices (1600), but this is not necessarily the case. For example, even if one feedback device (1600) is used, the present implementation example can be applied even in a case where there are a plurality of thermal output modules (1640), such as a gaming controller that is held with both hands. In this case, instead of selecting the first feedback device (1600) and the second feedback device (1600) as the thermal feedback target, the first thermal output module (1640) and the second thermal output module (1640) can be selected, and by sending thermal feedback target information to the thermal feedback start signal, the feedback controller (1645) of the feedback device (1600) can determine which thermal output module (1640) to output thermal feedback to. For another example, even in the case of a feedback device (1600) having only one heat output module (1640), the present embodiment can be applied even if the thermocouple array (1643) is composed of multiple thermocouple groups (1644) to enable area-specific control. In this case, it is possible to determine which area among the center/right/left/entire area of the contact surface (1641) held by the user's hand will output thermal feedback.
이상에서 설명한 본 발명의 실시예에 따른 열적 피드백 제공 방법들은 단독으로 또는 서로 조합되어 이용될 수 있다. 또 각 열적 피드백 제공 방법에서 설명된 각 단계들은 모두 필수적인 것은 아니므로 열적 피드백 제공 방법은 그 단계를 전부 포함하는 것은 물론 일부만 포함하여 수행되는 것도 가능하다. 또 각 단계들이 설명된 순서는 설명의 편의를 위한 것에 불과하므로, 열적 피드백 제공 방법에서 각 단계들이 반드시 설명된 순서대로 진행되어야 하는 것은 아니다.The thermal feedback providing methods according to the embodiments of the present invention described above can be used alone or in combination. In addition, not all of the steps described in each thermal feedback providing method are essential, so the thermal feedback providing method can be performed by including all of the steps or by including only some of the steps. In addition, the order in which the steps are described is only for the convenience of explanation, so the steps in the thermal feedback providing method do not necessarily have to be performed in the order described.
또한 이상에서 설명한 본 발명의 실시예에 따른 열적 피드백 제공 방법에서 수행 주체에 대해 별도의 언급이 없는 단계는 피드백 디바이스(1600)의 어플리케이션 콘트롤러 및 피드백 콘트롤러(1645) 중 적어도 하나에 의해 수행될 수 있다. 추가적으로 상술한 내용에서 어플리케이션 콘트롤러에 의해 수행되는 것으로 설명한 사항이 필요에 따라 피드백 콘트롤러(1645)에 의해 수행되거나 반대로 피드백 콘트롤러(1645)에 의해 수행되는 것으로 설명한 사항이 필요에 따라 어플리케이션 컨트롤러에 의해 수행되는 것도 가능하다. 뿐만 아니라 상술한 내용 중 어플리케이션 콘트롤러나 피드백 콘트롤러(1645)에 의해 수행되는 것으로 설명한 사항이 어플리케이션 콘트롤러와 피드백 콘트롤러(1645)의 협업에 의해 수행되는 것도 가능하다. 또 이미 언급한 바 있지만, 어플리케이션 콘트롤러와 피드백 콘트롤러(1645)는 하나의 콘트롤러(1260)로 구현되어 있을 수도 있음을 다시 밝혀둔다. In addition, in the method for providing thermal feedback according to the embodiment of the present invention described above, steps for which no separate mention is made of the performing entity may be performed by at least one of the application controller and the feedback controller (1645) of the feedback device (1600). Additionally, the matters described as being performed by the application controller in the above-described contents may be performed by the feedback controller (1645) as needed, or conversely, the matters described as being performed by the feedback controller (1645) may be performed by the application controller as needed. In addition, the matters described as being performed by the application controller or the feedback controller (1645) among the above-described contents may be performed by collaboration between the application controller and the feedback controller (1645). In addition, as already mentioned, it should be noted again that the application controller and the feedback controller (1645) may be implemented as a single controller (1260).
5. 멀티미디어 콘텐츠 생성 방법 5. How to create multimedia content
이하에서는 상술한 열적 경험 제공 방법에 이용되는 멀티미디어 콘텐츠의 생성 방법에 관하여 설명하기로 한다. 본 발명의 실시예에 따른 멀티미디어 콘텐츠의 생성 방법은 크게 동영상 콘텐츠의 생성 방법과 게임이나 체감형 어플리케이션의 생성 방법을 포함할 수 있다. Hereinafter, a method for generating multimedia content used in the above-described method for providing thermal experience will be described. The method for generating multimedia content according to an embodiment of the present invention may largely include a method for generating video content and a method for generating a game or sensory application.
5.1. 전자 기기5.1. Electronic devices
본 발명의 실시예에 따른 멀티미디어 콘텐츠 생성 방법은 전자 기기(2000)에 의해 수행될 수 있다. 전자 기기(2000)의 대표적인 예로는 PC나 워크스테이션을 들 수 있으며, 전자 기기(2000)에는 이외에도 노트북, 태블릿, 스마트폰 등이 포함될 수 있다. The method for generating multimedia content according to an embodiment of the present invention can be performed by an electronic device (2000). Representative examples of the electronic device (2000) include a PC or a workstation, and the electronic device (2000) may also include a laptop, a tablet, a smartphone, etc.
도 67은 본 발명의 실시예에 따른 전자 기기(2000)에 관한 블록도이다.Figure 67 is a block diagram of an electronic device (2000) according to an embodiment of the present invention.
도 67을 참조하면, 전자 기기(2000)는 입력 모듈(2200), 출력 모듈(2400), 메모리(2600) 및 콘트롤러(2800)를 포함할 수 있다. Referring to FIG. 67, the electronic device (2000) may include an input module (2200), an output module (2400), a memory (2600), and a controller (2800).
입력 모듈(2200)은 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 음력을 비롯한 다양한 형태로 이루어질 수 있다. 입력 모듈(2200)의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 또 입력 모듈(2200)은 자체적으로 사용자 입력을 감지하는 장치 대신 전자 기기에 사용자 입력을 입력받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다. The input module (2200) can receive user input from a user. The user input can be in various forms including key input, touch input, and voice input. Examples of the input module (2200) include a comprehensive concept that includes not only a traditional keypad, keyboard, and mouse, but also a touch sensor that detects the user's touch and various other input means that detect or receive various forms of user input. In addition, the input module (2200) can be implemented in the form of an input interface (such as a USB port or PS/2 port) that connects an external input device that receives user input to an electronic device instead of a device that detects user input on its own.
출력 모듈(2400)은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈(2400)은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다. 이외에도 출력 모듈(2400)은 전자 기기(2000)에 상술한 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다. The output module (2400) can output various types of information and provide them to the user. The output module (2400) is a comprehensive concept that includes a display that outputs images, a speaker that outputs sounds, a haptic device that generates vibrations, and other various forms of output means. In addition, the output module (2400) can also be implemented in the form of a port-type output interface that connects the individual output means described above to the electronic device (2000).
메모리(2600)는 각종 정보를 저장할 수 있다. 메모리는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리의 예로는 HDD, SSD, 플래쉬 메모리, 롬, 램 등이 있을 수 있다. 메모리(2600)는 전자 기기(2000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(2600)에는 전자 기기(2000)를 구동하기 위한 OS를 비롯한 전자 기기(2000)를 구동하는데 필요하거나 이용되는 각종 데이터가 저장될 수 있다.The memory (2600) can store various types of information. The memory can store data temporarily or semi-permanently. Examples of the memory may include HDD, SSD, flash memory, ROM, RAM, etc. The memory (2600) may be provided in a form built into the electronic device (2000) or in a detachable form. The memory (2600) may store various types of data required or used to operate the electronic device (2000), including an OS for operating the electronic device (2000).
콘트롤러(2800)는 전자 기기(2000)의 전반적인 동작을 제어한다. 즉, 콘트롤러(2800)는 각종 정보의 연산 및 처리를 수행하고 전자 기긱의 다른 구성요소들의 동작을 제어할 수 있다. 콘트롤러는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 콘트롤러는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 콘트롤러를 구동시키는 프로그램 형태로 제공될 수 있다. 후술되는 열적 경험을 제공하는 멀티미디어 콘텐츠의 생성 방법의 구현예들에서 별도로 언급하지 않는 한 전자 기기(2000)의 동작은 콘트롤러(2800)에 의해 수행되는 것으로 해석될 수 있다. The controller (2800) controls the overall operation of the electronic device (2000). That is, the controller (2800) can perform calculations and processing of various types of information and control the operation of other components of the electronic device. The controller can be implemented as a computer or a similar device according to hardware, software, or a combination thereof. In terms of hardware, the controller can be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and in terms of software, the controller can be provided in the form of a program that drives the hardware controller. In the implementation examples of the method for generating multimedia content providing a thermal experience described below, unless otherwise mentioned, the operation of the electronic device (2000) can be interpreted as being performed by the controller (2800).
5.2. 제1 구현예5.2. First implementation example
이하에서는 본 발명의 실시예에 따른 멀티미디어 콘텐츠의 생성 방법의 제1 구현예에 관하여 설명하기로 한다. 본 구현예는 멀티미디어 콘텐츠 중 동영상 콘텐츠의 생성 방법에 관한 것이다. Hereinafter, a first implementation example of a method for generating multimedia content according to an embodiment of the present invention will be described. This implementation example relates to a method for generating video content among multimedia content.
상술한 열적 경험 제공 방법의 제1 구현예에서는, 열적 이벤트 장면 재생 시점과 열적 피드백의 재생 시점이 일치하도록 세팅된 동영상 콘텐츠를 재생하는 경우, 콘텐츠 재생 디바이스에서 열적 피드백 개시 시점을 열적 피드백 재생 시점보다 앞당김으로써 열적 이벤트 영상의 재생 시점에 사용자가 열적 피드백을 체감할 수 있도록 한다. In a first embodiment of the above-described method for providing a thermal experience, when playing video content in which the playback time of a thermal event scene and the playback time of thermal feedback are set to coincide, the thermal feedback start time in the content playback device is advanced beyond the thermal feedback playback time, thereby allowing the user to experience the thermal feedback at the playback time of the thermal event video.
이와 달리 열적 피드백 데이터를 생성할 때 미리 열적 피드백의 전원 인가 시점과 체감 시점 간의 시간 차이를 고려하여 열적 피드백의 재생 시점을 설정하는 것도 가능하다. 본 발명의 실시예에 따른 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법은, 열적 경험 제공 시스템(1000)이 동영상 콘텐츠의 열적 피드백 데이터에 따른 열적 피드백의 재생 시점에 열적 피드백 출력 동작을 수행하더라도 열적 피드백이 영상이나 음성에 연동되도록 동영상 콘텐츠의 열적 피드백 데이터를 생성하는 방법에 관한 것이다. In contrast, when generating thermal feedback data, it is also possible to set the playback time of thermal feedback by considering the time difference between the power-on time of thermal feedback and the time of perception in advance. A method for generating multimedia content providing a thermal experience according to an embodiment of the present invention relates to a method for generating thermal feedback data of video content so that thermal feedback is linked to an image or audio even if a thermal experience providing system (1000) performs a thermal feedback output operation at the playback time of thermal feedback according to the thermal feedback data of the video content.
도 68은 본 발명의 실시예에 따른 멀티미디어 콘텐츠 생성 방법의 제1 구현예의 순서도이다.Figure 68 is a flowchart of a first implementation example of a multimedia content creation method according to an embodiment of the present invention.
도 68을 참조하면, 멀티미디어 콘텐츠 생성 방법의 제1 구현예는, 열적 이벤트 장면의 재생 시점을 획득하는 단계(S1810), 열적 이벤트 장면의 재생 시점 및 보정 시간에 기초하여 열적 피드백 재생 시점을 산출하는 단계(S1820) 및 열적 피드백 재생 시점에 기초하여 열적 피드백 데이터를 생성하는 단계(S1830)를 포함할 수 있다. Referring to FIG. 68, a first embodiment of a method for generating multimedia content may include a step of obtaining a playback point of a thermal event scene (S1810), a step of calculating a thermal feedback playback point based on the playback point of the thermal event scene and a correction time (S1820), and a step of generating thermal feedback data based on the thermal feedback playback point of view (S1830).
이하에서는 상술한 본 구현예의 각 단계들에 관하여 보다 상세하게 설명한다. Below, each step of the above-described implementation example is described in more detail.
전자 기기(2000)는 열적 이벤트 장면의 출력 시점을 획득할 수 있다(S310). 콘트롤러(2800)는 입력 모듈(2200)을 통해 열적 피드백과 연동시킬 열적 이벤트 장면의 재생 시점에 관한 사용자 입력을 입력받을 수 있다. The electronic device (2000) can obtain the output point of a thermal event scene (S310). The controller (2800) can receive user input regarding the playback point of a thermal event scene to be linked to thermal feedback through the input module (2200).
이때, 전자 기기(2000)는 디스플레이 등의 출력 모듈(2400)을 통해 열적 이벤트 장면의 재생 시점을 사용자에게 용이하게 입력할 수 있게 해주는 UI 화면을 제공할 수 있다. UI 화면은 종래의 영상 편집 프로그램에 의해 제공되는 화면과 다소 유사하게 제공될 수 있다.At this time, the electronic device (2000) may provide a UI screen that allows the user to easily input the playback time of the thermal event scene through an output module (2400) such as a display. The UI screen may be provided somewhat similarly to a screen provided by a conventional video editing program.
UI 화면은 동영상 콘텐츠의 재생 시점을 반영하는 프로그레시브 바(progressive bar), 프로그레시브 바 상에 배치되는 인디케이터(indicator) 및 인디케이터에 의해 지시되는 시점에 따른 장면을 출력하는 영상 윈도우(video window)을 포함할 수 있다. 또 UI 화면에는 동영상 콘텐츠의 재생 제어를 위한 제어 패널이 포함될 수 있다. 여기서, 사용자는 프로그레시브 바 상에서 인디케이터를 이동시키거나 또는 제어 패널을 이용하여 동영상 콘텐츠를 재생시킬 수 있으며, 이 과정 중 영상 윈도우를 통해 출력되는 장면을 볼 수 있다. 영상 윈도우에 열적 이벤트 장면로 삼고 싶은 장면이 출력되면, 사용자는 그 장면에 대응하는 프로그레시브 바 상의 인디케이터가 위치하는 지점을 열적 이벤트 장면의 재생 시점으로서 선정할 수 있다. 이때, UI 화면에는 추가적으로 열적 피드백의 대상, 종류, 강도, 지속 시간을 선택할 수 있는 메뉴가 함께 제공될 수 있다. The UI screen may include a progressive bar reflecting the playback point of the video content, an indicator placed on the progressive bar, and a video window outputting a scene according to the point in time indicated by the indicator. In addition, the UI screen may include a control panel for controlling playback of the video content. Here, the user may move the indicator on the progressive bar or use the control panel to play the video content, and during this process, the user may view the scene output through the video window. When a scene desired as a thermal event scene is output on the video window, the user may select the point at which the indicator on the progressive bar corresponding to the scene is positioned as the playback point of the thermal event scene. At this time, the UI screen may additionally provide a menu for selecting the target, type, intensity, and duration of the thermal feedback.
사용자는 이러한 UI 화면을 통해 영상 윈도우를 통해 열적 피드백과 연동시킬 장면을 검색하고, 원하는 장면이 영상 윈도우에 출력되는 시점을 열적 피드백과 연동될 특정 장면의 출력 시점으로 선택하는 사용자 입력을 입력할 수 있다. 콘트롤러(2800)는 입력 모듈(2200)을 통해 사용자 입력을 수신함으로써 특정 장면의 출력 시점을 획득할 수 있다. The user can search for a scene to be linked with thermal feedback through the video window via these UI screens, and input user input to select the point in time at which the desired scene is output on the video window as the output point of a specific scene to be linked with thermal feedback. The controller (2800) can obtain the output point of a specific scene by receiving the user input through the input module (2200).
전자 기기(2000)는 열적 이벤트 장면의 출력 시점 및 보정 시간에 기초하여 열적 피드백을 위한 전원 인가 시점을 산출한다(S1820).The electronic device (2000) calculates the power supply point for thermal feedback based on the output point and correction time of the thermal event scene (S1820).
여기서, 보정 시간은 열전 소자에 열적 피드백의 출력 개시를 위해 전원을 인가하는 시점으로부터 접촉면을 통해 사용자가 열적 감각을 체감하기까지 소요되는 지연 시간일 수 있다. 보정 시간에 관해서는 열적 경험 제공 방법의 제1 구현예에서 이미 상세하게 설명한 바 있다.Here, the calibration time may be a delay time from the time of applying power to the thermoelectric element to initiate output of thermal feedback until the user experiences a thermal sensation through the contact surface. The calibration time has already been described in detail in the first embodiment of the method for providing a thermal experience.
콘트롤러(2800)는 획득된 출력 시점으로부터 보정 시간만큼 차감하여 열적 피드백의 출력 개시를 위한 전원 인가 시점으로 산출할 수 있다.The controller (2800) can calculate the power supply time for starting the output of thermal feedback by deducting the compensation time from the acquired output time.
전원 인가 시점이 산출되면, 전자 기기(2000)는 이에 기초하여 열적 피드백 데이터를 생성할 수 있다(S1830). 열적 피드백 데이터에는 열적 피드백의 종류, 강도에 관한 정보와 열적 피드백의 출력 개시를 위한 전원 인가 시점에 관한 정보가 포함될 수 있다. 또 열적 피드백 데이터에는 복수의 피드백 디바이스(1600)를 이용하는 열적 경험 제공 시스템(1000)의 경우에는 열적 피드백을 출력할 대상 피드백 디바이스에 관한 정보가 더 포함될 수 잇다. 예를 들어, 대상 피드백 디바이스에 관한 정보는 두 개의 바 타입 게이밍 콘트롤러를 이용하는 VR 시스템에서 어느 게이밍 콘트롤러를 통해 열적 피드백을 출력할지에 관한 정보일 수 있다. 또 열적 경험 제공 시스템(1000)에서 피드백 디바이스(1600)의 열전 소자가 복수의 개별 제어 가능한 열전 쌍 그룹(1644)를 포함하는 열전 쌍 어레이(1644)로 제공되는 경우에는 열적 피드백을 출력할 열전 쌍 그룹(1644), 즉 작동 그룹을 지시하는 대상 영역 정보가 더 포함될 수도 있다. When the power supply timing is calculated, the electronic device (2000) can generate thermal feedback data based on this (S1830). The thermal feedback data may include information about the type and intensity of thermal feedback and information about the power supply timing for starting the output of the thermal feedback. In addition, in the case of a thermal experience providing system (1000) using a plurality of feedback devices (1600), the thermal feedback data may further include information about a target feedback device that will output thermal feedback. For example, the information about the target feedback device may be information about which gaming controller will output thermal feedback in a VR system using two bar-type gaming controllers. In addition, in the case where the thermoelectric element of the feedback device (1600) in the thermal experience providing system (1000) is provided as a thermoelectric pair array (1644) including a plurality of individually controllable thermoelectric pair groups (1644), target area information indicating a thermoelectric pair group (1644) that will output thermal feedback, i.e., an operating group, may further be included.
이와 같이 생성된 열적 피드백 데이터는 동영상 콘텐츠의 재생 시 참조되어 동영상 출력에 연동되는 열적 피드백을 출력하는데 이용될 수 있다. 이를 위해 열적 피드백 데이터는 동영상 출력 시 자막을 제공하는 자막 파일처럼 동영상 파일과 별개의 파일로 제공될 수 있다. 또는 이와 달리 열적 피드백 데이터와 동영상 데이터가 통합된 하나의 파일로 제공되는 것도 가능할 것이다.Thermal feedback data generated in this manner can be used as a reference when playing video content to output thermal feedback linked to video output. To this end, the thermal feedback data can be provided as a separate file from the video file, such as a subtitle file that provides subtitles when outputting a video. Alternatively, it may be possible to provide the thermal feedback data and the video data as a single file that is integrated.
본 구현예와 같이 열적 피드백의 출력 개시를 위한 전원 인가 시점으로부터 열적 피드백을 사용자가 체감하는데 소요되는 지연 시간을 고려하여 열적 피드백 데이터를 생성하면, 상술한 열적 경험 제공 방법의 제1 구현예에서와 달리 콘텐츠 재생 디바이스(1200)가 지연 시간을 고려하여 열적 피드백의 출력 시점을 보정할 필요가 없어 멀티미디어 콘텐츠 재생 시 연산량을 경감시킬 수 있는 장점이 있다.If thermal feedback data is generated by considering the delay time required for a user to experience thermal feedback from the time of power supply for starting output of thermal feedback as in the present embodiment, unlike the first embodiment of the thermal experience providing method described above, there is no need for the content playback device (1200) to correct the output time of thermal feedback by considering the delay time, thereby reducing the amount of computation when playing back multimedia content.
반면, 본 구현예에 비하여 열적 경험 제공 방법의 제1 구현예의 방식은 보다 높은 호환성을 가지는 장점이 있다. 예를 들어, 피드백 디바이스(1600)의 제조사 별로 열적 피드백의 출력 개시를 위한 전원 인가 시점으로부터 사용자가 열적 감각을 체감하기까지 걸리는 지연 시간이 다소 상이할 수 있는데, 열적 경험 제공 방법의 제1 구현예는 피드백 디바이스(1600)의 종류를 고려하여 상황 별로 보정 시간을 적응적으로 처리할 수 있기 때문이다. On the other hand, the first embodiment of the method for providing thermal experience has the advantage of higher compatibility compared to the present embodiment. For example, the delay time from the time of power supply for starting output of thermal feedback until the user experiences a thermal sensation may be somewhat different depending on the manufacturer of the feedback device (1600), but the first embodiment of the method for providing thermal experience can adaptively process the correction time depending on the situation by considering the type of the feedback device (1600).
한편, 상술한 본 구현예에 관한 설명에서는 멀티미디어 콘텐츠가 동영상 콘텐츠인 것을 위주로 설명하였으나, 본 구현예는 게임이나 체감형 어플리케이션 형태의 멀티미디어 콘텐츠에도 활용될 수 있다. 대표적으로 게임의 진행 중 동영상 컷씬이 등장하는 장면 등에 본 구현예가 이용될 수 있으며, 이는 본 발명의 실시에에 따른 열적 경험 제공 방법의 제1 구현예 역시 마찬가지이다. Meanwhile, in the description of the above-described implementation example, the multimedia content is mainly described as video content, but the implementation example can also be used for multimedia content in the form of games or sensory applications. For example, the implementation example can be used in scenes where a video cutscene appears during the game, and the same applies to the first implementation example of the method for providing a thermal experience according to the embodiment of the present invention.
또한, 본 구현예와 열적 경험 제공 방법의 제1 구현예는 열전 소자의 반응 시간(response time)이 빠른 경우에는 그 효과가 작을 수 있지만, 게이밍 콘트롤러 등에서 사용자의 그립감을 향상시키기 위해 접촉면(1641)을 고무 등의 재질로 처리하는 경우 열전 소자로부터 접촉면(1641)까지 열 전달에 소요되는 시간 등이 커질 수 있으며 이러한 경우에 그 장점이 더욱 발휘될 것으로 기대된다. In addition, the first embodiment of the present embodiment and the method for providing a thermal experience may have a small effect when the response time of the thermoelectric element is fast, but when the contact surface (1641) is treated with a material such as rubber to improve the user's grip feeling in a gaming controller, etc., the time required for heat transfer from the thermoelectric element to the contact surface (1641) may increase, and in such cases, the advantage is expected to be further exerted.
5.3. 제2 구현예5.3. Second implementation example
이하에서는 본 발명의 실시예에 따른 멀티미디어 콘텐츠의 생성 방법의 제2 구현예에 관하여 설명하기로 한다. 본 구현예는 멀티미디어 콘텐츠 중 게임이나 체감형 어플리케이션 형태로 제공되는 멀티미디어 콘텐츠의 생성 방법에 관한 것이다. Hereinafter, a second implementation example of a method for generating multimedia content according to an embodiment of the present invention will be described. This implementation example relates to a method for generating multimedia content provided in the form of a game or experiential application among multimedia content.
상술한 열적 경험 제공 방법의 제2 구현예에서는, 가상 오브젝트를 생성하는 단계 및 생성된 가상 오브젝트에 열적 특성을 부여하는 단계를 포함할 수 있다. A second embodiment of the method for providing a thermal experience described above may include a step of generating a virtual object and a step of imparting thermal characteristics to the generated virtual object.
여기서, 가상 오브젝트는 게임이나 체감형 어플리케이션 등의 내부에서 플레이어와 상호 작용 가능한 물체를 의미한다. Here, a virtual object refers to an object that the player can interact with within a game or an interactive application.
가상 오브젝트가 생성되면, 생성된 가상 오브젝트에 열적 특성을 부여할 수 있다. Once a virtual object is created, thermal properties can be assigned to the created virtual object.
열적 특성은 열적 피드백의 종류, 강도 등과 직간접적으로 관련이 있다. Thermal properties are directly or indirectly related to the type and intensity of thermal feedback.
이외에도 다양한 열적 속성이 정의될 수 있다. 간단한 몇몇 예로, 온도 값, 재질 값, 저항값 등의 그 예이다. 구체적인 예들은 본 발명의 열적 경험 제공 방법에서 열적 피드백의 강도/종류/대상 기기 등의 결정이 이용되는 모든 정보들이 오브젝트의 열적 석성이 될 수 있다. In addition, various thermal properties can be defined. Some simple examples include temperature values, material values, resistance values, etc. In the thermal experience providing method of the present invention, all information used to determine the intensity/type/target device of thermal feedback can become the thermal properties of the object.
일 예로, 가상 오브젝트에는 원소 속성이 부여되어 이에 따라 열적 피드백의 종류가 정해질 수 있다. 이는 본 발명의 실시예에 따른 열적 경험 제공 방법의 제3 구현예에 자세히 설명이 되어 있다. For example, a virtual object may be given elemental properties, and the type of thermal feedback may be determined accordingly. This is described in detail in the third embodiment of the method for providing a thermal experience according to an embodiment of the present invention.
다른 예로는, 열 전달 방식이 열적 속성으로 오브젝트에 부여될 수 있다 이는 본 발명의 실시에에 따른 열적 경험 제공 방법의 제10 실시예에 설명되어 있다. As another example, a heat transfer method can be imparted to an object as a thermal property, as described in the tenth embodiment of the method for providing a thermal experience according to an embodiment of the present invention.
또, 본 구현예는 게임 제작 엔진에 탑재되어 활용될 수 있다. 예를 들면, 기존의 게임 제작 엔진에는 주로 물체 충돌과 빛의 경로를 처리하는 물리 엔진이 포함되어 있는데, 이러한 물리 엔진에 열적 처리 산출 기능이 부가되는 것으로 이해될 수 있다. In addition, the present implementation example can be installed and utilized in a game production engine. For example, existing game production engines mainly include a physics engine that processes object collisions and light paths, and it can be understood that a thermal processing output function is added to this physics engine.
이상에서 설명한 본 발명의 실시예에 따른 열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법들은 단독으로 또는 서로 조합되어 이용될 수 있다. 또 각 멀티미디어 콘텐츠 생성 방법에서 설명된 각 단계들은 모두 필수적인 것은 아니므로 멀티미디어 콘텐츠 생성 방법은 그 단계들을 전부 포함하는 것은 물론 일부만 포함하여 수행되는 것도 가능하다. 또 각 단계들이 설명된 순서는 설명의 편의를 위한 것에 불과하므로, 멀티미디어 콘텐츠 생성 방법에서 각 단계들이 반드시 설명된 순서대로 진행되어야 하는 것은 아니다.The multimedia content creation methods providing thermal experience according to the embodiments of the present invention described above can be used alone or in combination. In addition, not all of the steps described in each multimedia content creation method are essential, so the multimedia content creation method can be performed by including all of the steps or by including only some of the steps. In addition, the order in which the steps are described is only for the convenience of explanation, so the steps in the multimedia content creation method do not necessarily have to be performed in the order described.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 이상에서 설명한 본 발명의 실시예들은 서로 별개로 또는 조합되어 구현되는 것도 가능하다.The above description is merely an example of the technical idea of the present invention, and those with ordinary knowledge in the technical field to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments of the present invention described above may be implemented separately or in combination.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to explain it, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the rights of the present invention.
1000: 열적 경험 제공 시스템 1200: 콘텐츠 재생 디바이스
1220: 통신 모듈 1240: 메모리
1260: 콘트롤러 1400: 시청각 디바이스
1420: 통신 모듈 1440: A/V 모듈
1442: 영상 모듈 1444: 음성 모듈
1600: 피드백 디바이스 1620: 통신 모듈
1640: 열 출력 모듈 1641: 접촉면
1642: 기판 1643: 열전 쌍 어레이
1647: 전원 단자 1648: 피드백 콘트롤러1000: Thermal experience delivery system 1200: Content playback device
1220: Communication Module 1240: Memory
1260: Controller 1400: Audiovisual Device
1420: Communication Module 1440: A/V Module
1442: Video Module 1444: Audio Module
1600: Feedback device 1620: Communication module
1640: Heat output module 1641: Contact surface
1642: Substrate 1643: Thermocouple Array
1647: Power terminal 1648: Feedback controller
Claims (22)
상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하는 단계;
상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록, 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 특정 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하는 단계; 및
상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하는 단계;를 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
A method for generating multimedia content that provides a thermal experience by using a feedback device that provides thermal feedback by the thermal operation of a thermoelectric element through a contact surface that comes into contact with the user's body when playing a video,
A step of obtaining an output point of a specific scene to be linked with the thermal feedback during the playback section of the above video;
A step of obtaining a thermal operation start time set to a time point earlier than the output time point of the specific scene, taking into account the delay time required from the start of the thermal operation until the contact surface reaches a specific temperature perceived by the user, so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played; and
A step of generating thermal feedback data including the starting point of the above thermal operation;
A method for creating multimedia content that provides a thermal experience.
상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점인
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
The above thermal operation start point is a point in time that is earlier than the playback point of the specific scene by the delay time.
A method for creating multimedia content that provides a thermal experience.
상기 열전 동작 개시 시점을 획득하는 단계에서, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
In the step of obtaining the start time of the above thermal operation, a time point preceding the output time of the specific scene by the delay time is calculated as the start time of the thermal operation.
A method for creating multimedia content that provides a thermal experience.
상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
The above thermoelectric operation includes at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
A method for creating multimedia content that provides a thermal experience.
온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 정보를 획득하는 단계; 및
상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
A step of obtaining information about the type of thermal feedback including warm feedback and cold feedback; and
A step of obtaining the delay time by considering the type of the thermal feedback; further comprising;
A method for creating multimedia content that provides a thermal experience.
상기 열적 피드백의 강도에 관한 정보를 획득하는 단계; 및
상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
A step of obtaining information about the intensity of the thermal feedback; and
A step of obtaining the delay time by considering the intensity of the thermal feedback; further comprising;
A method for creating multimedia content that provides a thermal experience.
상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고,
상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 큰
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In Article 6,
The intensity of the thermal feedback includes a first intensity and a second intensity stronger than the first intensity,
The second delay time for the second intensity is greater than the first delay time for the first intensity.
A method for creating multimedia content that provides a thermal experience.
상기 열적 피드백의 강도는, 제1 강도 및 상기 제1 강도보다 강한 제2 강도를 포함하고,
상기 제1 강도에 관한 제1 지연 시간보다 상기 제2 강도에 관한 제2 지연 시간이 더 작은
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In Article 6,
The intensity of the thermal feedback includes a first intensity and a second intensity stronger than the first intensity,
The second delay time for the second intensity is shorter than the first delay time for the first intensity.
A method for creating multimedia content that provides a thermal experience.
상기 피드백 디바이스의 식별 정보를 획득하는 단계; 및
상기 피드백 디바이스의 식별 정보를 고려하여 상기 지연 시간을 획득하는 단계;를 더 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
A step of obtaining identification information of the above feedback device; and
A step of obtaining the delay time by considering the identification information of the feedback device; further comprising;
A method for creating multimedia content that provides a thermal experience.
상기 열적 피드백 데이터 및 상기 동영상에 관한 영상 데이터가 병합된 단일 파일을 작성하는 단계;를 더 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
A step of creating a single file in which the thermal feedback data and the image data regarding the video are merged; further comprising;
A method for creating multimedia content that provides a thermal experience.
상기 열적 피드백 데이터를 포함하는 파일을 상기 동영상에 관한 영상 데이터를 포함하는 파일과 별개로 작성하는 단계;를 더 포함하는
열적 경험을 제공하는 멀티미디어 콘텐츠 생성 방법.
In the first paragraph,
A step of creating a file including the thermal feedback data separately from a file including image data regarding the video;
A method for creating multimedia content that provides a thermal experience.
데이터를 저장하는 메모리; 및
상기 동영상의 재생 구간 중 상기 열적 피드백과 연동될 특정 장면의 출력 시점을 획득하고, 상기 멀티미디어 콘텐츠가 재생 시 상기 특정 장면 및 상기 열적 피드백이 연동되어 제공되도록 상기 열전 동작의 개시로부터 상기 접촉면이 상기 사용자에 체감되는 특정 온도에 도달하기까지 소요되는 지연 시간을 고려하여 상기 특정 장면의 출력 시점보다 앞선 시점으로 설정되는 열전 동작 개시 시점을 획득하고, 상기 열전 동작 개시 시점을 포함하는 열적 피드백 데이터를 생성하여 상기 메모리에 저장하는 콘트롤러;를 포함하는
전자 기기.
An electronic device that generates multimedia content that provides a thermal experience by using a feedback device that provides thermal feedback through a contact surface that contacts the user's body by the thermal operation of a thermoelectric element when playing a video.
memory for storing data; and
A controller comprising: a controller that acquires an output point in time of a specific scene to be linked with the thermal feedback during the playback section of the video, and acquires a thermal operation start point set to a point in time earlier than the output point in time of the specific scene by considering a delay time required from the start of the thermal operation until the contact surface reaches a specific temperature perceived by the user so that the specific scene and the thermal feedback are provided in conjunction when the multimedia content is played, and generates thermal feedback data including the thermal operation start point and stores it in the memory;
Electronic devices.
상기 열전 동작 개시 시점은, 상기 특정 장면의 재생 시점으로부터 상기 지연 시간만큼 앞선 시점인
전자 기기.
In Article 12,
The above thermal operation start point is a point in time that is earlier than the playback point of the specific scene by the delay time.
Electronic devices.
상기 콘트롤러는, 상기 특정 장면의 출력 시점으로부터 상기 지연 시간만큼 앞선 시점을 상기 열전 동작 개시 시점으로 산출하는
전자 기기.
In Article 12,
The above controller calculates the time point in advance of the output time of the specific scene by the delay time as the time point of starting the thermal operation.
Electronic devices.
상기 열전 동작은, 상기 열전 소자가 전원이 인가받아 수행하는 발열 동작 및 흡열 동작 중 적어도 하나를 포함하는
전자 기기.
In Article 12,
The above thermoelectric operation includes at least one of a heat generating operation and a heat absorbing operation performed by the thermoelectric element when power is applied.
Electronic devices.
상기 사용자로부터 정보를 입력받는 입력 모듈;을 더 포함하고,
상기 콘트롤러는, 상기 입력 모듈을 통해 온감 피드백 및 냉감 피드백을 포함하는 상기 열적 피드백의 종류에 관한 사용자 입력을 획득하고, 상기 열적 피드백의 종류를 고려하여 상기 지연 시간을 획득하는
전자 기기.
In Article 12,
Further comprising an input module for receiving information from the user;
The above controller obtains user input regarding the type of thermal feedback including hot feedback and cold feedback through the input module, and obtains the delay time considering the type of thermal feedback.
Electronic devices.
상기 사용자로부터 정보를 입력받는 입력 모듈;을 더 포함하고,
상기 콘트롤러는, 상기 입력 모듈을 통해 상기 열적 피드백의 강도에 관한 사용자 입력을 획득하고, 상기 열적 피드백의 강도를 고려하여 상기 지연 시간을 획득하는
전자 기기.
In Article 12,
Further comprising an input module for receiving information from the user;
The above controller obtains user input regarding the intensity of the thermal feedback through the input module, and obtains the delay time by considering the intensity of the thermal feedback.
Electronic devices.
상기 메모리에는, 상기 열적 피드백의 강도 및 상기 지연 시간 간의 매칭 테이블이 저장되고,
상기 콘트롤러는, 상기 매칭 테이블을 참조하여 상기 열적 피드백의 강도에 관한 상기 지연 시간을 획득하되,
상기 매칭 테이블에는, 제1 강도, 제2 강도, 상기 제1 강도에 관한 제1 지연 시간 및 상기 제2 강도에 관한 제2 지연 시간이 포함되고, 상기 제2 강도는 상기 제1 강도보다 강하게 설정되어 있고, 상기 제2 지연 시간은 상기 제1 지연 시간보다 크게 설정되어 있는
전자 기기.
In Article 17,
In the above memory, a matching table between the intensity of the thermal feedback and the delay time is stored,
The above controller obtains the delay time related to the intensity of the thermal feedback by referring to the matching table,
The above matching table includes a first intensity, a second intensity, a first delay time for the first intensity, and a second delay time for the second intensity, wherein the second intensity is set to be stronger than the first intensity, and the second delay time is set to be greater than the first delay time.
Electronic devices.
상기 메모리에는, 상기 열적 피드백의 강도 및 상기 지연 시간 간의 매칭 테이블이 저장되고,
상기 콘트롤러는, 상기 매칭 테이블을 참조하여 상기 열적 피드백의 강도에 관한 상기 지연 시간을 획득하되,
상기 매칭 테이블에는, 제1 강도, 제2 강도, 상기 제1 강도에 관한 제1 지연 시간 및 상기 제2 강도에 관한 제2 지연 시간이 포함되고, 상기 제2 강도는 상기 제1 강도보다 강하게 설정되어 있고, 상기 제1 지연 시간은 상기 제2 지연 시간보다 크게 설정되어 있는
전자 기기.
In Article 17,
In the above memory, a matching table between the intensity of the thermal feedback and the delay time is stored,
The above controller obtains the delay time related to the intensity of the thermal feedback by referring to the matching table,
The above matching table includes a first intensity, a second intensity, a first delay time for the first intensity, and a second delay time for the second intensity, wherein the second intensity is set to be stronger than the first intensity, and the first delay time is set to be greater than the second delay time.
Electronic devices.
상기 콘트롤러는, 상기 피드백 디바이스의 식별 정보를 획득하고, 상기 피드백 디바이스의 식별 정보에 기초하여 상기 지연 시간을 획득하는
전자 기기.
In Article 12,
The above controller obtains identification information of the feedback device and obtains the delay time based on the identification information of the feedback device.
Electronic devices.
상기 콘트롤러는, 상기 열적 피드백 데이터 및 상기 동영상에 관한 영상 데이터가 병합된 단일 파일을 작성하고, 상기 작성된 파일을 상기 메모리에 저장하는
전자 기기.
In Article 12,
The above controller creates a single file in which the thermal feedback data and the image data regarding the video are merged, and stores the created file in the memory.
Electronic devices.
상기 콘트롤러는, 상기 열적 피드백 데이터를 포함하는 파일을 상기 동영상에 관한 영상 데이터를 포함하는 파일과 별개로 작성하고, 상기 작성된 파일을 상기 메모리에 저장하는
전자 기기.
In Article 12,
The above controller writes a file including the thermal feedback data separately from a file including image data regarding the video, and stores the written file in the memory.
Electronic devices.
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170062591A KR102369905B1 (en) | 2016-10-31 | 2017-05-19 | Feedback device and method for providing thermal feedback using the same |
| US15/633,341 US10561374B2 (en) | 2016-10-31 | 2017-06-26 | Feedback device and method for providing thermal feedback using the same |
| CN201780081874.6A CN110199243B (en) | 2016-10-31 | 2017-10-25 | Feedback device, content reproduction device, system and method for providing a thermal experience |
| CN202211386855.3A CN115738235A (en) | 2016-10-31 | 2017-10-25 | Feedback device, content reproduction device, system and method for providing a thermal experience |
| CN202211386998.4A CN115738237A (en) | 2016-10-31 | 2017-10-25 | Feedback device, content reproduction device, system and method for providing a thermal experience |
| CN202211386813.XA CN115999144A (en) | 2016-10-31 | 2017-10-25 | Feedback apparatus, content reproduction apparatus, system and method for providing a thermal experience |
| PCT/KR2017/011866 WO2018080174A1 (en) | 2016-10-31 | 2017-10-25 | Feedback device, content reproduction device, thermal experience providing system, and thermal experience providing method |
| CN202211386937.8A CN115738236A (en) | 2016-10-31 | 2017-10-25 | Feedback device, content reproduction device, system and method for providing a thermal experience |
| US16/736,678 US11191491B2 (en) | 2016-10-31 | 2020-01-07 | Feedback device and method for providing thermal feedback using the same |
| US17/394,816 US11612358B2 (en) | 2016-10-31 | 2021-08-05 | Feedback device and method for providing thermal feedback using the same |
| KR1020220129399A KR102715315B1 (en) | 2016-10-31 | 2022-10-11 | Feedback device, content reproduction device, system and method for providing thermal experience |
| KR1020240100146A KR20240118728A (en) | 2016-10-31 | 2024-07-29 | Feedback device and method for providing thermal using the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662415437P | 2016-10-31 | 2016-10-31 | |
| US62/415,437 | 2016-10-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180048207A KR20180048207A (en) | 2018-05-10 |
| KR102725315B1 true KR102725315B1 (en) | 2024-11-04 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012217861A (en) | 2011-04-11 | 2012-11-12 | Sony Computer Entertainment Inc | Temperature feedback motion controller |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012217861A (en) | 2011-04-11 | 2012-11-12 | Sony Computer Entertainment Inc | Temperature feedback motion controller |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11612358B2 (en) | Feedback device and method for providing thermal feedback using the same | |
| KR102554721B1 (en) | Feedback device, content reproduction device, system and method for providing thermal experience | |
| US11662813B2 (en) | Spectating virtual (VR) environments associated with VR user interactivity | |
| US11747056B2 (en) | Feedback device and thermal feedback providing method using same | |
| EP3429714B1 (en) | Spectator view tracking of virtual reality (vr) user in vr environments | |
| JP5551203B2 (en) | Motion controller that provides temperature feedback | |
| EP3469466B1 (en) | Directional interface object | |
| KR102725315B1 (en) | Method for generating a multimedia contents having a thermal experience and electronic device performing the same | |
| KR102725313B1 (en) | Feedback device, content reproduction device, system and method for providing thermal experience | |
| KR102725314B1 (en) | Feedback device, content reproduction device, system and method for providing thermal experience | |
| KR20240125538A (en) | Feedback device, content reproduction device, system and method for providing thermal experience | |
| JP6776409B1 (en) | Programs, methods, and terminals | |
| US20230358447A1 (en) | Feedback device and thermal feedback providing method using same |