KR101687309B1 - Method and apparatus for providing information terminal with hmd - Google Patents
Method and apparatus for providing information terminal with hmd Download PDFInfo
- Publication number
- KR101687309B1 KR101687309B1 KR1020150046875A KR20150046875A KR101687309B1 KR 101687309 B1 KR101687309 B1 KR 101687309B1 KR 1020150046875 A KR1020150046875 A KR 1020150046875A KR 20150046875 A KR20150046875 A KR 20150046875A KR 101687309 B1 KR101687309 B1 KR 101687309B1
- Authority
- KR
- South Korea
- Prior art keywords
- hmd
- user
- viewing area
- service
- displayed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 claims abstract 7
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 HMD(Head Mounted Display)가 구비된 단말의 정보 제공 서비스 방법에 있어서, 제1 사용자의 HMD 뷰잉(viewing) 영역에서 사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하는 과정과, 표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목을 활성화하여 페어링(pairing)된 타 사용자의 HMD에 디스플레이 하고자 하는 컨텐츠를 브로드캐스팅하는 과정과, 상기 제1 사용자의 HMD로부터 브로드캐스팅되어 적어도 하나 이상의 HMD에서 공유된 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 상기 HMD 사용자별 상호작용을 통해 제어되는 과정을 포함함을 특징으로 한다.The present invention provides an information providing service method of a terminal equipped with an HMD (Head Mounted Display), the method comprising the steps of: displaying a preset menu corresponding to an event detected through a user interrupt in an HMD viewing area of a first user; Broadcasting an item for supporting a screen sharing service among at least one or more other users from the displayed menu and broadcasting contents to be displayed in a paired HMD of another user; And controlling, through interaction with each of the HMD users, in a viewing area of a screen on which content broadcasted and shared by at least one or more HMDs is displayed.
Description
본 발명은 HMD 사용자간 화면 공유 디스플레이 서비스에 관한 것이다.The present invention relates to a screen sharing display service between HMD users.
기존의 안경형 착용 디바이스 또는 헤드 마운트 디스플레이(HMD: Head Mount Display)는 대부분 시스루(See-through) 정보 표시 장치를 이용하여 사용자에게 현재 시각적으로 관찰되는 현재 영상과 더불어 추가적인 정보를 전달하는 데 목적을 두고 있다.Conventional head-mounted devices or head-mounted displays (HMDs) are mainly used to transmit additional information to a user through a see-through information display device. have.
최근 안경 형태의 착용형 디바이스 또는 HMD를 이용하여 실제 영상에 정보를 중첩하여 표시하는 증강현실(AR: Augmented Reality) 서비스를 적용하기 위한 노력이 진행되고 있다.Recently, efforts are being made to apply an Augmented Reality (AR) service in which information is superimposed on an actual image using a wearable device or HMD in the form of a spectacle.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.Augmented reality (AR) is a computer graphics technique that combines virtual objects or information into a real environment to make them look like objects in the original environment.
이러한 증강 현실 기반의 HMD의 보급화로 인해 HMD 사용자 간 보다 효율적인 시간 활용 및 편리성을 추구하고자 그들 사이의 경험을 공유하여 보다 많은 정보를 보다 편리하고 효과적으로 전달하고 전달받고자 한다.Due to the spread of the HMD based on the augmented reality, the HMD users want to share the experience more effectively and efficiently, so as to pursue more efficient use of time and convenience.
따라서 본 발명은 개별 HMD에서 디스플레이되는 현재 시각적으로 관찰되는 현재 영상 혹은 콘텐츠 및 이에 대응하는 추가적인 정보를 화면 데이터 미러링(mirroring)을 통해 적어도 하나 이상의 타 HMD에 동일하게 디스플레이되는 화면 공유 디스플레이 서비스와 공유된 화면에서 HMD 사용자별 인터렉션이 반영되는 공유 화면 제어 서비스를 지원하고자 한다.Therefore, the present invention is applicable to a screen sharing display service that is displayed on at least one or more other HMDs through mirroring of screen data, which is currently visually observed, We want to support the shared screen control service that reflects the HMD user-specific interaction on the screen.
본 발명의 일 견지에 따르면, HMD(Head Mounted Display)가 구비된 단말의 정보 제공 서비스 방법에 있어서, 제1 사용자의 HMD 뷰잉(viewing) 영역에서 사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하는 과정과, 표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목을 활성화하여 페어링(pairing)된 타 사용자의 HMD에 디스플레이 하고자 하는 컨텐츠를 브로드캐스팅하는 과정과, 상기 제1 사용자의 HMD로부터 브로드캐스팅되어 적어도 하나 이상의 HMD에서 공유된 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 상기 HMD 사용자별 상호작용을 통해 제어되는 과정을 포함함을 특징으로 한다.According to an aspect of the present invention, there is provided an information providing service method of a terminal equipped with an HMD (Head Mounted Display), the method comprising the steps of: The method comprising the steps of: broadcasting an item for supporting a screen sharing service among at least one or more other users from the displayed menu to display content to be displayed in a pairing HMD of another user; The method comprising the steps of: controlling, through interaction with each of the HMD users, a viewing area of a screen broadcasted from one user's HMD and shared by at least one or more HMDs.
본 발명의 다른 견지에 따르면, HMD(Head Mounted Display)가 구비된 단말의 정보 제공 서비스 장치에 있어서, 센서부 및 촬영부와, 복수의 분할된 영역을 갖고, 각각의 분할된 영역에는 대응하는 아이템이 형성되는 뷰잉(viewing)영역이 표시되는 터치스크린과, 상기 터치스크린에서 사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하고, 표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목이 활성화된 경우 페어링(pairing)된 타 사용자의 HMD에 디스플레이하고자 하는 컨텐츠를 브로드캐스팅하고, 브로드캐스팅되어 적어도 둘 이상의 HMD에서 공유되는 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 사용자별 상호작용을 통해 제어되도록 제어하는 제어부와, 상기 제어부의 제어 하에 HMD에서 지원되는 서비스별 항목이 리스트화되어 사용자로부터 선택된 컨텐츠가 뷰잉되는 화면에 오버레이(overlay)되어 표시되도록 기설정된 메뉴를 처리하는 메뉴 처리부를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided an information providing service apparatus of a terminal equipped with an HMD (Head Mounted Display), comprising: a sensor unit and a photographing unit; And displaying a predetermined menu corresponding to an event detected through a user interrupt in the touch screen and displaying at least one screen sharing service among the other users from the displayed menu, When the item to be supported is activated, the content to be displayed is broadcast in the HMD of another paired user, and the content to be broadcast is broadcast and displayed in a viewing area of at least two HMDs, A control unit for controlling the display unit to be controlled through the HMD, Is telephone service-specific items is a list which is characterized in that it comprises a processing unit for processing a predetermined menu menu to be displayed overlaid (overlay) on the screen in which the selected viewing content from the user.
본 발명은 HMD가 구비된 단말의 정보 제공 서비스에 있어서, 개별의 HMD 제1 사용자가 제2, 제3 사용자를 포함하는 적어도 둘 이상의 다수 사용자에게 공유하고 싶은 화면과 더불어 정밀한 증강 서비스를 제공하고 상호 사용자 제스처 기반의 사용자 인터렉션을 수행할 수 있도록 양방향으로 디스플레이 미러링 및 멀티미디어 공유 수행이 가능한 효과가 있다.The present invention provides an information providing service of a terminal equipped with an HMD, in which an individual HMD first user provides a detailed enhancement service in addition to a screen to be shared with at least two or more users including second and third users, The display mirroring and the multimedia sharing can be performed in both directions so that the user interaction based on the user gesture can be performed.
도 1은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, HMD의 뷰잉 영역에서의 디스플레이 동작을 보인 화면 예시도.
도 3은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, 화면 공유 서비스를 보인 화면 예시도.
도 4은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 장치에 있어서, HMD 사용자간 화면 공유를 통한 경험 공유를 개략적으로 개념화한 예시도.
도 5는 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 장치에 관한 상세 블록도.
도 6은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, 2D 맵 뷰 기반 증강현실 정보 제공 관련 동작을 위한 HMD 인터페이스 구성을 보인 상세 블록도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an overall flowchart of an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an information providing service method of a terminal equipped with an HMD, and more particularly,
3 is a diagram illustrating an example of a screen sharing service in an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention.
FIG. 4 is a schematic conceptualization of experience sharing through screen sharing among HMD users in an information providing service apparatus of a terminal equipped with an HMD according to an embodiment of the present invention; FIG.
5 is a detailed block diagram of an information providing service apparatus of a terminal equipped with an HMD according to an embodiment of the present invention;
6 is a detailed block diagram illustrating an HMD interface configuration for an operation related to a 2D map view-based augmented reality information providing method in an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be appreciated that those skilled in the art will readily observe that certain changes in form and detail may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. To those of ordinary skill in the art.
본 발명은 헤드 마운트 디스플레이(Head Mount Display: HMD)에 관한 것으로, 더욱 상세하게는 개별 HMD에서 디스플레이 되는 현재 시각적으로 관찰되는 현재 영상 혹은 콘텐츠 및 이에 대응하는 추가적인 정보를 화면 데이터 미러링(mirroring)을 통해 적어도 하나 이상의 타 HMD에 동일하게 디스플레이 되는 화면 공유 디스플레이 서비스와 공유된 화면에서 HMD 사용자별 인터렉션이 반영되는 공유 화면 제어 서비스를 지원하기 위하여 사용자 인터럽트를 통해 기설정된 메뉴를 제1 사용자의 HMD에서 영상 혹은 콘텐츠가 현재 디스플레이되는 뷰잉 영역에 오버레이(overlay)되게 표시하고, 상기 메뉴로부터 적어도 하나 이상의 타 사용자 간 화면 공유 서비스를 지원하기 위한 항목을 활성화하여 페어링(pairing)된 타 사용자의 HMD에 디스플레이하고자 하는 컨텐츠를 브로드캐스팅하고, 이를 통해 적어도 하나 이상의 HMD에서 공유된 콘텐츠가 HMD 사용자별 상호작용을 통해 제어됨으로써 개별의 제1 사용자가 제2, 제3 사용자를 포함하는 적어도 둘 이상의 다수 사용자에게 공유하고 싶은 화면과 더불어 정밀한 증강 서비스를 제공하고 상호 사용자 제스처 기반의 사용자 인터렉션을 수행할 수 있도록 양방향으로 디스플레이 미러링 및 멀티미디어 공유 수행이 가능한 기술을 제공하고자 한다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head mount display (HMD), and more particularly, to a head mount display (HMD), in which a currently visually observed current image or content displayed in a separate HMD and corresponding additional information is mirrored In order to support a shared screen display service displayed on at least one or more other HMDs and a shared screen control service in which an HMD user-specific interaction is reflected on a shared screen, a predetermined menu is displayed on the HMD of the first user, Displaying the content overlaid on a currently displayed viewing area, activating an item for supporting a screen sharing service among at least one or more other users from the menu, and displaying the content to be displayed on the paired HMD of another user Bro And the contents shared by at least one or more HMDs are controlled through HMD user-specific interactions, thereby allowing each first user to share with at least two or more users including the second and third users, We intend to provide technologies capable of performing display mirroring and multimedia sharing in both directions to provide precise reinforcement services and to perform user interaction based on mutual user gestures.
이하, 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 대해 도 1 내지 도 2를 참조하여 자세히 살펴보기로 한다.Hereinafter, an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention will be described in detail with reference to FIG. 1 to FIG.
먼저, 도 1은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 관한 전체 흐름도이다.1 is a flowchart illustrating an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention.
도 1을 참조하면, 먼저 110 과정에서는 안경형 착용 디바이스 또는 헤드 마운트 디스플레이를 포함하는 사용자 웨어러블(wearable) 단말의 디스플레이 화면에 사용자로부터 선택된 소정의 콘텐츠를 표시한다.Referring to FIG. 1, in
여기서, 상기 콘텐츠는 인터넷을 통해 서비스되는 멀티미디어 서비스 혹은 HMD 사용자에게 현재 시각적으로 관찰되는 현재 영상을 포함하는 것으로 이때, 상기 현재 영상은 실제 영상에 정보를 중첩하여 표시하는 증강현실(Augmented Reality) 서비스와, 상기 HMD에 구비된 GPS, 자이로, 가속도, 나침반 등의 센서를 통해 위치를 확인한 후 해당 위치를 기점으로 하여 카메라를 통해 간접적으로 측정된 거리 정보를 이용하여 네트워크를 통해 연동된 서비스 서버를 통해 지원되는 주변 정보가 중첩되어 표시되는 수준이다.Here, the content includes a multimedia service that is served over the Internet, or a current image that is currently visually observed by the HMD user. In this case, the current image is an augmented reality service in which information is superimposed on an actual image, , The position is confirmed through a sensor such as GPS, gyro, acceleration, compass, etc. provided in the HMD, and the position information is indirectly measured through the camera using the position as a starting point and supported through a service server linked through a network And the surrounding information is displayed in a superimposed manner.
또한, 상기 콘텐츠는, 카메라를 통해 입력되는 영상, 지도 영상, HMD 사용자의 시선 이동 경로에 기반하는 실제 3차원 공간 영상 및 상기 각 영상에 중첩되어 생성되는 증강현실 정보를 포함한다.In addition, the content includes an image input through a camera, a map image, an actual three-dimensional spatial image based on a gaze path of an HMD user, and augmented reality information superimposed on each of the images.
112 과정에서는 제1 사용자의 HMD 뷰잉(viewing) 영역에서 사용자 인터럽트 발생 여부를 체크하여 체크 결과 사용자 인터럽트가 발생된 경우 114 과정으로 이동하여 기설정된 메뉴를 표시한다.In
여기서, 상기 뷰잉 영역은 HMD의 디스플레이 화면에서 콘텐츠가 표시되는 영역을 의미하는 것으로, 해당 영역은 HMD를 통해 시각적으로 사용자에게 서비스 되는 모든 화면 디스플레이 서비스와, 인터넷을 통한 멀티미디어 서비스 및 사용자가 카메라를 통해 현재 시각적으로 관찰되는 혹은 사용자의 시선 이동에 따라 입력되는 영상 정보가 디스플레이된다.Here, the viewing area refers to an area where a content is displayed on the display screen of the HMD, and the area includes all the screen display services that are visually provided to the user through the HMD, a multimedia service via the Internet, The image information which is currently visually observed or inputted according to the movement of the user's gaze is displayed.
또한, 상기 사용자 인터럽트는 목적물을 선택하거나 활성화시키기 위해 터치스크린(혹은 터치 패드)라는 입력부를 통해서 사용자가 입력하고자 하는 의도를 의미하는 것으로, 상기 터치스크린(혹은 터치 패드)의 어떤 한 점을 접촉 즉, 터치에 의해 포인팅하는 것이다. In addition, the user interrupt refers to an intention that a user intends to input through an input unit called a touch screen (or a touch pad) in order to select or activate an object, , Pointing by touch.
그리고 상기 기설정된 메뉴는 HMD에서 지원되는 서비스별 항목이 리스트화되어 사용자로부터 선택된 컨텐츠가 뷰잉되는 화면에 오버레이(overlay)되어 표시된다. 이때, 도 2를 참조하면, 도 2는 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, HMD의 뷰잉 영역에서의 디스플레이 동작을 보인 화면 예시도로서, 본 발명이 적용된 메뉴는 도 2의 도 도시된 바와 같이, HMD에서 지원되어 실행되는 특정 서비스 기능 내의 아이템 리스트로 구성되며, 이러한 기설정된 메뉴 214는 현재 콘텐츠가 디스플레이되는 뷰잉 영역(212)에서 발생된 사용자 인터럽트를 통해 상기 콘텐츠에 중첩되어 표시된다.In addition, the predetermined menu is overlaid on a screen in which content items supported by the HMD are listed and the content selected by the user is displayed. 2 is a diagram illustrating a display operation in a viewing area of an HMD in an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention. As shown in FIG. 2, the applied menu is composed of a list of items in a specific service function supported and executed by the HMD, and the
다시 도 1의 흐름도를 살펴보면, 116 과정에서는 표시된 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목 활성화 여부를 체크하고, 체크 결과 화면 공유 서비스를 지원하기 위한 항목이 활성화된 경우 118 과정으로 이동하여 페어링(pairing)된 타 사용자의 HMD 간 통신 연결을 위한 링크를 수립한다.Referring again to FIG. 1, in
더욱 상세하게는, 소정의 사용자 예컨대, 제1 사용자가 자신의 HMD의 뷰잉 영역에 디스플레이되는 화면을 다른 사용자와 공유하고 싶은 경우 상기 뷰잉 영역 내 소정 위치(혹은 기설정된 위치)를 인터럽트하여 기설정된 메뉴를 표시하고, 표시된 기설정된 메뉴에서 적어도 하나 이상의 타 사용자 간 화면 공유 서비스를 지원하기 위한 항목을 인터럽트를 통해 활성화한다.More specifically, when a predetermined user, for example, a first user wants to share a screen displayed in a viewing area of his / her HMD with another user, it interrupts a predetermined position (or a preset position) in the viewing area, And activates an item for supporting a screen sharing service among at least one or more other users in the displayed menu through an interrupt.
다시 도 2를 참조하면, 상기 메뉴 항목들을 활성화하는 동작은 기설정된 메뉴에서 제공되는 다수의 메뉴 항목(216)에서 화면 공유 항목을 사용자 인터럽트를 통해 선택하면 상기 기설정된 메뉴 표시 영역의 일측에 별도의 윈도우(218) 형태로 상기 화면 공유 항목에 포함되는 하위 서브 항목이 표시된다.Referring to FIG. 2 again, the operation of activating the menu items may be realized by selecting a screen sharing item through a user interrupt from a plurality of
상기 하위 서브 항목에는 기설정되어 페어링된 적어도 둘 이상의 타 사용자의 HMD 목록이 표시되어 현재 뷰잉 영역에 표시되는 콘텐츠를 공유하고자 하는 특정 HMD에 대한 선택 입력을 대기한다. 이후, 상기 하위 서브 항목에서 적어도 하나 이상의 HMD가 선택되면 제1 사용자의 HMD에서는 해당 HMD로의 통신 링크 요청을 통해 화면 공유를 위한 연결을 수행한다. 이러한 하위 서브 항목이 표시된 윈도우(218)에는 보안 정책 기반 인증이 완료된 HMD가 리스트화되어 사용자 인터럽트를 통해 별도의 인증 절차 없이 바로 통신을 위한 링크가 수립된다.The HMD list of at least two other users that have been previously set and paired is displayed in the lower sub-item, and a selection input for a specific HMD to share the content displayed in the current viewing area is awaited. Thereafter, when at least one HMD is selected in the lower sub-item, the HMD of the first user performs a connection for screen sharing through a communication link request to the corresponding HMD. In the
한편, 도 1의 120 과정에서는 페어링된 타 사용자의 HMD에 디스플레이하고자 하는 콘텐츠를 유니캐스팅한다. 상기 제1 사용자의 HMD로부터 뷰잉 영역에 디스플레이된 기설정된 메뉴의 화면 공유 서비스 항목 활성화를 통해 유니캐스팅을 발생하여 수신지 즉, 화면을 공유하고자 하는 HMD 단말에 송신한다.Meanwhile, in
122 과정에서는 상기 제1 사용자의 HMD로부터 유니캐스팅되어 적어도 하나 이상의 HMD에서 공유된 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 상기 HMD 사용자별 상호작용을 통해 제어된다.In operation 122, the contents unicasted from the HMD of the first user and shared by at least one HMD are controlled through interaction with the HMD user in the viewing area of the screen on which the contents are displayed.
이때, 상기 뷰잉 영역은 도 3을 참조하여 설명하면, 도 3은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, 화면 공유 서비스를 보인 화면 예시도로서, 제1 HMD와 제2 HMD 간 일대일 페어링되어 각자의 HMD의 뷰잉 영역(311)을 분할하여 자신의 HMD의 뷰잉 영역에서 디스플레이되는 콘텐츠 서비스를 상호 공유하여 제1 HMD 혹은 제2 HMD로 출력된 화면 데이터를 자신의 HMD 뷰잉 영역에서 제1 위치(310) 및 제2 위치(312)로 분할하여 디스플레이 한다.3 is a view illustrating a screen sharing service in a method of providing information of a terminal equipped with an HMD according to an embodiment of the present invention. Referring to FIG. 3, One-to-one pairing is performed between the HMD and the second HMD to divide the
도 3에 도시된 바와 같이, 본 발명이 적용된 HMD의 뷰잉 영역(311)은 복수의 분할된 영역(310, 312)을 갖고, 각각의 분할된 영역(310, 312)에 대응하는 아이템이 형성되고, 상기 뷰잉 영역 내 제1 위치(310)에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련된 제1 서비스가 제공되고, 제2 위치(312)에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 제2 서비스가 제공된다.3, the
상기 아이템은 제1 사용자 혹은 타 사용자의 HMD의 뷰잉 영역에 디스플레이 되는 콘텐츠이고, 상기 제1 서비스는 제1 사용자의 HMD에 구비된 카메라를 통해 입력되는 실제 3차원 공간이 디스플레이되는 서비스, 상기 제2 서비스는 상기 제1 사용자의 HMD와 기설정되어 페어링된 타 사용자의 HMD에 구비된 카메라를 통해 입력되는 실제 3차원 공간이 디스플레이되는 서비스를 포함한다.Wherein the item is a content displayed in a viewing area of a first user or an HMD of another user, the first service is a service in which an actual three-dimensional space inputted through a camera provided in a HMD of a first user is displayed, The service includes a service for displaying an actual three-dimensional space inputted through a camera provided in the HMD of another user that is previously paired with the HMD of the first user.
여기서, 도 3에 도시된 뷰잉 영역(311)은 제1 및 제2 서비스와 제1 및 제2 위치를 예로 하여 화면이 분할됨을 설명하기 위한 것으로, 본 발명에서의 뷰잉 영역 화면 분할이 이에 한정되지 않음은 자명한 것으로, 사용자 선택에 의해 선별적으로 뷰잉 영역의 화면 분할 관련 분할된 화면별 위치는 더 증가할 수 있음을 밝혀 두는 바이다.Here, the
그리고 상기 제1 및 제2 서비스는, 제1 사용자의 HMD에 기설정된 혹은 통신 연결 수립에 따라 페어링된 타 사용자의 HMD의 화면 데이터가 상기 제1 사용자의 HMD로 미러링되어 수행된다.The first and second services are performed by mirroring the screen data of the HMD of another user paired according to the HMD of the first user or establishing the communication connection with the HMD of the first user.
상기 미러링은 HMD에서 지원되는 화면 공유 서비스를 통해 뷰잉 영역에 표시되는 화면에 대응되는 화면 데이터를 페어링된 HMD out 기능을 가진 타 HMD로 출력할 수 있도록 설정된 동작으로 본 발명이 적용된 HMD에서는 미러링 중에 기설정된 이벤트의 발생을 검출하고, 검출된 이벤트 타입에 따라 미러링 제한 여부를 결정함으로써 의도되지 않은 정보를 타인에게 노출함을 지양하도록 한다.The mirroring is an operation configured to output screen data corresponding to a screen displayed in a viewing area through a screen sharing service supported by the HMD to another HMD having a paired HMD out function. In the HMD to which the present invention is applied, The occurrence of the set event is detected and the mirroring restriction is determined according to the detected event type so as to prevent the unintended information from being exposed to the other person.
또한, 상기 검출된 이벤트 타입은, HMD에 기설정되어 잠금 화면, 문자 입력기 또는 통지에 대한 미러링의 제한을 설정하는 것으로, 예컨대 HMD 뷰잉 영역의 감지 센서의 위를 손으로 가리는 등의 사용자의 제스처(gesture)를 포함한다.The detected event type is set in the HMD to limit the mirroring of the lock screen, the character input device, or the notification. For example, the detected event type may be a gesture of the user, such as covering the detection sensor of the HMD viewing area with a hand gesture).
그리고 상기 제1 및 제2 위치(310, 312)에 형성되는 아이템은 사용자 인터럽트를 통해 상하좌우 위치 이동이 가능하다.
The items formed in the first and
한편, 도 6은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 있어서, 2D 맵 뷰 기반 증강현실 정보 제공 관련 동작을 위한 HMD 인터페이스 구성을 보인 것으로, 도 6을 참조하면, 사용자 HMD 인터페이스의 뷰잉 영역(610)에는 GPS를 통해 획득된 사용자별 위치정보 기반 2D 맵 뷰(Map View)가 증강현실 뷰(AR View)로 변형 혹은 중첩하여 디스플레이된다.Meanwhile, FIG. 6 illustrates an HMD interface for a 2D map-based augmented reality information providing operation in an information providing service method of a terminal equipped with an HMD according to an embodiment of the present invention. Referring to FIG. 6, , A 2D map view based on a user-specific location information acquired via GPS is displayed on the
상기 2D 맵 뷰는 기설정된 메뉴로부터 어노테이션(annotation)이 지원되는 항목 활성화를 통해 수행되는 것으로, 센서부(615)에 구비된 GPS, 자이로스코프(Gyroscope), 가속도계(acceleromete), 나침반, 타이머를 이용하여 사용자의 위치 정보를 획득하고 이에 기반하여 HMD의 움직임을 통해 사용자의 시선 방향 정보를 측정하여 현재 HMD에서 관찰되는 영상에 포함된 주요 관심지점에 대한 어노테이션 정보를 로케이션 어노테이션(614)를 통해 제공받아 해당 뷰잉 영역(610)에 표시한다.The 2D map view is performed through activation of an item for which an annotation is supported from a predetermined menu. The 2D map view can be displayed by using a GPS, a gyroscope, an accelerometer, a compass, and a timer provided in the
그리고 상기 증강현실 뷰(AR View)는 Picture, Video, 3D model, Voice를 메타 데이터로 변환 후 증강된 어노테이션으로 생성하는 콘텐츠부(616)를 통해 표시되는 것으로, 가상 공간의 디지털 정보들이 더 포함될 수 있다.The augmented reality view (AR View) is displayed through a
이와 대응하는 612 뷰잉 영역을 포함하는 타 사용자의 HMD 인터페이스 또한 상술한 610 뷰잉 영역을 포함하는 사용자 HMD 인터페이스의 구성과 동일하다.The HMD interface of the other user including the corresponding 612 viewing area is also the same as the configuration of the user HMD interface including the above-mentioned 610 viewing area.
이러한 구성에 따라 본 발명이 적용된 HMD에서는 사용자의 시선이 향하는 방향에 위치하는 현재 영상 혹은 2D 맵 뷰 기반 영상에 위치하는 관심 지점(혹은 어노테이션이 설정된 지점)에 대한 정보를 해당 영상과 중첩하여 생성한 증강 현실 정보로 제공하며, 또한 상기 증강 현실 정보를 제공함에 있어서 사용자 HMD 인터페이스 및 타 사용자의 인터페이스로부터 각각 제공되는 서로 다른 관심 지점(혹은 어노테이션이 설정된 지점)에 대한 정보를 비교하여 통합하여 제공함으로써 가시성이 뛰어나고 정확한 증강 현실 정보를 제공할 수 있도록 한다.According to this configuration, in the HMD to which the present invention is applied, information about a point of interest (or a point at which an annotation is set) located in a current image or a 2D map-view based image positioned in a direction of a user's gaze is superimposed And provides information on the augmented reality information. Further, in providing the augmented reality information, information on different points of interest (or points on which the annotations are set) provided from the user HMD interface and other user interfaces are compared and integrated, To provide excellent and accurate augmented reality information.
이에 따라, 610의 뷰잉 영역을 포함하는 사용자 HMD 인터페이스의 뷰잉 영역(610)에 디스플레이된 2D 맵 뷰 기반 AR 뷰를 페어링된 적어도 하나 이상의 타사용자의 HMD로부터 수집하여 상기 어노테이션 관련 항목이 활성화된 HMD 뷰잉 영역에 통합하여 표시한다.
Accordingly, the 2D map-view-based AR view displayed in the
이상에서는, 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법에 관해 살펴보았다.In the foregoing, a method of providing information of a terminal equipped with an HMD according to an embodiment of the present invention has been described.
이하, 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 장치에 관해 도 4 내지 5를 참조하여 살펴보기로 한다.Hereinafter, an information providing service apparatus of a terminal equipped with an HMD according to an embodiment of the present invention will be described with reference to FIGS.
먼저, 도 4은 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 장치에 있어서, HMD 사용자간 화면 공유를 통한 경험 공유를 개략적으로 개념화한 예시도이다.4 is an exemplary diagram schematically conceptualizing experience sharing through screen sharing among HMD users in an information providing service apparatus of a terminal equipped with an HMD according to an embodiment of the present invention.
도 4를 참조하면, 본 발명은 타 사용자 HMD로 자신의 경험을 공유하고자 하는 제1 사용자(40)의 HMD(412)에서 뷰잉 영역(410)에 표시된 콘텐츠에서 상기 뷰잉 영역(412)에 대응하는 터치 패드를 터치하게 되면 뷰잉 영역(410)에 기설정된 메뉴가 표시되고 상기 기설정된 메뉴에 설정된 타 사용자간 화면 공유 서비스를 지원하기 위한 항목을 제1 사용자(40)의 인터럽트를 통해 활성화하면, 상기 뷰잉 영역(410)에 표시된 콘텐츠가 타 사용자 즉, 제2 사용자(41)의 HMD(416)의 뷰잉 영역(414)에 표시됨으로써 제1 사용자 및 제2 사용자 간 공유된 화면 기반 비주얼 센스(visual sense), 오디토리 센스(auditory sense) 기반 상호 심리 관계(Mutual psychological relationship)가 형성되도록 한다.4, in the
이어서, 도 5는 본 발명의 일 실시 예에 따른 HMD가 구비된 단말의 정보 제공 서비스 장치에 관한 상세 블록도이다.5 is a detailed block diagram of an information providing service apparatus of a terminal equipped with an HMD according to an embodiment of the present invention.
도 5를 참조하면, 본 발명이 적용된 장치(500)은 촬영부(카메라, 510), 터치스크린(디스플레이부, 512), 검색부(514), 메뉴 처리부(516), 제어부(518), 센서부(520), 컨텐츠부(522) 및 통신부(524)를 포함한다.5, the
상기 센서부(520)은 GPS, 자이로스코프(Gyroscope), 가속도계(acceleromete), 나침반, 타이머를 포함하고, 이를 이용하여 사용자의 위치 정보를 획득하고 이에 기반하여 HMD의 움직임을 통해 사용자의 시선 방향 정보를 측정하여 상기 제어부(518)로 출력한다.The
상기 컨텐츠부(522)는 HMD가 구비된 단말의 정보 제공 서비스 장치(500)에서 상기 디스플레이부(512)를 통해 출력되는 컨텐츠를 저장하고, 사용자 선택 기반 제어부(518) 제어 하에 상기 디스플레이부(512)로 출력한다.The
상기 검색부(514)는 화면을 공유하고자 하는 이웃하는 HMD를 검색하여 제어부(518)로 출력한다.The
상기 디스플레이부(512)는 복수의 분할된 영역을 갖고, 각각의 분할된 영역에는 대응하는 아이템이 형성되는 뷰잉(viewing)영역이 표시되는 터치스크린이다.The
상기 제어부(518)는 HMD가 구비된 단말의 정보 제공 서비스 장치(500)의 전반적인 동작을 제어한다.The
또한, 상기 제어부(518)는 터치스크린(512)사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하고, 표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목이 활성화된 경우 페어링(pairing)된 타 사용자의 HMD에 디스플레이하고자 하는 컨텐츠를 유니(혹은 브로드)캐스팅하고, 유니(혹은 브로드)캐스팅되어 적어도 둘 이상의 HMD에서 공유되는 콘텐츠가 디스플레이된 디스플레이부(512) 화면의 뷰잉 영역에서 사용자별 상호작용을 통해 제어되도록 제어한다.In addition, the
그리고 상기 제어부(518)은 상기 메뉴 처리부(516)의 기설정된 메뉴로부터 어노테이션(annotation)이 지원되는 항목 활성화를 통해 상기 HMD에 구비된 센서부(520) 내 GPS를 통해 획득된 사용자별 위치정보 기반 2D 맵 뷰잉 영역이 통신부(524)를 통해 제공되는 어노테이션 혹은 기저장된 어노테이션이 적용되어 증강현실 서비스를 지원한다.In addition, the
이에 따라, 상기 2D 맵 뷰잉 영역은 증강현실이 지원되는 뷰잉 영역으로 변형되고, 상기 증강현실 뷰잉영역에 어노테이션된 정보를 페어링된 적어도 하나 이상의 타사용자의 HMD로부터 상기 어노테이션 관련 항목이 활성화된 HMD 뷰잉 영역에 통합되어 표시되도록 제어한다.Accordingly, the 2D map viewing area is transformed into a viewing area in which the augmented reality is supported, and the HMD viewing area in which the annotation related item is activated, from the HMD of at least one other user paired with the annotated information in the augmented reality viewing area As shown in FIG.
이때, 상기 제어부(518)는, 상기 뷰잉 영역 내 제1 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련된 제1 서비스가 제공되고, 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스가 제공되도록 제어한다.At this time, the
여기서, 제1 및 제2 서비스는, 상기 제어부(518)의 제어 하에 제1 사용자의 HMD에 기설정된 혹은 통신 연결 수립에 따라 페어링된 타 사용자의 HMD의 화면 데이터가 상기 제1 사용자의 HMD로 미러링되어 수행된다.Here, the first and second services may be configured such that the screen data of the HMD of another user paired with the HMD of the first user or paired according to the establishment of the communication connection under the control of the
상기 메뉴 처리부(516)는 제어부(518)의 제어 하에 HMD에서 지원되는 서비스별 항목이 리스트화되어 사용자로부터 선택된 컨텐츠가 뷰잉되는 화면에 오버레이(overlay)되어 표시되도록 기설정된 메뉴를 처리한다.
Under the control of the
상기와 같이 본 발명에 따른 HMD가 구비된 단말의 정보 제공 서비스 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.Although the exemplary embodiments of the present invention have been disclosed for illustrative purposes, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. Without departing from the scope of the present invention. Accordingly, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by equivalents of the claims and the claims.
510: 카메라 512: 디스플레이부
514: 검색부 516: 메뉴 처리부
518: 제어부 520: 센서부
522: 컨텐츠부 524: 통신부
514: Search unit 516: Menu processing unit
518: Control section 520:
522: content unit 524: communication unit
Claims (13)
제1 사용자의 HMD 뷰잉(viewing) 영역에서 사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하는 단계;
표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목을 활성화하여 페어링(pairing)된 타 사용자의 HMD에 디스플레이 하고자 하는 컨텐츠를 브로드캐스팅하는 단계; 및
상기 제1 사용자의 HMD로부터 브로드캐스팅되어 적어도 하나 이상의 HMD에서 공유된 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 상기 HMD 사용자별 상호작용을 통해 제어되는 단계를 포함하고,
상기 컨텐츠를 브로드캐스팅하는 단계는,
상기 기설정된 메뉴의 표시 영역의 일측에 별도의 원도우 형태로 상기 화면 공유 서비스를 지원하기 위한 항목에 포함되는 하위 서브 항목이 표시되는 단계;
상기 하위 서브 항목에서 기설정되어 페어링된 적어도 둘 이상의 타 사용자의 HMD 목록이 표시되어 특정 HMD에 대한 선택 입력을 대기하는 단계; 및
상기 하나 이상의 HMD가 선택되면, 상기 제1 사용자의 HMD에서 상기 선택된 HMD로의 통신 링크 요청을 통해 화면 공유를 위한 연결을 수행하는 단계를 포함하고,
상기 뷰잉 영역은 제1 HMD와 제2 HMD 간 일대일 페어링되어 각자의 HMD의 뷰잉 영역을 분할하여 자신의 HMD의 뷰잉 영역에서 디스플레이되는 콘텐츠 서비스를 상호 공유하여 상기 제1 HMD 또는 제2 HMD로 출력된 화면 데이터를 자신의 HMD 뷰잉 영역에서 제1 위치 및 제2 위치로 분할하여 디스플레이하며,
상기 뷰잉 영역은 복수의 분할된 영역을 갖고, 각각의 분할된 영역에는 대응하는 아이템이 형성되고,
상기 뷰잉 영역 내 제1 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련된 제1 서비스가 제공되고, 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스가 제공되는 단계를 포함하고,
상기 제1 및 제2 서비스는 제1 사용자의 HMD에 기설정된 혹은 통신 연결 수립에 따라 페어링된 타 사용자의 HMD의 화면 데이터가 상기 제1 사용자의 HMD로 미러링되어 수행되고, 상기 미러링은 HMD에서 지원하는 화면 공유 서비스를 통해 뷰잉 영역에 표시되는 화면에 대응되는 화면 데이터를 페어링된 HMD Out 기능을 가진 타 HMD로 출력하는 것을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 방법.A method of providing an information service of a terminal equipped with an HMD (Head Mounted Display)
Displaying a predetermined menu corresponding to an event detected through a user interrupt in an HMD viewing area of a first user;
Broadcasting an item for supporting a screen sharing service among at least one or more other users from the displayed menu to display in a paired HMD of another user; And
And controlling the HMD user by interacting in a viewing area of a screen broadcasted from the HMD of the first user and contents shared by at least one HMD,
Broadcasting the content comprises:
Displaying a sub-item included in an item for supporting the screen sharing service in a separate window shape on one side of a display area of the predetermined menu;
Waiting for a selection input for a specific HMD by displaying a list of HMDs of at least two other users that have been previously set and paired in the lower sub-item; And
Performing a connection for screen sharing through a communication link request from the HMD of the first user to the selected HMD if the one or more HMDs are selected,
The viewing area is paired one-to-one between the first HMD and the second HMD to divide the viewing area of the respective HMD to mutually share contents services displayed in the viewing area of the HMD of the first HMD to output to the first HMD or the second HMD Divides and displays the screen data in a first position and a second position in its HMD viewing area,
Wherein the viewing area has a plurality of divided areas, a corresponding item is formed in each divided area,
Wherein a first location in the viewing area is provided with a first service associated with the item formed in the divided area and a second location is associated with the item formed in the divided area and a second service different from the first service is provided Comprising the steps of:
The first and second services are performed by mirroring the screen data of the HMD of another user paired according to the HMD of the first user or established according to the establishment of the communication connection with the HMD of the first user, And outputting the screen data corresponding to the screen displayed in the viewing area to the other HMD having the paired HMD Out function.
HMD에서 지원되는 서비스별 항목이 리스트화되어 사용자로부터 선택된 컨텐츠가 뷰잉되는 화면에 오버레이(overlay)되어 표시됨을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 방법.The method according to claim 1,
Wherein the service-specific items supported by the HMD are listed and overlaid on a screen on which the content selected by the user is displayed, and displayed.
상기 아이템은 제1 사용자 혹은 타 사용자의 HMD의 뷰잉 영역에 디스플레이 되는 콘텐츠이고,
상기 제1 서비스는 제1 사용자의 HMD에 구비된 카메라를 통해 입력되는 실제 3차원 공간이 디스플레이 되는 서비스이고,
상기 제2 서비스는 상기 제1 사용자의 HMD와 기설정되어 페어링된 타 사용자의 HMD에 구비된 카메라를 통해 입력되는 실제 3차원 공간이 디스플레이되는 서비스를 포함함을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 방법.The method according to claim 1,
The item is content displayed in the viewing area of the HMD of the first user or another user,
The first service is a service in which an actual three-dimensional space input through a camera provided in the HMD of the first user is displayed,
Wherein the second service includes a service for displaying an actual three-dimensional space input through a camera provided in an HMD of another user that is previously paired with the HMD of the first user. Information service method.
카메라를 통해 입력되는 영상, 지도 영상, HMD 사용자의 시선 이동 경로에 기반하는 실제 3차원 공간 영상 및 상기 각 영상에 중첩되어 생성되는 증강현실 정보를 포함함을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 방법.The method of claim 1,
An image input through a camera, a map image, an actual three-dimensional spatial image based on a line-of-sight path of an HMD user, and augmented reality information superimposed on each of the images, Provided services.
센서부 및 촬영부;
복수의 분할된 영역을 갖고, 각각의 분할된 영역에는 대응하는 아이템이 형성되는 뷰잉(viewing)영역이 표시되는 터치스크린;
상기 터치스크린에서 사용자 인터럽트를 통해 감지된 이벤트에 대응하여 기설정된 메뉴를 표시하고, 표시된 상기 메뉴로부터 적어도 하나 이상의 타 사용자간 화면 공유 서비스를 지원하기 위한 항목이 활성화된 경우 페어링(pairing)된 타 사용자의 HMD에 디스플레이 하고자 하는 컨텐츠를 브로드캐스팅하고, 브로드캐스팅되어 적어도 둘 이상의 HMD에서 공유되는 콘텐츠가 디스플레이된 화면의 뷰잉 영역에서 사용자별 상호작용을 통해 제어되도록 제어하는 제어부; 및
상기 제어부의 제어 하에 HMD에서 지원되는 서비스별 항목이 리스트화되어 사용자로부터 선택된 컨텐츠가 뷰잉되는 화면에 오버레이(overlay)되어 표시되도록 기설정된 메뉴를 처리하는 메뉴 처리부를 포함하고,
상기 제어부는 상기 기설정된 메뉴의 표시 영역의 일측에 별도의 원도우 형태로 상기 화면 공유 서비스를 지원하기 위한 항목에 포함되는 하위 서브 항목이 표시되고, 상기 하위 서브 항목에서 기설정되어 페어링된 적어도 둘 이상의 타 사용자의 HMD 목록이 표시되어 특정 HMD에 대한 선택 입력을 대기하고, 상기 하나 이상의 HMD가 선택되면, 제1 사용자의 HMD에서 상기 선택된 HMD로의 통신 링크 요청을 통해 화면 공유를 위한 연결을 수행하며,
상기 뷰잉 영역은 제1 HMD와 제2 HMD 간 일대일 페어링되어 각자의 HMD의 뷰잉 영역을 분할하여 자신의 HMD의 뷰잉 영역에서 디스플레이되는 콘텐츠 서비스를 상호 공유하여 상기 제1 HMD 또는 제2 HMD로 출력된 화면 데이터를 자신의 HMD 뷰잉 영역에서 제1 위치 및 제2 위치로 분할하여 디스플레이하며,
상기 뷰잉 영역은 복수의 분할된 영역을 갖고, 각각의 분할된 영역에는 대응하는 아이템이 형성되고,
상기 뷰잉 영역 내 제1 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련된 제1 서비스가 제공되고, 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스가 제공되는 단계를 포함하고,
상기 제1 및 제2 서비스는 제1 사용자의 HMD에 기설정된 혹은 통신 연결 수립에 따라 페어링된 타 사용자의 HMD의 화면 데이터가 제1 사용자의 HMD로 미러링되어 수행되고, 상기 미러링은 HMD에서 지원하는 화면 공유 서비스를 통해 뷰잉 영역에 표시되는 화면에 대응되는 화면 데이터를 페어링된 HMD Out 기능을 가진 타 HMD로 출력하는 것을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 장치.An information providing service apparatus of a terminal equipped with an HMD (Head Mounted Display)
A sensor unit and a photographing unit;
A touch screen having a plurality of divided areas, each divided area displaying a viewing area in which a corresponding item is formed;
When the item for supporting the screen sharing service among at least one or more other users is activated from the displayed menu, the other user who is paired A control unit broadcasting the content to be displayed in the HMD of the at least one HMD and controlling the at least two HMDs to be controlled through interaction with each other in a viewing area of a screen displaying contents shared by at least two HMDs; And
And a menu processing unit for processing a menu that is set to be displayed in an overlay on a screen in which contents selected by the user are displayed by listing the items for each service supported by the HMD under the control of the controller,
Wherein the control unit displays a lower sub-item included in an item for supporting the screen sharing service in a separate window shape on one side of the display area of the predetermined menu, and displays at least two or more A list of HMDs of other users is displayed to wait for a selection input for a specific HMD, and when the one or more HMDs are selected, connection for screen sharing is performed through a communication link request from the HMD of the first user to the selected HMD,
The viewing area is paired one-to-one between the first HMD and the second HMD to divide the viewing area of the respective HMD to mutually share contents services displayed in the viewing area of the HMD of the first HMD to output to the first HMD or the second HMD Divides and displays the screen data in a first position and a second position in its HMD viewing area,
Wherein the viewing area has a plurality of divided areas, a corresponding item is formed in each divided area,
Wherein a first location in the viewing area is provided with a first service associated with the item formed in the divided area and a second location is associated with the item formed in the divided area and a second service different from the first service is provided Comprising the steps of:
In the first and second services, the screen data of the HMD of another user paired according to the HMD of the first user or established according to the establishment of the communication connection is mirrored by the HMD of the first user, and the mirroring is performed by the HMD And outputting the screen data corresponding to the screen displayed in the viewing area through the screen sharing service to another HMD having the paired HMD Out function.
상기 메뉴 처리부의 기설정된 메뉴로부터 어노테이션(annotation)이 지원되는 항목 활성화를 통해 상기 HMD에 구비된 GPS를 통해 획득된 사용자별 위치정보 기반 2D 맵 뷰잉 영역이 증강현실 뷰잉 영역으로 변형되고, 상기 증강현실 뷰잉영역에 어노테이션된 정보를 페어링된 적어도 하나 이상의 타사용자의 HMD로부터 상기 어노테이션 관련 항목이 활성화된 HMD 뷰잉 영역에 통합되어 표시되도록 제어함을 특징으로 하는 HMD가 구비된 단말의 정보 제공 서비스 장치.11. The apparatus according to claim 10,
Based 2D map viewing region obtained by the GPS provided in the HMD through the activation of an item for which an annotation is supported from the predetermined menu of the menu processing unit is transformed into an augmented reality viewing region, Wherein the annotation-related item is integrated and displayed in the HMD viewing area in which the annotation related item is activated, from the HMD of at least one other user paired with the information annotated in the viewing area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046875A KR101687309B1 (en) | 2015-04-02 | 2015-04-02 | Method and apparatus for providing information terminal with hmd |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046875A KR101687309B1 (en) | 2015-04-02 | 2015-04-02 | Method and apparatus for providing information terminal with hmd |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160118568A KR20160118568A (en) | 2016-10-12 |
| KR101687309B1 true KR101687309B1 (en) | 2016-12-28 |
Family
ID=57173677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150046875A KR101687309B1 (en) | 2015-04-02 | 2015-04-02 | Method and apparatus for providing information terminal with hmd |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101687309B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019172563A1 (en) * | 2018-03-06 | 2019-09-12 | 서울대학교병원 | System for providing treatment experience at hospital on basis of vr or ar |
| WO2024085353A1 (en) * | 2022-10-20 | 2024-04-25 | 삼성전자주식회사 | Electronic device and method for controlling camera on basis of location to obtain media corresponding to location, and method therefor |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102413646B1 (en) * | 2017-11-17 | 2022-06-27 | 주식회사 케이티 | Method for providing virtual reality contents, server and device |
| CN111752381B (en) * | 2019-05-23 | 2024-06-18 | 北京京东尚科信息技术有限公司 | Man-machine interaction method and device |
| KR20220047446A (en) * | 2020-10-08 | 2022-04-18 | 주식회사 룩시드랩스 | Apparatus and method for providing user interface to support cognitive function activity |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100963238B1 (en) * | 2008-02-12 | 2010-06-10 | 광주과학기술원 | Tabletop-Mobile augmented reality systems for individualization and co-working and Interacting methods using augmented reality |
| KR101082285B1 (en) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | Terminal and method for providing augmented reality |
| KR101338700B1 (en) * | 2011-01-27 | 2013-12-06 | 주식회사 팬택 | Augmented reality system and method that divides marker and shares |
| KR101579491B1 (en) * | 2013-07-17 | 2015-12-23 | 한국과학기술원 | Digilog space generator for tele-collaboration in an augmented reality environment and digilog space generation method using the same |
-
2015
- 2015-04-02 KR KR1020150046875A patent/KR101687309B1/en active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019172563A1 (en) * | 2018-03-06 | 2019-09-12 | 서울대학교병원 | System for providing treatment experience at hospital on basis of vr or ar |
| WO2024085353A1 (en) * | 2022-10-20 | 2024-04-25 | 삼성전자주식회사 | Electronic device and method for controlling camera on basis of location to obtain media corresponding to location, and method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160118568A (en) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132162B2 (en) | Gaze-based user interactions | |
| KR102218516B1 (en) | Detection and display of mixed 2d/3d content | |
| US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| KR101687309B1 (en) | Method and apparatus for providing information terminal with hmd | |
| US20160292922A1 (en) | Display control device, display control method, and recording medium | |
| US20160291687A1 (en) | Display control device, display control method, and recording medium | |
| US12114052B2 (en) | Methods, systems, and media for presenting interactive elements within video content | |
| CN109496293B (en) | Extended content display method, device, system and storage medium | |
| CN110007832B (en) | Information terminal device, information processing system, and computer-readable non-transitory storage medium storing display control program | |
| JP2018525750A (en) | Auxiliary item selection for see-through glass | |
| JP2014203175A (en) | Information processing device, information processing method, and program | |
| KR102324624B1 (en) | Methods, systems and media for presenting media content previews | |
| JP7226836B2 (en) | Display control device, presentation system, display control method, and program | |
| US20240288948A1 (en) | Wearable terminal apparatus, program, and image processing method | |
| US20240104849A1 (en) | User interfaces that include representations of the environment | |
| US20230206572A1 (en) | Methods for sharing content and interacting with physical devices in a three-dimensional environment | |
| JP6427298B1 (en) | Information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191126 Year of fee payment: 4 |
|
| R401 | Registration of restoration | ||
| R401 | Registration of restoration | ||
| R401 | Registration of restoration | ||
| R401 | Registration of restoration |