KR20180046388A

KR20180046388A - Pointing method and apparatus using optical camera communication

Info

Publication number: KR20180046388A
Application number: KR1020170141574A
Authority: KR
Inventors: 장영민; 응웬반장
Original assignee: 국민대학교산학협력단
Priority date: 2016-10-27
Filing date: 2017-10-27
Publication date: 2018-05-08

Abstract

According to an embodiment of the present invention, an optical camera communication (OCC) pointing method using OCC comprises: a step where an OCC receiving device including an image sensor points to a specific point; a step where the OCC receiving device estimates information on the position of the OCC receiving device based on signals transmitted from a plurality of OCC light sources existing in an area of a field of view (FOV) of the image sensor; a step where the OCC receiving device transmits the information on the position of the OCC receiving device to a cloud server; a step where the cloud server estimates a position of the specific point to which the OCC receiving device points based on the information on the position of the OCC receiving device; and a step where the cloud server processes a pointing target positioned on the specific point based on the estimated position of the specific point.

Description

TECHNICAL FIELD [0001] The present invention relates to a pointing method and apparatus using optical camera communication,

본 발명은 광학 카메라 통신(Optical Camera Communication)을 이용하는 포인팅 방법 및 장치에 관한 것이다.The present invention relates to a pointing method and apparatus using optical camera communication.

최근 백열전구와 형광등과 같은 조명이 반도체 LED(Light Emitting Diode) 조명으로 교체되는 인프라를 이용하여 가시광 파장에 통신기능을 부가하여 무선 통신을 가능하게 하는 기술인 가시광 통신(Visible Light Communication; VLC) 기술이 활발히 연구되고 있으며, IEEE 802.15.7 국제표준규격도 완료되어 상용화를 위한 비즈니스 모델 발굴을 추진하고 있다. 그러나 IEEE 802.15.7은 주로 광 검출기(Photo Diode; PD)를 이용한 데이터 전송에 국한되어 있어 VLC 동글 등의 전용 통신 장치를 사용해야 하는 문제점이 있다. 이에 따라 광검출기보다는 주로 스마트폰의 카메라와 같은 이미지 센서를 이용하는 광학 카메라 통신(Optical Camera Communication; OCC)의 국제표준화가 IEEE 802.15.7m OWC TG(Task Group)에서 진행되고 있다. Recently, Visible Light Communication (VLC) technology, which is a technology that enables wireless communication by adding a communication function to a visible light wavelength using an infrastructure in which an incandescent lamp and a fluorescent lamp are replaced with a semiconductor LED (Light Emitting Diode) And the IEEE 802.15.7 international standard has been completed, and business models for commercialization are being sought. However, since IEEE 802.15.7 is mainly limited to data transmission using a photodiode (PD), there is a problem of using a dedicated communication device such as a VLC dongle. Accordingly, international standardization of optical camera communication (OCC) using an image sensor such as a camera of a smart phone rather than a photodetector is underway in the IEEE 802.15.7m OWC TG (Task Group).

본 발명은 LED와 이미지 센서 등을 이용한 광학 카메라 통신을 기반으로 하는 포인팅 방법 및 장치를 제공한다. The present invention provides a pointing method and apparatus based on optical camera communication using an LED and an image sensor.

본 발명의 일 실시예에 의한 광학 카메라 통신(Optical Camera Communication; OCC)를 이용하는 OCC 포인팅 방법은, 이미지 센서를 포함하는 OCC 수신 장치가 특정 지점을 포인팅하는 단계, 상기 OCC 수신 장치가 상기 이미지 센서의 FOV(Field of View) 영역 내에 존재하는 복수의 OCC 광원으로부터 송출되는 신호를 기반으로 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계, 상기 OCC 수신 장치가 상기 OCC 수신 장치의 위치에 관한 정보를 클라우드 서버에 전송하는 단계, 상기 클라우드 서버가 상기 OCC 수신 장치의 위치에 관한 정보를 기반으로 상기 OCC 수신 장치가 포인팅하는 상기 특정 지점의 위치를 추정하는 단계, 및 상기 클라우드 서버가 상기 추정된 특정 지점의 위치를 기반으로 상기 특정 지점에 위치하는 포인팅 대상을 처리하는 단계를 포함하는 것을 특징으로 한다. An OCC pointing method using an optical camera communication (OCC) according to an embodiment of the present invention includes pointing an OCC receiving device including an image sensor at a specific point, Estimating information about a position of the OCC receiving apparatus based on signals transmitted from a plurality of OCC light sources existing in a field of view (FOV) region of the OCC receiving apparatus; The method comprising the steps of: transmitting to a cloud server, estimating a location of the specific point to which the OCC receiving apparatus is pointing based on information about a location of the OCC receiving apparatus, And processing the pointing object located at the specific point based on the position of the pointing object .

일 실시예에서, 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계는, 상기 OCC 수신 장치의 이미지 센서가 상기 FOV 영역 내에 존재하는 상기 복수의 OCC 광원 각각으로부터 상기 복수의 OCC 광원 각각의 식별 정보를 포함하는 데이터를 광학 카메라 통신으로 수신하는 단계, 및 상기 OCC 수신 장치가 상기 복수의 OCC 광원 각각의 식별 정보를 기반으로 획득한 상기 복수의 OCC 광원 각각의 위치 정보를 이용하여 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계를 포함하는 것을 특징으로 한다. In one embodiment, the step of estimating the information on the position of the OCC receiving device may include the step of estimating information on the position of the OCC receiving device, wherein the image sensor of the OCC receiving device is configured to obtain, from each of the plurality of OCC light sources existing in the FOV area, Receiving the data including the plurality of OCC light sources in the optical camera communication by using the position information of each of the plurality of OCC light sources acquired based on the identification information of each of the plurality of OCC light sources, And estimating information related to the location.

일 실시예에서, 상기 복수의 OCC 광원은, 상기 OCC 수신 장치의 이미지 센서의 FOV 영역 내에 존재하는 OCC 태그인 것을 특징으로 한다. In one embodiment, the plurality of OCC light sources are OCC tags existing in the FOV area of the image sensor of the OCC receiver.

일 실시예에서, 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계는, 상기 OCC 수신 장치의 이미지 센서가 상기 FOV 영역 내에 존재하는 상기 OCC 태그로부터 상기 OCC 태그의 식별 정보를 포함하는 데이터를 광학 카메라 통신으로 수신하는 단계, 및 상기 OCC 수신 장치가 상기 OCC 태그의 식별 정보를 기반으로 획득한 상기 OCC 태그의 위치 정보를 이용하여 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계를 포함하는 것을 특징으로 한다. In one embodiment, the step of estimating the information on the position of the OCC receiving apparatus may include the step of estimating the information including the identification information of the OCC tag from the OCC tag in which the image sensor of the OCC receiving apparatus exists in the FOV region, And receiving information on the location of the OCC receiver using the location information of the OCC tag acquired by the OCC receiver based on the identification information of the OCC tag, .

일 실시예에서, 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계는, 상기 이미지 센서로 촬영된 OCC 태그의 관점 왜곡(perspective distortion) 정보 및 OCC 태그의 크기 정보 중 적어도 하나를 반영하여 것을 특징으로 한다. 일 실시예에서, 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계는, 상기 OCC 수신 장치의 제1 이미지 센서가 상기 제1 이미지 센서의 FOV 영역 내에 존재하는 복수의 OCC 광원 각각으로부터 해당 광원의 식별 정보를 포함하는 데이터를 수신하여, 상기 제1 이미지 센서의 FOV 영역 내에 존재하는 복수의 광원 각각의 위치 정보를 획득하는 단계, 상기 OCC 수신 장치의 제2 이미지 센서가 상기 제2 이미지 센서의 FOV 영역 내에 존재하는 OCC 태그로부터 상기 OCC 태그의 식별 정보를 포함하는 데이터를 수신하여, 상기 OCC 태그의 위치 정보를 획득하는 단계, 및 상기 OCC 수신 장치가 상기 제1 이미지 센서의 FOV 영역 내에 존재하는 복수의 광원 각각의 위치 정보 및 상기 OCC 태그의 위치 정보를 기반으로 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 단계를 포함하는 것을 특징으로 한다. In one embodiment, the step of estimating the information on the position of the OCC receiver may reflect at least one of the perspective distortion information of the OCC tag photographed by the image sensor and the size information of the OCC tag. . In one embodiment, the step of estimating information on the position of the OCC receiving device may include the step of estimating information on the position of the OCC receiving device from the plurality of OCC light sources respectively existing in the FOV area of the first image sensor, The method comprising the steps of: receiving data including identification information to obtain position information of each of a plurality of light sources present in a FOV area of the first image sensor; Receiving the data including the identification information of the OCC tag from the OCC tag existing in the area and acquiring the position information of the OCC tag; Estimating information on the position of the OCC receiver based on the position information of each of the light sources of the OCC tag and the OCC tag .

일 실시예에서, 제2 OCC 광원에서 송출되는 신호로부터 상기 클라우드 서버의 주소 정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the method further includes obtaining address information of the cloud server from a signal transmitted from the second OCC light source.

일 실시예에서, 상기 제2 OCC 광원은, 상기 OCC 수신 장치가 포인팅하는 디스플레이 장치의 화면에 출력되는 OCC 태그인 것을 특징으로 한다. In one embodiment, the second OCC light source is an OCC tag output on a screen of a display device pointed by the OCC receiver.

일 실시예에서, 상기 OCC 태그는, A-QL 코드 또는 QR 코드를 포함하는 것을 특징으로 한다. In one embodiment, the OCC tag is characterized by comprising an A-QL code or a QR code.

일 실시예에서, 상기 제2 OCC 광원은, 상기 포인팅 대상으로부터 일정 거리 떨어진 바닥에 배치되는 OCC 태그인 것을 특징으로 한다. In one embodiment, the second OCC light source is an OCC tag disposed at a floor a certain distance from the pointing object.

일 실시예에서, 상기 OCC 수신 장치의 위치에 관한 정보를 전송하는 단계는, 상기 OCC 수신 장치가 전파를 이용한 무선 통신을 통해 상기 클라우드 서버의 주소 정보로 상기 OCC 수신 장치의 위치에 관한 정보를 전송하는 것을 특징으로 한다. In one embodiment, the step of transmitting information on the location of the OCC receiving apparatus may include transmitting information on the location of the OCC receiving apparatus to the address information of the cloud server through the wireless communication using the radio wave .

일 실시예에서, 상기 특정 지점을 포인팅하는 단계는, 상기 OCC 수신 장치가 디스플레이 장치의 화면에서 출력되는 특정 객체를 포인팅하는 것을 특징으로 한다. In one embodiment, the step of pointing to the specific point is characterized in that the OCC receiving apparatus points to a specific object outputted from a screen of the display apparatus.

일 실시예에서, 상기 복수의 OCC 광원은, 상기 포인팅 대상으로부터 일정 거리 떨어진 천장에 배치되는 한 쌍의 튜브 형태의 광원인 것을 특징으로 한다. In one embodiment, the plurality of OCC light sources are a pair of tube-shaped light sources arranged on a ceiling at a distance from the pointing object.

일 실시예에서, 상기 OCC 태그는, 상기 포인팅 대상으로부터 일정 거리 떨어진 바닥에 배치되는 것을 특징으로 한다. In one embodiment, the OCC tag is disposed at a floor a certain distance from the pointing object.

일 실시예에서, 상기 OCC 태그는, 소정의 형태로 배열된 복수의 광원들을 포함하는 광원 모듈로 구성되는 것을 특징으로 한다. In one embodiment, the OCC tag is configured by a light source module including a plurality of light sources arranged in a predetermined form.

일 실시예에서, OCC 송신 장치가 상기 OCC 태그에 대한 식별 정보를 포함하는 데이터를 상기 광원 모듈을 통해 송출하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the OCC transmitting apparatus further comprises transmitting data including identification information for the OCC tag through the light source module.

일 실시예에서, 상기 OCC 송신 장치는, 배터리로 동작하는 것을 특징으로 한다. In one embodiment, the OCC transmitting apparatus is characterized by being operated by a battery.

일 실시예에서, 상기 OCC 태그에 대한 식별 정보를 포함하는 데이터는, 프리앰블 심벌, OCC 광원의 식별 정보, 및 클라우드 서버의 주소 정보를 포함하는 것을 특징으로 한다. In one embodiment, the data including the identification information for the OCC tag includes a preamble symbol, identification information of the OCC light source, and address information of the cloud server.

일 실시예에서, 상기 OCC 수신 장치가 상기 클라우드 서버로부터 상기 포인팅 대상에 관한 URL을 수신하는 단계를 더 포함하는 것을 특징으로 한다. In one embodiment, the OCC receiving apparatus further comprises receiving the URL related to the pointing object from the cloud server.

본 발명의 일 실시예에 의한 광학 카메라 통신(Optical Camera Communication; OCC)를 이용하는 OCC 수신 장치는, 특정 지점을 포인팅하여, 이미지 센서의 FOV 영역 내에 존재하는 복수의 OCC 광원으로부터 송출되는 신호를 기반으로 상기 OCC 수신 장치의 위치에 관한 정보를 추정하는 위치 추정부, 및 상기 OCC 수신 장치의 위치에 관한 정보를 클라우드 서버에 전송하고, 상기 클라우드 서버로부터 상기 특정 지점에 위치하는 포인팅 대상에 대한 정보를 수신하는 통신부를 포함하는 것을 특징으로 한다. An OCC receiving apparatus using optical camera communication (OCC) according to an embodiment of the present invention may point to a specific point, and based on a signal transmitted from a plurality of OCC light sources existing in the FOV region of the image sensor A location estimating unit for estimating information about a location of the OCC receiving apparatus and information about a location of the OCC receiving apparatus to a cloud server and receiving information about a pointing object located at the specific point from the cloud server And a communication unit which is connected to the communication unit.

본 발명의 일 실시예에 의한 클라우드 서버는, OCC 수신 장치로부터 상기 OCC 수신 장치의 위치에 관한 정보를 수신하는 수신부, 상기 OCC 수신 장치의 위치에 관한 정보를 기반으로 상기 OCC 수신 장치가 포인팅하는 지점의 위치를 추정하는 위치 추정부, 및 상기 추정된 지점의 위치를 기반으로 상기 지점에 위치하는 포인팅 대상을 처리하는 처리부를 포함하는 것을 특징으로 한다. A cloud server according to an embodiment of the present invention includes a receiver for receiving information on the location of the OCC receiver from the OCC receiver, a receiver for receiving information on the location of the OCC receiver, And a processing unit for processing a pointing object located at the point based on the estimated position of the point.

본 발명의 일 실시예에 의한 광학 카메라 통신(Optical Camera Communication; OCC)를 이용하는 OCC 송신 장치는, OCC 태그를 구성하는 소정의 형태로 배열된 복수의 광원들을 포함하는 광원 모듈, 및 상기 OCC 태그에 대한 식별 정보를 포함하는 데이터를 상기 광원 모듈을 통해 송출하는 송신부를 포함하는 것을 특징으로 한다.An OCC transmitting apparatus using optical camera communication (OCC) according to an embodiment of the present invention includes a light source module including a plurality of light sources arranged in a predetermined form constituting an OCC tag, And a transmitter for transmitting data including identification information on the light source module through the light source module.

일 실시예에서, 상기 OCC 태그에 대한 식별 정보를 포함하는 데이터는, 프리앰블 심벌, OCC 광원의 식별 정보, 및 OCC 포인팅 클라우드 서버의 주소 정보를 포함하는 것을 특징으로 한다. In one embodiment, the data including the identification information for the OCC tag includes a preamble symbol, identification information of the OCC light source, and address information of the OCC pointing cloud server.

본 발명은, 본 발명의 일 실시예에 의한 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다. The present invention includes a computer-readable recording medium on which a program for performing the method according to an embodiment of the present invention is recorded.

본 발명은, 본 발명의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램을 포함한다. The present invention includes a computer program stored on a recording medium for causing a computer to execute a method according to an embodiment of the present invention.

본 발명은, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.The present invention includes a computer-readable recording medium on which a data format of a message used in the present invention is recorded.

본 발명에 따르면, 광학 카메라 통신을 이용한 포인팅 방법 및 장치를 제공함으로써 대화형 정보 서비스의 효율성을 높일 수 있다. According to the present invention, the efficiency of the interactive information service can be improved by providing a pointing method and apparatus using optical camera communication.

도 1은 본 발명의 일 실시예에 따른 광학 카메라 통신(Optical Camera Communication; OCC)을 이용하는 포인팅 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 광학 카메라 통신을 이용하는 포인팅 시스템을 적용할 수 있는 일례를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 광학 카메라 통신을 이용하는 포인팅 방법을 나타낸 순서도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 OCC 광원이 공간상에 배치된 모습을 나타낸 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따라 OCC 태그의 구성을 나타낸 도면이다.
도 8 내지 도 11은 본 발명의 일 실시예에 따른 OCC 수신 장치의 위치 정보를 추정하는 방법을 설명하기 위한 도면이다.1 is a view schematically showing a configuration of a pointing system using optical camera communication (OCC) according to an embodiment of the present invention.
2 is a diagram illustrating an example of application of a pointing system using optical camera communication according to an embodiment of the present invention.
3 is a flowchart illustrating a pointing method using optical camera communication in accordance with an embodiment of the present invention.
4 and 5 are views showing an OCC light source arranged in a space according to an embodiment of the present invention.
FIGS. 6 and 7 are views showing the configuration of an OCC tag according to an embodiment of the present invention.
8 to 11 are views for explaining a method of estimating position information of an OCC receiving apparatus according to an embodiment of the present invention.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the technical idea of the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a block diagram of a computer system according to an embodiment of the present invention; Fig. For convenience of explanation, the apparatus and method are described together when necessary.

도 1은 본 발명의 일 실시예에 따른 광학 카메라 통신(Optical Camera Communication; OCC)을 이용하는 포인팅 시스템의 구성을 개략적으로 나타내는 도면이다. 1 is a view schematically showing a configuration of a pointing system using optical camera communication (OCC) according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 광학 카메라 통신을 이용하는 포인팅 시스템(100)(이하, OCC 포인팅 시스템이라 함)은 OCC 송신 장치(110), OCC 수신 장치(120) 및 클라우드 서버(130)를 포함할 수 있다. Referring to FIG. 1, a pointing system 100 (hereinafter, referred to as an OCC pointing system) using optical camera communication according to an embodiment of the present invention includes an OCC transmitting apparatus 110, an OCC receiving apparatus 120, (130).

OCC 송신 장치(110)는 전송하고자 하는 데이터를 광원을 통해 송출하도록 동작하며, 데이터 생성부(111) 및 OCC 광원(112)을 포함할 수 있다. The OCC transmitting apparatus 110 is operative to transmit data to be transmitted through a light source and may include a data generating unit 111 and an OCC light source 112.

데이터 생성부(111)는 전송하고자 하는 전송 데이터를 OCC 기술에 적합한 형식으로 생성할 수 있다. 일 실시예에 있어서, 데이터 생성부(111)는 OCC 광원(112)에 대한 RGB 값을 기반으로 컬러 신호를 생성하여 전송 데이터로 구성할 수 있고, 또는 OCC 광원(112)의 점멸 상태(온/오프 상태)를 기반으로 점멸 신호를 생성하여 전송 데이터로 구성할 수 있다. 전송 데이터는 미리 생성되어 저장되어 있을 수도 있다. 전송 데이터는 프리앰블 심벌, OCC 광원(112)의 식별 정보, 및 클라우드 서버(130)의 주소 정보 중 적어도 하나를 포함할 수 있다. 표 1은 전송 데이터의 프레임 포맷의 일례를 나타낸 것이다. The data generation unit 111 may generate transmission data to be transmitted in a format suitable for OCC technology. In one embodiment, the data generator 111 may generate a color signal based on the RGB values of the OCC light source 112 to form transmission data, or may be configured to transmit the on / off status of the OCC light source 112, OFF state), and can form a flashing signal as transmission data. The transmission data may be generated and stored in advance. The transmission data may include at least one of a preamble symbol, identification information of the OCC light source 112, and address information of the cloud server 130. Table 1 shows an example of a frame format of transmission data.

PreamblePreamble OCC Tag IdentificationOCC Tag Identification Data (link to the cloud http)Data (link to the cloud http) 2 symbols time2 symbols time 2-4 symbols time2-4 symbols time variablevariable

OCC 광원(112)은 빛을 낼 수 있는 광원으로, OCC를 이용하여 데이터 생성부(111)에 의해 생성된 전송 데이터를 빛에 실어서 송출할 수 있다. 일 실시예에 있어서, OCC 광원(112)은 천장, 벽면, 바닥 등의 공간상에 배치될 수 있으며, 전체가 일체로 빛을 발하는 단독 광원이거나 소정의 형태로 배열된 복수 개의 광원들로 구성될 수 있다. 광원은 자외선, 가시광선, 적외선 등의 주파수 대역을 모두 포함할 수 있으며, 예컨대 LED로 구현될 수 있다. The OCC light source 112 is a light source capable of emitting light, and can transmit the transmission data generated by the data generation unit 111 by using OCC to light. In one embodiment, the OCC light source 112 may be disposed in a space such as a ceiling, a wall, a floor, or the like, and may be a single light source that emits light integrally or a plurality of light sources arranged in a predetermined form . The light source may include all frequency bands such as ultraviolet rays, visible rays, infrared rays, and the like, and may be implemented, for example, as an LED.

OCC 수신 장치(120)는 원격 포인팅 기능을 이용하여 특정 지점을 포인팅하고, 포인팅한 특정 지점에 위치하는 포인팅 대상 객체를 정해진 기능이나 명령에 따라 동작하도록 할 수 있다. 이때, OCC 수신 장치(120)는 OCC 광원(112)으로부터 송출되는 신호를 OCC를 통해 수신하고, 수신한 신호를 기반으로 클라우드 서버(130)와 연동하여 포인팅 대상 객체의 기능이나 명령을 수행할 수 있도록 한다. The OCC receiving apparatus 120 may point to a specific point using the remote pointing function and may cause the pointing object located at a specified point to operate according to a predetermined function or command. At this time, the OCC receiving apparatus 120 receives a signal transmitted from the OCC light source 112 via the OCC, and performs a function or command of the pointing object in cooperation with the cloud server 130 based on the received signal .

OCC 수신 장치(120)는 이미지 센서(121), 데이터 복원부(122), 위치 추정부(123), 및 통신부(124)를 포함할 수 있다. The OCC receiving apparatus 120 may include an image sensor 121, a data restoring unit 122, a position estimating unit 123, and a communication unit 124.

이미지 센서(121)는 OCC 광원(112)을 촬영하여 이미지 데이터를 획득할 수 있다. 일 실시예로, 이미지 센서(121)는 OCC 광원(112)의 이미지를 연속적으로 촬영하고, 촬영된 이미지들로부터 컬러 신호나 점멸 신호와 같은 OCC 광원(112)의 송출 신호를 획득할 수 있다. 예를 들어, 이미지 센서(121)는 CCD 또는 CMOS 센서를 사용할 수 있고, 스마트기기 등에 탑재된 카메라에 포함되어 구성될 수 있다. The image sensor 121 can capture the OCC light source 112 to acquire image data. In one embodiment, the image sensor 121 continuously captures an image of the OCC light source 112 and obtains an emission signal of the OCC light source 112, such as a color signal or a flicker signal, from the photographed images. For example, the image sensor 121 may use a CCD or a CMOS sensor, and may be included in a camera mounted on a smart device or the like.

데이터 복원부(122)는 이미지 센서(121)에 의해 획득된 이미지 데이터로부터 OCC 광원(112)의 송출 신호를 추출하고, 이를 기반으로 데이터 생성부(111)에 의해 생성된 전송 데이터를 복원할 수 있다. The data decompression unit 122 extracts a transmission signal of the OCC light source 112 from the image data acquired by the image sensor 121 and restores the transmission data generated by the data generation unit 111 based on the transmission signal have.

위치 추정부(123)는 OCC 광원(112)으로부터 송출되는 신호를 기반으로 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. 위치 추정부(123)는 OCC 광원(112)으로부터 송출되는 신호로부터 OCC 광원(112)의 위치 정보를 획득하고, 이를 기준으로 하여 자신의 위치에 관한 정보를 추정할 수 있다. 위치에 관한 정보는 OCC 수신 장치(120)의 위치 뿐만 아니라 방향 정보나 움직임 정보를 포함할 수 있다. OCC 수신 장치(120)는 위치 추정 시 OCC 광원(112)으로부터 송출되는 신호 외에 다른 정보를 이용할 수 있으며, 예를 들어 GPS(Global Positioning System) 정보, 자이로스코프(Gyroscope) 정보 등을 이용할 수 있다. 위치 추정부(123)가 OCC 수신 장치(120)의 위치에 관한 정보를 추정하는 과정에 대한 구체적인 설명은 후술하도록 한다. OCC 수신 장치(120)가 위치 추정을 수행함으로써 클라우드 서버(130)와의 통신량을 감소시킬 수 있다.The position estimating unit 123 may estimate information about the position of the OCC receiving apparatus 120 based on a signal transmitted from the OCC light source 112. The position estimating unit 123 obtains the position information of the OCC light source 112 from the signal transmitted from the OCC light source 112, and estimates information about the position of the OCC light source 112 on the basis of the position information. The location information may include direction information or motion information, as well as the location of the OCC receiving apparatus 120. [ The OCC receiving apparatus 120 may use other information besides the signal transmitted from the OCC light source 112 in the position estimation. For example, GPS (Global Positioning System) information, gyroscope information, and the like may be used. A detailed description of a process for estimating information on the position of the OCC receiving apparatus 120 by the position estimating unit 123 will be described later. The amount of communication with the cloud server 130 can be reduced by the OCC receiving apparatus 120 performing the position estimation.

통신부(124)는 위치 추정부(123)에 의해 추정된 OCC 수신 장치(120)의 위치에 관한 정보를 클라우드 서버(130)에 전송할 수 있다. 또한, 통신부(124)는 클라우드 서버(130)로부터 포인팅 대상 객체에 대한 정보를 수신할 수도 있다. 일 실시예로, 통신부(124)는 클라우드 서버(130)와의 데이터 송수신을 위해 전파를 이용한 무선 통신을 이용할 수 있다. 예를 들면, 와이파이, LTE, 와이브로, 지그비, 블루투스 등을 이용할 수 있다. The communication unit 124 may transmit information on the location of the OCC receiving apparatus 120 estimated by the location estimating unit 123 to the cloud server 130. [ In addition, the communication unit 124 may receive information about a pointing object from the cloud server 130. [ In one embodiment, the communication unit 124 may use wireless communication using radio waves to transmit / receive data to / from the cloud server 130. For example, WiFi, LTE, WiBro, ZigBee, Bluetooth and the like can be used.

클라우드 서버(130)는 통신부(124)로부터 OCC 수신 장치(120)의 위치에 관한 정보를 수신하고, 수신한 정보를 기반으로 OCC 수신 장치(120)가 포인팅한 특정 지점의 위치를 추정할 수 있다. 또한, 클라우드 서버(130)는 추정된 특정 지점에 위치하는 포인팅 대상 객체를 정해진 기능이나 명령에 따라 동작할 수 있도록 추가적인 처리 과정을 수행할 수 있다. The cloud server 130 receives information on the location of the OCC receiving apparatus 120 from the communication unit 124 and can estimate the location of a specific point pointed by the OCC receiving apparatus 120 based on the received information . In addition, the cloud server 130 may perform additional processing so that the pointing object located at the estimated specific point can operate according to a predetermined function or command.

도 2는 본 발명의 일 실시예에 따른 광학 카메라 통신을 이용하는 포인팅 시스템을 적용할 수 있는 일례를 나타낸 도면이다. 2 is a diagram illustrating an example of application of a pointing system using optical camera communication according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 OCC 포인팅 시스템은 사용자가 이미지 센서가 탑재된 스마트폰 등과 같은 스마트기기(220)를 이용하여 디스플레이 장치(240)의 화면에서 출력되는 특정 객체(241)를 포인팅할 수 있다. 예를 들면, 디스플레이 장치(240)는 디지털 사이니지(Digital Signage), 광고판, 표지판, TV 등일 수 있으며, 이러한 디스플레이 장치(240)로부터 출력되는 제품 등의 특정 객체(241)를 스마트기기(220)를 이용하여 포인팅할 수 있다. 2, an OCC pointing system according to an exemplary embodiment of the present invention includes a smart device 220 such as a smart phone or the like on which an image sensor is mounted, 241). For example, the display device 240 may be a digital signage, a billboard, a signboard, a TV, etc., and a specific object 241, such as a product output from the display device 240, Can be used for pointing.

이 경우, 디스플레이 장치(240)의 화면에는 마우스 포인터와 같은 이미지가 생성되어 사용자가 눈으로 확인하도록 할 수 있다. 사용자가 스마트기기(220)를 움직이게 되면 디스플레이 장치(240)의 화면상의 마우스 포인터 역시 스마트기기(220)의 움직임을 따라 이동하게 된다. 사용자가 마지막 액션(예를 들어, 터치 스크린을 누르고 있던 손을 뗌)을 수행하면, 클라우드 서버(230)가 해당 지점에 대한 처리를 수행한다. 이를 위해서, 클라우드 서버(230)는 스마트기기(220)에서 추정한 스마트기기(220)의 위치에 관한 정보를 이용한다. 스마트기기(220)의 위치에 관한 정보는 OCC 광원으로부터 송출되는 신호를 기반으로 하여 추정될 수 있다. 여기서, OCC 광원은 디스플레이 장치(240)의 주변에 위치하는 광원으로, 스마트기기(220)에 탑재된 이미지 센서의 FOV(Field of View) 영역 내에 존재하는 광원일 수 있다. In this case, an image such as a mouse pointer is generated on the screen of the display device 240 so that the user can visually confirm the image. When the user moves the smart device 220, the mouse pointer on the screen of the display device 240 moves along with the movement of the smart device 220. When the user performs a final action (for example, pressing a hand while pressing the touch screen), the cloud server 230 performs processing for the corresponding point. To this end, the cloud server 230 uses the information about the location of the smart device 220 estimated by the smart device 220. Information about the location of the smart device 220 may be estimated based on the signal sent from the OCC light source. Here, the OCC light source is a light source located in the periphery of the display device 240, and may be a light source existing in a field of view (FOV) region of the image sensor mounted on the smart device 220.

스마트기기(220)와 디스플레이 장치(240)는 각각 클라우드 서버(230)에 연결될 수 있다. 스마트기기(220)는 와이파이, LTE, 와이브로, 지그비, 블루투스 등과 같은 무선 통신을 통해 클라우드 서버(230)와 연결될 수 있다. 디스플레이 장치(240)는 유선 또는 무선 통신을 통해 클라우드 서버(230)와 연결될 수 있으며, 이때 클라우드 서버(230)는 특정 객체(241)를 통해 특정한 서비스나 정보를 제공하고자 하는 서비스 사업자가 운영하는 서버일 수도 있다. The smart device 220 and the display device 240 may be connected to the cloud server 230, respectively. The smart device 220 may be connected to the cloud server 230 via wireless communication such as Wi-Fi, LTE, WiBro, ZigBee, Bluetooth, and the like. The display device 240 may be connected to the cloud server 230 via a wired or wireless communication. At this time, the cloud server 230 may receive a service Lt; / RTI >

스마트기기(220)가 무선 통신을 통해 자신의 위치에 관한 정보를 클라우드 서버(230)로 전송할 수 있으며, 클라우드 서버(230)는 전송된 스마트기기(220)의 위치 정보를 기반으로 디스플레이 장치(240)의 화면상의 포인팅한 지점의 위치를 추정할 수 있다. 또한, 클라우드 서버(230)는 보다 정확한 위치 추정을 위해서 스마트기기(220)의 위치에 관한 정보를 추정할 때 사용한 OCC 광원에 대한 정보, 디스플레이 장치(240)의 위치 정보 등을 추가적으로 이용할 수도 있다. The smart device 220 may transmit information on its position to the cloud server 230 via the wireless communication and the cloud server 230 may transmit the information about the location of the smart device 220 to the display device 240 The position of the pointed point on the screen can be estimated. In addition, the cloud server 230 may additionally use information about the OCC light source, the location information of the display device 240, and the like used in estimating information about the location of the smart device 220 for more accurate location estimation.

클라우드 서버(230)는 포인팅한 지점의 위치를 추정한 것을 기반으로 디스플레이 장치(240)의 화면상에서 포인팅한 지점에 위치하는 특정 객체(241)에 해당하는 정보를 스마트기기(220)로 제공할 수 있다. 예를 들어, 특정 객체(241)의 추가적인 정보나 동작을 위해 필요한 웹페이지나 그 URL을 스마트기기(220)로 제공할 수 있다.The cloud server 230 may provide the smart device 220 with information corresponding to the specific object 241 located at the pointing point on the screen of the display device 240 based on the estimated location of the pointed point have. For example, a web page or URL necessary for additional information or actions of a specific object 241 may be provided to the smart device 220.

도 3은 본 발명의 일 실시예에 따른 광학 카메라 통신을 이용하는 포인팅 방법을 나타낸 순서도이다. 도 3의 방법은 상술한 도 1의 OCC 포인팅 시스템에 의해 수행될 수 있다. 3 is a flowchart illustrating a pointing method using optical camera communication in accordance with an embodiment of the present invention. The method of FIG. 3 can be performed by the OCC pointing system of FIG. 1 described above.

도 3을 참조하면, OCC 수신 장치(120)는 특정 지점을 포인팅할 수 있다(S300). 일 실시예에 있어서, OCC 수신 장치(120)가 디스플레이 장치의 화면상에 출력되는 객체들 중 어느 하나를 포인팅할 수 있다. Referring to FIG. 3, the OCC receiving apparatus 120 may point to a specific point (S300). In one embodiment, the OCC receiving apparatus 120 may point to any one of the objects displayed on the screen of the display apparatus.

OCC 수신 장치(120)는 주변에 위치하는 OCC 광원(112)으로부터 송출되는 신호를 기반으로 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다(S310). The OCC receiving apparatus 120 can estimate information about the position of the OCC receiving apparatus 120 based on a signal transmitted from an OCC light source 112 located in the vicinity (S310).

보다 구체적으로, OCC 수신 장치(120)는 이미지 센서(121)의 FOV 영역 내에 존재하는 OCC 광원(112)으로부터 OCC 광원(112)의 식별 정보를 포함하는 전송 데이터를 광학 카메라 통신으로 수신할 수 있다. 그리고, 위치 추정부(123)는 OCC 광원(112)의 식별 정보를 기반으로 획득한 OCC 광원(112)의 위치 정보를 이용하여 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. 상술한 바와 같이, 전송 데이터는 프리앰블 심벌, OCC 광원(112)의 식별 정보, 및 클라우드 서버(130)의 주소 정보 중 적어도 하나를 포함할 수 있다. 따라서, 위치 추정부(123)는 OCC 광원(112)에 의해 수신된 전송 데이터로부터 OCC 광원(112)의 식별 정보를 추출한 다음, OCC 광원(112)의 식별 정보에 포함되거나 이에 맵핑된 OCC 광원(112)의 위치 정보를 획득할 수 있다. OCC 포인팅 시스템(100)은 OCC 광원(112)의 식별 정보와 OCC 광원(112)의 위치 정보를 맵핑한 정보를 테이블과 같은 형태로 구성하여 저장할 수 있다. 예를 들어 맵핑 정보는 클라우드 서버(130)에 저장되거나 OCC 광원(112)을 별도로 제어하고 관리하는 로컬 서버에 저장될 수도 있다. More specifically, the OCC receiving apparatus 120 can receive the transmission data including the identification information of the OCC light source 112 from the OCC light source 112 existing in the FOV area of the image sensor 121 through the optical camera communication . The position estimating unit 123 may estimate the information about the position of the OCC receiving apparatus 120 using the position information of the OCC light source 112 obtained based on the identification information of the OCC light source 112. [ As described above, the transmission data may include at least one of the preamble symbol, the identification information of the OCC light source 112, and the address information of the cloud server 130. The position estimating unit 123 extracts the identification information of the OCC light source 112 from the transmission data received by the OCC light source 112 and then outputs the OCC light source 112 included in the identification information of the OCC light source 112, 112 can be obtained. The OCC pointing system 100 can store information in which the identification information of the OCC light source 112 and the position information of the OCC light source 112 are mapped in the form of a table. For example, the mapping information may be stored in the cloud server 130 or in a local server that separately controls and manages the OCC light source 112.

한편, OCC 광원(112)은 천장, 벽면, 바닥 등에 배치될 수도 있고, 디스플레이 장치의 화면상의 특정 영역에 배치될 수도 있다. 도 4 및 도 5는 본 발명의 일 실시예에 따라 OCC 광원이 공간상에 배치된 모습을 나타낸 도면이다. On the other hand, the OCC light source 112 may be disposed on a ceiling, a wall, a floor, or the like, or may be disposed in a specific area on the screen of the display device. 4 and 5 are views showing an OCC light source arranged in a space according to an embodiment of the present invention.

OCC 광원(112)은 도 4에 도시된 것처럼 디스플레이 장치의 화면상의 특정 영역에 표시되는 OCC 태그로서 구성되거나, 도 5에 도시된 것처럼 디스플레이 장치로부터 일정 거리 떨어진 위치에 배치되는 OCC 광원으로서 구성될 수 있다. 예를 들어, 디스플레이 장치로부터 약 1m 떨어진 위치의 바닥이나 천장 등의 공간에 배치될 수 있다. 이때, OCC 광원은 단독 광원이거나 소정의 형태로 배열된 복수 개의 광원들을 포함하는 OCC 태그로 구성될 수 있다. The OCC light source 112 may be configured as an OCC tag displayed in a specific area on the screen of the display device as shown in Fig. 4, or as an OCC light source located at a certain distance from the display device as shown in Fig. 5 have. For example, it may be placed in a space such as a floor or ceiling at a distance of about 1 m from the display device. In this case, the OCC light source may be an independent light source or an OCC tag including a plurality of light sources arranged in a predetermined form.

도 6 및 도 7은 본 발명의 일 실시예에 따라 OCC 태그의 구성을 나타낸 도면이다. FIGS. 6 and 7 are views showing the configuration of an OCC tag according to an embodiment of the present invention.

도 6을 참조하면, OCC 광원(112), 즉 OCC 태그는 소정의 형태로 배열된 복수의 광원들로 이루어질 수 있고, 각각의 광원들은 RGB 값을 기반으로 하는 컬러 신호를 송출할 수 있다. 각각의 광원들은 R, G, B의 세 컬러 채널의 각 점멸 상태를 나타낼 수 있으며, 이러한 세 컬러 채널의 점멸 상태는 세 비트를 이용할 수 있고 이를 컬러 신호로 만들 수 있다. 또한, OCC 태그의 모서리에 있는 광원들을 기준 광원으로 하여 OCC 광원에 의해 송출되는 신호를 부호화 및 복호화하는 데에 기준 정보로 사용할 수 있다. OCC 태그는 IEEE 802.15.7m 표준의 A-QL 코드일 수 있다. RGB 값을 기반으로 생성된 컬러 신호를 포함하는 OCC 태그는 QR 코드를 이용하여 통신하는 방식으로 구현될 수도 있다. Referring to FIG. 6, the OCC light source 112, that is, the OCC tag may include a plurality of light sources arranged in a predetermined form, and each of the light sources may transmit a color signal based on RGB values. Each light source may represent the blinking state of three color channels of R, G, and B, and the blinking state of these three color channels can use three bits and make it a color signal. Further, the light sources at the corners of the OCC tag may be used as reference light sources for encoding and decoding signals transmitted by the OCC light source. The OCC tag may be an A-QL code of the IEEE 802.15.7m standard. The OCC tag including the color signal generated based on the RGB value may be implemented in a manner of communicating using the QR code.

일 실시예로, OCC 태그는 사각형, 원형, 삼각형 등의 형태로 이루어질 수 있으며, 예컨대 도 6에서와 같이 MXM 셀로 구성될 수 있다. 또한, MXM 셀로 구성된 OCC 태그는 도 4에서와 같이 디스플레이 장치의 화면상의 특정 영역에 배치될 수 있다. 예를 들면, 8X8 모노 컬러 셀 및 16X16 컬러 셀의 두 가지 모드의 OCC 태그를 사용할 수 있다. In one embodiment, the OCC tag may be in the form of a rectangle, a circle, a triangle, or the like, and may be configured as an MXM cell as shown in FIG. In addition, the OCC tag composed of the MXM cell can be arranged in a specific area on the screen of the display device as shown in FIG. For example, an OCC tag of two modes, 8X8 mono color cell and 16X16 color cell, can be used.

도 7을 참조하면, OCC 태그는 소정의 형태로 배열된 복수 개의 광원들로 이루어진 별도의 하드웨어 광원 모듈로 구성될 수 있다. 일 실시예로, 광원 모듈은 소정의 형태의 패널로 구성될 수 있다. 또한, 배터리가 탑재된 구동 회로(driver circuit)로 구성될 수 있다. 이러한 광원 모듈은 도 5에서와 같이 디스플레이 장치의 외부의 특정 영역에 배치될 수 있다.Referring to FIG. 7, the OCC tag may be configured as a separate hardware light source module including a plurality of light sources arranged in a predetermined form. In one embodiment, the light source module may comprise a panel of a predetermined type. In addition, it may be configured as a driver circuit on which a battery is mounted. Such a light source module may be disposed in a specific area outside the display device as shown in FIG.

도 4 내지 도 7을 참조하여 설명한 바와 같이 OCC 광원(112)은 천장, 벽면, 바닥 등과 같이 포인팅한 특정 지점의 주변 여러 장소에 배치되어 있을 수 있다. 포인팅한 특정 지점을 기준으로 여러 장소에 배치되어 있는 OCC 광원(112)의 송출 신호를 기반으로 OCC 수신 장치(120)의 위치에 관한 정보를 추정하는 방법에 대한 구체적인 실시예들은 도 8 내지 도 11을 참조하여 설명하도록 한다. As described with reference to FIGS. 4 through 7, the OCC light source 112 may be disposed at various points around a specific point, such as a ceiling, a wall, a floor, and the like. Specific embodiments of a method for estimating information on the position of the OCC receiving apparatus 120 based on the transmission signal of the OCC light source 112 disposed at various places based on the pointed specific point are shown in FIGS. 8 to 11 Will be described with reference to FIG.

다시 도 3을 참조하면, OCC 수신 장치(120)는 OCC 수신 장치(120)의 위치에 관한 정보를 클라우드 서버(130)로 전송할 수 있다(S320). 일 실시예에 있어서, 상기 표 1에 따르면 OCC 광원(112)의 송출 신호에는 클라우드 서버(130)와 연결될 수 있는 주소 정보가 포함되어 있으므로, OCC 수신 장치(120)는 OCC 광원(112)의 송출 신호를 수신하여 클라우드 서버(130)의 주소 정보를 획득할 수 있다. 이때, OCC 수신 장치(120)가 클라우드 서버(130)의 주소 정보를 획득하는 데에 이용하는 OCC 광원은, 위치 추정을 하는 데에 이용하는 OCC 광원과 동일한 것일 수도 있고 다른 것일 수도 있다. 예를 들어, OCC 수신 장치(120)의 위치 추정 시에 포인팅 대상으로부터 일정 거리 떨어진 바닥에 배치되는 OCC 태그를 이용한 경우, 이와 동일한 OCC 태그로부터 클라우드 서버(130)의 주소 정보를 획득할 수 있다. 또는 OCC 수신 장치(120)의 위치 추정 시에 이미지 센서(121)의 FOV 영역 내에 존재하는 OCC 광원을 이용한 경우, 이와 다른 광원인 OCC 수신 장치(120)가 포인팅하는 디스플레이 장치의 화면에 출력되는 OCC 태그로부터 클라우드 서버(130)의 주소 정보를 획득할 수 있다.Referring again to FIG. 3, the OCC receiving apparatus 120 may transmit information regarding the location of the OCC receiving apparatus 120 to the cloud server 130 (S320). According to Table 1, according to Table 1, since the address signal that can be connected to the cloud server 130 is included in the transmission signal of the OCC light source 112, the OCC receiving apparatus 120 transmits the OCC light source 112 Signal to obtain the address information of the cloud server 130. At this time, the OCC light source used by the OCC receiving apparatus 120 to acquire the address information of the cloud server 130 may be the same as or different from the OCC light source used for the position estimation. For example, when using the OCC tag located at a certain distance from the pointing object at the time of estimating the position of the OCC receiving apparatus 120, the address information of the cloud server 130 can be obtained from the same OCC tag. Or when the OCC light source existing in the FOV area of the image sensor 121 is used to estimate the position of the OCC receiver 120, the OCC receiver 120, which is another light source, The address information of the cloud server 130 can be obtained from the tag.

OCC 수신 장치(120)는 획득한 클라우드 서버(130)의 주소 정보로 OCC 수신 장치(120)의 위치에 관한 정보를 전파를 이용한 무선 통신(예를 들어, 와이파이, LTE, 와이브로, 지그비, 블루투스 등)을 통해 전송할 수 있다. The OCC receiving apparatus 120 receives information about the location of the OCC receiving apparatus 120 from the acquired address information of the cloud server 130 by wireless communication using radio waves (for example, Wi-Fi, LTE, WiBro, ZigBee, ). &Lt; / RTI >

클라우드 서버(130)는 OCC 수신 장치(120)의 위치에 관한 정보를 기반으로 OCC 수신 장치(120)가 포인팅한 특정 지점의 위치를 추정할 수 있다(S330). 일 실시예에 있어서, OCC 수신 장치(120)의 위치에 관한 정보는 OCC 수신 장치(120)의 3차원 공간상의 좌표 (x, y, z) 및 OCC 수신 장치(120)의 방향 정보를 포함하고 있으므로, 클라우드 서버(130)는 이러한 OCC 수신 장치(120)의 정보를 기초로 OCC 수신 장치(120)가 포인팅한 특정 지점의 위치를 추정할 수 있다. 추가적으로, 클라우드 서버(130)는 OCC 수신 장치(120)의 위치 정보를 추정할 때 사용한 주변 OCC 광원(112)의 위치 정보 등을 이용하여 OCC 수신 장치(120)가 포인팅하고 있는 특정 지점의 위치를 추정할 수 있다. The cloud server 130 may estimate the location of the specific point that the OCC receiving apparatus 120 has pointed to based on the information about the location of the OCC receiving apparatus 120 (S330). In one embodiment, the information about the location of the OCC receiving apparatus 120 includes the coordinates (x, y, z) on the three-dimensional space of the OCC receiving apparatus 120 and the direction information of the OCC receiving apparatus 120 Therefore, the cloud server 130 can estimate the location of a specific point that the OCC receiving apparatus 120 has pointed based on the information of the OCC receiving apparatus 120. In addition, the cloud server 130 may use the location information of the surrounding OCC light source 112 used when estimating the location information of the OCC receiving apparatus 120 to determine the location of the specific point that the OCC receiving apparatus 120 is pointing to Can be estimated.

클라우드 서버(130)는 포인팅한 특정 지점의 위치를 추정한 것을 기반으로 특정 지점에 위치하는 포인팅 대상을 처리할 수 있다(S340). 일 실시예에 있어서, 클라우드 서버(130)는 포인팅 대상에 정해진 기능이나 명령에 따라 동작하도록 추가적인 처리 과정을 수행할 수 있으며, 예컨대 포인팅 대상의 추가적인 정보나 동작을 위해 필요한 링크를 OCC 수신 장치(120)로 제공할 수 있다. OCC 수신 장치(120)는 클라우드 서버(130)로부터 포인팅 대상에 대한 정보를 수신할 수 있다. The cloud server 130 may process a pointing object located at a specific point based on the estimated position of the specific point that has been pointed (S340). In one embodiment, the cloud server 130 may perform additional processing to operate according to a predetermined function or command on the pointing object. For example, a link required for additional information or operation of the pointing object may be transmitted to the OCC receiving apparatus 120 ). The OCC receiving apparatus 120 can receive information about a pointing object from the cloud server 130. [

도 8 내지 도 11은 본 발명의 일 실시예에 따른 OCC 수신 장치의 위치 정보를 추정하는 방법을 설명하기 위한 도면이다. 도 8 내지 도 11 방법은 도 1의 OCC 수신 장치에 의해 수행될 수 있다. 8 to 11 are views for explaining a method of estimating position information of an OCC receiving apparatus according to an embodiment of the present invention. 8 to 11 can be performed by the OCC receiving apparatus of FIG.

본 발명의 일 실시예에 따르면 OCC 수신 장치(120)는 주변에 위치하는 OCC 광원(112)으로부터 송출되는 신호를 기반으로 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. According to an embodiment of the present invention, the OCC receiving apparatus 120 can estimate information about the position of the OCC receiving apparatus 120 based on a signal transmitted from an OCC light source 112 located in the periphery.

일 실시예로, 주변에 위치하는 OCC 광원(112)이 도 8에 도시된 것처럼, 천장에 배치된 세 개 이상의 단독 광원(예를 들어, 하나의 LED로 구성된 조명이 세 지점에 배치된 경우)인 경우, OCC 수신 장치(120)의 이미지 센서(121), 예를 들어, OCC 수신 장치(120)의 전방 카메라는 전방 카메라의 FOV 영역 내에 존재하는 세 개 이상의 단독 광원 각각으로부터 세 개 이상의 단독 광원 각각의 식별 정보를 포함하는 전송 데이터를 광학 카메라 통신으로 수신할 수 있다. 이후 OCC 수신 장치(120)의 위치 추정부(123)는 세 개 이상의 단독 광원 각각의 식별 정보를 기반으로 획득한 세 개 이상의 단독 광원 각각의 위치 정보를 이용하여 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. 상술하였듯이, 세 개 이상의 단독 광원의 식별 정보를 알면 이와 맵핑된 정보로부터 세 개 이상의 단독 광원 각각의 위치 정보를 획득할 수 있으므로, 세 개 이상의 단독 광원의 위치 정보를 기초로 예컨대, 삼각측량, 삼변측량 등과 같은 방법을 이용하여 OCC 수신 장치(120)의 위치 정보를 추정할 수 있다. In one embodiment, the surrounding OCC light source 112 may include three or more individual light sources (e.g., three LEDs located at three locations) arranged on the ceiling, as shown in FIG. 8, The forward camera of the image sensor 121 of the OCC receiving apparatus 120, for example, the OCC receiving apparatus 120, can transmit three or more single light sources from each of the three or more single light sources existing in the FOV region of the forward camera, It is possible to receive the transmission data including the respective identification information through the optical camera communication. The position estimating unit 123 of the OCC receiving apparatus 120 calculates the position of the OCC receiving apparatus 120 using the position information of each of the three or more single light sources obtained based on the identification information of each of the three or more single light sources Can be estimated. As described above, if the identification information of three or more independent light sources is known, position information of each of the three or more independent light sources can be obtained from the mapped information. Therefore, based on the position information of three or more independent light sources, The location information of the OCC receiving apparatus 120 can be estimated by using a method such as measurement.

다른 실시예로, 도 9에 도시된 것처럼 OCC 광원(112)이 천장에 배치된 한 쌍의 튜브 형태 광원인 경우에도 위에서 설명한 세 개 이상의 단독 광원을 이용하여 OCC 수신 장치(120)의 위치에 관한 정보를 추정하는 방법과 동일하게 적용할 수 있다. In another embodiment, even when the OCC light source 112 is a pair of tube-shaped light sources arranged on the ceiling as shown in FIG. 9, the three or more single light sources described above are used to determine the position of the OCC receiving apparatus 120 It can be applied in the same manner as the method of estimating information.

도 8 및 도 9에서는 OCC 광원(112)이 천장에 배치된 것을 기준으로 설명하였으나, 바닥에 배치되는 경우에도 동일한 방법으로 적용될 수 있다. 이러한 경우 OCC 수신 장치(120)의 후방 카메라를 이용할 수 있다. 8 and 9, the OCC light source 112 is disposed on the ceiling. However, the present invention can be applied to the case where the OCC light source 112 is disposed on the floor. In this case, the rear camera of the OCC receiving apparatus 120 can be used.

또 다른 실시예로, 특정 지점의 주변에 위치하는 OCC 광원(112)이 도 10에 도시된 것처럼, 바닥에 배치된 OCC 태그(예를 들어, 특정 지점에 위치한 포인팅 대상으로부터 일정 거리 떨어진 곳에 설치된 광원 모듈)인 경우, OCC 수신 장치(120)의 이미지 센서(121), 예를 들어, OCC 수신 장치(120)의 후방 카메라는 후방 카메라의 FOV 영역 내에 존재하는 OCC 태그로부터 OCC 태그의 식별 정보를 포함하는 전송 데이터를 광학 카메라 통신으로 수신할 수 있다. 이후 OCC 수신 장치(120)의 위치 추정부(123)는 OCC 태그의 식별 정보를 기반으로 획득한 OCC 태그의 위치 정보를 이용하여 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. 상술하였듯, OCC 태그의 식별 정보를 알면 이와 맵핑된 정보로부터 OCC 태그의 위치 정보를 획득할 수 있다. 예를 들어, OCC 태그의 위치를 기준 위치로 하여, 기준 위치로부터 (x, y, z) 거리를 추정함으로써 OCC 수신 장치(120)의 위치 정보를 획득할 수 있다. 또한, OCC 수신 장치(120)의 이미지 센서(121)로 촬영된 OCC 태그는 OCC 수신 장치(120)의 위치 및 방향에 따라 관점 왜곡(perspective distortion)이 발생하거나 OCC 태그의 크기가 상이하게 나타날 수 있다. 따라서, OCC 수신 장치(120)는 OCC 태그의 관점 왜곡, OCC 태그의 크기 등을 반영하여 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. In another embodiment, the OCC light source 112 located at the periphery of a certain point may include an OCC tag (for example, a light source installed at a certain distance from a pointing object located at a certain point, Module), the image sensor 121 of the OCC receiving apparatus 120, for example, the rear camera of the OCC receiving apparatus 120 includes the identification information of the OCC tag from the OCC tag existing in the FOV area of the rear camera Can be received by the optical camera communication. The position estimating unit 123 of the OCC receiving apparatus 120 can estimate the information on the position of the OCC receiving apparatus 120 using the position information of the OCC tag acquired based on the identification information of the OCC tag. As described above, if the identification information of the OCC tag is known, the location information of the OCC tag can be obtained from the mapped information. For example, the position information of the OCC receiving apparatus 120 can be obtained by estimating the distance (x, y, z) from the reference position with the position of the OCC tag as a reference position. The OCC tag photographed by the image sensor 121 of the OCC receiving apparatus 120 may cause perspective distortion or different sizes of the OCC tag depending on the position and direction of the OCC receiving apparatus 120 have. Therefore, the OCC receiving apparatus 120 can estimate information about the position of the OCC receiving apparatus 120 by reflecting the perspective distortion of the OCC tag, the size of the OCC tag, and the like.

도 10에서는 OCC 태그가 바닥에 배치된 것을 기준으로 설명하였으나, 천장에 배치되는 경우에도 동일한 방법으로 적용될 수 있다. 이러한 경우 OCC 수신 장치(120)의 전방 카메라를 이용할 수 있다.In FIG. 10, the OCC tags are disposed on the floor, but they can be applied to the ceiling. In this case, the front camera of the OCC receiving apparatus 120 can be used.

또 다른 실시예로, 도 11에 도시된 것처럼 OCC 광원(112)이 천장 및 바닥에 배치된 경우, OCC 수신 장치(120)는 제1 이미지 센서(예를 들어, 전방 카메라)의 FOV 영역 내에 존재하는 천장에 배치된 세 개 이상의 단독 광원으로부터 획득된 단독 광원 각각의 위치 정보와, 제2 이미지 센서(예를 들어, 후방 카메라)의 FOV 영역 내에 존재하는 바닥에 배치된 OCC 태그로부터 획득된 OCC 태그의 위치 정보를 기반으로 OCC 수신 장치(120)의 위치에 관한 정보를 추정할 수 있다. 이 경우 보다 정확한 OCC 수신 장치(120)의 위치 정보를 추정할 수 있다. In another embodiment, when the OCC light source 112 is placed on the ceiling and the floor as shown in FIG. 11, the OCC receiving device 120 is located within the FOV area of the first image sensor (e.g., front camera) The position information of each of the single light sources obtained from at least three independent light sources arranged on the ceiling and the OCC tag obtained from the OCC tag disposed on the floor existing in the FOV area of the second image sensor (for example, the rear camera) The location information of the OCC receiving apparatus 120 can be estimated based on the location information of the OCC receiving apparatus 120. In this case, it is possible to estimate the position information of the OCC receiving apparatus 120 more accurately.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장 매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all storage media such as a magnetic storage medium, an optical reading medium, and the like. It is also possible to record the data format of the message used in the present invention on a recording medium.

지금까지 본 발명에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 발명을 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다. 비록 본 명세서에 특정한 용어들이 사용되었으나 이는 단지 본 발명의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 본 발명의 각 단계는 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적 또는 개별적으로 수행될 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 특허청구범위에서 청구하는 본 발명의 본질적인 기술사상에서 벗어나지 않는 범위에서 다양한 변형 형태 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 구성요소를 포함하는 것으로 이해되어야 한다.The present invention has been described in detail with reference to the preferred embodiments shown in the drawings. These embodiments are to be considered as illustrative rather than limiting, and should be considered in an illustrative rather than a restrictive sense. The true scope of protection of the present invention should be determined by the technical idea of the appended claims rather than the above description. Although specific terms are used herein, they are used for the purpose of describing the concept of the present invention only and are not used to limit the scope of the present invention described in the claims or the claims. Each step of the present invention need not necessarily be performed in the order described, but may be performed in parallel, selectively, or individually. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It is to be understood that the equivalents include all components that are invented in order to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future.

Claims

An OCC pointing method using optical camera communication (OCC)
Pointing an OCC receiving apparatus including an image sensor to a specific point;
Estimating information about a position of the OCC receiving apparatus based on a signal transmitted from a plurality of OCC light sources existing in a field of view (FOV) region of the image sensor;
The OCC receiver transmitting information on the location of the OCC receiver to the cloud server;
Estimating a location of the specific point to which the OCC receiving apparatus is pointing based on information about a location of the OCC receiving apparatus; And
And the cloud server processing the pointing object located at the specific point based on the estimated position of the specific point.

The method according to claim 1,
Wherein the step of estimating information on the location of the OCC receiver comprises:
Receiving, by optical camera communication, data including identification information of each of the plurality of OCC light sources from each of the plurality of OCC light sources present in the FOV area; And
And estimating information about a position of the OCC receiver using the position information of each of the plurality of OCC light sources obtained based on the identification information of each of the plurality of OCC light sources by the OCC receiver OCC pointing method.

The method according to claim 1,
Wherein the plurality of OCC light sources include:
An OCC tag existing in the FOV area of the image sensor of the OCC receiver,
Wherein the step of estimating information on the location of the OCC receiver comprises:
Receiving, by optical camera communication, data including identification information of the OCC tag from the OCC tag in which the image sensor of the OCC receiving device is present in the FOV area; And
And estimating information about a location of the OCC receiving apparatus using the location information of the OCC tag acquired by the OCC receiver based on the identification information of the OCC tag.

The method of claim 3,
Wherein the step of estimating information on the location of the OCC receiver comprises:
The perspective distortion information of the OCC tag photographed by the image sensor, and the size information of the OCC tag.

The method according to claim 1,
Wherein the step of estimating information on the location of the OCC receiver comprises:
The first image sensor of the OCC receiver receives data including identification information of the corresponding light source from each of the plurality of OCC light sources existing in the FOV area of the first image sensor, Obtaining positional information of each of the plurality of light sources;
Receiving, by the second image sensor of the OCC receiving apparatus, data including identification information of the OCC tag from the OCC tag existing in the FOV area of the second image sensor, thereby obtaining position information of the OCC tag; And
And estimating information on the position of the OCC receiver based on the position information of each of the plurality of light sources present in the FOV region of the first image sensor and the position information of the OCC tag OCC pointing method characterized by.

The method according to claim 1,
And acquiring address information of the cloud server from a signal transmitted from the second OCC light source.

The method according to claim 6,
The second OCC light source includes:
Wherein the OCC tag is an OCC tag that is output on a screen of a display device that the OCC receiver is pointing to.

8. The method of claim 7,
The OCC tag includes:
A-QL code or QR code.

The method according to claim 6,
The second OCC light source includes:
And an OCC tag disposed at a floor a certain distance from the pointing object.

The method according to claim 6,
Wherein the step of transmitting information on the location of the OCC receiver comprises:
Wherein the OCC receiving apparatus transmits information on the location of the OCC receiving apparatus to the address information of the cloud server through wireless communication using radio waves.

The method according to claim 1,
Wherein pointing to the specific point comprises:
And the OCC receiving apparatus points to a specific object output from a screen of the display apparatus.

6. The method according to claim 2 or 5,
Wherein the plurality of OCC light sources include:
And a pair of tube-shaped light sources arranged on a ceiling at a distance from the pointing object.

The method according to claim 3 or 5,
The OCC tag includes:
Wherein the OCC pointing device is disposed at a floor a certain distance from the pointing object.

The method according to claim 3, 5, or 9,
The OCC tag includes:
And a light source module including a plurality of light sources arranged in a predetermined form.

15. The method of claim 14,
And the OCC transmitting apparatus transmitting data including the identification information for the OCC tag through the light source module.

16. The method of claim 15,
The OCC transmitting apparatus includes:
OCC pointing method.

16. The method of claim 15,
The data including the identification information for the OCC tag,
A preamble symbol, identification information of an OCC light source, and address information of a cloud server.

The method according to claim 1,
Further comprising the step of the OCC receiving apparatus receiving the URL related to the pointing object from the cloud server.

An OCC receiving apparatus using optical camera communication (OCC)
A position estimator for estimating information about a position of the OCC receiver based on a signal transmitted from a plurality of OCC light sources present in a FOV area of the image sensor by pointing at a specific point; And
And a communication unit for transmitting information on a location of the OCC receiving apparatus to the cloud server and receiving information about a pointing object located at the specific location from the cloud server.

A receiving unit for receiving information on the location of the OCC receiving apparatus from the OCC receiving apparatus;
A position estimator for estimating a position of a point to which the OCC receiver is pointing based on information about a position of the OCC receiver; And
And a processing unit for processing a pointing object positioned at the point based on the position of the estimated point.

An OCC transmitting apparatus using optical camera communication (OCC)
A light source module including a plurality of light sources arranged in a predetermined form constituting an OCC tag; And
And a transmitter for transmitting data including identification information for the OCC tag through the light source module,
The data including the identification information for the OCC tag,
A preamble symbol, identification information of the OCC light source, and address information of the OCC pointing cloud server.

A computer-readable recording medium on which a program for performing the method of any one of claims 1 to 11 and 18 is recorded.

A computer program stored on a recording medium for causing a computer to execute the method of any one of claims 1 to 11 and 18.

A computer-readable recording medium having recorded thereon OCC tag data for OCC pointing with the following structure.