KR100687740B1

KR100687740B1 - Location finding apparatus and method

Info

Publication number: KR100687740B1
Application number: KR1020050036060A
Authority: KR
Inventors: 이기석; 심광현; 박태준; 양광호; 김현빈
Original assignee: 한국전자통신연구원
Priority date: 2004-12-08
Filing date: 2005-04-29
Publication date: 2007-02-27
Also published as: KR20060064458A

Abstract

카메라 및 GPS를 탑재하여 위치를 탐지하는 장치 및 그 방법이 개시된다. 외부 영상을 촬영하고, GPS를 이용하여 현재 위치를 파악한다. 그리고, 파악된 현재 위치를 포함하는 일정 영역의 2차원 지도 및 상기 2차원 지도의 지형 높이 정보를 지도 데이터베이스에서 검색한 후 외부 영상과 2차원 지도 및 높이 정보를 기초로 생성한 3차원 지형 정보를 정합하고, 외부 영상에서 사용자에 의해 선택된 위치에 대한 위치 정보를 3 차원 지형 정보를 통해 파악한다. 이로써, 위치를 파악하고자 하는 곳에 직접 가지 않고도 카메라를 통해 입력된 영상을 통해 위치 정보를 정확하고 신속하게 탐지할 수 있다.An apparatus and a method for detecting a location by mounting a camera and a GPS are disclosed. Take an external image and find out where you are using GPS. The 3D terrain information generated based on the external image, the 2D map, and the height information is searched after searching the map database for the 2D map and the terrain height information of the 2D map of the predetermined area including the identified current location. The location information about the location selected by the user in the external image is identified through the 3D terrain information. As a result, the location information can be detected accurately and quickly through the image input through the camera without going directly to the location to be located.

카메라, GPS, 2 차원 지도, 지형 높이 정보 Camera, GPS, 2D Maps, Terrain Height Information

Description

Location finding apparatus and method

도 1a 및 도 1b는 본 발명에 따른 위치 탐지 장치의 구성의 일 실시예를 도시한 도면,1A and 1B illustrate an embodiment of a configuration of a position detecting apparatus according to the present invention;

도 2는 본 발명에 따른 위치 탐지 장치의 동작 과정을 도시한 도면, 그리고,2 is a view showing the operation of the position detection apparatus according to the present invention, and

도 3은 본 발명에 따른 위치 탐지 방법의 일 실시예의 흐름을 도시한 흐름도이다.3 is a flowchart illustrating the flow of an embodiment of a position detection method according to the present invention.

본 발명은 위치 탐지 장치 및 그 방법에 관한 것으로, 보다 상세하게는 카메라 및 GPS(Global Positioning System)를 탑재한 개인용 휴대 단말기를 이용하여 소정 위치를 탐지하는 장치 및 그 방법에 관한 것이다. The present invention relates to a position detecting apparatus and a method thereof, and more particularly, to an apparatus and a method for detecting a predetermined position using a personal portable terminal equipped with a camera and a global positioning system (GPS).

종래의 GPS를 이용한 네비게이션 시스템의 경우 GPS 장치로부터 들어온 정보에 의해 네비게이션 시스템의 현재 위치만을 표시하여 주기 때문에 현재 위치에서 관찰할 수 있는 곳에 대한 위치 정보를 파악하기에는 어려움이 많다. In the conventional navigation system using GPS, since the current location of the navigation system is displayed only by the information from the GPS device, it is difficult to grasp the location information about the location that can be observed from the current location.

또한, 종래의 GPS 시스템은 대부분 2차원적인 위치 정보만을 사용자에게 알려주기 때문에 실제 접근이 용이하지 않은 3차원적 지형 위치를 필요로 하는 산악 지형에서 원하는 위치를 설명하기에는 부족한 점이 있다.In addition, the conventional GPS system is not enough to describe the desired position in the mountainous terrain requiring a three-dimensional terrain location that is not easy to access because most of the two-dimensional location information to inform the user.

본 발명이 이루고자 하는 기술적 과제는, 위치를 파악하고자 하는 곳에 직접 가지 않고도 카메라와 GPS를 이용하여 카메라를 통해 입력받은 외부 영상에서 소정 위치를 선택하고 그 선택한 위치에 대한 위치 정보를 파악하는 휴대성이 높은 위치 탐지 장치 및 그 방법을 제공하는 데 있다. The technical problem to be achieved by the present invention is the portability of selecting a predetermined position from the external image input through the camera using the camera and GPS without having to go directly to the location to determine the location and grasping the location information for the selected location It is to provide a high position detection device and a method thereof.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 위치 탐지 장치의 일 실시예는, 외부 영상을 촬영하여 표시하는 촬영부; GPS를 이용하여 현재 위치를 파악하는 GPS 부; 상기 파악된 현재 위치를 포함하는 일정 영역의 2차원 지도 및 상기 2차원 지도의 지형 높이 정보를 지도 데이터베이스에서 검색하는 지도 검색부; 상기 외부 영상과 상기 2차원 지도 및 높이 정보를 기초로 생성한 3차원 지형 정보를 정합하는 랜더링부; 및 상기 외부 영상에서 사용자에 의해 선택된 위치에 대한 위치 정보를 상기 3 차원 지형 정보를 통해 파악하는 위치 파악부;를 포함한다.In order to achieve the above technical problem, an embodiment of the position detection apparatus according to the present invention, the photographing unit for capturing and displaying an external image; A GPS unit which grasps the current position using GPS; A map retrieval unit for retrieving a two-dimensional map of a predetermined area including the identified current location and terrain height information of the two-dimensional map from a map database; A rendering unit for matching 3D terrain information generated based on the external image, the 2D map, and height information; And a location determiner configured to determine location information on a location selected by a user in the external image through the 3D terrain information.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 위치 탐지 방법의 일 실시예는, 외부 영상을 촬영하는 단계; GPS를 이용하여 현재 위치를 파악하는 단계; 상기 파악된 현재 위치를 포함하는 일정 영역의 2차원 지도 및 상기 2차원 지도의 지형 높이 정보를 지도 데이터베이스에서 검색하는 단계; 상기 외부 영상과 상기 2차원 지도 및 높이 정보를 기초로 생성한 3차원 지형 정보를 정합하는 단계; 상기 외부 영상에서 사용자에 의해 선택된 위치에 대한 위치 정보를 상기 3 차원 지형 정보를 통해 파악하는 단계;를 포함한다. In order to achieve the above technical problem, an embodiment of the position detection method according to the present invention includes the steps of photographing an external image; Identifying a current location using GPS; Retrieving a two-dimensional map of a predetermined area including the identified current location and terrain height information of the two-dimensional map from a map database; Registering 3D terrain information generated based on the external image, the 2D map, and height information; And determining position information on a position selected by the user in the external image through the 3D terrain information.

이로써, 위치를 파악하고자 하는 곳에 직접 가지 않고도 카메라를 통해 입력된 영상을 통해 위치 정보를 정확하고 신속하게 탐지할 수 있다.As a result, the location information can be detected accurately and quickly through the image input through the camera without going directly to the location to be located.

이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 위치 탐지 장치 및 그 방법에 관해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the position detecting apparatus and method according to the present invention.

도 1a 및 도 1b는 본 발명에 따른 위치 탐지 장치의 구성의 일 실시예를 도시한 도면이다.1A and 1B are diagrams illustrating an embodiment of a configuration of a position detection apparatus according to the present invention.

도 1a 및 도 1b를 참조하면, 위치 탐지 장치는 촬영부(100), GPS부(110), 지도 검색부(120), 랜더링부(130), 위치 파악부(140), 통신부(150) 및 지도 데이터베이스(160)를 포함한다.1A and 1B, the location detecting apparatus includes a photographing unit 100, a GPS unit 110, a map search unit 120, a rendering unit 130, a location determining unit 140, a communication unit 150, and Includes a map database 160.

촬영부(100)는 카메라를 통해 외부 영상(170,172)을 촬영한다. GPS부(110)는 본 발명에 따른 위치 탐지 장치의 현재 위치 정보(위도, 경도, 고도, 속도, 방위각)를 GPS(Global Positioning System)를 이용하여 파악한다.The photographing unit 100 captures external images 170 and 172 through a camera. The GPS unit 110 may grasp the current position information (latitude, longitude, altitude, speed, azimuth) of the position detection apparatus according to the present invention by using a GPS (Global Positioning System).

지도 검색부(120)는 GPS부(110)가 파악한 현재 위치 정보를 기초로 2차원 지도(162) 및 지형 높이 정보(164)가 저장된 지도 데이터베이스(160)를 검색하여 현재 위치를 포함하는 일정 영역의 2차원 지도 및 지형 높이 정보를 검색한다. The map search unit 120 searches for a map database 160 in which the 2D map 162 and the terrain height information 164 are stored, based on the current location information grasped by the GPS unit 110, and includes a predetermined area including the current location. Retrieves two-dimensional map and terrain height information for.

지도 데이터베이스(160)는 본 발명에 따른 위치 탐지 장치에 내장되어 구현되거나 외부 서버에 구현될 수 있다. 지도 데이터베이스가 외부 서버에 구현되는 경우, 위치 탐지 장치는 무선 또는 유선망을 통해 외부 서버에 접속하여 해당하는 2차원 지도 및 지형 높이 정보를 검색한다. 지도 데이터베이스(160)는 2차원 지도 및 2차원 지도의 지형 높이 정보 뿐만 아니라 중요 지점(도로, 관공서, 대형 건물 등)의 이미지 정보를 포함하는 것이 바람직하다. The map database 160 may be embedded in the location detecting apparatus according to the present invention or implemented in an external server. When the map database is implemented in an external server, the location detecting apparatus accesses an external server through a wireless or wired network and retrieves corresponding two-dimensional map and terrain height information. The map database 160 preferably includes image information of important points (roads, government offices, large buildings, etc.) as well as terrain height information of the two-dimensional map and the two-dimensional map.

랜더링부(130)는 촬영부(100)에 의해 촬영된 외부 영상에 해당하는 영역을 지도 검색부(120)에 의해 검색된 2차원 지도 및 지형 높이 정보에서 찾는다. 구체적으로 랜더링부(130)는 촬영된 외부 영상에 해당하는 지도상의 영역을 찾기 위해 먼저 외부 영상에서 직선에 가까운 특징들을 추출하여 2차원 지도 상에 기술된 건물이나 도로 등의 정보와 대조한다. 이를 통해 탐지하지 못한 경우에 랜더링부(130)는 외부 영상에서 곡률이 많은 특징을 탐색하여 2차원 지도상의 산, 강과 같은 자연 지형에 대한 정보와 대조한다. 이 두 가지 방법으로도 외부 영상에 해당하는 지도상의 영역을 탐지하지 못한 경우에는 랜더링부(130)는 사용자에게 특정 지형물에 대한 이미지 정보를 제시하고 촬영부(100)가 촬영한 외부 영상에서 사용자가 특정 지형물에 해당하는 위치를 직접 선택하도록 한다.The rendering unit 130 finds a region corresponding to the external image captured by the photographing unit 100 from the 2D map and the terrain height information searched by the map searching unit 120. In detail, the rendering unit 130 first extracts features close to a straight line from the external image in order to find an area on the map corresponding to the captured external image and compares it with information such as a building or a road described on the 2D map. In this case, the rendering unit 130 searches for features with a large curvature in the external image and contrasts the information with respect to the natural terrain such as mountains and rivers on the two-dimensional map. If neither of these methods detects an area on the map corresponding to the external image, the rendering unit 130 presents the user with image information on a specific terrain and the user in the external image captured by the photographing unit 100. Allows you to manually select the location that corresponds to a particular feature.

여기서, 촬영부(100)를 통해 촬영한 외부 영상에서 직선에 가까운 특징들 또는 곡률이 많은 특징을 탐색하여 분석하는 기술은 종래 컴퓨터 비전(computer vision)의 다양한 방법을 적용하여 구현할 수 있으며, 대표적으로는 칼라 필터나 영상에서 찾아낸 에지(egde)들의 곡률 정보 등에 의한 기하하적 정보 취득 방법을 사용한다. Here, a technique of searching for and analyzing features close to a straight line or features having many curvatures in an external image captured by the photographing unit 100 may be implemented by applying various methods of conventional computer vision, and typically Uses a geometrical information acquisition method based on a color filter or curvature information of edges found in an image.

한 번 검색되어 찾아낸 지형은 템플릿 영상으로 저장되며 게속적으로 GPS에서 취득된 이동정보를 통하여 영상을 패턴 비교 방식으로 계속 실시간 추적함으로써 정밀하고 빠른 탐색이 가능하도록 한다. Once retrieved and found, the terrain is stored as a template image, and through the movement information acquired from GPS continuously, the image is continuously tracked in real time in a pattern comparison method to enable precise and fast navigation.

랜더링부(130)는 외부 영상에 해당하는 지도 영역을 탐색한 후, 해당하는 지도 영역의 2차원 지도와 지형 높이 정보를 기초로 3D 매쉬를 생성하고 랜더링한다. 그리고, 랜더링부(130)는 생성한 3차원 지형 정보와 외부 영상을 정합하여 최종 보정을 실시한 후 터치 스크린 등의 화면에 표시한다. The rendering unit 130 searches for a map area corresponding to an external image, and then generates and renders a 3D mesh based on the 2D map and the terrain height information of the corresponding map area. The rendering unit 130 matches the generated 3D terrain information with the external image, performs final correction, and displays the same on a screen such as a touch screen.

위치 탐색부(140)는 위치 탐색 장치의 화면에 표시된 3차원 지형 정보와 정합된 외부 영상을 통해 사용자가 소정 위치를 선택하면, 그 선택된 위치에 대한 위치 정보를 랜더링부(130)에 의해 랜더링된 3차원 지형 정보에서 주어진 벡터 연산을 통하여 계산하여 찾아내고 사용자에게 음성, 문자 등을 통해 표시한다. The location search unit 140 renders the location information of the selected location by the rendering unit 130 when the user selects a predetermined location through an external image matched with the 3D terrain information displayed on the screen of the location search device. It is calculated and found through the given vector operation in 3D terrain information and displayed to the user through voice, text, etc.

통신부(150)는 위치 탐색부(140)에 의해 파악된 위치 정보를 사용자의 선택에 따라 유/무선 통신을 통해 전송한다. The communication unit 150 transmits the location information identified by the location search unit 140 through wired / wireless communication according to a user's selection.

본 발명에 따른 위치 탐지 장치는 카메라와 GPS가 내장된 휴대폰, PDA 등의 개인휴대 단말기에 구현되거나, 차량 네비게이션 장치에 구현될 수 있다. The location detecting apparatus according to the present invention may be implemented in a personal mobile terminal such as a mobile phone, PDA, etc., in which a camera and a GPS are embedded, or may be implemented in a vehicle navigation device.

도 2는 본 발명에 따른 위치 탐지 장치의 동작 과정을 도시한 도면이다.2 is a view showing the operation of the position detection apparatus according to the present invention.

도 1a 및 도 2를 참조하면, 촬영부(100)를 통해 들어온 외부 영상(200)은 에지(edge)와 같은 특징을 찾는 영상 분석 과정을 거쳐 생성한 영상(230)을 해당하는 2차원 지도의 지형 높이 정보(210)와 정합한다. 2차원 지도 및 지형 높이 정보에 의해 생성된 3차원 영상 이미지(220)와 외부 영상(230)과의 정합이 끝난 후에 외부 영상(240)을 터치스크린(250)에 표시한다. 사용자는 터치 스크린(250) 상에서 자신이 알고자 하는 위치를 선택하면 위치 탐지 장치는 선택된 위치를 지도 데이터(220)에서 역추적하여 찾아내고 이를 사용자에게 알려준다.Referring to FIGS. 1A and 2, the external image 200 introduced through the photographing unit 100 may include an image 230 corresponding to an image 230 generated through an image analysis process for finding features such as an edge. Match the terrain height information 210. After the registration of the 3D image image 220 and the external image 230 generated by the 2D map and the terrain height information is completed, the external image 240 is displayed on the touch screen 250. When the user selects a location that he / she wants to know on the touch screen 250, the location detection apparatus traces the selected location back from the map data 220 and informs the user of the location.

도 3을 참조하면, 카메라와 GPS 수신기가 내장된 모바일 기기 등을 통해 위치를 탐지하는 방법은 먼저 카메라를 통해 외부 영상을 입력받는다(S300). 그리고, GPS 수신기를 통해 현재 위치를 파악하고(S310), 파악된 현재 위치 정보를 기초로 2차원 지도 정보에 높이 정보를 포함한 3차원 맵 데이터베이스를 검색하여 외부 영상에 해당하는 위치의 지도 정보를 찾는다(S320). Referring to FIG. 3, in the method of detecting a location through a mobile device in which a camera and a GPS receiver are embedded, an external image is first received through a camera (S300). Then, the current position is determined through the GPS receiver (S310), and the map information of the position corresponding to the external image is found by searching the 3D map database including the height information in the 2D map information based on the identified current position information. (S320).

3차원 맵 데이터베이스로부터 검색하여 얻는 2차원 지도 및 지형 높이 정보를 기초로 외부 영상에 해당하는 곳의 3차원 영상을 랜더링하고 이를 외부 영상과 정합한 후 모바일 기기의 터치 스크린과 같은 사용자 인터페이스에 표시한다(S330).Based on the 2D map and terrain height information retrieved from the 3D map database, the 3D image of the place corresponding to the external image is rendered, matched with the external image, and displayed on a user interface such as a touch screen of a mobile device. (S330).

사용자는 터치 스크린 등의 사용자 인터페이스에 표시된 외부 영상에서 알고자 하는 위치를 선택하면, 외부 영상과 정합된 3차원 영상으로부터 벡터 연산 등을 수행하여 선택된 위치의 2차원 지도상의 위치(위도, 경도 등) 및 지형 높이 정보 등의 정보를 파악한다.When the user selects a desired location from an external image displayed on a user interface such as a touch screen, the user performs a vector operation or the like from a three-dimensional image matched with the external image to perform a position (latitude, longitude, etc.) And information such as terrain height information.

파악된 위치 정보는 사용자에게 직접 음성 이나 문자 등을 통해 알려주거나 유무선 통신망을 통해 원하는 곳으로 전송한다. 예를 들어, 본 발명에 따른 위치 탐색 장치가 핸드폰인 경우 사용자는 SMS 메시지 또는 이메일 주소로 위치 파악 결과를 전송할 수 있다. 만약 산불 지점을 알리고자 하는 경우에는 파악된 위치 정보에 산불이 발생했다는 정보를 더 기록하여 SMS 메시지를 통해 전송할 수 있다. The location information is notified directly to the user through voice or text, or transmitted to a desired place through a wired or wireless communication network. For example, when the location search apparatus according to the present invention is a mobile phone, the user may transmit the location finding result to an SMS message or an email address. If you want to notify the forest fire point it can be recorded in the location information that the forest fire has been recorded and transmitted through the SMS message.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

본 발명에 따르면, GPS와 카메라를 이용한 3D 위치 탐색 장치를 이용하면 찾고자 곳의 위치 정보(위도, 경도, 높이 등의 수치화된 정보)를 직접 가지 않고도 편리하게 알 수 있다. According to the present invention, the 3D location search apparatus using a GPS and a camera can conveniently know the location information (digitized information such as latitude, longitude, height, etc.) of the place to be searched without directly.

또한, 산불지역의 탐색, 인명구조와 같이 신속하고 정확하게 해당 위치를 필 요로 하는 민간 분야 뿐만 아니라 산악 지형의 직관적인 이해를 필요로 하는 3차원 지도, 저고도 항공기의 네비게이션 장치, 목표물의 위치 탐지 등의 군사용 시스템 등 다방면에 유용하게 사용될 수 있다.In addition to the civilian areas that need to be located quickly and accurately, such as the search for forest fires and lifesaving, three-dimensional maps that require an intuitive understanding of the mountainous terrain, navigational devices for low-altitude aircraft, and target location detection It can be usefully used in various fields such as military systems.

Claims

Shooting unit for taking an external image;

A GPS unit which grasps the current position using GPS;

A map retrieval unit for retrieving a two-dimensional map of a predetermined area including the identified current location and terrain height information of the two-dimensional map from a map database;

Extract features close to a straight line from the external image to contrast with buildings or roads on the two-dimensional map, and extract features with high curvature from the external image to contrast with natural terrain including mountains and rivers of the two-dimensional map. A rendering unit which detects an area on the 2D map corresponding to the external image and grasps 3D terrain information on the detected area based on terrain height information of the 2D map on the detected area; And

And a location determiner for grasping location information on a location selected by a user in the external image through the 3D terrain information.

The method of claim 1,

And a communicator configured to transmit the identified position information through a wired or wireless communication network.

delete

The method of claim 1,

When the user selects a predetermined position in the external image through the touch screen on which the external image matched by the rendering unit is displayed, the position determining unit grasps the position information corresponding to the selected position based on the two-dimensional map and the height information. Position detection device, characterized in that.

(a) taking an external image;

(b) identifying a current location using GPS;

(c) retrieving a two-dimensional map of a predetermined area including the identified current location and terrain height information of the two-dimensional map from a map database;

(d) Natural terrain including mountains and rivers of the 2D map by extracting features close to a straight line from the external image and contrasting them with buildings or roads on the 2D map, and extracting features with high curvature from the external image. In contrast to, detecting an area on the two-dimensional map corresponding to the external image, and grasping the three-dimensional terrain information on the detected area based on the terrain height information of the two-dimensional map of the detected area. step; And

(e) detecting location information on the location selected by the user in the external image through the 3D terrain information.

The method of claim 5,

(f) transmitting the identified location information through a wired or wireless communication network.

delete