KR102572591B1

KR102572591B1 - View matching type optical apparatus for ar glasses and ar glasses apparatus including thereof

Info

Publication number: KR102572591B1
Application number: KR1020210150345A
Authority: KR
Inventors: 최치원; 이강휘; 강정훈
Original assignee: 주식회사 피앤씨솔루션
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2023-09-01
Also published as: KR102572591B9; KR20230064823A; WO2023080362A1

Abstract

본 발명은 증강현실 글라스를 위한 시야 정합형 광학 장치에 관한 것으로서, 보다 구체적으로는 광학 장치로서, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부; 사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및 상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며, 상기 디스플레이부는, 상기 영상 입력부에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글라스 장치로서, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치; 및 사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치를 포함하는 상기 증강현실 글라스 장치의 동작을 제어하는 제어부를 포함하며, 상기 광학 장치는, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부; 사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및 상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며, 상기 제어부는, 상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부를 제어하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.The present invention relates to a visual field matched optical device for augmented reality glasses, and more particularly, as an optical device, comprising: a display unit outputting augmented reality image light so that image information is provided to a user along with a real world; It is disposed in front of the user's eyes, and a part of the real world light is transmitted and the remaining part is reflected toward the display unit so that the real world is seen through the user's field of view, and the image light output from the display unit is directed toward the user's eyes. Optical unit of the beam splitter method to transmit to; and an image input unit disposed side by side with the display unit and receiving a part of the real world light reflected by the beam splitter to receive a field of view matching image matching a user's field of view, wherein the display unit receives input from the image input unit. It is characterized in that it outputs the augmented reality image light so that the image information is mapped to the real world based on the received view matching image.
In addition, the present invention relates to an augmented reality glasses device including a vision matched optical device, and more particularly, as an augmented reality glasses device, comprising: an HMD frame worn on a head by a user; optical devices disposed in front of both eyes of the user wearing the HMD frame to provide augmented reality by combining real world light and image light, and configured as a pair for display for both eyes; and a control unit for controlling an operation of the augmented reality glass device including the optical device so that image light is mapped to a real world seen through a user's field of view to provide augmented reality, wherein the optical device comprises a real world (real world) a display unit outputting augmented reality image light so that image information is provided to a user along with a world); It is disposed in front of the user's eyes, and a part of the real world light is transmitted and the remaining part is reflected toward the display unit so that the real world is seen through the user's field of view, and the image light output from the display unit is directed toward the user's eyes. Optical unit of the beam splitter method to transmit to; and an image input unit disposed side by side with the display unit and receiving a part of the real world light reflected from the beam splitter to receive a field of view matching image matching a user's field of view, wherein the control unit receives input from the image input unit. A feature of the configuration is that the image information is mapped to the real world based on the received view matching image, and the display unit is controlled to output the augmented reality image light according to the mapping.
According to the vision matched optical device for augmented reality glasses proposed in the present invention and the augmented reality glass device including the same, while constructing the optical device in a beam splitter method, the image input unit is placed side by side with the display unit in the optical device, The image input unit receives the real world light reflected from the beam splitter to secure a vision matching image that matches the user's field of view and provides augmented reality based on it, eliminating the image matching error that occurs in conventional augmented reality glasses. Since the image input unit is placed in the optical device, even if the optical device is moved to adjust the interpupillary distance (IPD) to suit the user, camera errors due to IPD changes do not occur and image information is accurately mapped to the real world. can do.

Description

VIEW MATCHING TYPE OPTICAL APPARATUS FOR AR GLASSES AND AR GLASSES APPARATUS INCLUDING THEREOF

본 발명은 광학 장치 및 증강현실 글라스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 관한 것이다.The present invention relates to an optical device and an augmented reality glass device, and more particularly, to a view matching type optical device for augmented reality glasses and an augmented reality glass device including the same.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.Various wearable devices are being developed according to the trend of light weight and miniaturization of digital devices. A head mounted display, which is a kind of wearable device, refers to various devices that can be worn on a user's head to receive multimedia contents and the like. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. Head-mounted displays (HMDs) are classified into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (VR). reality, VR).

헤드 마운티드 디스플레이(또는 증강현실 글라스)는, 안경이나 고글 형태로 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실의 영상 정보를 투영하여 사용자에게 제공하게 된다. 이때, 헤드 마운티드 디스플레이의 전면에 위치한 카메라를 사용해 사용자 시야 방향의 영상을 촬영하고, 촬영된 영상에 기초해 실제 세계에 영상 정보를 정합해 증강현실을 제공한다.The head-mounted display (or augmented reality glasses) is worn on the user's face or head in the form of glasses or goggles to project augmented reality image information onto the real world through a transparent lens and provide it to the user. At this time, a camera located on the front of the head-mounted display is used to take an image in the direction of the user's view, and based on the captured image, image information is matched with the real world to provide augmented reality.

그런데 장치 전면에 있는 카메라에서 촬영된 영상과 사용자가 바라보는 실제 세계는 정확하게 일치하지 않으므로 영상 정합에 오차가 발생하게 된다. 이러한 오차는 표시되는 콘텐츠에 따라서는 큰 불편이나 문제를 일으킬 수 있고, 부정확한 정보를 제공하게 될 수도 있으므로, 사용자의 시야와 증강현실 영상 정보를 정확하게 정합해 제공할 수 있는 방법의 개발이 필요하다.However, since the image captured by the camera on the front of the device and the real world viewed by the user do not exactly match, an error occurs in image matching. This error can cause great inconvenience or problems depending on the displayed content, and may provide inaccurate information. Therefore, it is necessary to develop a method that can accurately match and provide augmented reality image information with the user's field of view. .

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.Meanwhile, as a prior art related to the present invention, Patent Publication No. 10-2019-0093966 (Title of Invention: HMD Device and Operation Method Thereof, Publication Date: August 12, 2019) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있는, 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, while constructing an optical device in a beam splitter method, arranging an image input unit alongside a display unit in the optical device, so that the image input unit is in the beam splitter. By receiving the reflected real world light to secure a view matching image that matches the user's field of view and providing augmented reality based on this, it is possible to eliminate image matching errors that occur in conventional augmented reality glasses, and image input Since the additional optical device is placed inside the optical device, even if the interpupillary distance (IPD) is adjusted to suit the user by moving the optical device, camera errors due to IPD changes do not occur and image information can be accurately mapped to the real world. Augmented reality An object of the present invention is to provide a vision matched optical device for glasses and an augmented reality glass device including the same.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치는,In order to achieve the above object, the visual field matching type optical device for augmented reality glasses according to the features of the present invention,

광학 장치로서,As an optical device,

실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부;a display unit that outputs augmented reality image light so that image information along with the real world is provided to the user;

사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및It is disposed in front of the user's eyes, and a part of the real world light is transmitted and the remaining part is reflected toward the display unit so that the real world is seen through the user's field of view, and the image light output from the display unit is directed toward the user's eyes. Optical unit of the beam splitter method to transmit to; and

상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며,An image input unit disposed side by side with the display unit and receiving a part of the real world light reflected from the beam splitter to receive a field of view matching image matching a user's field of view;

상기 디스플레이부는,the display unit,

상기 영상 입력부에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 그 구성상의 특징으로 한다.It is characterized in that it outputs the augmented reality image light so that the image information is mapped to the real world based on the visual field matching image input from the image input unit.

바람직하게는, 상기 영상 입력부는,Preferably, the video input unit,

상기 디스플레이부의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터에서 상기 디스플레이부 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다.It may be configured with a camera arranged side by side on the left or right side of the display unit to photograph a part of real world light reflected from the beam splitter toward the display unit.

바람직하게는, 상기 광학부는,Preferably, the optical unit,

상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터;a beam splitter that reflects the image light output from the display unit toward the user's eyes and transmits at least a portion of the real world light;

상기 디스플레이와 상기 빔 스플리터 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부에서 출력되는 영상 광을 굴절시키는 렌즈부;a lens unit disposed on an optical path of the image light between the display and the beam splitter and refracting the image light output from the display unit;

상기 빔 스플리터를 기준으로 상기 렌즈부의 반대편에 배치되며, 상기 빔 스플리터를 투과한 영상 광을 상기 빔 스플리터 방향으로 반사하는 미러부;a mirror unit disposed on an opposite side of the lens unit relative to the beam splitter and reflecting image light transmitted through the beam splitter toward the beam splitter;

실제 세계를 향하는 상기 광학부의 전면을 구성하는 전면 윈도우; 및a front window constituting a front surface of the optical unit facing the real world; and

상기 사용자의 눈 방향을 향하는 상기 광학부의 후면을 구성하는 후면 윈도우를 포함할 수 있다.A rear window constituting a rear surface of the optical unit facing the user's eyes may be included.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치는,In order to achieve the above object, a vision matching type optical device and an augmented reality glass device including the same according to the features of the present invention,

증강현실 글라스 장치로서,As an augmented reality glasses device,

사용자가 머리에 착용할 수 있는 HMD 프레임;an HMD frame that a user can wear on their head;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치; 및optical devices disposed in front of both eyes of the user wearing the HMD frame to provide augmented reality by combining real world light and image light, and configured as a pair for display for both eyes; and

사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치를 포함하는 상기 증강현실 글라스 장치의 동작을 제어하는 제어부를 포함하며,A control unit controlling an operation of the augmented reality glasses device including the optical device so that image light is mapped to a real world seen through a user's field of view to provide augmented reality;

상기 광학 장치는,The optical device,

상기 제어부는,The control unit,

상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부를 제어하는 것을 그 구성상의 특징으로 한다.A feature of the configuration is that the image information is mapped to the real world based on the visual field matching image input from the image input unit, and the display unit is controlled to output the augmented reality image light according to the mapping.

바람직하게는, 상기 광학부는,Preferably, the optical unit,

바람직하게는,Preferably,

상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정하는 IPD 조정부를 더 포함하며,Further comprising an IPD adjustment unit for adjusting an interpupillary distance (IPD) by adjusting a distance between the pair of optical devices,

상기 제어부는,The control unit,

상기 IPD 조정부에 의해 상기 한 쌍의 광학 장치 사이의 거리가 조절됨에 따라 함께 이동하는 상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.As the distance between the pair of optical devices is adjusted by the IPD adjusting unit, the image information is mapped to the real world based on the field of view matching image input from the image input unit moving together, and the camera error due to IPD adjustment is mapped. can be removed.

더욱 바람직하게는, 상기 제어부는,More preferably, the control unit,

사용자의 IPD 조정 신호 또는 상기 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절하도록 상기 IPD 조정부를 제어할 수 있다.The IPD adjusting unit may be controlled to adjust a distance between the pair of optical devices according to a user's IPD adjusting signal or pre-stored IPD adjusting information for the user.

본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.According to the vision matched optical device for augmented reality glasses proposed in the present invention and the augmented reality glass device including the same, while constructing the optical device in a beam splitter method, the image input unit is placed side by side with the display unit in the optical device, The image input unit receives the real world light reflected from the beam splitter to secure a vision matching image that matches the user's field of view and provides augmented reality based on it, eliminating the image matching error that occurs in conventional augmented reality glasses. Since the image input unit is placed in the optical device, even if the optical device is moved to adjust the interpupillary distance (IPD) to suit the user, camera errors due to IPD changes do not occur and image information is accurately mapped to the real world. can do.

도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 전체 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 정면을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 상면을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 세부적인 구조를 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 IPD 조정부를 설명하기 위해 도시한 도면.1 is a view showing a conventional augmented reality glass as an example.
2 is a diagram showing the configuration of an augmented reality glass device including a vision matching type optical device according to an embodiment of the present invention.
FIG. 3 is a view showing an overall appearance of an augmented reality glass device including a view matching type optical device according to an embodiment of the present invention, as an example; FIG.
4 is a diagram illustrating a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
5 is a front view of a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
6 is a top view of a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
7 is a diagram illustrating a detailed structure of a vision matching type optical device for augmented reality glasses according to an embodiment of the present invention.
8 is a diagram illustrating an IPD adjustment unit of an augmented reality glass device including a view matching type optical device according to an embodiment of the present invention;

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case where it is 'directly connected', but also the case where it is 'indirectly connected' with another element in between. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components unless otherwise specified.

도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면이다. 도 1에 도시된 바와 같이, 종래의 증강현실 글라스는 카메라가 외부 전면의 양안 사이에 위치하여 사용자 시야 방향의 영상을 입력받으며, 입력받은 영상을 사용해 증강 영상을 실제 환경에 맵핑시킨다. 하지만 도 1에 도시된 바와 같은 증강현실 글라스의 카메라에서는 사용자 착용 시 눈썹 사이에서 영상을 수집하기 때문에, 촬영된 영상이 착용자의 실제 눈이 보는 시야와 정확하게 일치하지 않기 때문에 영상 정합의 오차를 발생시키게 된다.1 is a view showing a conventional augmented reality glass as an example. As shown in FIG. 1 , in the conventional augmented reality glasses, a camera is positioned between both eyes on the outer front side to receive an image in the direction of the user's field of view, and maps the augmented image to the real environment using the input image. However, since the camera of the augmented reality glass as shown in FIG. 1 collects images between the eyebrows when worn by the user, the captured image does not exactly match the field of view of the wearer's actual eyes, causing an error in image matching. do.

도 2는 전술한 바와 같은 문제를 해결할 수 있는 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 구성을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 전체 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100), HMD 프레임(200) 및 제어부(300)를 포함하여 구성될 수 있으며, IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있다.FIG. 2 is a diagram showing the configuration of an augmented reality glasses device 10 including a vision matching type optical device 100 according to an embodiment of the present invention capable of solving the above problems, and FIG. It is a diagram showing the entire appearance of the augmented reality glass device 10 including the vision matching type optical device 100 according to an embodiment of the present invention, for example. As shown in FIG. 2 , the augmented reality glasses device 10 including the view matching type optical device 100 according to an embodiment of the present invention includes an optical device 100, an HMD frame 200 and a controller ( 300), and may further include an IPD adjustment unit 400, an external camera unit 500, a sensor unit 600, and a communication unit 700.

광학 장치(100)는, HMD 프레임(200)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계와 증강현실 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성될 수 있다. 보다 구체적으로, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 빔 스플리터 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130) 즉, 카메라를 광학 장치(100) 내에 위치시켜 사용자의 실제 시야와 일치하는 영상을 확보하고 이를 기초로 증강현실이 제공되도록 구현하여, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있다.The optical device 100 is disposed in front of both eyes of the user wearing the HMD frame 200 to provide augmented reality by combining the real world and augmented reality image light, and may be configured as a pair for display of both eyes. . More specifically, the augmented reality glasses device 10 including the view matching type optical device 100 according to an embodiment of the present invention configures the optical device 100 in a beam splitter method, and the image input unit 130 That is, by placing the camera in the optical device 100 to secure an image that matches the user's actual field of view, and implementing augmented reality based on this, the error in image matching occurring in conventional augmented reality glasses can be eliminated. there is.

도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)를 설명하기 위해 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 정면을 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 상면을 도시한 도면이다. 도 4 내지 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 디스플레이부(110), 광학부(120) 및 영상 입력부(130)를 포함하여 구성될 수 있다.FIG. 4 is a diagram illustrating a view matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention, and FIG. 5 is a view for augmented reality glasses according to an embodiment of the present invention. This is a front view of the matching type optical device 100, and FIG. 6 is a top view of the field matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention. As shown in FIGS. 4 to 6 , the visual field matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention includes a display unit 110, an optical unit 120 and an image input unit 130. ).

디스플레이부(110)는, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이부(110)는, 영상 정보가 사용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학부(120)에 결합해, 광학부(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이부(110)로 구성될 수 있다. 디스플레이부(110)는 OLED 등으로 다양하게 구성될 수 있다.The display unit 110 may output augmented reality image light so that image information along with the real world is provided to the user. More specifically, the display unit 110 is coupled to the optical unit 120 to be described in detail below so that image information can be provided to the user, and an image transmitted by the optical unit 120 in the direction of the wearer's eyes. It outputs light and may be composed of a pair of display units 110 for binocular display. The display unit 110 may be variously configured with an OLED or the like.

광학부(120)는, 사용자 눈의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학부(120)는, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 디스플레이부(110) 방향으로 반사하며, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식으로 구현될 수 있다. 또한, 광학부(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있다.The optical unit 120 may be disposed in front of the user's eyes to provide augmented reality by combining real world light and image light. More specifically, the optical unit 120 transmits some of the real world light and reflects the other part toward the display unit 110 so that the real world is visible through the user's field of view, and the image output from the display unit 110 It may be implemented in a beam splitter 121 method that transmits light in the direction of the user's eyes. In addition, the optical unit 120 is composed of a plurality of lenses and mirrors and may be implemented in various ways.

도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 세부적인 구조를 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)에서는, 광학부(120)에 포함된 빔 스플리터(121)가 디스플레이부(110)에서 출력되는 영상 광을 반사해 사용자의 눈으로 영상 정보를 전달한다. 빔 스플리터(121)는 입사되는 광의 일부는 반사하고 일부는 투과하는 광학 소자인데, 도 7에 도시된 바와 같이, 빔 스플리터(121)는 실제 세계는 투과되어 보이도록 하면서, 디스플레이부(110)에서 출력되는 영상 광을 투과 및/또는 반사하여 사용자의 눈으로 영상 정보를 전달할 수 있다. 따라서 사용자는 광학부(120)를 통해 투과되어 보이는 실제 세계와 빔 스플리터(121)에서 반사된 영상 정보가 결합한 증강현실을 경험할 수 있게 된다.FIG. 7 is a diagram illustrating a detailed structure of a vision matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention. As shown in FIG. 7 , in the vision matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention, the beam splitter 121 included in the optical unit 120 is included in the display unit 110 It reflects the image light output from the screen and transmits image information to the user's eyes. The beam splitter 121 is an optical element that reflects some of the incident light and transmits some of it. As shown in FIG. Image information may be delivered to the user's eyes by transmitting and/or reflecting output image light. Accordingly, the user can experience augmented reality in which the real world transmitted through the optical unit 120 and image information reflected from the beam splitter 121 are combined.

영상 입력부(130)는, 디스플레이부(110)와 나란히 배치되며, 빔 스플리터(121)에서 반사된 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받을 수 있다. 보다 구체적으로, 도 5 및 도 6에 도시된 바와 같이, 영상 입력부(130)는, 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 빔 스플리터(121)에서 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다. 디스플레이부(110)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보가 실제 세계에 맵핑되도록 증강현실 영상 광을 출력함으로써, 카메라 위치에 따른 오차 없이 실제 환경에 증강 영상을 정확하게 맵핑할 수 있다.The image input unit 130 is arranged side by side with the display unit 110 and receives a part of the real world light reflected by the beam splitter 121 to receive a field matching image matching the user's field of view. More specifically, as shown in FIGS. 5 and 6, the image input unit 130 is disposed side by side on the left or right side of the display unit 110 and is reflected from the beam splitter 121 toward the display unit 110. It can consist of a camera that takes a portion of the real world light. The display unit 110 outputs augmented reality image light so that the image information is mapped to the real world based on the field of view matching image input from the image input unit 130, so that the augmented image is accurately displayed in the real environment without error according to the camera position. can be mapped.

보다 구체적으로 설명하면, 도 7에 도시된 바와 같이 빔 스플리터(121)를 사용해 증강현실용 광학부(120)를 구현하면, 실제 세계 광의 일부만 사용자 눈으로 전달되고, 나머지 일부는 빔 스플리터(121)에서 반사하게 된다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 실제 세계 광 중에서 반사된 광은 디스플레이부(110)가 위치한 쪽으로 향하게 된다. 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 빔 스플리터(121)에서 반사된 실제 세계 영상이 디스플레이부(110)를 향하게 되는 것을 이용해, 디스플레이부(110)와 나란하게 영상 입력부(130)를 배치하여, 사용자의 시야와 정확하게 일치하는 영상을 확보해 증강 영상의 매핑에 사용할 수 있다.More specifically, if the optical unit 120 for augmented reality is implemented using the beam splitter 121 as shown in FIG. will be reflected in At this time, since the beam splitter 121 is disposed at an angle of 45 degrees, reflected light among real world lights is directed to the side where the display unit 110 is located. In the view matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention, the real world image reflected from the beam splitter 121 is directed to the display unit 110, and the display unit 110 ) and the image input unit 130 are arranged in parallel to secure an image that exactly matches the user's field of view and can be used for mapping the augmented image.

한편, 도 7에 도시된 바와 같이, 광학 장치(100)의 구성요소인 광학부(120)는, 빔 스플리터(121), 렌즈부(122), 미러부(123), 전면 윈도우(124) 및 후면 윈도우(125)를 포함하여 구성될 수 있다.On the other hand, as shown in FIG. 7, the optical unit 120, which is a component of the optical device 100, includes a beam splitter 121, a lens unit 122, a mirror unit 123, a front window 124, and It may be configured to include a rear window 125.

빔 스플리터(121)는, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 반사하고, 실제 세계 광의 적어도 일부는 투과, 나머지 일부는 반사할 수 있다. 이때, 빔 스플리터(121)는 전면 윈도우(124)와 후면 윈도우(125) 사이에 45도 각도의 대각 방향으로 설치될 수 있다.The beam splitter 121 may reflect image light output from the display unit 110 toward the user's eyes, transmit at least a portion of real world light, and reflect the remaining portion. At this time, the beam splitter 121 may be installed between the front window 124 and the rear window 125 in a diagonal direction at an angle of 45 degrees.

렌즈부(122)는, 디스플레이부(110)와 빔 스플리터(121) 사이에서 영상 광의 광 경로상에 배치되며, 디스플레이부(110)에서 출력되는 영상 광을 굴절시킬 수 있다. 특히, 빔 스플리터(121)를 향해 볼록한 평볼록렌즈로 구성해, 디스플레이부(110)에서 출력되는 영상 광이 평볼록렌즈에서 굴절되어 빔 스플리터(121)에 전달되도록 하여, 디스플레이부(110)를 크게 하거나 미러부(123)를 크게 하지 않더라도 40도 이상의 FOV(Field of View)를 확보할 수 있다.The lens unit 122 is disposed on an optical path of image light between the display unit 110 and the beam splitter 121 and may refract the image light output from the display unit 110 . In particular, it is composed of a plano-convex lens that is convex toward the beam splitter 121, so that the image light output from the display unit 110 is refracted by the plano-convex lens and transmitted to the beam splitter 121, so that the display unit 110 It is possible to secure a Field of View (FOV) of 40 degrees or more even without enlarging or enlarging the mirror unit 123 .

미러부(123)는, 빔 스플리터(121)를 기준으로 렌즈부(122)의 반대편에 배치되며, 빔 스플리터(121)를 투과한 영상 광을 빔 스플리터(121) 방향으로 반사할 수 있다. 보다 구체적으로, 미러부(123)는 빔 스플리터(121) 방향을 향하여 오목한 형상으로, 미러 코팅된 것일 수 있다.The mirror unit 123 is disposed on the opposite side of the lens unit 122 with respect to the beam splitter 121 and may reflect image light transmitted through the beam splitter 121 toward the beam splitter 121 . More specifically, the mirror unit 123 may have a concave shape toward the beam splitter 121 and be mirror-coated.

전면 윈도우(124)는 실제 세계를 향하는 광학부(120)의 전면을 구성할 수 있고, 후면 윈도우(125)는 사용자의 눈 방향을 향하는 광학부(120)의 후면을 구성할 수 있다. 전면 윈도우(124) 및 후면 윈도우(125)는 투명한 글라스 형태일 수 있다.The front window 124 may configure the front side of the optical unit 120 facing the real world, and the rear window 125 may constitute the rear side of the optical unit 120 facing the user's eye direction. The front window 124 and the rear window 125 may be formed of transparent glass.

도 7에 도시된 바와 같이, 디스플레이부(110)에서 출력되는 영상 광은, 렌즈부(122)에서 굴절되어 빔 스플리터(121)를 투과하여 미러부(123)에서 반사되며, 반사된 영상 광은 빔 스플리터(121)의 반대 면에서 사용자의 눈 방향으로 반사되어 후면 윈도우(125)를 투과해 사용자 눈에 전달될 수 있다. 실제 세계 광은 전면 윈도우(124), 빔 스플리터(121), 후면 윈도우(125)를 차례로 투과하여 사용자 눈에 전달되는데, 빔 스플리터(121)는 실제 세계 광의 일부는 투과하고 나머지 일부는 반사한다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 반사된 실제 세계 광의 일부는 영상 입력부(130)로 입력되어 카메라(영상 입력부(130))가 사용자의 시야와 일치하는 시야 정합 영상을 획득할 수 있다.As shown in FIG. 7 , image light output from the display unit 110 is refracted by the lens unit 122, transmitted through the beam splitter 121, and reflected by the mirror unit 123, and the reflected image light is It may be reflected in the direction of the user's eyes from the opposite surface of the beam splitter 121 and transmitted to the user's eyes through the rear window 125 . The real world light passes through the front window 124, the beam splitter 121, and the rear window 125 in order and is delivered to the user's eyes. The beam splitter 121 transmits some of the real world light and reflects the other part. At this time, since the beam splitter 121 is disposed at an angle of 45 degrees, some of the reflected real world light is input to the image input unit 130 so that the camera (image input unit 130) obtains a field matching image matching the user's field of view. can do.

한편, 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, HMD 프레임(200), 제어부(300), IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있는바, 이하에서는 증강현실 글라스 장치(10)의 나머지 구성요소에 대해 상세히 설명하도록 한다.Meanwhile, as shown in FIG. 1 , the augmented reality glasses device 10 including the vision matching type optical device 100 according to an embodiment of the present invention includes an HMD frame 200, a controller 300, and an IPD. It may further include an adjustment unit 400, an external camera unit 500, a sensor unit 600, and a communication unit 700. Hereinafter, the rest of the components of the augmented reality glasses device 10 will be described in detail. do.

HMD 프레임(200)은, 사용자가 머리에 착용할 수 있는 증강현실 글라스 장치(10)의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.The HMD frame 200 is a frame configuration of the augmented reality glasses device 10 that can be worn on the head by the user. The HMD frame 200 may be configured in the form of a helmet or goggles having a frame structure through which light may enter while worn on the head by a user.

제어부(300)는, 사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 동작을 제어할 수 있다. 보다 구체적으로, 제어부(300)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 증강현실 영상 광이 출력되도록 디스플레이부(110)를 제어할 수 있다.The controller 300 may control the operation of the augmented reality glasses device 10 including the optical device 100 to provide augmented reality by mapping image light to the real world seen through the user's field of view. More specifically, the controller 300 controls the display unit 110 to map image information to the real world based on the field of view matching image input from the image input unit 130 and to output augmented reality image light according to the mapping. can do.

IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정할 수 있다. 제어부(300)는, 사용자의 IPD 조정 신호 또는 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절하도록 IPD 조정부(400)를 제어할 수 있다. 즉, 사용자가 직접 버튼을 조작하거나 손으로 광학 장치(100)를 움직여 IPD 조정 신호를 입력하면, IPD 조정 신호에 따라 제어부(300)가 IPD 조정부(400)를 제어할 수 있다. 또는, 미리 저장된 IPD 조정 정보에 따라 자동으로 IPD 조정부(400)를 제어할 수도 있다.The IPD adjusting unit 400 may adjust an interpupillary distance (IPD) by adjusting a distance between the pair of optical devices 100 . The controller 300 may control the IPD adjuster 400 to adjust the distance between the pair of optical devices 100 according to the user's IPD adjustment signal or pre-stored IPD adjustment information for the user. That is, when a user directly manipulates a button or moves the optical device 100 by hand to input an IPD control signal, the control unit 300 may control the IPD control unit 400 according to the IPD control signal. Alternatively, the IPD adjusting unit 400 may be automatically controlled according to pre-stored IPD adjusting information.

도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)를 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 위에 설치되어, 한 쌍의 광학 장치(100)를 동시에 움직여서 사용자에게 맞게 동공 간 거리를 조절할 수 있다.FIG. 8 is a diagram for explaining the IPD adjustment unit 400 of the augmented reality glasses device 10 including the vision matching type optical device 100 according to an embodiment of the present invention. As shown in FIG. 8 , the IPD adjustment unit 400 of the augmented reality glasses device 10 including the view matching type optical device 100 according to an embodiment of the present invention includes a pair of optical devices ( 100), the pair of optical devices 100 can be moved simultaneously to adjust the interpupillary distance to suit the user.

이때, 제어부(300)는, IPD 조정부(400)에 의해 한 쌍의 광학 장치(100) 사이의 거리가 조절됨에 따라 함께 이동하는 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.At this time, the control unit 300, as the distance between the pair of optical devices 100 is adjusted by the IPD adjustment unit 400, generates image information based on the field of view matching image input from the image input unit 130 moving together. By mapping to the real world, camera errors caused by IPD adjustment can be eliminated.

사용자마다 동공 사이의 거리는 다르므로, 양안 모두에 영상을 제공하는 양안 디스플레이 타입의 증강현실 글라스 장치(10)에서는, 동공 간의 거리를 쉽게 조정하여 사용자에게 맞추어야 초점이 잘 맞고 선명한 증강현실을 경험할 수 있다. 그런데 종래의 증강현실 글라스에서는 양안 사이 즉, 한 쌍의 광학 장치(100) 사이에 카메라가 위치하므로, IPD를 조정하면 카메라와 광학 장치(100)의 상대적 위치가 변화하게 되어 카메라 오차가 발생하는 문제가 있었다. 예를 들어, 카메라 위치로 인한 증강 영상의 정합 오차를 바로잡기 위한 오차 교정 수단 또는 알고리즘을 추가하였는데, IPD를 조정하면 광학 장치(100)가 움직이므로 이러한 오차 교정 수단 또는 알고리즘이 제대로 작동하지 못하게 된다.Since the distance between the pupils is different for each user, in the binocular display type augmented reality glasses device 10 that provides images to both eyes, the distance between the pupils must be easily adjusted to suit the user in order to experience well-focused and clear augmented reality. . However, in the conventional augmented reality glasses, since the camera is located between both eyes, that is, between the pair of optical devices 100, adjusting the IPD changes the relative position of the camera and the optical device 100, resulting in camera error. there was For example, an error correction means or algorithm is added to correct a registration error of an augmented image due to a camera position. However, since the optical device 100 moves when the IPD is adjusted, such an error correction means or algorithm does not work properly. .

반면에, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100) 내에 디스플레이부(110)와 나란하게 영상 입력부(130) 즉, 카메라가 배치되므로, IPD 조정에 의해 광학 장치(100) 이동 시 영상 입력부(130)가 함께 이동해 정확한 시야 정합 영상을 안정적으로 획득할 수 있다.On the other hand, in the augmented reality glasses device 10 including the vision matching type optical device 100 according to an embodiment of the present invention, the image input unit 130 is aligned with the display unit 110 within the optical device 100 That is, since the camera is disposed, when the optical device 100 is moved by IPD adjustment, the image input unit 130 moves together, so that an accurate field matching image can be stably obtained.

여기서, IPD 조정부(400)가 한 쌍의 광학 장치(100) 사이의 거리를 조절하는 방법은, 랙 앤 피니언 방식을 기초로, 초정밀 모터, 로터리 댐퍼를 사용하는 등 다양하게 구현될 수 있다.Here, a method of adjusting the distance between the pair of optical devices 100 by the IPD adjuster 400 may be implemented in various ways, such as using an ultra-precision motor or a rotary damper, based on a rack and pinion method.

외부 카메라부(500)는, 외부 영상을 촬영할 수 있다. 외부 카메라부(500)는, 사용자의 시야 방향, 측면 방향, 뒤쪽 방향 등 필요에 따라 정보 수집이 필요한 방향을 향하도록 HMD 프레임(200)에 설치되어, 사용자 주변의 영상을 촬영할 수 있다. 외부 카메라부(500)에서 촬영된 영상은, 주변을 파악하기 위한 정보로 활용될 수 있고, 제스처 인식 등을 위해 사용될 수도 있다.The external camera unit 500 may capture an external image. The external camera unit 500 is installed in the HMD frame 200 so as to face a direction in which information collection is necessary, such as a user's viewing direction, side direction, or rear direction, and can capture an image of the user's surroundings. An image captured by the external camera unit 500 may be used as information for grasping the surroundings and may be used for gesture recognition and the like.

센서부(600)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 제어부(300)는 센서부(600)의 동공 추적 센서에서 수집된 사용자의 동공 위치에 따라 IPD 조정부(400)를 제어해 사용자가 손을 사용하지 않고도 자동으로 사용자에게 맞게 동공 간 거리가 조정될 수 있다.The sensor unit 600 may include at least one or more sensors, and more specifically, may include a pupil tracking sensor and an iris recognition sensor. Depending on the embodiment, the control unit 300 controls the IPD adjuster 400 according to the pupil position of the user collected by the pupil tracking sensor of the sensor unit 600 to automatically adjust the pupil distance to the user without the user's hands. Distance can be adjusted.

한편, 실시예에 따라서, 제어부(300)는, IPD 조정부(400)에 의해 조정된 동공 간 거리를 사용자 인증 정보와 매칭해 저장하며, 사용자가 HMD 프레임(200)을 착용하고 사용자 인증을 하면, 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 IPD 조정부(400)를 제어해 해당 사용자에게 맞는 동공 간 거리로 자동으로 조정할 수도 있다. 여기서 사용자 인증 정보와 매칭 저장되는 IPD 조정 정보는 사용자의 IPD 조정 신호에 따라 조정된 거리 등일 수 있다. 이때, 사용자 인증은 센서부(600)에 포함된 홍채 인식 센서 등을 사용할 수 있다.Meanwhile, according to an embodiment, the control unit 300 matches and stores the inter-pupillary distance adjusted by the IPD adjustment unit 400 with user authentication information, and when the user wears the HMD frame 200 and performs user authentication, The interpupillary distance suitable for the user may be automatically adjusted by controlling the IPD adjuster 400 according to pre-stored IPD adjustment information for the user. Here, the IPD adjustment information matched with the user authentication information and stored may be a distance adjusted according to the user's IPD adjustment signal. In this case, user authentication may use an iris recognition sensor included in the sensor unit 600 .

통신부(700)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(700)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The communication unit 700 is installed on one side of the wearable augmented reality device 10 and can transmit and receive various signals and data to and from other wearable augmented reality devices 10 or servers. Here, the network used by the communication unit 700 is a wired network or a mobile communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN). radio communication network), satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), 3/4/5/6G (3/4/5/ It can be implemented in all types of wireless networks such as 6th Generation Mobile Telecommunication).

전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치(100) 및 이를 포함하는 증강현실 글라스 장치(10)에 따르면, 빔 스플리터(121) 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130)를 광학 장치(100) 내에 디스플레이부(110)와 나란히 배치해, 영상 입력부(130)가 빔 스플리터(121)에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부(130)가 광학 장치(100) 내에 배치되므로 광학 장치(100)를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.As described above, according to the vision matching type optical device 100 for augmented reality glasses proposed in the present invention and the augmented reality glass device 10 including the same, the optical device 100 in the beam splitter 121 method While configuring, the image input unit 130 is placed side by side with the display unit 110 in the optical device 100, so that the image input unit 130 receives the real world light reflected from the beam splitter 121 and adjusts the user's field of view. By securing a matched view matching image and providing augmented reality based on this, it is possible to remove an image matching error occurring in conventional augmented reality glasses, and since the image input unit 130 is disposed in the optical device 100 Even if the optical device 100 is moved to adjust the interpupillary distance (IPD) according to the user, it is possible to accurately map image information to the real world without causing a camera error according to the change in IPD.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by those skilled in the art to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the claims below.

10: 본 발명의 특징에 따른 증강현실 글라스 장치
100: 본 발명의 특징에 따른 광학 장치
110: 디스플레이부
120: 광학부
121: 빔 스플리터
122: 렌즈부
123: 미러부
124: 전면 윈도우
125: 후면 윈도우
130: 영상 입력부
200: HMD 프레임
300: 제어부
400: IPD 조정부
500: 외부 카메라부
600: 센서부
700: 통신부10: augmented reality glasses device according to the features of the present invention
100: optical device according to the features of the present invention
110: display unit
120: optical unit
121: beam splitter
122: lens unit
123: mirror unit
124: front window
125: rear window
130: video input unit
200: HMD frame
300: control unit
400: IPD adjustment unit
500: external camera unit
600: sensor unit
700: Ministry of Communications

Claims

delete

As the augmented reality glasses device 10,
An HMD frame 200 that can be worn on the head by a user;
optical devices 100 arranged in front of both eyes of the user wearing the HMD frame 200 to provide augmented reality by combining the real world and augmented reality image light, and configured as a pair for display for both eyes;
a controller 300 that controls an operation of the augmented reality glasses device 10 including the optical device 100 so that image light is mapped to the real world seen through the user's field of view to provide augmented reality;
an IPD adjustment unit 400 for adjusting an interpupillary distance (IPD) by adjusting a distance between the pair of optical devices 100; and
It includes a sensor unit 600 including an iris recognition sensor,
The optical device 100,
a display unit 110 that outputs augmented reality image light so that image information along with the real world is provided to the user;
It is disposed in front of the user's eyes, and a part of the real world light is transmitted and the remaining part is reflected toward the display unit 110 so that the real world is seen through the user's field of view, and the image light output from the display unit 110 Optical unit 120 of the beam splitter 121 method for transmitting in the direction of the user's eyes; and
An image input unit 130 disposed side by side with the display unit 110 and receiving a part of the real world light reflected from the beam splitter 121 to receive a field matching image matching the user's field of view,
The controller 300,
Mapping the image information to the real world based on the field of view matching image input from the image input unit 130, and controlling the display unit 110 to output the augmented reality image light according to the mapping;
The optical part 120,
a beam splitter 121 that reflects the image light output from the display unit 110 toward the user's eyes and transmits at least a portion of the real world light;
a lens unit 122 disposed on an optical path of the image light between the display unit 110 and the beam splitter 121 and refracting the image light output from the display unit 110;
a mirror unit 123 disposed opposite to the lens unit 122 with respect to the beam splitter 121 and reflecting the image light passing through the beam splitter 121 toward the beam splitter 121;
a front window 124 constituting a front surface of the optical part 120 facing the real world; and
It includes a rear window 125 constituting a rear surface of the optical part 120 facing the user's eye direction,
The video input unit 130,
It consists of a camera arranged side by side on the left or right side of the display unit 110 to photograph a part of real world light reflected from the beam splitter 121 toward the display unit 110,
The IPD adjustment unit 400,
It is installed on the pair of optical devices 100, and the pair of optical devices 100 are moved simultaneously to adjust the interpupillary distance to suit the user, but an ultra-precision motor or rotary damper is used based on a rack and pinion method. to adjust the distance between the pair of optical devices 100,
The controller 300,
The interpupillary distance adjusted by the IPD adjustment unit 400 is matched with user authentication information and stored. When the user wears the HMD frame 200 and uses the iris recognition sensor of the sensor unit 600 to authenticate the user, , Automatically adjusts the interpupillary distance suitable for the user by controlling the IPD adjustment unit 400 according to pre-stored IPD adjustment information for the user,
The controller 300,
As the distance between the pair of optical devices 100 is adjusted by the IPD adjustment unit 400, the image information is transmitted to the real world based on the field of view matching image input from the image input unit 130 moving together. An augmented reality glasses device (10) including a vision matching type optical device (100), characterized in that mapping is performed to remove camera errors due to IPD adjustment.

delete