Nothing Special   »   [go: up one dir, main page]

KR20190030140A - Method for eye-tracking and user terminal for executing the same - Google Patents

Method for eye-tracking and user terminal for executing the same Download PDF

Info

Publication number
KR20190030140A
KR20190030140A KR1020170167334A KR20170167334A KR20190030140A KR 20190030140 A KR20190030140 A KR 20190030140A KR 1020170167334 A KR1020170167334 A KR 1020170167334A KR 20170167334 A KR20170167334 A KR 20170167334A KR 20190030140 A KR20190030140 A KR 20190030140A
Authority
KR
South Korea
Prior art keywords
user
learning data
point
gaze
candidate
Prior art date
Application number
KR1020170167334A
Other languages
Korean (ko)
Other versions
KR102092931B1 (en
Inventor
석윤찬
이태희
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to PCT/KR2018/004562 priority Critical patent/WO2019054598A1/en
Priority to US16/646,326 priority patent/US11250242B2/en
Priority to CN201880023479.7A priority patent/CN110476141A/en
Publication of KR20190030140A publication Critical patent/KR20190030140A/en
Application granted granted Critical
Publication of KR102092931B1 publication Critical patent/KR102092931B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided are an eye tracking method and a user terminal for executing the same. According to one embodiment of the present invention, the user terminal comprises: a photographing device photographing a face image of a user; and an eye tracking unit obtaining a vector representing a direction in which the face of the user faces from the face image based on a set rule and a pupil image of the user and tracking a gaze of the user by inputting the face image, the vector, and the pupil image into a set deep learning model.

Description

시선 추적 방법 및 이를 수행하기 위한 사용자 단말{METHOD FOR EYE-TRACKING AND USER TERMINAL FOR EXECUTING THE SAME}TECHNICAL FIELD The present invention relates to a gaze tracking method and a user terminal for performing the gaze tracking method and a user terminal for performing the gaze tracking method.

본 발명은 시선 추적 기술과 관련된다.The present invention relates to eye tracking technology.

시선 추적(Eye Tracking)은 사용자의 안구 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.Eye Tracking is a technique for tracking the position of the eye by sensing the movement of the user's eye, and may be an image analysis method, a contact lens method, a sensor attaching method, or the like. The image analysis method detects the movement of the pupil through analysis of the real-time camera image and calculates the direction of the eye based on the fixed position reflected on the cornea. The contact lens method uses the reflected light of the built-in contact lens of the mirror or the magnetic field of the contact lens built in the coil, which is less convenient and has higher accuracy. The sensor attachment method detects the movement of the eye using the change of the electric field according to the movement of the eye by attaching the sensor around the eye, and it is possible to detect the movement of the eye even when the eye is closed (sleeping, etc.).

최근, 시선 추적 기술의 적용 대상 기기 및 적용 분야가 점차 확대되고 있으며, 이에 따라 스마트폰 등과 같은 단말에서 광고 서비스를 제공함에 있어 상기 시선 추적 기술을 활용하는 시도가 증가하고 있다. 그러나, 효율적인 광고 서비스의 제공을 위해서는 시선 추적의 정확도가 보다 향상될 필요가 있으며 광고 시청에 따른 비딩(bidding) 방식, 리워드(reward) 방식 등을 효율적으로 구성할 필요가 있다. 2. Description of the Related Art [0002] In recent years, devices and application fields to which eye tracking technology is applied are gradually expanding. Accordingly, attempts to utilize the eye tracking technology have been increasing in providing advertisement services in terminals such as smart phones. However, in order to provide an efficient advertisement service, it is necessary to improve the accuracy of line-of-sight tracking, and it is necessary to efficiently configure a bidding method and a reward method according to advertisement viewing.

한국등록특허공보 제10-1479471호(2015.01.13)Korean Patent Registration No. 10-1479471 (Jan. 13, 2015)

본 발명의 예시적인 실시예에 따르면, 사용자의 얼굴 이미지를 촬영하는 촬영 장치; 및 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하며, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함하는, 사용자 단말이 제공된다.According to an exemplary embodiment of the present invention, there is provided an image processing apparatus comprising: a photographing apparatus for photographing a face image of a user; Acquiring a vector representing a direction of the face of the user from the face image and a pupil image of the user based on the set rule, and inputting the face image, the vector, and the pupil image into a set deep learning model And a gaze tracking unit for tracking the gaze of the user.

상기 사용자 단말은, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 학습 데이터 수집부를 더 포함하며, 상기 시선 추적부는, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키고, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적할 수 있다.When receiving an action set by a candidate who takes a set point in a screen, the user terminal collects learning data including a face image of the candidate photographed at the time of receiving the action and positional information of the set point Wherein the gaze tracking unit can learn the learning data to the deep learning model and track the user's gaze using the deep learning model in which the learning data is learned.

상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집할 수 있다.The learning data collecting unit may collect the learning data at the time when the touch is made when the candidate touches the point.

상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집할 수 있다.The learning data collecting unit may collect the learning data by operating the photographing apparatus at the time when the candidate touches the point.

상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송할 수 있다.The learning data collection unit may transmit the learning data collected at the time when the candidate touches the point to the server.

상기 학습 데이터 수집부는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집할 수 있다.The learning data collecting unit collects the learning data at a point in time when the user touches the point in a state in which the photographing apparatus is in operation and before and after a predetermined time from the point at which the touch is made and the point at which the touch is made .

상기 학습 데이터 수집부는, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시킬 수 있다.The learning data collection unit may change the visual element of the point after the candidate touches the point so that the gaze of the candidate can stay at the point even after the touch.

상기 학습 데이터 수집부는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집할 수 있다.The learning data collection unit may display a phrase set at the point and collect the learning data when the candidate starts uttering the voice.

상기 시선 추적부는, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하고, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력할 수 있다.Wherein the gaze tracking unit acquires the coordinates of the pupil position and the coordinates of the face of the user from the face image on the basis of the rule and sets the pupil position coordinate and the face position coordinate together with a vector indicating a direction of the face of the user And further input to the deep learning model.

상기 화면에 광고 컨텐츠를 디스플레이하는 컨텐츠 제공부를 더 포함하며, 상기 시선 추적부는, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고, 상기 컨텐츠 제공부는, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다.Wherein the gaze tracking unit determines whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen And the content providing unit may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content.

본 발명의 다른 예시적인 실시예에 따르면, 촬영 장치에서, 사용자의 얼굴 이미지를 촬영하는 단계; 시선 추적부에서, 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하는 단계; 및 상기 시선 추적부에서, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 단계를 포함하는, 시선 추적 방법이 제공된다.According to another exemplary embodiment of the present invention, in a photographing apparatus, photographing a face image of a user; Obtaining a pupil image of a user and a vector representing a direction of a face of the user from the face image based on a set rule in a gaze tracking unit; And a step of tracing the gaze of the user by inputting the face image, the vector, and the pupil image to a set deep learning model in the gaze tracking section.

상기 시선 추적 방법은, 학습 데이터 수집부에서, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 단계; 및 상기 시선 추적부에서, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키는 단계를 더 포함하며, 상기 사용자의 시선을 추적하는 단계는, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적할 수 있다.The visual line tracking method includes the step of, when the learning data collecting unit receives an action set by a candidate who takes a set point on a screen, the face image of the candidate photographed at the time of receiving the action and the position information of the set point Collecting learning data to be generated; And a step of tracing the learning data to the deep learning model in the gaze tracking unit, wherein the step of tracing the user's gaze further comprises the steps of: using the deep learning model in which the learning data is learned, You can track your gaze.

상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집할 수 있다.The step of collecting the learning data may collect the learning data at the time when the touch is made when the candidate touches the point.

상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집할 수 있다.The step of collecting the learning data may include collecting the learning data by operating the photographing apparatus when the candidate touches the point.

상기 시선 추적 방법은, 상기 학습 데이터 수집부에서, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는 단계를 더 포함할 수 있다.The gaze tracking method may further include transmitting the learning data collected at the time when the candidate touches the point in the learning data collection unit to the server.

상기 학습 데이터를 수집하는 단계는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집할 수 있다.Wherein the step of collecting the learning data further comprises the step of acquiring the learning data at a time point at which the touch is made and a time point at which the touch is made and a predetermined time from when the candidate touches the point in a state in which the photographing apparatus is operating, Respectively.

상기 시선 추적 방법은, 상기 학습 데이터 수집부에서, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는 단계를 더 포함할 수 있다.The gaze tracking method may further include changing the visual element of the point after the candidate touches the point so that the gaze of the candidate can stay at the point even after the touch in the learning data collecting unit have.

상기 학습 데이터를 수집하는 단계는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집할 수 있다.The step of collecting the learning data may display a phrase set at the point and collect the learning data when the candidate starts uttering the voice.

상기 시선 추적 방법은, 상기 시선 추적부에서, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하는 단계를 더 포함하며, 상기 사용자의 시선을 추적하는 단계는, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력할 수 있다.Wherein the gaze tracking method further includes a step of the gaze tracking unit acquiring the coordinates of the pupil position and the coordinates of the face of the user from the face image based on the rule, The pupil position coordinate and the face position coordinate may be further input to the deep learning model together with a vector indicating a direction of the face of the user.

상기 시선 추적 방법은, 컨텐츠 제공부에서, 상기 화면에 광고 컨텐츠를 디스플레이하는 단계; 상기 시선 추적부에서, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하는 단계; 및 상기 컨텐츠 제공부에서, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는 단계를 더 포함할 수 있다.The method includes: displaying advertisement contents on a screen in a content providing step; Determining, by the gaze tracking unit, whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen; And changing the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time the user took the advertisement content in the content providing unit.

본 발명의 실시예들은 딥러닝 모델 기반의 시선 추적시 시선 추적의 정확도를 보다 향상시키는 수단을 제공하기 위한 것이다.Embodiments of the present invention are intended to provide a means for further improving the accuracy of line-of-sight tracking in line-of-sight tracking based on a deep-running model.

본 발명의 실시예들에 따르면, 딥러닝 모델 기반의 시선 추적시 사용자의 얼굴 이미지, 눈동자 이미지뿐 아니라 사용자의 얼굴이 향하는 방향을 나타내는 벡터를 딥러닝 모델의 입력 데이터로 사용함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.According to the embodiments of the present invention, when the eye tracking based on the deep learning model is used, not only the face image of the user, the eyeball image but also the vector representing the direction of the face of the user is used as the input data of the deep learning model, Can be improved.

또한, 본 발명의 실시예들에 따르면, 화면 내 설정된 지점을 응시하고 있는 응시자로부터 터치, 음성 등과 같은 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 응시자의 얼굴 이미지와 상기 지점의 위치 정보를 시선 추적을 위한 딥러닝 모델의 학습 데이터로 사용함으로써, 시선 추적의 정확도 및 신뢰도를 보다 향상시킬 수 있다.According to the embodiments of the present invention, when an action such as touch, voice, or the like is input from a candidate who is gazing at a set point on the screen, the face image of the candidate photographed at the time of receiving the action, Is used as learning data of a deep learning model for eye tracking, the accuracy and reliability of eye tracking can be further improved.

도 1은 본 발명의 일 실시예에 따른 광고 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 단말의 상세 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 시선 추적부에서 사용자의 시선을 추적하는 과정을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 얼굴 벡터의 예시
도 5는 본 발명의 일 실시예에 따른 딥러닝 모델을 통해 사용자의 시선을 추적하는 과정을 나타낸 예시
도 6은 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 예시
도 7은 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시
도 8은 도 7에서 응시자가 설정된 지점을 터치하는 경우 상기 지점의 시각 요소를 변화시키는 과정을 설명하기 위한 예시
도 9는 본 발명의 일 실시예에 따른 학습 데이터 수집부에서 딥러닝 모델에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시
도 10은 본 발명의 일 실시예에 따른 시선 기반의 비딩 방식을 설명하기 위한 예시
도 11은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram showing a detailed configuration of an advertisement system according to an embodiment of the present invention;
2 is a block diagram illustrating a detailed configuration of a terminal according to an embodiment of the present invention.
3 is a view for explaining a process of tracking a user's gaze in a gaze tracking unit according to an embodiment of the present invention;
4 illustrates an example of a face vector according to an embodiment of the present invention.
5 is a diagram illustrating a process of tracking a user's gaze through a deep learning model according to an embodiment of the present invention.
6 is a diagram illustrating an example of a process of collecting learning data input to the deep learning model in the learning data collection unit according to an embodiment of the present invention.
7 is a flowchart illustrating a process of collecting learning data input to a deep learning model in a learning data collection unit according to an embodiment of the present invention.
FIG. 8 illustrates an example of a process of changing a visual element of a point when a candidate touches a set point in FIG.
9 is a flowchart illustrating a process of collecting learning data input to a deep learning model in a learning data collection unit according to an embodiment of the present invention.
10 is a diagram illustrating an example of a visual-based beading method according to an embodiment of the present invention.
11 is a flowchart for explaining a gaze tracking method according to an embodiment of the present invention.
Figure 12 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in the exemplary embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular form of a term includes plural forms of meaning. In this description, the expressions "comprising" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.

도 1은 본 발명의 일 실시예에 따른 광고 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 광고 시스템(100)은 사용자 단말(102), 서버(104), 광고주 단말(106) 및 컨텐츠 개발자 단말(108)을 포함한다.1 is a block diagram showing a detailed configuration of an advertisement system 100 according to an embodiment of the present invention. 1, an advertisement system 100 according to an exemplary embodiment of the present invention includes a user terminal 102, a server 104, an advertiser terminal 106, and a content developer terminal 108.

사용자 단말(102)은 사용자가 소지하여 각종 광고 서비스를 제공 받는 기기로서, 예를 들어 스마트폰, 태블릿 PC, 노트북 등과 같은 모바일 기기일 수 있다. 다만, 사용자 단말(102)의 종류가 이에 한정되는 것은 아니며, 광고 컨텐츠의 디스플레이를 위한 화면 및 사용자 촬영을 위한 촬영 장치를 구비하는 다양한 통신 기기가 본 발명의 실시예들에 따른 사용자 단말(102)에 해당할 수 있다.The user terminal 102 may be a mobile device such as a smart phone, a tablet PC, a notebook, or the like. However, the type of the user terminal 102 is not limited thereto, and various communication devices including a screen for displaying advertisement contents and a photographing device for capturing a user may be installed in the user terminal 102 according to the embodiments of the present invention. .

사용자 단말(102)은 화면을 구비할 수 있으며, 상기 화면을 통해 광고 컨텐츠를 디스플레이할 수 있다. 또한, 사용자 단말(102)은 카메라, 캠코더 등과 같은 촬영 장치를 구비할 수 있으며, 상기 촬영 장치를 통해 촬영한 사용자의 얼굴 이미지로부터 상기 사용자의 시선을 추적할 수 있다. 이에 따라, 사용자 단말(102)은 검출된 사용자의 시선과 상기 화면 내 광고 컨텐츠의 위치에 기초하여 상기 사용자가 광고 컨텐츠를 응시하고 있는지의 여부를 판단할 수 있다. 이때, 사용자 단말(102)은 서버(104)로부터 설정된 모바일 애플리케이션을 제공 받고, 상기 애플리케이션을 통해 사용자 단말(102) 내 상기 화면, 촬영 장치 등과 연동하여 상술한 광고 컨텐츠의 제공, 시선 추적 기능 등을 수행할 수 있다. The user terminal 102 may have a screen and display advertisement contents on the screen. In addition, the user terminal 102 may include a photographing device such as a camera, a camcorder, etc., and can track the user's gaze from a face image of a user photographed through the photographing device. Accordingly, the user terminal 102 can determine whether the user is gazing at the advertisement content based on the detected user's gaze and the position of the in-screen advertisement content. At this time, the user terminal 102 receives the mobile application set from the server 104, and provides the above-mentioned advertisement contents, the line-of-sight tracking function, and the like in cooperation with the screen, Can be performed.

또한, 사용자 단말(102)은 설정된 룰 기반(rule-based) 알고리즘 및 딥러닝(deep learning) 모델을 이용하여 사용자의 시선을 추적할 수 있다. 여기서, 룰 기반 알고리즘은 미리 정해진 영상 처리 기법, 이미지 처리 기법, 수학식 등을 이용하여 시선 추적을 위한 각종 데이터를 획득하는 데 사용되는 알고리즘으로서, 예를 들어 얼굴 인식 알고리즘(예를 들어, 주성분 분석(PCA : Principal Component Analysis), 선형판별 분석(LDA : Linear Discriminant Analysis) 등), 얼굴의 특징점 검출 알고리즘(예를 들어, SVM : Support Vector Machine, SURF: Speeded Up Robust Features 등), 이미지 기반의 헤드-추적(head-tracking) 알고리즘, 눈동자 추출 및 눈동자 위치좌표 계산 알고리즘 등이 될 수 있다. 또한, 딥러닝 모델은 예를 들어, 합성곱 신경망(CNN : Convolutional Neural Network) 모델일 수 있다.In addition, the user terminal 102 may track the user's gaze using a set of rule-based algorithms and a deep learning model. Here, the rule-based algorithm is an algorithm used to acquire various data for line-of-sight tracking using a predetermined image processing technique, an image processing technique, a mathematical expression or the like, and for example, a face recognition algorithm (for example, (PCA), Linear Discriminant Analysis (LDA), etc.), facial feature point detection algorithms (e.g. SVM: Supported Vector Machine (SURF) A head-tracking algorithm, a pupil extraction, and a pupil position coordinate calculation algorithm. The deep learning model may also be, for example, a Convolutional Neural Network (CNN) model.

서버(104)는 사용자 단말(102)과 광고주 단말(106) 사이에서 광고 서비스 제공을 위한 각종 데이터를 중계한다. 도 1에 도시된 바와 같이, 서버(104)는 네트워크(미도시)를 통해 단말(102), 광고주 단말(106) 및 컨텐츠 개발자 단말(108)과 각각 연결될 수 있다. 서버(104)는 단말(102)의 요청에 따라 광고 서비스 제공을 위한 모바일 애플리케이션을 단말(102)로 제공할 수 있다. 단말(102)은 상기 모바일 애플리케이션을 통해 서버(104)에 접속하여 서버(104)에서 제공하는 각종 광고 서비스를 사용자에게 제공할 수 있다. 또한, 서버(104)는 광고주 단말(106)과 연동하여 컨텐츠 개발자 단말(108)로부터 광고 컨텐츠를 수신하고, 이를 단말(102)로 제공할 수 있다. 이후, 서버(104)는 단말(102)로부터 광고 컨텐츠의 광고 효과와 관련된 각종 데이터(예를 들어, 각 광고 컨텐츠별로 디스플레이된 시간/횟수, 각 광고 컨텐츠 별로 응시된 시간/횟수 등)를 수집하고, 이를 광고주 단말(106)로 제공할 수 있다.The server 104 relays various data for providing an advertisement service between the user terminal 102 and the advertiser terminal 106. As shown in FIG. 1, the server 104 may be connected to the terminal 102, the advertiser terminal 106, and the content developer terminal 108, respectively, through a network (not shown). The server 104 may provide a mobile application for providing an advertisement service to the terminal 102 at the request of the terminal 102. The terminal 102 may access the server 104 through the mobile application and provide various advertisement services provided by the server 104 to the user. In addition, the server 104 may receive the advertisement content from the content developer terminal 108 in cooperation with the advertiser terminal 106, and may provide the advertisement content to the terminal 102. Thereafter, the server 104 collects various data related to the advertisement effect of the advertisement contents from the terminal 102 (for example, the time / frequency displayed for each advertisement content, the time / frequency of each advertisement content, etc.) And provide it to the advertiser terminal 106.

광고주 단말(106)은 광고주가 소지하는 단말로서, 네트워크를 통해 서버(104)와 연결될 수 있다. 광고주 단말(106)은 컨텐츠 개발자 단말(108)이 제공하는 복수 개의 광고 컨텐츠 중 적어도 하나를 광고주로부터 선택 받고, 선택된 광고 컨텐츠에 관한 정보를 서버(104)로 제공할 수 있다. 또한, 광고주 단말(106)은 서버(104)로부터 광고 컨텐츠의 광고 효과와 관련된 각종 데이터를 제공 받을 수 있다.The advertiser terminal 106 can be connected to the server 104 via a network as a terminal possessed by the advertiser. The advertiser terminal 106 may select at least one of a plurality of advertisement contents provided by the content developer terminal 108 and provide the server 104 with information on the selected advertisement content. In addition, the advertiser terminal 106 may receive various data related to the advertisement effect of the advertisement contents from the server 104.

컨텐츠 개발자 단말(108)은 광고 컨텐츠를 개발하는 개발자가 소지하는 단말로서, 네트워크를 통해 서버(104)와 연결될 수 있다. 컨텐츠 개발자 단말(108)은 컨텐츠 개발자가 제작/편집한 광고 컨텐츠를 서버(104)를 통해 광고주 단말(106)로 제공할 수 있다. 서버(104)는 광고주 단말(106)로부터 광고주가 선택한 광고 컨텐츠에 관한 정보를 수신하고, 상기 정보에 대응되는 광고 컨텐츠를 사용자 단말(102)로 제공할 수 있다.The content developer terminal 108 can be connected to the server 104 through a network as a terminal possessed by a developer who develops advertisement contents. The content developer terminal 108 can provide the advertisement contents produced / edited by the content developer to the advertiser terminal 106 via the server 104. [ The server 104 may receive information on the advertisement content selected by the advertiser terminal 106 from the advertiser terminal 106 and provide the advertisement content corresponding to the information to the user terminal 102.

도 2는 본 발명의 일 실시예에 따른 단말(102)의 상세 구성을 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말(102)은 컨텐츠 제공부(202), 촬영 장치(204), 시선 추적부(206) 및 학습 데이터 수집부(208)를 포함한다.2 is a block diagram showing a detailed configuration of a terminal 102 according to an embodiment of the present invention. 2, the terminal 102 according to an embodiment of the present invention includes a content providing unit 202, a photographing apparatus 204, a gaze tracking unit 206, and a learning data collecting unit 208 do.

컨텐츠 제공부(202)는 사용자 단말(102)의 화면에 광고 컨텐츠를 디스플레이한다. 일 예시로서, 컨텐츠 제공부(202)는 잠금 화면에 광고 컨텐츠를 디스플레이할 수 있다. 상기 잠금 화면은 사용자 단말(102)이 잠금 상태로 전환된 상태에서 사용자로부터 상기 잠금 상태를 해제하기 위한 터치를 입력 받는 경우 디스플레이되는 화면을 의미한다. 컨텐츠 제공부(202)는 텍스트, 이미지, 또는 동영상 형태의 광고 컨텐츠를 상기 잠금 화면에 디스플레이할 수 있다. 다른 예시로서, 컨텐츠 제공부(202)는 사용자로부터 설정된 애플리케이션, 메뉴 등의 실행 명령을 입력 받는 경우 상기 실행 명령에 따라 화면에 광고 컨텐츠를 디스플레이할 수 있다. 다만, 광고 컨텐츠가 디스플레이되는 화면의 예시가 이에 한정되는 것은 아니며, 상기 광고 컨텐츠는 미리 설정된 다양한 형태의 화면에 디스플레이될 수 있다. The content providing unit 202 displays the advertisement content on the screen of the user terminal 102. As an example, the content provider 202 may display the advertisement content on the lock screen. The lock screen is a screen that is displayed when a touch for releasing the lock state is input from the user in a state where the user terminal 102 is switched to the locked state. The content providing unit 202 may display advertisement contents in the form of text, image, or moving picture on the lock screen. As another example, the content providing unit 202 may display the advertisement contents on the screen according to the execution command when receiving an execution command such as an application, a menu, etc., set by the user. However, the example of the screen on which the advertisement contents are displayed is not limited thereto, and the advertisement contents can be displayed on various preset screen types.

촬영 장치(204)는 사용자 단말(102)의 화면을 응시하는 사용자를 촬영하는 장치로서, 예를 들어 카메라, 캠코더 등이 될 수 있다. 촬영 장치(204)는 예를 들어, 사용자 단말(102)의 전면(前面)에 구비될 수 있다. 사용자 단말(102)은 촬영 장치(204)를 통해 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지를 통해 사용자의 시선을 추적할 수 있다.The photographing apparatus 204 is an apparatus for photographing a user who looks at a screen of the user terminal 102, and may be, for example, a camera, a camcorder, or the like. The photographing apparatus 204 may be provided, for example, on the front surface of the user terminal 102. [ The user terminal 102 can acquire a user's face image through the photographing device 204 and track the user's gaze through the face image.

시선 추적부(206)는 사용자의 시선을 추적한다. 시선 추적부(206)는 설정된 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적할 수 있다. 본 실시예들에 있어서, 딥러닝은 인간의 신경망(Neural Network) 이론을 이용한 인공신경망(ANN, Artificial Neural Network)의 일종으로서, 계층 구조(Layer Structure)로 구성되어 입력층(Input layer)과 출력층(Output layer) 사이에 하나 이상의 숨겨진 층(Hidden layer)을 갖고 있는 심층 신경망(DNN : Deep Neural Network)을 지칭하는 기계학습(Machine Learning) 모델 또는 알고리즘의 집합을 의미한다. 이때, 시선 추적부(206)는 촬영 장치(204)와 연동하여 사용자의 시선을 추적할 수 있다.The gaze tracking unit 206 tracks the user's gaze. The gaze tracking unit 206 can track the user's gaze using a set rule-based algorithm and a deep learning model. In the present embodiments, deep learning is a kind of artificial neural network (ANN) using a human neural network theory. It is composed of a layer structure and has an input layer and an output layer Refers to a set of machine learning models or algorithms that refers to a Deep Neural Network (DNN) having one or more hidden layers between output layers. At this time, the gaze tracking unit 206 can track the user's gaze in cooperation with the photographing apparatus 204. [

일 예시로서, 촬영 장치(204)에서 사용자의 얼굴이 감지되는 경우, 시선 추적부(206)는 상술한 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적할 수 있다. 다른 예시로서, 촬영 장치(204)에서 사용자의 얼굴이 감지되지 않는 경우, 시선 추적부(206)는 슬립 모드로 동작하여 상기 시선 추적을 위한 각종 동작을 중지할 수 있다.As an example, when the face of the user is detected in the photographing apparatus 204, the gaze tracking unit 206 can track the user's gaze using the above-described rule-based algorithm and the deep learning model. As another example, when the face of the user is not detected in the photographing apparatus 204, the gaze tracking unit 206 may operate in the sleep mode to suspend various operations for tracking the gaze.

만약, 촬영 장치(204)에서 사용자의 얼굴이 감지되는 경우, 시선 추적부(206)는 촬영 장치(204)를 통해 촬영된 사용자의 얼굴 이미지를 획득하고, 설정된 룰을 기반으로 상기 얼굴 이미지로부터 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 사용자의 눈동자 이미지를 획득할 수 있다. 이후, 시선 추적부(206)는 딥러닝 모델(210)에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적할 수 있다. 여기서, 상기 딥러닝 모델은 학습 데이터 수집부(208)에서 수집된 충분한 양의 학습 데이터를 미리 학습한 것으로 가정한다. 또한, 시선 추적부(206)는 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표, 얼굴 위치좌표, 눈동자의 방향벡터 등을 획득하고, 이들을 상기 딥러닝 모델(210)에 입력할 수 있다. 이와 같이, 시선 추적부(206)는 사용자의 얼굴 및 눈동자의 이미지뿐 아니라 룰 기반으로 획득된 시선 추적을 위한 각종 정량적인 데이터를 딥러닝 모델(210)에 입력함으로써 시선 추적의 정확도를 보다 향상시킬 수 있다.If the face of the user is detected by the photographing apparatus 204, the eye-gaze tracking unit 206 obtains the face image of the user photographed through the photographing apparatus 204, A vector representing a direction of the face of the user and a pupil image of the user. The gaze tracking unit 206 may input the face image, the vector, and the pupil image to the deep learning model 210 to track the user's gaze. Here, it is assumed that the deep learning model has learned in advance a sufficient amount of learning data collected by the learning data collection unit 208. [ In addition, the gaze tracking unit 206 may acquire the coordinates of the pupil position of the user, the coordinates of the face, and the direction vectors of the pupils from the face image based on the rule, and input them into the deep learning model 210 have. As described above, the gaze tracking unit 206 inputs various kinds of quantitative data for gaze tracking obtained based on rules as well as the image of the user's face and pupils to the deep learning model 210, thereby improving the accuracy of gaze tracking .

또한, 시선 추적부(206)는 검출된 사용자의 시선과 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단할 수 있다. 후술할 바와 같이, 컨텐츠 제공부(202)는 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다. The gaze tracking unit 206 may determine whether the user is gazing at the advertisement content based on the detected line of sight of the user and the position of the advertisement content on the screen. As described later, the content providing unit 202 may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content.

도 3은 본 발명의 일 실시예에 따른 시선 추적부(206)에서 사용자의 시선을 추적하는 과정을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 얼굴 벡터의 예시이다. 또한, 도 5는 본 발명의 일 실시예에 따른 딥러닝 모델(210)을 통해 사용자의 시선을 추적하는 과정을 나타낸 예시이다. FIG. 3 is a diagram for explaining a process of tracking a user's gaze in the gaze tracking unit 206 according to an embodiment of the present invention. FIG. 4 is an illustration of a face vector according to an embodiment of the present invention. 5 is a view illustrating a process of tracking a user's gaze through the deep learning model 210 according to an embodiment of the present invention.

도 3을 참조하면, 시선 추적부(206)는 촬영 장치(204)를 통해 획득된 사용자의 얼굴 이미지에 룰 기반 알고리즘을 적용하여 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터, 눈동자 이미지 및 눈동자 위치좌표 등을 획득할 수 있다. 일반적으로, 사용자는 특정 지점을 응시할 때 얼굴을 해당 지점으로 향하고 있으므로 상기 얼굴이 향하는 방향이 사용자의 시선 방향과 일치할 확률이 높다. 이에 따라, 본 발명의 실시예들에서는 시선 추적부(206)가 사용자의 얼굴 이미지, 눈동자 이미지뿐 아니라 사용자의 얼굴이 향하는 방향을 나타내는 벡터를 딥러닝 모델(210)의 입력 데이터로 사용함으로써 시선 추적의 정확도를 보다 향상시킬 수 있도록 하였다. 시선 추적부(206)는 예를 들어, 미리 정해진 특징점 추출 알고리즘을 통해 얼굴 이미지의 특징 벡터를 추출하고, 상기 특징 벡터로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터, 즉 얼굴 벡터(face-vector)를 획득할 수 있다. 이와 같이 획득된 얼굴 벡터의 예시는 도 4에 도시된 바와 같다. 또한, 시선 추적부(206)는 이미지 처리 기법을 통해 상기 얼굴 이미지로부터 눈 영역을 검출하고, 상기 눈 영역의 이미지(즉, 눈동자 이미지)와 홍채 또는 동공의 위치좌표를 획득할 수 있다. 또한, 시선 추적부(206)는 화면 전체에서 사용자의 얼굴 영역을 검출하고, 상기 얼굴 영역의 위치좌표를 획득할 수 있다. 시선 추적부(206)는 이와 같이 획득된 벡터, 눈동자 이미지/위치좌표, 얼굴 이미지/위치좌표 등을 딥러닝 모델(210)에 입력할 수 있다. Referring to FIG. 3, the gaze tracking unit 206 applies a rule-based algorithm to a user's face image obtained through the photographing apparatus 204 to generate a vector representing a direction of the face of the user, a pupil image, And so on. In general, since a user faces a point at a specific point, the user has a high probability that the direction of the face coincides with the direction of the user's gaze. Accordingly, in the embodiments of the present invention, the gaze tracking unit 206 uses the vector representing the direction of the face of the user as well as the facial image of the user, as the input data of the deep learning model 210, So that the accuracy can be improved. For example, the gaze tracking unit 206 extracts a feature vector of a face image through a predetermined feature point extraction algorithm, and generates a vector representing a direction of the user's face from the feature vector, that is, a face- Can be obtained. An example of the face vector thus obtained is as shown in FIG. In addition, the gaze tracking unit 206 may detect an eye region from the face image through an image processing technique, and obtain an image of the eye region (i.e., a pupil image) and a position coordinate of an iris or a pupil. In addition, the gaze tracking unit 206 can detect the face region of the user on the entire screen and obtain the position coordinates of the face region. The gaze tracking unit 206 may input the acquired vector, pupil image / position coordinates, face image / position coordinates, and the like to the deep learning model 210.

도 5를 참조하면, 딥러닝 모델(210)은 계층 구조로 이루어지는 복수 개의 레이어를 구비할 수 있으며, 상기 레이어에 상술한 입력 데이터가 입력될 수 있다. 딥러닝 모델(210)은 미리 학습된 학습 데이터와 새롭게 입력된 입력 데이터를 기반으로 사용자의 시선을 추적할 수 있다.Referring to FIG. 5, the deep learning model 210 may include a plurality of layers in a hierarchical structure, and the input data described above may be input to the layer. The deep learning model 210 can track the user's gaze based on previously learned learning data and newly input data.

한편, 시선 추적부(206)가 딥러닝 모델(210)을 이용하여 사용자의 시선을 보다 정확히 추적하기 위해서는 딥러닝 모델(210)의 학습용 데이터, 즉 시선 추적을 위한 학습 데이터의 신뢰도가 높아야 한다. On the other hand, in order for the gaze tracking unit 206 to more accurately track the user's gaze using the deep learning model 210, the learning data of the deep learning model 210, that is, the learning data for gaze tracking, must be highly reliable.

이를 위해 다시 도 2로 참조하면, 학습 데이터 수집부(208)는 응시 액션에 기반하여 딥러닝 모델(210)의 학습에 사용되는 다량의 학습 데이터를 수집할 수 있다. 구체적으로, 학습 데이터 수집부(208)는 사용자 단말(102)의 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영 장치(204)를 통해 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다. 상기 액션은 예를 들어, 응시자의 화면 터치, 응시자의 음성 발화 등이 될 수 있으며, 상기 학습 데이터 수집의 실시예는 아래와 같다.2, the learning data collection unit 208 may collect a large amount of learning data used for learning of the deep learning model 210 based on the gazing action. Specifically, the learning data collection unit 208, when receiving an action set from a candidate who takes a set point in the screen of the user terminal 102, receives the action, And the location information of the set point. The action may be, for example, a touch of a screen of a candidate, a speech utterance of a candidate, and the like.

<실시예><Examples>

· 응시자가 잠금 화면의 해제를 위한 패턴을 터치 입력하는 경우, 응시자의 터치 입력이 최초로 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집When the candidate touches the pattern for releasing the lock screen, the photographing apparatus 204 operates to photograph the candidate's face at the time when the candidate's touch input is made for the first time → the face image of the taken candidate (or the face image / A position coordinate, a vector indicating a direction of the face of the candidate, a pupil image / position coordinate of a candidate, and the like) and position information of a point at which the pattern is first touched is collected as learning data

· 응시자가 화면 내 설정된 애플리케이션 아이콘 또는 메뉴 버튼을 터치(또는 클릭)하는 경우, 응시자의 터치 입력이 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집When the candidate touches (or clicks) an application icon or a menu button set on the screen, the photographing apparatus 204 operates to photograph the candidate's face at the time when the candidate's touch input is made. A vector representing a direction of the face of the candidate, a pupil image / position coordinate of a candidate, and the like) and positional information of a point at which the pattern is first touched are collected as learning data

· 화면에 하나의 점을 디스플레이하여 응시자로 하여금 이를 터치하도록 유도하고 응시자가 상기 점을 터치하는 경우, 응시자의 터치 입력이 이루어진 시점에서 촬영 장치(204)가 동작하여 응시자의 얼굴을 촬영 → 촬영된 응시자의 얼굴 이미지(또는 상기 얼굴 이미지/위치좌표, 상기 응시자의 얼굴이 향하는 방향을 나타내는 벡터, 응시자의 눈동자 이미지/위치좌표 등)와 상기 패턴을 최초로 터치한 지점의 위치 정보를 학습 데이터로서 수집When a candidate touches the point, the photographing apparatus 204 is operated at the time when the candidate's touch input is made, and the face of the candidate is photographed (Or the face image / position coordinate, a vector indicating the direction of the face of the candidate, the pupil's eye image / position coordinate of the candidate, etc.) and the position information of the point at which the pattern is first touched are collected as learning data

이와 같이 수집된 학습 데이터는 딥러닝 모델(210)에 입력되어 학습될 수 있다. 구체적으로, 시선 추적부(206)는 상기 학습 데이터를 딥러닝 모델(210)에 학습시키고, 상기 학습 데이터를 학습한 딥러닝 모델(210)을 이용하여 상기 사용자의 시선을 추적할 수 있다. 이하에서는, 도 6 내지 도 9를 참조하여 학습 데이터 수집부(208)가 학습 데이터를 수집하는 방법을 보다 구체적으로 살펴보기로 한다.The collected learning data may be input to the deep learning model 210 and be learned. Specifically, the gaze tracking unit 206 may learn the learning data to the deep learning model 210 and trace the user's gaze using the deep learning model 210 that has learned the learning data. Hereinafter, a method of collecting learning data by the learning data collection unit 208 with reference to FIGS. 6 to 9 will be described in more detail.

도 6은 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 예시이다.FIG. 6 is an illustration for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention.

도 6을 참조하면, 학습 데이터 수집부(208)는 잠금 화면 상에 패턴 입력을 위한 9개의 점을 디스플레이할 수 있다. 이에 따라, 응시자는 잠금 화면의 해제를 위해 미리 정의된 Z자 형태의 패턴을 터치 입력할 수 있다. 이때, 응시자는 시작점 S → 끝점 E 방향으로 Z자 형태의 패턴을 터치 입력할 수 있다. 학습 데이터 수집부(208)는 응시자의 터치 입력이 최초로 이루어진 시점, 즉 응시자가 시작점 S를 터치한 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 시작점 S의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.Referring to FIG. 6, the learning data collection unit 208 may display nine points for pattern input on the lock screen. Accordingly, the candidate can touch input a predefined Z-shaped pattern for releasing the lock screen. At this time, the candidate can touch the Z-shaped pattern in the direction of the starting point S → end point E. The learning data collection unit 208 includes a face image of the candidate photographed through the photographing apparatus 204 and position information of the starting point S at a point in time when the candidate's touch input is first made, Learning data can be collected.

도 7은 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시이며, 도 8은 도 7에서 응시자가 설정된 지점을 터치하는 경우 상기 지점의 시각 요소를 변화시키는 과정을 설명하기 위한 예시이다.7 is another example for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention. And changing the visual element of the point when the set point is touched.

도 7을 참조하면, 학습 데이터 수집부(208)는 화면 상에 버튼 A(뒤로 가기 버튼), 버튼 B(앞으로 가기 버튼), 버튼 C(시작 버튼) 및 버튼 D(끝 버튼) 등을 디스플레이할 수 있다. 만약, 응시자가 버튼 A를 터치하는 경우, 학습 데이터 수집부(208)는 응시자의 터치 입력이 이루어진 시점, 즉 응시자가 버튼 A를 터치한 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 버튼 A의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.7, the learning data collection unit 208 displays a button A (backward button), a button B (forward button), a button C (start button), and a button D (end button) on the screen . If the candidate touches the button A, the learning data collecting unit 208 acquires the face image of the candidate photographed through the photographing apparatus 204 at the time when the candidate's touch input was made, that is, And positional information of the button A can be collected.

또한, 학습 데이터 수집부(208)는 상기 응시자의 시선이 상기 터치 이후에도 상기 터치된 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소(visual elements)를 변화시킬 수 있다. 여기서, 시각 요소는 화면에 출력되는 객체들을 눈으로 인식하는 데 필요한 요소로서, 예를 들어 화면에 출력되는 객체, 상기 객체를 포함하는 영역 또는 상기 객체의 테두리 선의 크기, 형태, 색깔, 밝기, 질감 등이 이에 해당할 수 있다.In addition, the learning data collection unit 208 may change the visual elements of the point after the candidate touches the point so that the gaze of the candidate can remain at the touched point after the touch. Here, the visual element is an element necessary for visually recognizing objects to be displayed on the screen. For example, the visual element may be an object displayed on the screen, an area including the object, or a size, shape, color, brightness, texture And so on.

도 8을 참조하면, 상기 응시자가 버튼 A를 터치하는 경우, 학습 데이터 수집부(208)는 버튼 A의 색깔을 보다 진하게 표시할 수 있으며 이에 따라 상기 응시자의 시선이 상기 터치 이후에도 버튼 A에 머무를 수 있도록 유도할 수 있다. Referring to FIG. 8, when the candidate touches the button A, the learning data collection unit 208 can display the color of the button A more boldly, so that the gaze of the candidate can stay in the button A even after the touch .

한편, 학습 데이터 수집부(208)는 상기 응시자가 설정된 지점을 터치하는 시점에 촬영 장치(204)를 동작시켜 상기 학습 데이터를 수집할 수 있다. 즉, 촬영 장치(204)는 평상시에 오프 상태를 유지하다가 상기 응시자가 설정된 지점을 터치하는 시점에 학습 데이터 수집부(208)에 의해 동작하여 사용자를 촬영할 수 있으며, 이에 따라 촬영 장치(204)의 계속적인 동작으로 인해 사용자 단말(102)의 배터리 소모가 증가하는 것을 방지할 수 있다. 또한, 학습 데이터 수집부(208)는 상기 응시자가 상기 지점을 터치하는 시점에 촬영된 상기 응시자의 얼굴 이미지와 상기 지점의 위치 정보(즉, 상기 지점을 터치하는 시점에 수집된 학습 데이터)를 서버(104)로 전송할 수 있으며, 이에 따라 서버(104)는 이를 수집 및 분석할 수 있다. 서버(104)는 사용자 단말(102)로부터 상기 학습 데이터를 수집하여 데이터베이스(미도시)에 저장하고, 사용자 단말(102)이 수행하는 분석 과정(예를 들어, 얼굴 벡터, 눈동자 이미지/위치좌표, 얼굴 이미지/위치좌표 추출 등)을 수행할 수 있다.On the other hand, the learning data collection unit 208 can collect the learning data by operating the photographing apparatus 204 at a time when the candidate touches the set point. That is, the photographing device 204 maintains the off state at normal times, and can photograph the user by the learning data collection unit 208 when the candidate touches the set point, It is possible to prevent the battery consumption of the user terminal 102 from increasing due to continuous operation. In addition, the learning data collection unit 208 stores the face image of the candidate photographed at the time point when the candidate touched the point and the position information of the point (i.e., the learning data collected at the time of touching the point) To server 104, which in turn can collect and analyze it. The server 104 collects the learning data from the user terminal 102 and stores the collected learning data in a database (not shown) and analyzes the analysis process performed by the user terminal 102 (e.g., face vector, pupil image / Face image / position coordinate extraction, etc.).

또한, 학습 데이터 수집부(208)는 촬영 장치(204)가 동작하고 있는 상태에서 응시자가 설정된 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점(예를 들어, 터치가 이루어진 시점으로부터 1초 이전 시점, 터치가 이루어진 시점으로부터 1초 이후 시점)에서 상기 학습 데이터를 각각 수집할 수 있다. 일반적으로, 응시자는 특정 지점을 터치하고자 하는 경우 터치 직전과 터치 직후에 해당 지점을 응시하게 되므로, 실제 터치가 이루어진 시점뿐 아니라 터치 직전 및 직후 시점에서 수집된 학습 데이터 또한 그 신뢰도가 높은 것으로 판단할 수 있다. 즉, 본 발명의 실시예들에 따르면, 촬영 장치(204)가 동작하고 있는 상태에서 응시자가 설정된 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 학습 데이터를 각각 수집하도록 함으로써, 신뢰도가 높은 다량의 학습 데이터를 보다 용이하게 수집할 수 있다. The learning data collecting unit 208 collects the learning data from the point of time at which the touch is made and the forward and backward points of time set from the point in time at which the touch was made when the candidate was touched in a state in which the photographing apparatus 204 is operating For example, one second before the touch is made and one second after the touch is made). In general, when a candidate tries to touch a specific point, the user touches the corresponding point immediately before and immediately after the touch, so that it is determined that the learning data collected at the point immediately before the touch and immediately before the touch are also highly reliable . That is, according to the embodiments of the present invention, when a candidate touches a set point in a state in which the photographing apparatus 204 is operating, learning is performed at a time point at which the touch is made and a time By collecting the data individually, it is possible to more easily collect a large amount of reliable learning data.

도 9는 본 발명의 일 실시예에 따른 학습 데이터 수집부(208)에서 딥러닝 모델(210)에 입력되는 학습 데이터를 수집하는 과정을 설명하기 위한 다른 예시이다.9 is another example for explaining a process of collecting learning data input to the deep learning model 210 in the learning data collection unit 208 according to an embodiment of the present invention.

도 9를 참조하면, 학습 데이터 수집부(208)는 특정 지점에서 설정된 문구를 디스플레이하고, 상기 문구에 응답하여 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다. 일 예시로서, 학습 데이터 수집부(208)는 화면의 상단 및 중앙 부분에 “아래 단어를 말하시오” 및 “Apple”이라는 문구를 각각 디스플레이하고, 이에 따라 상기 응시자가 “Apple”을 따라 읽기 위한 음성을 발화화는 경우 상기 발화가 시작되는 시점에서 촬영 장치(204)를 통해 촬영된 응시자의 얼굴 이미지 및 상기 “Apple” 문구가 디스플레이되는 지점의 위치 정보를 포함하는 학습 데이터를 수집할 수 있다.Referring to FIG. 9, the learning data collection unit 208 displays a phrase set at a specific point, and when the candidate utterances a speech in response to the phrase, The face image of the photographed candidate, and the location information of the point. As one example, the learning data collection unit 208 displays the words "say the words below" and "Apple" at the top and center of the screen, respectively, so that the candidate speaks " It is possible to collect the learning data including the face image of the candidate photographed through the photographing apparatus 204 at the time when the utterance is started and the position information of the point at which the &quot; Apple &quot; phrase is displayed.

이와 같이, 본 발명의 실시예들에 따르면, 화면 내 설정된 지점을 응시하고 있는 응시자로부터 터치, 음성 등과 같은 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 응시자의 얼굴 이미지와 상기 지점의 위치 정보를 시선 추적을 위한 딥러닝 모델(210)의 학습 데이터로 사용함으로써, 시선 추적의 정확도 및 신뢰도를 보다 향상시킬 수 있다.As described above, according to the embodiments of the present invention, when an action such as touch, voice, or the like is inputted from a candidate gazing at a set point on a screen, the face image of the candidate photographed at the time of receiving the action, By using the information as the learning data of the deep learning model 210 for line-of-sight tracking, the accuracy and reliability of line-of-sight tracking can be further improved.

도 10은 본 발명의 일 실시예에 따른 시선 기반의 비딩 방식을 설명하기 위한 예시이다. 시선 추적부(206)는 검출된 사용자의 시선과 화면 내 상기 광고 컨텐츠의 위치를 비교하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고, 이에 따라 어느 위치에서 사용자가 광고 컨텐츠를 많이 응시하였는지의 여부를 판단할 수 있다. 시선 추적부(206)는 각 영역별로 사용자가 광고 컨텐츠를 응시한 시간 및 횟수를 계산하고, 이를 서버(104)로 제공할 수 있다. 이에 따라, 서버(104)는 광고주 단말(106)과 연동하여 광고 컨텐츠가 위치하는 각 영역별로 해당 광고 컨텐츠의 비딩(bidding)을 달리할 수 있다. FIG. 10 is an illustration for explaining a line-based beading method according to an embodiment of the present invention. The gaze tracking unit 206 compares the detected line of sight of the user with the position of the advertisement content on the screen to determine whether or not the user is gazing at the advertisement content, It is possible to judge whether or not the user has gazed. The gaze tracking unit 206 may calculate the time and the number of times the user has looked at the advertisement contents for each area and provide the calculated time and number to the server 104. [ Accordingly, the server 104 may change the bidding of the corresponding advertisement contents in each area in which the advertisement contents are located, in cooperation with the advertiser terminal 106. [

도 10을 참조하면, 서버(104)는 사용자가 상대적으로 많이 응시한 영역의 광고 컨텐츠에 대해서는 1달러, 사용자가 상대적으로 조금 응시한 영역의 광고 컨텐츠에 대해서는 0.6 달러로 각각 비딩하여 광고주 단말(106)로 과금할 수 있다.Referring to FIG. 10, the server 104 bids the advertiser terminal 106 (FIG. 10) for $ 1 for advertising content in a region where the user is relatively more likely to take a look, ).

또한, 컨텐츠 제공부(202)는 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경할 수 있다. 예를 들어, 컨텐츠 제공부(202)는 광고 컨텐츠가 디스플레이된 복수 개의 영역 중 설정된 횟수 또는 시간 이상으로 응시된 영역을 파악하고, 현재 디스플레이되고 있는 광고 컨텐츠의 위치를 상기 설정된 횟수 또는 시간 이상으로 응시된 영역으로 변경할 수 있다. 이에 따라, 사용자로 하여금 상기 광고 콘텐츠를 보다 많이 응시하도록 유도할 수 있다. Also, the content providing unit 202 may change the location of the advertisement content in the screen in consideration of the location of the advertisement content in the screen and the time when the user takes the advertisement content. For example, the content providing unit 202 may be configured to identify an area of the advertisement content that is viewed more than a predetermined number of times or more than a predetermined number of times and display the position of the currently displayed advertisement content at or above the set number of times Can be changed. This can lead the user to look more at the ad content.

도 11은 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.FIG. 11 is a flowchart illustrating a gaze tracking method according to an embodiment of the present invention. In the illustrated flow chart, the method is described as being divided into a plurality of steps, but at least some of the steps may be performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, One or more steps may be added and performed.

S102 단계에서, 컨텐츠 제공부(202)는 화면에 광고 컨텐츠를 디스플레이한다.In step S102, the content providing unit 202 displays advertisement contents on a screen.

S104 단계에서, 시선 추적부(206)는 촬영 장치(204)를 통해 사용자의 얼굴 이미지를 획득한다.In step S104, the gaze tracking unit 206 acquires the user's face image through the photographing apparatus 204. [

S106 단계에서, 시선 추적부(206)는 설정된 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적한다. 시선 추적부(206)가 룰 기반 알고리즘 및 딥러닝 모델을 이용하여 사용자의 시선을 추적하는 방법은 앞에서 자세히 설명하였는바 여기서는 그 자세한 설명을 생략하도록 한다.In step S106, the gaze tracking unit 206 tracks the user's gaze using the set rule-based algorithm and the deep learning model. The method of tracking the user's gaze using the rule-based algorithm and the deep learning model has been described in detail above, and the detailed description thereof will be omitted here.

S108 단계에서, 시선 추적부(206)는 검출된 사용자의 시선과 상기 화면 내 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단한다.In step S108, the gaze tracking unit 206 determines whether the user is gazing at the advertisement content based on the detected user's gaze and the position of the in-screen advertisement content.

S110 단계에서, 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는 것으로 판단되는 경우, 시선 추적부(206)는 화면 내 광고 컨텐츠의 위치, 상기 광고 컨텐츠에 대한 응시자의 응시 시간/횟수 등을 파악한다. If it is determined in step S110 that the user is gazing at the advertisement content, the gaze tracking unit 206 grasps the location of the in-screen advertisement content, the time and number of the applicant's gaze for the advertisement content, and the like.

도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.12 is a block diagram illustrating and illustrating a computing environment 10 that includes a computing device suitable for use in the exemplary embodiments. In the illustrated embodiment, each of the components may have different functions and capabilities than those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 광고 시스템(100), 또는 사용자 단말(102)에 포함되는 하나 이상의 컴포넌트일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be one or more components included in advertising system 100, or user terminal 102.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16, The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiment discussed above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which when executed by the processor 14 cause the computing device 12 to perform operations in accordance with the illustrative embodiment .

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and / or other suitable forms of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 may be any type of storage medium such as a memory (volatile memory such as random access memory, non-volatile memory, or any suitable combination thereof), one or more magnetic disk storage devices, Memory devices, or any other form of storage medium that can be accessed by the computing device 12 and store the desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14, computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22)는 상술한 스크롤 화면(102), 입력 인터페이스(104), 입력 화면(105) 등을 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.The computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 may include the scroll screen 102, the input interface 104, the input screen 105, and the like. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. The exemplary input and output device 24 may be any type of device, such as a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or touch screen), a voice or sound input device, An input device, and / or an output device such as a display device, a printer, a speaker, and / or a network card. The exemplary input and output device 24 may be included within the computing device 12 as a component of the computing device 12 and may be coupled to the computing device 102 as a separate device distinct from the computing device 12 It is possible.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100 : 광고 시스템
102 : 사용자 단말
104 : 서버
106 : 광고주 단말
108 : 컨텐츠 개발자 단말
202 : 컨텐츠 제공부
204 : 촬영 장치
206 : 시선 추적부
208 : 학습 데이터 수집부
210 : 딥러닝 모델
212 : 리워드 제공부100: Advertising system
102: user terminal
104: Server
106: Advertiser terminal
108: Content developer terminal
202: Content offerer
204: photographing apparatus
206: eye tracking unit
208: Learning data collection unit
210: Deep Learning Model
212: Reward offer

Claims (20)

사용자의 얼굴 이미지를 촬영하는 촬영 장치; 및
설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하며, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함하는, 사용자 단말.
A photographing device for photographing a face image of a user; And
Acquiring a vector representing a direction of the user's face from the face image and a pupil image of the user based on a set rule, inputting the face image, the vector, and the pupil image to a set deep learning model And a gaze tracking unit for tracking the gaze of the user.
청구항 1에 있어서,
화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 학습 데이터 수집부를 더 포함하며,
상기 시선 추적부는, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키고, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적하는, 사용자 단말.
The method according to claim 1,
And a learning data collecting unit for collecting the learning data including the face image of the candidate photographed at the time of receiving the action and the position information of the set point when receiving the action set by the candidate who takes a set point in the screen In addition,
Wherein the gaze tracking unit trains the learning data to the deep learning model and tracks the gaze of the user using the deep learning model in which the learning data is learned.
청구항 2에 있어서,
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집하는, 사용자 단말.
The method of claim 2,
Wherein the learning data collection unit collects the learning data at the time when the touch is made when the candidate touches the point.
청구항 3에 있어서,
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집하는, 사용자 단말.
The method of claim 3,
Wherein the learning data collecting unit collects the learning data by operating the photographing apparatus when the candidate touches the point.
청구항 3에 있어서,
상기 학습 데이터 수집부는, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는, 사용자 단말.
The method of claim 3,
Wherein the learning data collection unit transmits the learning data collected at the time when the candidate touches the point to the server.
청구항 3에 있어서,
상기 학습 데이터 수집부는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집하는, 사용자 단말.
The method of claim 3,
Wherein the learning data collection unit collects the learning data at a point in time when the user touches the point in a state in which the photographing apparatus is in operation and before and after a predetermined time from the point at which the touch is made and the point at which the touch is made , User terminal.
청구항 3에 있어서,
상기 학습 데이터 수집부는, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는, 사용자 단말.
The method of claim 3,
Wherein the learning data collection unit changes the visual element of the point after the candidate touches the point so that the gaze of the candidate can remain at the point even after the touch.
청구항 2에 있어서,
상기 학습 데이터 수집부는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집하는, 사용자 단말.
The method of claim 2,
Wherein the learning data collection unit displays the phrase set at the point and collects the learning data at the time when the candidate starts uttering the voice.
청구항 1에 있어서,
상기 시선 추적부는, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하고, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력하는, 사용자 단말.
The method according to claim 1,
Wherein the gaze tracking unit acquires the coordinates of the pupil position and the coordinates of the face of the user from the face image on the basis of the rule and sets the pupil position coordinate and the face position coordinate together with a vector indicating a direction of the face of the user Further inputting to the deep learning model.
청구항 1에 있어서,
상기 화면에 광고 컨텐츠를 디스플레이하는 컨텐츠 제공부를 더 포함하며,
상기 시선 추적부는, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하고,
상기 컨텐츠 제공부는, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는, 사용자 단말.
The method according to claim 1,
And a content providing unit for displaying advertisement contents on the screen,
Wherein the gaze tracking unit determines whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen,
Wherein the content providing unit changes the position of the advertisement content in the screen in consideration of the position of the advertisement content in the screen and the time when the user takes the advertisement content.
촬영 장치에서, 사용자의 얼굴 이미지를 촬영하는 단계;
시선 추적부에서, 설정된 룰(rule)을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터 및 상기 사용자의 눈동자 이미지를 획득하는 단계; 및
상기 시선 추적부에서, 설정된 딥러닝 모델에 상기 얼굴 이미지, 상기 벡터 및 상기 눈동자 이미지를 입력하여 상기 사용자의 시선을 추적하는 단계를 포함하는, 시선 추적 방법.
A step of photographing a face image of a user in a photographing apparatus;
Obtaining a pupil image of a user and a vector representing a direction of a face of the user from the face image based on a set rule in a gaze tracking unit; And
And tracking the user's gaze by inputting the face image, the vector, and the pupil image to the deep learning model set in the gaze tracking section.
청구항 11에 있어서,
학습 데이터 수집부에서, 화면 내 설정된 지점을 응시하는 응시자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점에서 촬영된 상기 응시자의 얼굴 이미지 및 상기 설정된 지점의 위치 정보를 포함하는 학습 데이터를 수집하는 단계; 및
상기 시선 추적부에서, 상기 학습 데이터를 상기 딥러닝 모델에 학습시키는 단계를 더 포함하며,
상기 사용자의 시선을 추적하는 단계는, 상기 학습 데이터를 학습한 상기 딥러닝 모델을 이용하여 상기 사용자의 시선을 추적하는, 시선 추적 방법.
The method of claim 11,
The learning data collecting unit collects the learning data including the face image of the candidate photographed at the time of receiving the action and the position information of the set point when the action set from the candidate who takes a set point in the screen is inputted step; And
Further comprising the step of causing the gaze tracking unit to learn the learning data to the deep learning model,
Wherein the step of tracking the user's gaze tracks the gaze of the user using the deep learning model in which the learning data is learned.
청구항 12에 있어서,
상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점에서 상기 학습 데이터를 수집하는, 시선 추적 방법.
The method of claim 12,
Wherein the step of collecting the learning data collects the learning data at a point of time when the touch is made when the candidate touches the point.
청구항 13에 있어서,
상기 학습 데이터를 수집하는 단계는, 상기 응시자가 상기 지점을 터치하는 시점에 상기 촬영 장치를 동작시켜 상기 학습 데이터를 수집하는, 시선 추적 방법.
14. The method of claim 13,
Wherein the step of collecting the learning data collects the learning data by operating the photographing apparatus when the candidate touches the point.
청구항 13에 있어서,
상기 학습 데이터 수집부에서, 상기 응시자가 상기 지점을 터치하는 시점에 수집된 상기 학습 데이터를 서버로 전송하는 단계를 더 포함하는, 시선 추적 방법.
14. The method of claim 13,
Further comprising the step of transmitting, in the learning data collection unit, the learning data collected at the time when the candidate touches the point, to the server.
청구항 13에 있어서,
상기 학습 데이터를 수집하는 단계는, 상기 촬영 장치가 동작하고 있는 상태에서 상기 응시자가 상기 지점을 터치하는 경우 상기 터치가 이루어진 시점 및 상기 터치가 이루어진 시점으로부터 설정된 시간 만큼의 전후 시점에서 상기 학습 데이터를 각각 수집하는, 시선 추적 방법.
14. The method of claim 13,
Wherein the step of collecting the learning data further comprises the step of acquiring the learning data at a time point at which the touch is made and a time point at which the touch is made and a predetermined time from when the candidate touches the point in a state in which the photographing apparatus is operating, Respectively.
청구항 13에 있어서,
상기 학습 데이터 수집부에서, 상기 응시자의 시선이 상기 터치 이후에도 상기 지점에 머무를 수 있도록 상기 응시자가 상기 지점을 터치한 이후 상기 지점의 시각 요소를 변화시키는 단계를 더 포함하는, 시선 추적 방법.
14. The method of claim 13,
Further comprising changing, at the learning data collection unit, a visual element of the point after the candidate touches the point so that the gaze of the candidate can remain at the point even after the touch.
청구항 12에 있어서,
상기 학습 데이터를 수집하는 단계는, 상기 지점에서 설정된 문구를 디스플레이하고, 상기 응시자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 상기 학습 데이터를 수집하는, 시선 추적 방법.
The method of claim 12,
Wherein the step of collecting the learning data displays a phrase set at the point and collects the learning data at a point of time when the candidate starts uttering the voice.
청구항 11에 있어서,
상기 시선 추적부에서, 상기 룰을 기반으로 상기 얼굴 이미지로부터 상기 사용자의 눈동자 위치좌표 및 얼굴 위치좌표를 획득하는 단계를 더 포함하며,
상기 사용자의 시선을 추적하는 단계는, 상기 사용자의 얼굴이 향하는 방향을 나타내는 벡터와 함께 상기 눈동자 위치좌표 및 상기 얼굴 위치좌표를 상기 딥러닝 모델에 더 입력하는, 시선 추적 방법.
The method of claim 11,
Wherein the gaze tracking unit further comprises acquiring the pupil position coordinate and the face position coordinate of the user's pupil from the face image based on the rule,
Wherein the step of tracking the user's gaze further comprises inputting the pupil position coordinate and the face position coordinate together with a vector representing a direction of the user's face to the deep learning model.
청구항 11에 있어서,
컨텐츠 제공부에서, 상기 화면에 광고 컨텐츠를 디스플레이하는 단계;
상기 시선 추적부에서, 검출된 상기 사용자의 시선과 상기 화면 내 상기 광고 컨텐츠의 위치에 기초하여 상기 사용자가 상기 광고 컨텐츠를 응시하고 있는지의 여부를 판단하는 단계; 및
상기 컨텐츠 제공부에서, 상기 화면 내 상기 광고 컨텐츠의 위치 및 상기 사용자가 상기 광고 컨텐츠를 응시한 시간을 고려하여 상기 화면 내 상기 광고 컨텐츠의 위치를 변경하는 단계를 더 포함하는, 시선 추적 방법.The method of claim 11,
In the content provisioning method, the advertisement content is displayed on the screen.
Determining, by the gaze tracking unit, whether the user is gazing at the advertisement content based on the detected gaze of the user and the position of the advertisement content in the screen; And
Further comprising changing a position of the advertisement content in the screen in consideration of a position of the advertisement content in the screen and a time when the user takes the advertisement content in the content providing unit.
KR1020170167334A 2017-09-13 2017-12-07 Method for eye-tracking and user terminal for executing the same KR102092931B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2018/004562 WO2019054598A1 (en) 2017-09-13 2018-04-19 Eye tracking method and user terminal for performing same
US16/646,326 US11250242B2 (en) 2017-09-13 2018-04-19 Eye tracking method and user terminal performing same
CN201880023479.7A CN110476141A (en) 2017-09-13 2018-04-19 Sight tracing and user terminal for executing this method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170117059 2017-09-13
KR1020170117059 2017-09-13

Publications (2)

Publication Number Publication Date
KR20190030140A true KR20190030140A (en) 2019-03-21
KR102092931B1 KR102092931B1 (en) 2020-03-24

Family

ID=66037021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167334A KR102092931B1 (en) 2017-09-13 2017-12-07 Method for eye-tracking and user terminal for executing the same

Country Status (2)

Country Link
KR (1) KR102092931B1 (en)
CN (1) CN110476141A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058693A (en) * 2019-04-23 2019-07-26 北京七鑫易维科技有限公司 Collecting method, device, electronic equipment and storage medium
KR102158432B1 (en) * 2019-12-06 2020-09-24 (주)미디어스퀘어 System and method for redeploying ui components based on user's interaction on user interface
KR102319328B1 (en) * 2020-11-12 2021-10-29 이종우 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
KR102336574B1 (en) * 2020-12-04 2021-12-07 (주)매트리오즈 Learning Instruction Method Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
US11231776B2 (en) 2019-07-16 2022-01-25 Samsung Electronics Co., Ltd. Method and apparatus for predicting intention of user
KR20220034268A (en) * 2020-09-10 2022-03-18 상명대학교산학협력단 Method, server and program for judge whether an advertisement is actually watched through iris recognition
KR102426071B1 (en) * 2021-07-21 2022-07-27 정희석 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same
KR20220122119A (en) * 2021-02-26 2022-09-02 (주)블라우비트 Apparatus and method for normalizing start of eye tracking for analysis of user's screen concentraction
KR102586828B1 (en) * 2022-12-16 2023-10-10 한국전자기술연구원 Advanced image display method based on face, eye shape, and HMD wearing position

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508937B1 (en) * 2021-05-17 2023-03-10 삼육대학교산학협력단 System for management of hazardous gas
CN113283402B (en) * 2021-07-21 2021-11-05 北京科技大学 Differential two-dimensional fixation point detection method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100325365B1 (en) * 1999-02-23 2002-03-04 김재희 Gaze detection system
JP2007265367A (en) * 2006-03-30 2007-10-11 Fujifilm Corp Program, apparatus and method for detecting line of sight
KR101479471B1 (en) 2012-09-24 2015-01-13 네이버 주식회사 Method and system for providing advertisement based on user sight
KR20150129051A (en) * 2012-07-20 2015-11-18 페이스북, 인크. Adjusting mobile device state based on user intentions and/or identity
KR20160072015A (en) * 2014-12-12 2016-06-22 삼성전자주식회사 Device and method for arranging contents displayed on the screen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
JP6288770B2 (en) * 2014-06-09 2018-03-07 国立大学法人静岡大学 Face detection method, face detection system, and face detection program
JP2017016198A (en) * 2015-06-26 2017-01-19 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100325365B1 (en) * 1999-02-23 2002-03-04 김재희 Gaze detection system
JP2007265367A (en) * 2006-03-30 2007-10-11 Fujifilm Corp Program, apparatus and method for detecting line of sight
KR20150129051A (en) * 2012-07-20 2015-11-18 페이스북, 인크. Adjusting mobile device state based on user intentions and/or identity
KR101479471B1 (en) 2012-09-24 2015-01-13 네이버 주식회사 Method and system for providing advertisement based on user sight
KR20160072015A (en) * 2014-12-12 2016-06-22 삼성전자주식회사 Device and method for arranging contents displayed on the screen

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058693A (en) * 2019-04-23 2019-07-26 北京七鑫易维科技有限公司 Collecting method, device, electronic equipment and storage medium
CN110058693B (en) * 2019-04-23 2022-07-15 北京七鑫易维科技有限公司 Data acquisition method and device, electronic equipment and storage medium
US11231776B2 (en) 2019-07-16 2022-01-25 Samsung Electronics Co., Ltd. Method and apparatus for predicting intention of user
KR102158432B1 (en) * 2019-12-06 2020-09-24 (주)미디어스퀘어 System and method for redeploying ui components based on user's interaction on user interface
KR20220034268A (en) * 2020-09-10 2022-03-18 상명대학교산학협력단 Method, server and program for judge whether an advertisement is actually watched through iris recognition
KR102319328B1 (en) * 2020-11-12 2021-10-29 이종우 Method of Evaluating Learning Attitudes Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
KR102336574B1 (en) * 2020-12-04 2021-12-07 (주)매트리오즈 Learning Instruction Method Using Video Images of Non-face-to-face Learners, and Management Server Used Therein
KR20220122119A (en) * 2021-02-26 2022-09-02 (주)블라우비트 Apparatus and method for normalizing start of eye tracking for analysis of user's screen concentraction
KR102426071B1 (en) * 2021-07-21 2022-07-27 정희석 Artificial intelligence based gaze recognition device and method, and unmanned information terminal using the same
KR102586828B1 (en) * 2022-12-16 2023-10-10 한국전자기술연구원 Advanced image display method based on face, eye shape, and HMD wearing position
WO2024128371A1 (en) * 2022-12-16 2024-06-20 한국전자기술연구원 Advanced image output method based on face, eye shape, and head-mounted display wearing location

Also Published As

Publication number Publication date
KR102092931B1 (en) 2020-03-24
CN110476141A (en) 2019-11-19

Similar Documents

Publication Publication Date Title
KR20190030140A (en) Method for eye-tracking and user terminal for executing the same
US12118999B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
EP3596585B1 (en) Invoking automated assistant function(s) based on detected gesture and gaze
CN106462242B (en) Use the user interface control of eye tracking
US20180024643A1 (en) Gesture Based Interface System and Method
US11636859B2 (en) Transcription summary presentation
US20070074114A1 (en) Automated dialogue interface
KR20160037074A (en) Image display method of a apparatus with a switchable mirror and the apparatus
KR101850101B1 (en) Method for providing advertising using eye-gaze
EP3635513B1 (en) Selective detection of visual cues for automated assistants
US11625754B2 (en) Method for providing text-reading based reward-type advertisement service and user terminal for executing same
US20120229509A1 (en) System and method for user interaction
KR102431817B1 (en) Electronic apparatus and server for processing user utterance
US11216067B2 (en) Method for eye-tracking and terminal for executing the same
KR20180109499A (en) Method and apparatus for providng response to user&#39;s voice input
KR20180071156A (en) Method and apparatus for filtering video
KR20210075641A (en) Providing Method for information and electronic device supporting the same
US11250242B2 (en) Eye tracking method and user terminal performing same
Montanini et al. Low complexity head tracking on portable android devices for real time message composition
CN114296627A (en) Content display method, device, equipment and storage medium
KR20190103570A (en) Method for eye-tracking and terminal for executing the same
Aydin Leveraging Computer Vision Techniques for Video and Web Accessibility
CN118113141A (en) Interaction method, interaction device, electronic equipment and storage medium
WO2023150303A9 (en) Digital assistant for providing real-time social intelligence
CN116339484A (en) Power saving method, device and equipment of wearable equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant