KR20190000318A - System and method for gesture sensing - Google Patents
System and method for gesture sensing Download PDFInfo
- Publication number
- KR20190000318A KR20190000318A KR1020180071428A KR20180071428A KR20190000318A KR 20190000318 A KR20190000318 A KR 20190000318A KR 1020180071428 A KR1020180071428 A KR 1020180071428A KR 20180071428 A KR20180071428 A KR 20180071428A KR 20190000318 A KR20190000318 A KR 20190000318A
- Authority
- KR
- South Korea
- Prior art keywords
- sequence
- sensor
- gesture
- application processor
- random number
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012795 verification Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000005311 autocorrelation function Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035559 beat frequency Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W74/00—Wireless channel access
- H04W74/08—Non-scheduled access, e.g. ALOHA
- H04W74/0833—Random access procedures, e.g. with 4-step access
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/40—Transceivers
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
Description
본 발명은 일반적으로 웨어러블 디바이스에 관한 것으로, 구체적으로는 제스처 검출을 위한 시스템 및 방법에 관한 것이다.The present invention relates generally to wearable devices, and more specifically to systems and methods for gesture detection.
레이더 기반 제스처 검출 시스템은 컴퓨터, 스마트폰 또는 태블릿 컴퓨터와 같은 장치를 직접 제어하거나 차량, 건물 내 전자 시스템, 또는 가전 제품과 같은 원격 장치를 제어하기 위해 사용될 수 있는 입력 인터페이스이다. 예를 들어, 원격 장치가 자동차인 경우, 제스처 검출 시스템은 사람이 차 외부에서 자동차의 다양한 동작을 제어할 수 있게 한다. 제스처 검출은 자동차 분야(예컨대, 열쇠 없이 출입(keyless entry), 미디어 제어 등), 산업 분야(예컨대, 기계 제어), 사물 인터넷 분야(예컨대, 주방 기기, HVAC 제어 등) 등과 같은 많은 분야에 사용될 수 있다. 사용자는 손으로 하나 이상의 제스처를 만들어 제스처 검출 시스템과 상호 작용할 수 있다.A radar-based gesture detection system is an input interface that can be used to directly control a device such as a computer, smartphone, or tablet computer, or to control a remote device such as a vehicle, an electronic system in a building, or a home appliance. For example, when the remote device is an automobile, the gesture detection system allows a person to control various motions of the vehicle outside the car. Gesture detection can be used in many areas such as automotive (e.g., keyless entry, media control, etc.), industrial (e.g., machine control), object Internet (e.g. kitchen appliances, HVAC control, have. The user can interact with the gesture detection system by creating one or more gestures by hand.
V 밴드와 같은 밀리미터 파(mm파) 주파수 대역에서의 응용은, 저비용 반도체 기술의 급속한 발전으로 인해 지난 몇 년간 상당한 관심을 받아 왔다. 다른 응용들 중에서도, 레이더 기반 제스처 검출 시스템은 mm파 기술을 사용하여 구현될 수 있다. mm파 스펙트럼은 보다 넓은 가용 대역폭을 가질 수 있으며, 이는 터치리스 사용자 상호 작용 응용에서 보다 양호한 거리 분해능을 허용할 수 있다.Applications in the millimeter wave (mm wave) frequency band, such as the V-band, have received considerable interest in the past few years due to the rapid development of low cost semiconductor technology. Among other applications, radar based gesture detection systems can be implemented using mm wave techniques. The mm wave spectrum can have a wider available bandwidth, which may allow for better distance resolution in a touchless user interaction application.
일 실시예에 따르면, 센서 시스템을 검증하는 방법은, 애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와, 상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와, 상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와, 상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함한다.According to one embodiment, a method of verifying a sensor system comprises the steps of: accessing a predefined numeric sequence in an application processor; determining, from a sensor of the sensor system, a predetermined number of iterations of the predefined number sequence Correlating the verification sequence with the predefined sequence of numbers; counting the number of correlations between the predefined sequence of numbers and the verification sequence; And adjusting parameters of the sensor or the application processor in response to the number of iterations not equal to the number of correlations.
본 발명 및 그 이점에 대한 보다 완전한 이해를 위해, 이제 첨부 도면과 관련한 다음의 설명을 참고한다.
도 1은 제스처 검출 시스템의 시스템도이다.
도 2는 제스처 검출 시스템의 RF 컴포넌트의 개략도이다.
도 3은 제스처 센서 장치의 처리 컴포넌트의 블록도이다.
도 4는 애플리케이션 프로세서의 처리 컴포넌트의 블록도이다.
도 5는 제스처 센서를 검증하는 방법의 흐름도이다.For a more complete understanding of the present invention and the advantages thereof, reference is now made to the following descriptions taken in conjunction with the accompanying drawings, in which:
1 is a system diagram of a gesture detection system.
2 is a schematic diagram of an RF component of a gesture detection system.
3 is a block diagram of a processing component of a gesture sensor device.
4 is a block diagram of a processing component of an application processor.
5 is a flow chart of a method for verifying a gesture sensor.
본 개시의 실시예의 제조 및 사용은 하기에 상세히 논의한다. 그러나, 본 명세서에 개시된 개념은 다양한 특정 상황에서 실시될 수 있으며, 본 명세서에서 논의하는 특정 실시예는 단지 예시적인 것이며 청구항의 범위를 제한하는 것은 아니라는 것을 이해해야 한다. 또한, 첨부된 청구 범위에 의해 정의된 바와 같은 본 개시의 사상 및 범위를 벗어나지 않고 다양한 변경, 대체 및 변형이 이루어질 수 있음을 이해해야 한다.The fabrication and use of embodiments of the present disclosure are discussed in detail below. It should be understood, however, that the concepts disclosed herein may be practiced in a variety of specific contexts, and that the specific embodiments discussed herein are illustrative only and are not intended to limit the scope of the claims. It should also be understood that various changes, substitutions and alterations can be made herein without departing from the spirit and scope of the present disclosure as defined by the appended claims.
몇몇 실시예에 따른 제스처 검출 시스템의 동작을 검증하기 위한 시스템 및 방법이 개시된다. 구체적으로, 제스처 검출 장치는 제스처 인식을 수행하기 위한 RF/베이스밴드 회로를 포함하며, 다른 디지털 컴포넌트들 중에서 제스처 검출 장치의 동작을 검증하는데 사용되는 난수 생성기를 포함한다. 난수 생성기는 사전 결정된 난수 또는 의사 난수 시퀀스를 생성한다. 난수 시퀀스는, 예를 들어, 선형 피드백 시프트 레지스터(linear feedback shift register)로 생성된다. 제스처 검출 장치의 샘플과 달리, 난수 시퀀스는 선험적으로 알려진 결정 신호(deterministic signal)이다. 검증은, 제스처 센서 장치에서 의사 난수 시퀀스를 생성한 다음, 검증을 위해 제스처 검출 장치에 결합된 애플리케이션 프로세서로 전송하는 것을 포함한다. 제스처 검출 장치에 결합된 애플리케이션 프로세서는 난수 시퀀스를 수신하고, 수신된 의사 난수 시퀀스가 소정의 시퀀스와 매칭되는지 여부를 판정한다. 다양한 실시예에서, 의사 랜덤 시퀀스가 전파되는 신호 경로는 제스처 검출 장치로부터 센서 샘플을 수신하는데 사용되는 것과 동일한 하드웨어, 펌웨어 및 소프트웨어 파이프라인(예컨대, 데이터 전송 파이프라인)을 사용한다. 무엇보다도, 데이터 전송 파이프라인의 검증은 하드웨어 장치의 적절한 동작을 검사하는 것과, 장치에서 실행되는 펌웨어 및/또는 소프트웨어의 적절한 동작을 검사하는 것과, 장치들 사이의 물리적 연결을 검사하는 것을 포함할 수 있다. 일부 실시예에서, 난수 시퀀스의 복사본은 애플리케이션 프로세서에 저장되고, 애플리케이션 프로세서는 수신된 시퀀스를 저장된 시퀀스와 비교한다. 숫자 시퀀스의 일치는 데이터 전송 파이프라인의 무결성을 나타내며, 불일치는 데이터 전송 파이프라인의 일부분이 데이터 전송에 부정적인 영향을 미치고 있음을 나타낼 수 있다. 알려진 시퀀스를 전송하면, 통상의 동작 중에 사전 정의된 값이 아닌 개별 센서 샘플을 검사하는 것에 비해, 데이터 전송 파이프라인에 대해 정보가 결정되도록 할 수 있다. 데이터 전송 파이프라인의 검증은 시작 또는 검증 시퀀스 중에 발생할 수 있으며, 검증은 애플리케이션 프로세서로 전송된 센서 샘플이 예상된 값임을 나타낸다. 데이터 전송 파이프라인의 하나 이상의 파라미터는 검증 실패에 응답하여 조정될 수 있다.A system and method for verifying operation of a gesture detection system in accordance with some embodiments is disclosed. Specifically, the gesture detection apparatus includes an RF / baseband circuit for performing gesture recognition, and includes a random number generator used for verifying operation of the gesture detection apparatus among other digital components. A random number generator generates a predetermined random or pseudorandom sequence. The random number sequence is generated, for example, with a linear feedback shift register. Unlike the sample of the gesture detection device, the random sequence is a priori known deterministic signal. The verification includes generating a pseudo-random number sequence at the gesture sensor device, and then transmitting the verification sequence to an application processor coupled to the gesture detection device for verification. The application processor coupled to the gesture detection device receives the random number sequence and determines whether the received pseudo-random number sequence matches the predetermined sequence. In various embodiments, the signal path over which the pseudo-random sequence is propagated uses the same hardware, firmware, and software pipelines (e.g., a data transmission pipeline) that are used to receive sensor samples from the gesture detection device. Among other things, verification of the data transmission pipeline can include examining the proper operation of the hardware device, checking proper operation of the firmware and / or software running on the device, and checking the physical connection between the devices have. In some embodiments, a copy of the random number sequence is stored in the application processor, and the application processor compares the received sequence with the stored sequence. The match of the numeric sequence represents the integrity of the data transmission pipeline, and the mismatch may indicate that a portion of the data transmission pipeline is negatively impacting the data transmission. Transmitting a known sequence allows information to be determined for the data transmission pipeline, as opposed to examining individual sensor samples that are not predefined values during normal operation. Validation of the data transmission pipeline may occur during a start or verify sequence, and verification indicates that the sensor sample sent to the application processor is the expected value. One or more parameters of the data transfer pipeline may be adjusted in response to a verification failure.
도 1은 제스처 검출 시스템(100)의 시스템도이며, 이것은 부분적으로 또는 전체적으로 사용자 장치로서 구현될 수 있다. 장치는 물리적으로 상호 작용하기 어려울 수 있기 때문에, 사용자는 터치리스 인터페이스를 통해 장치와 상호 작용할 수 있다. 예를 들어, 장치는 작은 터치 스크린을 갖고/또는 버튼이 없는 장치일 수 있다. 이러한 장치의 예로는 센서와 같은 사물 인터넷(IoT) 장치, 스마트 워치 또는 피트니스 장치와 같은 웨어러블 장치, 및/또는 스마트폰 또는 태블릿과 같은 사용자 장치를 포함할 수 있다.1 is a system diagram of a
제스처 검출 시스템(100)은 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)(둘 다 이하에서 더 설명됨)의 두 구성 요소를 갖는다. 동작 중에, 타겟(106)의 위치 및 제스처가 제스처 검출 시스템(100)에 의해 검출될 수 있다. 예를 들어, 두 손가락이 서로 탭핑하는 제스처는 "버튼 누름"으로 해석될 수 있고, 또는 엄지와 손가락을 돌리는 제스처는 다이얼을 돌리는 것으로 해석될 수 있다. 타겟(106)은, 예를 들어 손이나 신체 등일 수 있다. 제스처 센서 장치(102)는 최대 검출 범위(R1)를 특징짓는 시야(108)를 갖는다. 시야(108) 내에서 이루어지는 제스처는 제스처 센서 장치(102)에 의해 검출될 수 있다. 일부 실시예에서, 제스처 검출 시스템(100)은, 시야(108) 내 타겟(106)의 상대 속도, 거리 및 위상이 측정되도록 디지털 빔포밍 홀로그래픽 레이더를 구현하기 위해 다수의 송신 및 수신 채널을 갖는, 주파수 변조 연속파(FMCW) 레이더 센서로서 구현되는 mm파 제스처 검출 시스템이다. 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)는 별개의 장치일 수도 있고, 동일한 장치의 다른 구성 요소일 수도 있다. 일 실시예에서, 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)는 동일한 집적 회로(IC) 다이의 일부로서 제조되거나 또는 동일한 반도체 기판 상에 형성된다.The
제스처 센서 장치(102)는 3D 공간에서 타겟(106)을 검출하기 위한 근거리 무선 신호를 송신 및 수신한다. 제스처 센서 장치(102)는 입사 RF 신호("처프(chirp)"라고도 함)를 송신하고, 타깃(106)으로부터 입사 RF 신호의 반사인 RF 신호("에코(echo)"라고도 함)를 수신한다. 입사 RF 신호 및 반사 RF 신호로부터 비트(beat) 주파수가 결정된다. 비트 주파수 신호는 3D 공간에서 타겟(106)의 위치, 속도, 각도 등과 같은 정보를 결정하기 위해 사용될 수도 있다.The
애플리케이션 프로세서(104)는 비트 주파수 신호를 획득하고 이를 평가하기 위해 하나 이상의 신호 처리 단계를 수행한다. 일 실시예에서, 애플리케이션 프로세서(104)는 제스처 센서 장치(102) 내의 아날로그-디지털 변환기(ADC)를 통해 비트 주파수 신호를 나타내는 베이스밴드 신호를 획득한다. 신호 처리 단계는 고속 푸리에 변환(FFT), 단시간 푸리에 변환(STFT), 타겟 분류, 기계 학습 등을 수행하는 것을 포함한다. 신호 처리 단계의 결과는 장치에서 동작을 결정하고 수행하는 데 사용된다. 근거리 제스처 인식에 대한 더 상세한 내용은, 발명의 명칭이 "RF System with an RFIC and Antenna System"인 미국 특허출원 제14/954,198호에 기술되어 있으며, 이 특허출원은 참고로 본 명세서에 통합된다. 비트 주파수 신호의 평가 결과에 따라서 사용자 장치 상에서 동작이 수행될 수 있다. 일부 실시예에서, 결과는 UI 입력으로 사용될 수 있다. 예를 들어, 미세한 손가락 움직임을 추적할 때 미세한 손가락 움직임의 방향과 속도는 UI에서의 문서 스크롤의 방향과 속도를 결정할 수 있다. 일부 실시예에서, 이들 결과는 사용자 장치상에서 애플리케이션을 열기 위해 사용된다.The
도 2는 제스처 검출 시스템(100)의 RF 컴포넌트의 개략도이다. 도시된 바와 같이, 제스처 센서 장치(102)는 입사 RF 신호를 송신 안테나(202)를 통해 타겟(106)을 향해 송신하고, 타겟(106)으로부터 반사된 RF 신호를 수신 안테나(204)를 통해 수신한다. 제스처 센서 장치(102)는 송신 안테나(202)에 결합된 송신기 프론트 엔드(206) 및 수신 안테나(204)에 결합된 수신기 프론트 엔드(208)를 포함한다.2 is a schematic diagram of an RF component of the
송신기 프론트 엔드(206)는 타겟(106)을 향하여 입사 RF 신호의 송신을 수행한다. 송신기 프론트 엔드(206)는 입사 RF 신호를 송신하기 위해 필터, 변조기 등을 포함한다. 2개의 송신기 프론트 엔드(206)가 도시되고 설명되지만, 제스처 센서 장치(102)는 여러 개의 송신기 프론트 엔드(206)를 가질 수 있다.The transmitter
수신기 프론트 엔드(208)는 타겟(106)으로부터 반사된 RF 신호를 수신 및 처리한다. 수신기 프론트 엔드(208)는 반사된 RF 신호를 수신하기 위해 베이스밴드 필터, 복조기, 가변 이득 증폭기(VGA) 등을 포함한다. 하나의 수신기 프론트 엔드(208)가 도시되고 설명되지만, 제스처 센서 장치(102)는 여러 개의 수신기 프론트 엔드(208)를 가질 수 있음을 알아야 한다.The receiver
동작 중에, 송신기 프론트 엔드(206)는 입사 RF 신호를 송신하고, 수신기 프론트 엔드(208)는 반사된 RF 신호를 수신한다. 송신 및 수신은 레이더 회로(210)에 의해 제어될 수 있다. 수신된 반사된 RF 신호는 수신기 프론트 엔드(208)의 파이프라인에 통합된 장치로 필터링되고, 증폭되며 변환된다. 특히, 수신된 신호는 원래의 신호 주파수로부터 더 낮은 비트 주파수 신호를 나타내는 베이스밴드 신호로 하향 변환된다. 그 후, 베이스밴드 신호는 타겟(106)에 관한 정보를 결정하도록 애플리케이션 프로세서(104)에 제공된다.In operation, the transmitter
송신 안테나(202) 및/또는 수신 안테나(204)는, 개별 안테나로 도시되었지만, 안테나의 어레이의 일부일 수도 있음을 알아야 한다. 또한, 송신 안테나(202) 및 수신 안테나(204)는 별개의 안테나 어레이일 수도 있고 동일한 안테나 어레이일 수도 있다. 동일한 안테나 어레이가 송신 및 수신 둘 다에 사용되는 실시예에서, 어레이 내의 안테나는 결합(coupling) 구조(도시되어 있지 않음)로 송신기 프론트 엔드(206) 및 수신기 프론트 엔드(208) 모두에 결합될 수 있다. 결합 구조는 랫-레이스 커플러(rat-race coupler), 윌킨슨 전력 분배기(Wilkinson power divider), 서큘레이터(circulator) 등과 같은 수동 구조 또는 스위치를 사용하여 구현될 수 있다. 송신 안테나(202) 및 수신 안테나(204)의 설계 및 동작에 관한 보다 상세한 설명은 본 명세서에 참고 문헌으로 포함된, 발명의 명칭이 "Radio Frequency System and Method for Wearable Device"인 미국 특허출원 제15/231,544 호에 기재되어 있으며, 따라서 이들의 동작에 대한 상세한 설명은 여기서 반복하지 않을 것이다.It should be noted that transmit
일부 실시예에서, 제스처 센서 장치(102)의 RF 컴포넌트의 일부 또는 전부는 송신 안테나(202), 수신 안테나(204), 송신기 프론트 엔드(206), 수신기 프론트 엔드(208), 및/또는 레이더 회로(210)를 포함하는 패키지로 구현될 수 있다. 일부 실시예에서, 제스처 센서 장치(102)는 회로 기판 상에 배치된 하나 이상의 집적 회로로서 구현될 수 있으며, 송신 안테나(202) 및 수신 안테나(204)는 집적 회로에 인접한 회로 기판 상에 구현될 수 있다. 일부 실시예에서, 송신기 프론트 엔드(206), 수신기 프론트 엔드(208) 및 레이더 회로(210)는 동일한 레이더 프론트 엔드 IC 다이 상에 형성된다. 송신 안테나(202) 및 수신 안테나(204)는 레이더 프론트 엔드 IC 다이의 일부일 수도 있고, 레이더 프론트 엔드 IC 다이 위에 또는 그 인접부에 있는 별개의 안테나일 수도 있다. 레이더 프론트 엔드 IC 다이는 제스처 센서 장치(102)의 다양한 수동 또는 능동 소자의 라우팅 및/또는 구현을 위해 사용되는, 재배선 층(RDL)과 같은 도전 층을 더 포함할 수 있다. 일실시예에서, 송신 안테나(202) 및 수신 안테나(204)는 레이더 프론트 엔드 IC 다이의 RDL을 사용하여 구현될 수 있다.In some embodiments, some or all of the RF components of the
도 3은 제스처 센서 장치(102)의 처리 컴포넌트의 블록도이다. 제스처 센서 장치(102)는, RF 신호를 송신하고 반사된 RF 신호를 수신하고, 수신된 신호를 필터링하며, 이를 디지털 포맷으로 변환하는 장치들을 통합하는 주문형 집적 회로(ASIC)와 같은 고도로 집적된 장치이다. 제스처 센서 장치(102) 내의 장치들 중 일부 또는 전부는 동일한 레이더 프론트 엔드 IC 다이의 일부로서 형성될 수 있다. 동작 중에, 제스처 센서 장치(102)는 애플리케이션 프로세서(104)에 의해 판독되는 디지털 센서 샘플을 출력한다. 디지털 센서 샘플은 제스처 센서 장치(102)에 의해 검출된 더 낮은(lower beat) 주파수 신호에 대응하는 베이스밴드 신호를 나타내고, 애플리케이션 프로세서(104)에 의해 처리될 준비가 되어 있다. 제스처 센서 장치(102)는 반사된 RF 신호를 평가하기 위한 통합 기능을 가지므로, 이에 의해 생성된 디지털 센서 샘플은 애플리케이션 프로세서에 의해 처리되거나 평가될 준비가 되어 있을 수 있다. 제스처 센서 장치(102)는 마스터 로직 유닛(302), RF/베이스밴드 장치(304), 디지털 인터페이스(306), ADC(308), 멀티플렉서(310), 선입 선출(FIFO) 메모리(312), 및 난수 생성기(314)를 포함하며, 이들의 조합은 레이더 회로(210)의 기능을 부분적으로 또는 전체적으로 구현할 수 있다.3 is a block diagram of the processing components of the
마스터 로직 유닛(302)은 제스처 센서 장치(102)를 위한 메인 프로세싱 파이프라인이다. 이것은 시작 시퀀스를 수행하고, 제스처 센서 장치(102)를 캘리브레이션 및 제어하며, 타겟(106)으로부터 RF 신호를 판독하고, 센서 샘플을 생성하는 기능 유닛 및/또는 회로를 포함한다. 일부 실시예에서, 마스터 로직 유닛(302)은 유한 상태 기계이다. 일부 실시예에서, 마스터 로직 유닛(302)은 MCU 또는 마이크로 컨트롤러일 수 있다.
RF/베이스밴드 장치(304)는 송신 안테나(202), 수신 안테나(204), 송신기 프론트 엔드(206), 수신기 프론트 엔드(208) 및 레이더 회로(210)를 포함한다. RF/베이스밴드 장치(304)는 (위에서 논의한)레이더 프론트 엔드 IC 다이일 수 있다. 도시의 단순화를 위해 도 3에서는 단일 블록으로 도시되어 있지만, RF/베이스밴드 장치(304)는 많은 장치를 포함할 수 있고, 도 3에 도시된 다른 장치와 동일한 IC 상에 있을 수 있음을 이해해야 한다. 마스터 로직 유닛(302)은 RF/베이스밴드 장치(304)를 제어하여 이를 온/오프 스위칭한다.The RF /
디지털 인터페이스(306)는 제스처 센서 장치(102)에 대한 판독 값을 출력하고, 외부 장치가 제스처 센서 장치(102)와 상호 작용하도록 디지털 인터페이스를 제공한다. 제스처 센서 장치(102)로부터의 타겟 데이터는 디지털 인터페이스(306)를 통해 송신되어, 예컨대 애플리케이션 프로세서(104)에 의해 판독될 수 있다. 디지털 인터페이스(306)는 SPI(serial peripheral interface) 버스 또는 I2C(inter-integrated circuit) 인터페이스와 같은 직렬 인터페이스일 수 있다. 디지털 인터페이스(306)는 일반 드라이버 또는 펌웨어가 디지털 센서 샘플에 액세스하기 위해 애플리케이션 프로세서(104)에 의해 사용될 수 있도록 표준화된 인터페이스를 구현할 수 있다. 제스처 센서 장치(102)에 대한 동작 파라미터는 디지털 인터페이스(306)를 통해 수신될 수도 있다. 동작 파라미터는 디지털 인터페이스(306)에 대한 클록 속도, 샘플 버퍼링 레벨, 디지털 인터페이스(306)에 대한 인터페이스 구성 등을 포함할 수 있다.The
ADC(308)는 RF/베이스밴드 장치(304)로부터의 베이스밴드 신호를 디지털 샘플로 변환한다. 디지털 센서 샘플은 더 낮은 주파수 신호에 대응하며, 베이스밴드 필터로 베이스밴드에 다운 혼합된 후 수신기 프론트 엔드(208)에 의해 수신된 신호 반사의 시간 영역 표현이다. 일부 실시예에서, RF/베이스밴드 장치(304)는 여러 개의 채널을 갖는다. 예를 들어, 도 2는 두 개의 송신 채널과 네 개의 수신 채널이 있는 RF/베이스밴드 장치를 보여준다. RF/베이스밴드 장치(304)의 각각의 수신 채널에 대해 ADC가 있을 수 있다. 각각의 수신 채널의 ADC(308)는 변환 후에 샘플에 프리픽스를 부가할 수 있다. 프리픽스는 샘플들을 생성한 RF/베이스밴드 장치(304)의 수신 채널을 나타낸다. ADC(308)의 샘플링 레이트는 마스터 로직 유닛(302)에 의해 제어되고, ADC(308)는 마스터 로직 유닛(302) 및/또는 애플리케이션 프로세서(104)로부터의 트리거 신호에 응답하여 샘플의 수집을 시작하거나 중지할 수 있다.The
멀티플렉서(310)는 ADC(308)에 결합되고, 수신 채널들 중 하나를 선택하는데 사용된다. 선택된 수신 채널의 ADC(308)로부터의 샘플은 선택된 ADC(308)의 출력을 FIFO 메모리(312)로 라우팅함으로써 디지털 인터페이스(306)를 통해 전송되도록 큐잉된다. 멀티플렉서(310)의 입력들 중 적어도 하나는 또한 난수 생성기(314)로부터의 값이 디지털 인터페이스(306)를 통해 전송될 수 있도록 난수 생성기(314)(후술됨)의 출력부에 결합된다. 마스터 로직 유닛(302)은 멀티플렉서(310)의 선택된 채널을 제어할 수 있다.
FIFO 메모리(312)는 선택된 ADC(308)로부터의 센서 값을 저장하고, 센서 판독 값을 버퍼링하는데 사용될 수 있다. FIFO 메모리(312) 내의 값들은 마스터 로직 유닛(302)에 의해 사용될 수 있거나, 또는 디지털 인터페이스(306) 상에서 출력되어 애플리케이션 프로세서(104)에 의해 판독될 수 있다. FIFO 메모리(312)는 예를 들어 메모리 FIFO 기능을 구현하기 위해 판독 포인터 및 기록 포인터가 연속적으로 증분되는 환형 큐(circular queue)를 갖는다. 또는, FIFO 메모리(312)는 캐스케이드 레지스터 체인을 사용하여 구현될 수 있다. 또는, FIFO 메모리 이외의 다른 메모리 유형, 예컨대 다른 휘발성 또는 비휘발성 저장 요소가 FIFO 메모리(312) 대신에 사용될 수 있다. 메모리가 휘발성 저장 요소인 실시예들에서, 메모리는 예를 들어 중재 로직을 갖는 이중 포트 메모리 또는 단일 포트/다중 페이지 메모리일 수 있으며, 예를 들어 SRAM, DRAM 등으로 구현될 수 있다. 디지털 인터페이스(306)는 RF/베이스밴드 장치(304) 및 ADC(308)의 샘플링 속도에 비해 상대적으로 느린 SPI와 같은 인터페이스일 수 있다. 따라서, 디지털 인터페이스(306)는 ADC(308)에 의해 샘플링된 것보다 느린 값들을 출력할 수 있다. FIFO 메모리(312)는 센서 샘플들을 버퍼링하는 상대적으로 긴 큐를 가질 수 있다. 일 실시예에서, FIFO 메모리(312)는 약 196608 비트의 길이를 갖는다. 다른 실시예에서, FIFO 메모리(312)는 임의의 길이를 가질 수 있다.The
난수 생성기(314)는 랜덤 또는 의사 랜덤 비트 생성기이다. 난수 생성기(314)는 랜덤하지만 결정론적이며 선험적으로 알려진 숫자 시퀀스를 생성한다. 임의의 숫자 순서는 주기적이다. 난수 생성기(314)는 여러 방식으로 구현될 수 있다. 일 실시예에서, 난수 생성기(314)는 선형 피드백 시프트 레지스터(LFSR)이다. LFSR은 임의의 수의 비트를 가질 수 있고, 일 실시예에서는 11 비트 또는 12 비트를 가질 수 있다. 난수 생성기(314)는 때로 M 시퀀스로 지칭되는 최대 길이 시퀀스(MLS)를 생성할 수 있고, 그 특성 다항식으로서 프리미티브 다항식을 가질 수 있다. 예를 들어, 9번째 및 11번째 비트에서 탭을 갖는 LFSR은 M 시퀀스를 생성할 수 있다. 난수 생성기(314)는 난수 시퀀스의 값에 프리픽스(prefix)를 부가할 수 있으며, 따라서 난수 생성기(314)를 이들 숫자를 생성하는 것으로 식별할 수 있다.The
난수 생성기(314)는 FIFO 메모리(312)의 크기에 비례하는 길이를 가질 수 있다. 특히, 난수 시퀀스의 길이는 FIFO 메모리(312)의 길이의 배수일 수 있다. 일 실시예에서, FIFO 메모리(312)는 난수 시퀀스의 주기의 96배인 길이를 갖는다. 따라서, 난수 시퀀스의 96개의 복사본이 FIFO 메모리(312)에 저장될 수 있다.The
전술한 바와 같이, 제스처 센서 장치(102)의 데이터 전송 파이프라인은 검증 시퀀스 또는 시작 시퀀스 동안 검증될 수 있다. 마스터 로직 유닛(302)이 유한 상태 머신인 실시예들에서, 검증 또는 개시 시퀀스는 유한 상태 머신의 상태일 수 있다. 검증은 제스처 센서 장치(102)에서 난수 시퀀스를 생성한 다음 검증을 위해 이를 애플리케이션 프로세서(104)로 전송하는 것을 포함한다. 무엇보다도 , 데이터 전송 파이프라인의 검증은 난수 생성기(314); 멀티플렉서(310); FIFO 메모리(312); 디지털 인터페이스(306); 마스터 로직 유닛(302); 제스처 센서 장치(102) 상에서 실행될 수 있는 임의의 펌웨어; 제스처 센서 장치(102)와 애플리케이션 프로세서(104) 간의 물리적 연결; 애플리케이션 프로세서(104)상에서 실행될 수 있는 임의의 펌웨어 또는 드라이버; 애플리케이션 프로세서(104)상에서 실행되는 사용자 레벨 소프트웨어 등의 적절한 동작을 검사하는 것을 포함한다. 환언하면, 본 명세서에서 사용되는 "데이터 전송 파이프라인"이라는 용어는 제스처 센서 장치(102)로부터 애플리케이션 프로세서(104)로 센서 샘플을 전송하는데 사용되는 제스처 검출 시스템(100)의 하드웨어, 펌웨어 및 소프트웨어 측면을 포함한다. 센서 샘플의 손상(corruption)이 데이터 전송 파이프라인을 따라 여러 가능한 지점에서 발생할 수 있다. 검증은 애플리케이션 프로세서(104)에 의해 수신된 센서 샘플이 정확하고 손상되지 않았음을 보장할 수 있다. 알려진 시퀀스를 전송하는 것은, 통상의 동작 동안 사전 정의된 값이 아닌 개별 센서 샘플을 검사하는 것과 비교하여, FIFO 메모리(312)의 상태 및 내용에 관한 정보가 판정될 수 있도록 한다.As described above, the data transmission pipeline of the
데이터 전송 파이프라인의 검증 동안, 마스터 로직 유닛(302)은 ADC(308)가 선택 해제되고 난수 생성기(314)가 대신 선택되도록 멀티플렉서(310)를 설정한다. 멀티플렉서(310)의 설정은 예컨대 애플리케이션 프로세서(104)로부터 디지털 인터페이스(306)를 통해 수신된 커맨드에 응답하여 수행될 수 있다. RF/베이스밴드 장치(304) 및/또는 ADC(308)는 커맨드가 수신될 때 턴오프될 수 있다. 난수 생성기(314)는 FIFO 메모리(312)를 난수 시퀀스로 채우기 시작하도록 작동될 수 있다. 디지털 인터페이스(306)는 FIFO 메모리(312)의 내용을 애플리케이션 프로세서(104)로 전송하며, 애플리케이션 프로세서(104)는 숫자 시퀀스를 검증한다. 난수 생성기(314)는 데이터 전송 파이프라인의 초기 단계에(예를 들어, 멀티플렉서(310) 앞에) 위치하기 때문에, 대부분의 또는 모든 데이터 전송 파이프라인은 애플리케이션 프로세서(104)에 의해 검증될 수 있다.During verification of the data transfer pipeline, the
도 4는 애플리케이션 프로세서(104)의 프로세싱 컴포넌트의 블록도이다. 애플리케이션 프로세서(104)는 마스터 제어 유닛(MCU), 마이크로 컨트롤러 등과 같은 시스템 온 칩일 수 있다. 예를 들어, 시스템 온 칩은 ARM Cortex 장치를 사용하여 구현될 수 있다. 또는, 애플리케이션 프로세서(104)는 별도의 프로세서, 메모리 등을 포함할 수 있다. 애플리케이션 프로세서(104)의 장치는 개별 블록으로 도시되어 있지만, 이들 장치들 중 일부 또는 모두는 동일한 집적 회로 다이 또는 동일한 반도체 기판 상에 포함될 수 있다. 애플리케이션 프로세서(104)는 디지털 인터페이스(404), 범용 프로세서(406), 저장 장치(408), 메모리(410) 및 전용 프로세서(412)를 상호 접속할 수 있는(또는 하지 않을 수도 있는) 버스(402)를 포함한다.4 is a block diagram of the processing components of the
디지털 인터페이스(404)는 무엇보다도 제스처 센서 장치(102)의 디지털 인터페이스(306)와 통신한다. 디지털 인터페이스(404)는 디지털 인터페이스(306)와 유사할 수 있다. 예를 들어, 이들은 모두 SPI 버스에 통신 가능하게 연결되는 SPI 장치일 수 있다.The
범용 프로세서(406)는 애플리케이션 프로세서(104)를 동작 또는 제어하기 위한 소프트웨어를 실행하는데 사용된다. 범용 프로세서(406)는 제스처 센서 장치(102)로부터 센서 샘플을 처리하여 타겟(106)에 관한 정보를 결정하도록 구성될 수 있다. 범용 프로세서(406)는 또한 제스처 센서 장치(102)에 의해 생성된 전송과 같은 제스처 센서 장치(102)의 특징들을 제어하도록 구성될 수 있으며, 또한 제스처 센서 장치(102)의 동작 모드를 선택할 수도 있다. 특히, 범용 프로세서(406)는 디지털 인터페이스(404)를 통해 제스처 센서 장치(102)를 검증 시퀀스로 스위칭하도록 구성될 수 있다.The
저장 장치(408)는 선험적으로 알려진 난수 시퀀스의 복사본을 저장한다. 일부 실시예에서, 저장 장치(408)는 비휘발성 메모리(NVRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM) 등과 같은 비휘발성 저장 장치이고, 난수 시퀀스는 비휘발성 메모리 저장 장치에 저장된다. 일부 실시예에서, 난수 시퀀스는 수치 값으로 저장되지 않고, 대신에 저장 장치(408)는 난수 시퀀스를 생성하기 위한 명령어를 갖는다. 예를 들어, 저장 장치(408)는 난수 시퀀스를 생성하는 난수 생성기(314)와 유사한 난수 생성기일 수도 있고, 난수 시퀀스를 생성하기 위한 소프트웨어를 저장할 수도 있다.The
메모리(410)는 애플리케이션 프로세서(104)를 동작 또는 제어하기 위한 소프트웨어를 실행하는데 사용되는 휘발성 메모리일 수 있다. 메모리(410)는 제스처 센서 장치(102)로부터 디지털 인터페이스(306 및 404)를 통해 전송된 숫자 시퀀스를 저장할 수 있다. 일부 실시예에서, 검증 시퀀스 동안 제스처 센서 장치(102)로부터 수신된 값은 메모리(410)의 특정 또는 예약된 부분 또는 블록에 저장된다. 메모리의 특정 또는 예약된 부분은 애플리케이션 프로세서(104)의 나머지에 의해 사용된 것과 동일한 메모리 모듈 상에 있을 수도 있고 다른 메모리 모듈 상에 있을 수도 있다.
전용 프로세서(412)는 제스처 센서 장치(102)로부터의 센서 샘플 또는 숫자 시퀀스를 평가하기 위한 내장된 처리 요소이다. 일 실시예에서, 전용 프로세서(412)는 범용 프로세서와 상이한 아키텍처 또는 상이한 유형의 프로세서이다. 일 실시예에서, 전용 프로세서(412)는 디지털 신호 프로세서(DSP)이다. 전용 프로세서(412)는 센서 샘플을 평가하여 타겟(106)에 관한 정보를 결정하거나 제스처 센서 장치(102)의 동작을 검증하기 위한 신호 처리 단계의 일부를 수행할 수 있다. 전용 프로세서(412)는 메모리(410)를 공유하거나, 자신의 전용 메모리를 공유할 수 있다.The
데이터 전송 파이프라인을 검증할 때, FIFO 메모리(312)의 내용은 디지털 인터페이스(306)를 통해 애플리케이션 프로세서(104)로 전송된다. 애플리케이션 프로세서(104)는 수신된 숫자 시퀀스를 저장 장치(408)에 저장된 숫자 시퀀스와 비교한다. 수신된 숫자 시퀀스가 저장된 숫자 시퀀스와 일치하면 데이터 전송 파이프라인이 검증되고 신뢰할 수 있는 것으로 간주될 수 있다. 비교는 범용 프로세서(406) 및/또는 전용 프로세서(412)에 의해 수행될 수 있으며, 다양한 기술을 사용하여 달성될 수 있다. 일 실시예에서, 애플리케이션 프로세서(104)는 저장된 숫자 시퀀스 및 수신된 숫자 시퀀스와 자기 상관(autocorrelation)을 수행한다. 난수 시퀀스의 길이가 FIFO 메모리(312)의 길이의 배수이면, 자기 상관 함수 결과는 그 배수와 동일한 피크 수를 가져야 한다. 위의 예를 계속하면, 난수 시퀀스의 96개의 복사본이 FIFO 메모리(312)에 저장될 때, 96개의 피크를 갖는 자기 상관 결과는 데이터 전송 파이프라인이 신뢰할 수 있다는 것을 나타낸다. 애플리케이션 프로세서(104)는 자기 상관 피크의 예상된 수의 표시를 저장할 수 있다.When verifying the data transfer pipeline, the contents of the
검증은 또한 난수 시퀀스의 값들의 프리픽스를 검사하는 것을 포함할 수 있다. 상술한 바와 같이, 난수 생성기(314) 및 ADC(308)는 프리픽스를 부가할 수 있다. 프리픽스 확인은 애플리케이션 프로세서가 프리픽스가 올바르게 할당되고 전송되었음을 확인할 수 있게 한다.The verification may also include examining the prefix of the values of the random number sequence. As described above, the
일부 실시예에서, 검증은 애플리케이션 프로세서(104) 상의 사용자 레벨 소프트웨어에 의해 수행될 수 있다. 사용자 레벨 소프트웨어에 의한 검증은 센서 샘플이 애플리케이션 프로세서(104)의 펌웨어 또는 드라이버로부터 오류없이 사용자 수준의 소프트웨어로 전송됨을 확인할 수 있게 한다.In some embodiments, verification may be performed by user level software on the
성공적인 검증 후에, 애플리케이션 프로세서(104)는 제스처 센서 장치(102)를 정상 동작 모드로 스위칭할 수 있다. 일부 실시예에서, 제스처 센서 장치(102)의 동작 파라미터는 검증 성공 또는 검증 실패에 응답하여 변경될 수 있다. 자기 상관 결과에 예상보다 적은 피크가 포함된 경우, 데이터 전송 파이프라인을 따라 숫자 시퀀스가 손상된 위치를 결정하기 위해 여러 파라미터를 조정할 수 있다. 예를 들어, FIFO 메모리(312)에 대한 파라미터가 조정될 수도 있고, 최대 SPI 클록 속도와 같은 디지털 인터페이스(306 및 404)에 대한 파라미터가 평가되거나 조정될 수도 있다. 검증 시퀀스가 다시 수행될 수도 있다. 검증이 통과될 때까지 추가 조정이 이루어질 수 있다. 마찬가지로, 검증이 처음에 통과하면, 사용될 수 있는 더 높은 속도를 결정하기 위해 검증이 실패할 때까지 SPI 채널의 수 또는 속도가 증가할 수 있다.After successful verification, the
도 5는 제스처 센서를 검증하기 위한 방법(500)의 흐름도이다. 방법(500)은 제스처 센서 장치(102)를 검증할 때 애플리케이션 프로세서(104) 상에서 발생하는 동작을 나타낼 수 있다.5 is a flow diagram of a
애플리케이션 프로세서는 사전 정의된 숫자 시퀀스에 액세스한다(단계 502). 사전 정의된 숫자 시퀀스는 저장 장치(408)에 저장된 난수 시퀀스일 수 있다. 제스처 센서 장치(102)로부터 검증 시퀀스가 수신된다(단계 504). 검증 시퀀스는 난수 시퀀스의 사전 결정된 반복횟수를 갖는 주기적인 시퀀스이다. 난수 시퀀스의 예상 반복횟수는 애플리케이션 프로세서(104)에 저장될 수 있다. 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관된다(단계 506). 이 상관은 자기 상관 함수(autocorrelation function)로 수행될 수 있다. 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관되는 개수가 카운트된다(단계 508). 각각의 상관은 자기 상관 함수의 결과에서 피크로 표시될 수 있다. 자기 상관 함수 결과의 피크의 수가 예상된 수와 일치하면(단계 510), 방법(500)은 종료된다. 그렇지 않으면, 제스처 센서의 파라미터는 사전 결정된 반복횟수가 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관되는 개수와 같지 않은 것에 응답하여 조정된다(단계 512).The application processor accesses a predefined sequence of numbers (step 502). The predefined sequence of numbers may be a sequence of random numbers stored in
실시예들은 장점을 얻을 수 있다. 데이터 전송 파이프라인을 검증하면 디지털 인터페이스의 클록 속도 또는 채널 수가 최적화되거나 적어도 개선될 수 있어, 타겟으로 전송되는 RF 첩의 수량에 따라 수많은 센서 샘플을 충분히 빠르고 신뢰할 수 있게 전송할 수 있다. 애플리케이션 프로세서의 펌웨어는 사용하기 전에 제스처 센서 장치를 구성할 수 있으므로, 검증을 통해 펌웨어 구성을 검증할 수 있다. 디지털 인터페이스의 지연 또는 지터를 측정할 수 있다.Embodiments may benefit. Verifying the data transmission pipeline allows the clock speed or channel number of the digital interface to be optimized or at least improved so that a large number of sensor samples can be transmitted fast enough and reliably, depending on the number of RF couplets transmitted to the target. The firmware of the application processor can configure the gesture sensor device before use, so the firmware configuration can be verified through verification. The delay or jitter of the digital interface can be measured.
일 실시예에 따르면, 센서 시스템을 검증하는 방법은, 애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와, 상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와, 상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와, 상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함한다.According to one embodiment, a method of verifying a sensor system comprises the steps of: accessing a predefined numeric sequence in an application processor; determining, from a sensor of the sensor system, a predetermined number of iterations of the predefined number sequence Correlating the verification sequence with the predefined sequence of numbers; counting the number of correlations between the predefined sequence of numbers and the verification sequence; And adjusting parameters of the sensor or the application processor in response to the number of iterations not equal to the number of correlations.
일부 실시예에서, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계는 상기 검증 시퀀스와 상기 사전 정의된 숫자 시퀀스를 자기 상관 함수(autocorrelation function)와 상관시키는 단계를 포함한다. 일부 실시예에서, 상기 상관의 개수를 카운트하는 단계는 상기 자기 상관 함수에 의해 생성된 피크의 개수를 카운트하는 단계를 포함한다. 일부 실시예에서, 상기 검증 시퀀스는 직렬 주변 인터페이스(SPI) 버스를 통해 상기 센서로부터 수신된다. 일부 실시예에서, 상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 센서의 SPI 버스 파라미터를 조정하는 단계를 포함한다. 일부 실시예에서, 상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 애플리케이션 프로세서의 SPI 버스 파라미터를 조정하는 단계를 포함한다.In some embodiments, correlating the verification sequence with the predefined numeric sequence comprises correlating the verification sequence and the predefined sequence of numbers with an autocorrelation function. In some embodiments, counting the number of correlations includes counting the number of peaks generated by the autocorrelation function. In some embodiments, the verification sequence is received from the sensor via a serial peripheral interface (SPI) bus. In some embodiments, adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the sensor. In some embodiments, adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the application processor.
일 실시예에 따르면, 센서 시스템은, 사전 정의된 숫자 시퀀스를 생성하고, 디지털 인터페이스를 통해 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 전송하도록 구성된 센서와, 상기 센서에 연결되고, 상기 디지털 인터페이스를 통해 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 수신하고, 상기 사전 정의된 숫자 시퀀스의 복사본에 액세스하고, 상기 사전 정의된 숫자 시퀀스의 복사본을 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관시키는 애플리케이션 프로세서를 포함한다.According to one embodiment, the sensor system comprises: a sensor configured to generate a predefined sequence of numbers and to transmit the predefined number sequence of a predetermined number of iterations over a digital interface; Defined number sequences of the predetermined number of repetitions, accessing a copy of the predefined sequence of numbers, and transmitting a copy of the predefined sequence of numbers to the predefined number sequence of predetermined number of iterations And an application processor for correlating the received signal with the received signal.
일부 실시예에서, 상기 센서는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스를 포함한다. 일부 실시예에서, 상기 애플리케이션 프로세서는, 상기 사전 정의된 숫자 시퀀스의 복사본이 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관되지 않은 것에 응답하여, 상기 디지털 인터페이스의 파라미터를 조정하도록 구성된다. 일부 실시예에서, 상기 센서 및 상기 애플리케이션 프로세서는 동일한 집적 회로 다이의 일부이다.In some embodiments, the sensor includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about the gesture of the target in three-dimensional space from the target. In some embodiments, the application processor is configured to adjust parameters of the digital interface in response to the fact that a copy of the predefined number sequence is not correlated with the predefined number sequence of the predetermined number of iterations. In some embodiments, the sensor and the application processor are part of the same integrated circuit die.
일 실시예에 따르면, 제스처 센서 장치는, 난수 시퀀스를 생성하도록 구성된 난수 생성기와, 사전 정의된 반복횟수의 상기 난수 시퀀스를 저장하도록 구성된 선입 선출(FIFO) 메모리와, 상기 FIFO 메모리에 연결되고, 상기 FIFO 메모리에 저장된 상기 사전 정의된 반복횟수의 상기 난수 시퀀스를 애플리케이션 프로세서로 전송하도록 구성된 디지털 인터페이스와, 상기 애플리케이션 프로세서로부터의 검증 명령에 응답하여 상기 난수 생성기로부터 상기 FIFO 메모리로 상기 난수 시퀀스를 저장하도록 구성된 마스터 로직 유닛을 포함한다.According to one embodiment, a gesture sensor device comprises: a random number generator configured to generate a random number sequence; a first in first out (FIFO) memory configured to store the random number sequence of a predefined number of iterations; A digital interface configured to send the random number sequence of the predefined number of iterations stored in a FIFO memory to an application processor and to store the random number sequence from the random number generator in the FIFO memory in response to a verify command from the application processor And a master logic unit.
일부 실시예에서, 이 제스처 센서 장치는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스와, 상기 RF 디바이스에 연결되어 있으며, 상기 제스처에 관한 정보를 센서 샘플로 변환하는 아날로그-디지털 변환기(ADC)를 더 포함한다. 일부 실시예에서, 상기 마스터 로직 유닛은 또한 상기 애플리케이션 프로세서로부터 상기 검증 명령을 수신하는 것에 응답하여 상기 RF 디바이스를 턴 오프하도록 구성된다. 일부 실시예에서, 상기 마스터 로직 유닛은 또한 상기 ADC의 제1 ADC의 출력을 상기 FIFO 메모리로 라우팅하도록 구성되며, 상기 FIFO 메모리는 제1 ADC의 출력이 상기 FIFO 메모리에 연결될 때 상기 제1 ADC로부터의 센서 샘플을 저장한다. 일부 실시예에서, 제스처 센서 장치는 상기 ADC 및 상기 난수 생성기에 연결된 멀티플렉서를 더 포함하고, 상기 멀티플렉서는 상기 마스터 로직 유닛으로부터의 선택 명령에 응답하여 상기 난수 생성기와 상기 ADC 중 하나를 상기 FIFO 메모리에 연결하도록 구성된다. 일부 실시예에서, 상기 ADC는 상기 센서 샘플에 프리픽스(prefix)를 추가하도록 구성된다. 일부 실시예에서, 상기 난수 생성기는 또한 상기 난수 시퀀스에 프리픽스(prefix)를 추가하도록 구성된다. 일부 실시예에서, 상기 난수 생성기는 선형 피드백 시프트 레지스터(LFSR)이다. 일부 실시예에서, 상기 난수 시퀀스는 M-시퀀스이고, 상기 LFSR은 상기 M-시퀀스를 생성하도록 구성된다. 일부 실시예에서, 상기 LFSR은 프리미티브 다항식인 특성 다항식을 갖는다. 일부 실시예에서, 상기 난수 시퀀스는 제1 길이를 갖고, 상기 FIFO 메모리는 제2 길이를 가지며, 상기 제2 길이는 상기 제1 길이의 배수이다. 일부 실시예에서, 상기 마스터 로직 유닛은 마이크로컨트롤러이다.In some embodiments, the gesture sensor device includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about a gesture of the target in three-dimensional space from the target, , And further includes an analog-to-digital converter (ADC) that converts the information about the gesture into a sensor sample. In some embodiments, the master logic unit is also configured to turn off the RF device in response to receiving the verify command from the application processor. In some embodiments, the master logic unit is also configured to route the output of the first ADC of the ADC to the FIFO memory, wherein the FIFO memory is coupled to the first ADC when the output of the first ADC is coupled to the FIFO memory Lt; / RTI > In some embodiments, the gesture sensor device further comprises a multiplexer coupled to the ADC and the random number generator, wherein the multiplexer is responsive to a select command from the master logic unit to cause the random number generator and the ADC to be coupled to the FIFO memory Respectively. In some embodiments, the ADC is configured to add a prefix to the sensor samples. In some embodiments, the random number generator is also configured to add a prefix to the random number sequence. In some embodiments, the random number generator is a linear feedback shift register (LFSR). In some embodiments, the random number sequence is an M-sequence, and the LFSR is configured to generate the M-sequence. In some embodiments, the LFSR has a property polynomial that is a primitive polynomial. In some embodiments, the random number sequence has a first length, the FIFO memory has a second length, and the second length is a multiple of the first length. In some embodiments, the master logic unit is a microcontroller.
본 발명은 예시적인 실시예를 참조하여 설명되었지만, 이 설명은 제한적인 의미로 해석되어서는 안 된다. 예시적인 실시예들의 다양한 수정 및 조합과 본 발명의 다른 실시예들은 설명을 참조할 때 당업자에게 명백할 것이다. 그러므로, 첨부된 청구 범위는 임의의 그러한 변형예 또는 실시예를 포함하기 위한 것이다.While the present invention has been described with reference to exemplary embodiments, the description is not to be construed in a limiting sense. Various modifications and combinations of the exemplary embodiments and other embodiments of the invention will be apparent to those skilled in the art upon reference to the description. It is, therefore, to be understood that the appended claims are intended to cover any such modifications or embodiments.
Claims (22)
애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와,
상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와,
상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와,
상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와,
상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
A method for verifying a sensor system,
Accessing a predefined numeric sequence in an application processor;
Receiving, from a sensor of the sensor system, a verification sequence having the predetermined number of repetitions of the predetermined number sequence;
Correlating the verification sequence with the predefined sequence of numbers;
Counting the number of correlations between the predefined sequence of numbers and the verification sequence;
And adjusting the parameters of the sensor or the application processor in response to the predetermined number of iterations being not equal to the number of correlations
Sensor system verification method.
상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계는 상기 검증 시퀀스와 상기 사전 정의된 숫자 시퀀스를 자기 상관 함수(autocorrelation function)와 상관시키는 단계를 포함하는
센서 시스템 검증 방법.
The method according to claim 1,
Wherein correlating the verification sequence with the predefined numeric sequence comprises correlating the verification sequence and the predefined sequence of numbers with an autocorrelation function
Sensor system verification method.
상기 상관의 개수를 카운트하는 단계는 상기 자기 상관 함수에 의해 생성된 피크의 개수를 카운트하는 단계를 포함하는
센서 시스템 검증 방법.
3. The method of claim 2,
Wherein counting the number of correlations includes counting the number of peaks generated by the autocorrelation function
Sensor system verification method.
상기 검증 시퀀스는 직렬 주변 인터페이스(SPI) 버스를 통해 상기 센서로부터 수신되는
센서 시스템 검증 방법.
The method according to claim 1,
The verification sequence is received from the sensor via a serial peripheral interface (SPI) bus
Sensor system verification method.
상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 센서의 SPI 버스 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
5. The method of claim 4,
Wherein adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the sensor
Sensor system verification method.
상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 애플리케이션 프로세서의 SPI 버스 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
5. The method of claim 4,
Wherein adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the application processor
Sensor system verification method.
사전 정의된 숫자 시퀀스를 생성하고, 디지털 인터페이스를 통해 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 전송하도록 구성된 센서와,
상기 센서에 연결되고, 상기 디지털 인터페이스를 통해 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 수신하고, 상기 사전 정의된 숫자 시퀀스의 복사본에 액세스하고, 상기 사전 정의된 숫자 시퀀스의 복사본을 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관시키는 애플리케이션 프로세서를 포함하는
센서 시스템.
As a sensor system,
A sensor configured to generate a predefined sequence of numbers and transmit the predefined sequence of numbers over a digital interface;
Receiving a predefined number sequence of the predetermined number of repetitions through the digital interface; accessing a copy of the predefined sequence of numbers; and transmitting a copy of the predefined sequence of numbers to a predetermined And an application processor for correlating the number of repetitions with the predefined sequence of numbers
Sensor system.
상기 센서는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스를 포함하는
센서 시스템.
8. The method of claim 7,
The sensor includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal representing information about the gesture of the target in three dimensional space from the target
Sensor system.
상기 애플리케이션 프로세서는, 상기 사전 정의된 숫자 시퀀스의 복사본이 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관되지 않은 것에 응답하여, 상기 디지털 인터페이스의 파라미터를 조정하도록 구성되는
센서 시스템.
8. The method of claim 7,
Wherein the application processor is configured to adjust parameters of the digital interface in response to the fact that a copy of the predefined sequence of numbers is not correlated with the predefined number sequence of the predetermined number of iterations
Sensor system.
상기 센서 및 상기 애플리케이션 프로세서는 동일한 집적 회로 다이의 일부인
센서 시스템.
8. The method of claim 7,
The sensor and the application processor are part of the same integrated circuit die
Sensor system.
난수 시퀀스를 생성하도록 구성된 난수 생성기와,
사전 정의된 반복횟수의 상기 난수 시퀀스를 저장하도록 구성된 선입 선출(FIFO) 메모리와,
상기 FIFO 메모리에 연결되고, 상기 FIFO 메모리에 저장된 상기 사전 정의된 반복횟수의 상기 난수 시퀀스를 애플리케이션 프로세서로 전송하도록 구성된 디지털 인터페이스와,
상기 애플리케이션 프로세서로부터의 검증 명령에 응답하여 상기 난수 생성기로부터 상기 FIFO 메모리로 상기 난수 시퀀스를 저장하도록 구성된 마스터 로직 유닛을 포함하는
제스처 센서 장치.
A gesture sensor device,
A random number generator configured to generate a random number sequence;
A first in first out (FIFO) memory configured to store the random number sequence of a predefined number of iterations,
A digital interface coupled to the FIFO memory and configured to send the random number sequence of the predefined number of iterations stored in the FIFO memory to an application processor;
And a master logic unit configured to store the random number sequence from the random number generator to the FIFO memory in response to a verify command from the application processor
Gesture sensor device.
입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스와,
상기 RF 디바이스에 연결되어 있으며, 상기 제스처에 관한 정보를 센서 샘플로 변환하는 아날로그-디지털 변환기(ADC)를 더 포함하는
제스처 센서 장치.
12. The method of claim 11,
An RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about a gesture of the target in three dimensional space from the target;
Further comprising an analog-to-digital converter (ADC) coupled to the RF device for converting the information about the gesture into a sensor sample
Gesture sensor device.
상기 마스터 로직 유닛은 또한 상기 애플리케이션 프로세서로부터 상기 검증 명령을 수신하는 것에 응답하여 상기 RF 디바이스를 턴 오프하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
The master logic unit may also be configured to turn off the RF device in response to receiving the verify command from the application processor
Gesture sensor device.
상기 마스터 로직 유닛은 또한 상기 ADC의 제1 ADC의 출력을 상기 FIFO 메모리로 라우팅하도록 구성되며, 상기 FIFO 메모리는 제1 ADC의 출력이 상기 FIFO 메모리에 연결될 때 상기 제1 ADC로부터의 센서 샘플을 저장하는
제스처 센서 장치.
13. The method of claim 12,
Wherein the master logic unit is further configured to route the output of the first ADC of the ADC to the FIFO memory, wherein the FIFO memory stores sensor samples from the first ADC when the output of the first ADC is coupled to the FIFO memory doing
Gesture sensor device.
상기 ADC 및 상기 난수 생성기에 연결된 멀티플렉서를 더 포함하고, 상기 멀티플렉서는 상기 마스터 로직 유닛으로부터의 선택 명령에 응답하여 상기 난수 생성기와 상기 ADC 중 하나를 상기 FIFO 메모리에 연결하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
And a multiplexer coupled to the ADC and the random number generator, wherein the multiplexer is configured to couple one of the random number generator and the ADC to the FIFO memory in response to a select command from the master logic unit
Gesture sensor device.
상기 ADC는 상기 센서 샘플에 프리픽스(prefix)를 추가하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
The ADC is configured to add a prefix to the sensor samples
Gesture sensor device.
상기 난수 생성기는 또한 상기 난수 시퀀스에 프리픽스(prefix)를 추가하도록 구성되는
제스처 센서 장치.
12. The method of claim 11,
The random number generator may also be configured to add a prefix to the random number sequence
Gesture sensor device.
상기 난수 생성기는 선형 피드백 시프트 레지스터(LFSR)인
제스처 센서 장치.
12. The method of claim 11,
The random number generator is a linear feedback shift register (LFSR)
Gesture sensor device.
상기 난수 시퀀스는 M-시퀀스이고, 상기 LFSR은 상기 M-시퀀스를 생성하도록 구성되는
제스처 센서 장치.
19. The method of claim 18,
Wherein the random sequence is an M-sequence and the LFSR is configured to generate the M-sequence
Gesture sensor device.
상기 LFSR은 프리미티브 다항식인 특성 다항식을 갖는
제스처 센서 장치.
19. The method of claim 18,
The LFSR has a property polynomial, which is a primitive polynomial.
Gesture sensor device.
상기 난수 시퀀스는 제1 길이를 갖고, 상기 FIFO 메모리는 제2 길이를 가지며, 상기 제2 길이는 상기 제1 길이의 배수인
제스처 센서 장치.
12. The method of claim 11,
Wherein the random number sequence has a first length, the FIFO memory has a second length, and the second length is a multiple of the first length
Gesture sensor device.
상기 마스터 로직 유닛은 마이크로컨트롤러인
제스처 센서 장치.12. The method of claim 11,
The master logic unit is a microcontroller
Gesture sensor device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/630,675 US10602548B2 (en) | 2017-06-22 | 2017-06-22 | System and method for gesture sensing |
US15/630,675 | 2017-06-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190000318A true KR20190000318A (en) | 2019-01-02 |
KR102597743B1 KR102597743B1 (en) | 2023-11-06 |
Family
ID=62874558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180071428A KR102597743B1 (en) | 2017-06-22 | 2018-06-21 | System and method for gesture sensing |
Country Status (4)
Country | Link |
---|---|
US (2) | US10602548B2 (en) |
EP (1) | EP3418864B1 (en) |
KR (1) | KR102597743B1 (en) |
CN (1) | CN109116313A (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119042A (en) * | 2019-01-18 | 2020-08-06 | 住友電気工業株式会社 | Gesture recognition device, gesture recognition system, gesture recognition method, and computer program |
DE102019205040A1 (en) * | 2019-04-09 | 2020-10-15 | Sivantos Pte. Ltd. | Hearing aid and method for operating such a hearing aid |
CN113924568A (en) | 2019-06-26 | 2022-01-11 | 谷歌有限责任公司 | Radar-based authentication status feedback |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
KR20210145281A (en) | 2019-07-26 | 2021-12-01 | 구글 엘엘씨 | Context-sensitive control of radar-based gesture recognition |
CN113892072B (en) | 2019-08-30 | 2024-08-09 | 谷歌有限责任公司 | Method and electronic device for enabling a visual indicator for a paused radar pose |
US11467672B2 (en) * | 2019-08-30 | 2022-10-11 | Google Llc | Context-sensitive control of radar-based gesture-recognition |
EP3811187B1 (en) | 2019-08-30 | 2021-10-06 | Google LLC | Input methods for mobile devices |
US11567580B2 (en) * | 2020-01-29 | 2023-01-31 | Samsung Electronics Co., Ltd. | Adaptive thresholding and noise reduction for radar data |
CN111552387A (en) * | 2020-04-29 | 2020-08-18 | 上海矽杰微电子有限公司 | Low-cost millimeter wave gesture recognition implementation method and system |
CN118277773B (en) * | 2024-05-29 | 2024-08-23 | 珠海正和微芯科技有限公司 | Gesture recognition method and device, storage medium and electronic equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1288661A (en) * | 1970-06-22 | 1972-09-13 | ||
US20160320852A1 (en) * | 2015-04-30 | 2016-11-03 | Google Inc. | Wide-Field Radar-Based Gesture Recognition |
US20170054449A1 (en) * | 2015-08-19 | 2017-02-23 | Texas Instruments Incorporated | Method and System for Compression of Radar Signals |
Family Cites Families (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4241347A (en) | 1978-06-28 | 1980-12-23 | International Telephone And Telegraph Corporation | PRC/FM CW Radar system |
AU6643790A (en) * | 1989-11-09 | 1991-06-13 | Roger Reed | Digital circuit for a frequency modulation and carrier synthesis in a digital radio system |
EP0439807B1 (en) * | 1989-12-22 | 2000-05-24 | Nec Home Electronics, Ltd. | Code shift keying communication system |
GB2247799A (en) | 1990-09-04 | 1992-03-11 | Gec Ferranti Defence Syst | Radar based navigation aid |
US6134340A (en) * | 1997-12-22 | 2000-10-17 | Trw Inc. | Fingerprint feature correlator |
US6147572A (en) | 1998-07-15 | 2000-11-14 | Lucent Technologies, Inc. | Filter including a microstrip antenna and a frequency selective surface |
US6397273B2 (en) | 1998-12-18 | 2002-05-28 | Emc Corporation | System having an enhanced parity mechanism in a data assembler/disassembler for use in a pipeline of a host-storage system interface to global memory |
JP3393204B2 (en) | 1999-10-06 | 2003-04-07 | 株式会社ホンダエレシス | Multi-beam radar device |
US6636174B2 (en) | 2000-06-06 | 2003-10-21 | Altratek Inc. | System and method for detection and tracking of targets |
DE10037099A1 (en) | 2000-07-28 | 2002-02-07 | Wienand Hans Theo | Personenzählvorrichtung |
US20030101348A1 (en) * | 2001-07-12 | 2003-05-29 | Russo Anthony P. | Method and system for determining confidence in a digital transaction |
JP3680029B2 (en) | 2001-08-08 | 2005-08-10 | 三菱重工業株式会社 | Vapor growth method and vapor growth apparatus for metal thin film |
US7176506B2 (en) | 2001-08-28 | 2007-02-13 | Tessera, Inc. | High frequency chip packages with connecting elements |
US7948769B2 (en) | 2007-09-27 | 2011-05-24 | Hemisphere Gps Llc | Tightly-coupled PCB GNSS circuit and manufacturing method |
KR100477647B1 (en) | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | Motion correction apparatus for image and method thereof |
US6963259B2 (en) | 2002-06-27 | 2005-11-08 | Harris Corporation | High efficiency resonant line |
JP3833606B2 (en) | 2002-12-19 | 2006-10-18 | 三菱電機株式会社 | In-vehicle radar system |
US8447077B2 (en) * | 2006-09-11 | 2013-05-21 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array |
US7119745B2 (en) | 2004-06-30 | 2006-10-10 | International Business Machines Corporation | Apparatus and method for constructing and packaging printed antenna devices |
US7317417B2 (en) | 2004-07-12 | 2008-01-08 | Orhan Arikan | Methods for detection and tracking of targets |
US7057564B2 (en) | 2004-08-31 | 2006-06-06 | Freescale Semiconductor, Inc. | Multilayer cavity slot antenna |
US7615856B2 (en) | 2004-09-01 | 2009-11-10 | Sanyo Electric Co., Ltd. | Integrated antenna type circuit apparatus |
US7692684B2 (en) | 2004-09-27 | 2010-04-06 | Point Grey Research Inc. | People counting systems and methods |
JP2006234513A (en) | 2005-02-23 | 2006-09-07 | Toyota Central Res & Dev Lab Inc | Obstruction detection system |
US8066642B1 (en) | 2005-05-03 | 2011-11-29 | Sonosite, Inc. | Systems and methods for ultrasound beam forming data control |
US7596241B2 (en) | 2005-06-30 | 2009-09-29 | General Electric Company | System and method for automatic person counting and detection of specific events |
JP4670664B2 (en) * | 2005-10-05 | 2011-04-13 | 三菱電機株式会社 | Image recognition device |
US8228382B2 (en) | 2005-11-05 | 2012-07-24 | Ram Pattikonda | System and method for counting people |
EP1791277A1 (en) | 2005-11-28 | 2007-05-30 | Siemens Aktiengesellschaft | Method and apparatus for transmission path calibration of an antenna system |
IL173604A (en) * | 2006-02-08 | 2013-01-31 | E Afikim Milking Systems Agricultural Cooperative Ltd Sa | Device and method for measuring an animal's posture, particularly for measuring a ruminant's posture |
US20070210959A1 (en) | 2006-03-07 | 2007-09-13 | Massachusetts Institute Of Technology | Multi-beam tile array module for phased array systems |
US7652617B2 (en) | 2006-06-01 | 2010-01-26 | University Of Florida Research Foundation, Inc. | Radar microsensor for detection, tracking, and classification |
US7873326B2 (en) | 2006-07-11 | 2011-01-18 | Mojix, Inc. | RFID beam forming system |
DE102006032539A1 (en) | 2006-07-13 | 2008-01-17 | Robert Bosch Gmbh | FMCW radar sensor |
US7889147B2 (en) | 2007-02-23 | 2011-02-15 | Northrop Grumman Systems Corporation | Modular active phased array |
US7525474B2 (en) | 2007-03-30 | 2009-04-28 | Honeywell International Inc. | Integrated distance measuring equipment and transponder system and method |
US7675465B2 (en) | 2007-05-22 | 2010-03-09 | Sibeam, Inc. | Surface mountable integrated circuit packaging scheme |
US8237259B2 (en) | 2007-06-13 | 2012-08-07 | Infineon Technologies Ag | Embedded chip package |
JP4415040B2 (en) | 2007-09-18 | 2010-02-17 | 三菱電機株式会社 | Radar equipment |
US7880677B2 (en) | 2007-12-12 | 2011-02-01 | Broadcom Corporation | Method and system for a phased array antenna embedded in an integrated circuit package |
US8134425B2 (en) | 2007-12-13 | 2012-03-13 | Broadcom Corporation | Method and system for filters embedded in an integrated circuit package |
JP4861303B2 (en) | 2007-12-27 | 2012-01-25 | 株式会社日立製作所 | Radar sensor |
WO2010010486A1 (en) | 2008-07-24 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Distance measurement |
DE102008054570A1 (en) | 2008-12-12 | 2010-06-17 | Robert Bosch Gmbh | FMCW radar sensor for motor vehicles |
WO2010092438A1 (en) | 2009-02-13 | 2010-08-19 | Freescale Semiconductor, Inc. | Integrated circuit comprising frequency generation circuitry for controlling a frequency source |
US20100207805A1 (en) | 2009-02-19 | 2010-08-19 | Agd Systems Limited | Obtaining an indication of a number of moving objects passing speed detection apparatus |
CN201438747U (en) | 2009-05-18 | 2010-04-14 | 幻音科技(深圳)有限公司 | Earplug earphone |
CN101585361A (en) | 2009-05-25 | 2009-11-25 | 郭文艺 | Control device for preventing automobile from colliding and deviating roadway |
WO2010147515A1 (en) | 2009-06-17 | 2010-12-23 | Telefonaktiebolage Lm Eriksson (Publ) | A method for antenna calibration in a wideband communication system |
WO2011004135A1 (en) | 2009-07-07 | 2011-01-13 | Elliptic Laboratories As | Control using movements |
CA2790083C (en) | 2010-03-05 | 2017-08-22 | University Of Windsor | Radar system and method of manufacturing same |
US8725085B2 (en) | 2010-06-03 | 2014-05-13 | Broadcom Corporation | RF front-end module |
US9569003B2 (en) | 2010-09-30 | 2017-02-14 | Broadcom Corporation | Portable computing device including a three-dimensional touch screen |
JP5549560B2 (en) | 2010-11-26 | 2014-07-16 | 富士通株式会社 | FM-CW radar device and pairing method |
US8538097B2 (en) * | 2011-01-26 | 2013-09-17 | Validity Sensors, Inc. | User input utilizing dual line scanner apparatus and method |
US8988299B2 (en) | 2011-02-17 | 2015-03-24 | International Business Machines Corporation | Integrated antenna for RFIC package applications |
US20120280900A1 (en) | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
DE102011075725A1 (en) | 2011-05-12 | 2012-11-15 | Robert Bosch Gmbh | Method for recognizing gestures |
US8860532B2 (en) | 2011-05-20 | 2014-10-14 | University Of Central Florida Research Foundation, Inc. | Integrated cavity filter/antenna system |
US9183686B2 (en) | 2011-07-12 | 2015-11-10 | Tyco Fire & Security Gmbh | Method and system for people counting using passive infrared detectors |
US9705204B2 (en) | 2011-10-20 | 2017-07-11 | Keyssa, Inc. | Low-profile wireless connectors |
EP2788838A4 (en) | 2011-12-09 | 2015-10-14 | Nokia Technologies Oy | Method and apparatus for identifying a gesture based upon fusion of multiple sensor signals |
US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
CN102788969B (en) | 2012-07-04 | 2015-01-28 | 中国人民解放军海军航空工程学院 | Sea surface micromotion target detection and feature extraction method based on short-time fractional Fourier transform |
US9678573B2 (en) | 2012-07-30 | 2017-06-13 | Microsoft Technology Licensing, Llc | Interaction with devices based on user state |
US20140070994A1 (en) | 2012-09-13 | 2014-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | 3d short range detection with phased array radar |
US9196951B2 (en) | 2012-11-26 | 2015-11-24 | International Business Machines Corporation | Millimeter-wave radio frequency integrated circuit packages with integrated antennas |
CN102967854B (en) | 2012-12-07 | 2014-08-13 | 中国人民解放军海军航空工程学院 | Multi-fractal detection method of targets in FRFT (Fractional Fourier Transformation) domain sea clutter |
CN104871295B (en) | 2012-12-26 | 2018-07-06 | 日立化成株式会社 | Extended method, the manufacturing method of semiconductor device and semiconductor device |
US8836596B2 (en) | 2013-01-15 | 2014-09-16 | Cubic Corporation | Filter antenna |
US9413079B2 (en) | 2013-03-13 | 2016-08-09 | Intel Corporation | Single-package phased array module with interleaved sub-arrays |
KR101480348B1 (en) | 2013-05-31 | 2015-01-09 | 삼성에스디에스 주식회사 | People Counting Apparatus and Method |
US9459339B2 (en) | 2013-06-13 | 2016-10-04 | Texas Instruments Incorporated | Kalman filter for indoor positioning |
CN103529444A (en) | 2013-09-27 | 2014-01-22 | 安徽师范大学 | Vehicle-mounted millimeter-wave radar moving target recognizer and recognition method |
US9900687B2 (en) | 2013-10-07 | 2018-02-20 | Gn Netcom A/S | Earphone device with optical sensor |
US9753131B2 (en) | 2013-10-09 | 2017-09-05 | Massachusetts Institute Of Technology | Motion tracking via body radio reflections |
US9759807B2 (en) | 2013-10-25 | 2017-09-12 | Texas Instruments Incorporated | Techniques for angle resolution in radar |
US9336372B2 (en) * | 2013-10-28 | 2016-05-10 | Tencent Technology (Shenzhen) Company Limited | Lost account information recovery method and associated apparatus and system |
US9773742B2 (en) | 2013-12-18 | 2017-09-26 | Intel Corporation | Embedded millimeter-wave phased array module |
US20150181840A1 (en) | 2013-12-31 | 2015-07-02 | i4c Innovations Inc. | Ultra-Wideband Radar System for Animals |
JP2015141109A (en) | 2014-01-29 | 2015-08-03 | 富士通テン株式会社 | Radar device and signal processing method |
US9704769B2 (en) | 2014-02-27 | 2017-07-11 | STATS ChipPAC Pte. Ltd. | Semiconductor device and method of forming encapsulated wafer level chip scale package (EWLCSP) |
CN203950036U (en) | 2014-03-12 | 2014-11-19 | 肖令军 | A kind of have people's depopulated helicopter anti-collision system based on millimetre-wave radar range finding |
US9921657B2 (en) * | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
WO2015167260A1 (en) | 2014-04-30 | 2015-11-05 | Lg Innotek Co., Ltd. | Touch device, wearable device having the same and touch recognition method |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US9666553B2 (en) | 2014-06-16 | 2017-05-30 | Texas Instruments Incorporated | Millimeter wave integrated circuit with ball grid array package including transmit and receive channels |
US20170131395A1 (en) * | 2014-06-25 | 2017-05-11 | University Of Washington | Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device |
US10627480B2 (en) | 2014-07-17 | 2020-04-21 | Texas Instruments Incorporated | Distributed radar signal processing in a radar system |
US9921660B2 (en) | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
EP2988192A1 (en) * | 2014-08-20 | 2016-02-24 | Posterfy Oy | Apparatus for providing touchless user interface |
US9784828B2 (en) | 2014-08-27 | 2017-10-10 | Texas Insturments Incorporated | FMCW doppler processing algorithm for achieving CW performance |
US10094920B2 (en) | 2014-08-27 | 2018-10-09 | Texas Instruments Incorporated | Range resolution in FMCW radars |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
US10539669B2 (en) | 2014-10-08 | 2020-01-21 | Texas Instruments Incorporated | Three dimensional (3D) tracking of objects in a radar system |
US10634778B2 (en) | 2014-10-21 | 2020-04-28 | Texas Instruments Incorporated | Camera assisted tracking of objects in a radar system |
US20160118353A1 (en) | 2014-10-22 | 2016-04-28 | Infineon Techologies Ag | Systems and Methods Using an RF Circuit on Isolating Material |
US9733340B2 (en) | 2014-11-21 | 2017-08-15 | Texas Instruments Incorporated | Techniques for high arrival angle resolution using multiple nano-radars |
US9829566B2 (en) | 2014-11-25 | 2017-11-28 | Texas Instruments Incorporated | Controlling radar transmission to enable interference mitigation |
US10317512B2 (en) | 2014-12-23 | 2019-06-11 | Infineon Technologies Ag | RF system with an RFIC and antenna system |
US20160306034A1 (en) | 2014-12-23 | 2016-10-20 | Infineon Technologies Ag | RF System with an RFIC and Antenna System |
US9921295B2 (en) | 2014-12-30 | 2018-03-20 | Texas Instruments Incorporated | Multiple chirp generation in a radar system |
US9696359B2 (en) | 2014-12-31 | 2017-07-04 | Texas Instruments Incorporated | Dynamic measurement of frequency synthesizer noise spurs or phase noise |
US10622694B2 (en) | 2015-02-12 | 2020-04-14 | Texas Instruments Incorporated | Dielectric waveguide radar signal distribution |
US9817109B2 (en) * | 2015-02-27 | 2017-11-14 | Texas Instruments Incorporated | Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution |
US10168785B2 (en) | 2015-03-03 | 2019-01-01 | Nvidia Corporation | Multi-sensor based user interface |
US20180071473A1 (en) | 2015-03-16 | 2018-03-15 | Mario Agostino FERRARIO | Device for tracheal intubation |
US10067221B2 (en) | 2015-04-06 | 2018-09-04 | Texas Instruments Incorporated | Interference detection in a frequency modulated continuous wave (FMCW) radar system |
US9835714B2 (en) | 2015-04-09 | 2017-12-05 | Texas Instruments Incorporated | Circuit and method for impedance detection in millimeter wave systems |
US10859675B2 (en) * | 2015-04-20 | 2020-12-08 | Resmed Sensor Technologies Limited | Gesture recognition with sensors |
CN107430444B (en) | 2015-04-30 | 2020-03-03 | 谷歌有限责任公司 | RF-based micro-motion tracking for gesture tracking and recognition |
US9853365B2 (en) | 2015-05-05 | 2017-12-26 | Texas Instruments Incorporated | Dynamic programming of chirps in a frequency modulated continuous wave (FMCW) radar system |
US10613208B2 (en) | 2015-05-15 | 2020-04-07 | Texas Instruments Incorporated | Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar |
US20160349845A1 (en) * | 2015-05-28 | 2016-12-01 | Google Inc. | Gesture Detection Haptics and Virtual Tools |
US9806040B2 (en) | 2015-07-29 | 2017-10-31 | STATS ChipPAC Pte. Ltd. | Antenna in embedded wafer-level ball-grid array package |
US10048354B2 (en) | 2015-08-13 | 2018-08-14 | Texas Instruments Incorporated | Chirp frequency non-linearity mitigation in radar systems |
US10555256B2 (en) | 2015-09-08 | 2020-02-04 | Texas Instruments Incorporated | Re-sampling with reduced power consumption and complexity |
US10078131B2 (en) | 2015-09-15 | 2018-09-18 | Texas Instruments Incorporated | Method and apparatus for FMCW radar processing |
US9886095B2 (en) | 2015-09-24 | 2018-02-06 | Stmicroelectronics Sa | Device and method for recognizing hand gestures using time-of-flight sensing |
US10061015B2 (en) | 2015-09-30 | 2018-08-28 | Texas Instruments Incorporated | Multi-chip transceiver testing in a radar system |
US10234542B2 (en) | 2015-09-30 | 2019-03-19 | Texas Instruments Incorporated | Measurement of transceiver performance parameters in a radar system |
US10718852B2 (en) | 2015-10-23 | 2020-07-21 | Texas Instruments Incorporated | RF/mm-wave peak detector with high-dynamic range calibration |
US9759808B2 (en) | 2015-11-12 | 2017-09-12 | Texas Instruments Incorporated | Buffer sample size control for variable chirp radar |
KR102427185B1 (en) | 2015-12-09 | 2022-08-01 | 삼성전자 주식회사 | Method for operation of switch and electronic device supporting the same |
US10746851B2 (en) | 2015-12-18 | 2020-08-18 | Texas Instruments Incorporated | Circuits and methods for determining chirp signal linearity and phase noise of a FMCW radar |
US10599518B2 (en) | 2015-12-31 | 2020-03-24 | Texas Instruments Incorporated | Protecting data memory in a signal processing system |
US10530053B2 (en) | 2016-01-13 | 2020-01-07 | Infineon Technologies Ag | System and method for measuring a plurality of RF signal paths |
US9965043B2 (en) | 2016-01-27 | 2018-05-08 | Wipro Limited | Method and system for recommending one or more gestures to users interacting with computing device |
US9575160B1 (en) * | 2016-04-25 | 2017-02-21 | Uhnder, Inc. | Vehicular radar sensing system utilizing high rate true random number generator |
US10514770B2 (en) | 2016-06-17 | 2019-12-24 | Texas Instruments Incorporated | Hidden Markov model-based gesture recognition with FMCW radar |
WO2018031516A1 (en) | 2016-08-09 | 2018-02-15 | Google Llc | Radar-based gestural interface |
CN106980362A (en) | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | Input method and device based on virtual reality scenario |
US9935065B1 (en) | 2016-12-21 | 2018-04-03 | Infineon Technologies Ag | Radio frequency device packages and methods of formation thereof |
-
2017
- 2017-06-22 US US15/630,675 patent/US10602548B2/en active Active
-
2018
- 2018-06-21 KR KR1020180071428A patent/KR102597743B1/en active IP Right Grant
- 2018-06-22 EP EP18179251.6A patent/EP3418864B1/en active Active
- 2018-06-22 CN CN201810653781.2A patent/CN109116313A/en active Pending
-
2020
- 2020-03-23 US US16/826,730 patent/US10973058B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1288661A (en) * | 1970-06-22 | 1972-09-13 | ||
US20160320852A1 (en) * | 2015-04-30 | 2016-11-03 | Google Inc. | Wide-Field Radar-Based Gesture Recognition |
US20170054449A1 (en) * | 2015-08-19 | 2017-02-23 | Texas Instruments Incorporated | Method and System for Compression of Radar Signals |
Also Published As
Publication number | Publication date |
---|---|
KR102597743B1 (en) | 2023-11-06 |
CN109116313A (en) | 2019-01-01 |
US10973058B2 (en) | 2021-04-06 |
US20200221509A1 (en) | 2020-07-09 |
US20180376509A1 (en) | 2018-12-27 |
US10602548B2 (en) | 2020-03-24 |
EP3418864B1 (en) | 2022-03-02 |
EP3418864A1 (en) | 2018-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102597743B1 (en) | System and method for gesture sensing | |
US11740323B2 (en) | Power control for improved near-far performance of radar systems | |
US20220291335A1 (en) | Radar data buffering | |
US10969908B2 (en) | Using multiple signals to detect touch input | |
US10061453B2 (en) | Detecting multi-touch inputs | |
EP2702470B1 (en) | Method and apparatus for active acoustic touch devices | |
US10198097B2 (en) | Detecting touch input force | |
US11009998B2 (en) | Systems and methods for ultrasonic, millimeter wave and hybrid sensing | |
WO2013075137A1 (en) | Detecting touch input force | |
US9880671B2 (en) | Damping vibrational wave reflections | |
US20150355319A1 (en) | Method, device and system for processing radar signals | |
JP7323279B2 (en) | Apparatus and method for processing radar signals | |
JP6448179B2 (en) | Radar equipment | |
IL293697A (en) | Device and method for generating test data for testing a distance determination in an optical time-of-flight measurement | |
WO2023013285A1 (en) | Signal processing device, ultrasonic wave system, and vehicle | |
KR20180118318A (en) | Position recognition device, system, method using impulse and continuos electromagnetic wave and computer-readable recording medium on which a program for performing the method is recorded | |
JULIANO | MPSoC FPGA-BASED RADAR WARNING RECEIVER AND DEINTERLEAVING PULSE ON PULSE ALGORITHMS | |
KR20230111121A (en) | Continuous wave radar based distance measuring device and method | |
CN114966707A (en) | Wearing detection method and system of wearable device | |
JP2023091893A (en) | Signal processing device, ultrasonic system and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |