Nothing Special   »   [go: up one dir, main page]

KR20190000318A - System and method for gesture sensing - Google Patents

System and method for gesture sensing Download PDF

Info

Publication number
KR20190000318A
KR20190000318A KR1020180071428A KR20180071428A KR20190000318A KR 20190000318 A KR20190000318 A KR 20190000318A KR 1020180071428 A KR1020180071428 A KR 1020180071428A KR 20180071428 A KR20180071428 A KR 20180071428A KR 20190000318 A KR20190000318 A KR 20190000318A
Authority
KR
South Korea
Prior art keywords
sequence
sensor
gesture
application processor
random number
Prior art date
Application number
KR1020180071428A
Other languages
Korean (ko)
Other versions
KR102597743B1 (en
Inventor
아힘 달만
레인하르드-볼프강 정메이어
사베리오 트로타
Original Assignee
인피니언 테크놀로지스 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인피니언 테크놀로지스 아게 filed Critical 인피니언 테크놀로지스 아게
Publication of KR20190000318A publication Critical patent/KR20190000318A/en
Application granted granted Critical
Publication of KR102597743B1 publication Critical patent/KR102597743B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W74/00Wireless channel access
    • H04W74/08Non-scheduled access, e.g. ALOHA
    • H04W74/0833Random access procedures, e.g. with 4-step access
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/40Transceivers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

According to some embodiments, a method for detecting a gesture is provided. The method includes the step of accessing a numeric sequence predefined in an application processor. The method further includes the step of receiving a verification sequence having the predefined number sequence of a predetermined number of iterations from a sensor of a sensor system. The method further includes the step of correlating the verification sequence with the predefined number sequence. The method further includes the step of counting the number of correlations between the predefined number sequence and verification sequence. The method further includes the step of adjusting parameters of the sensor or application processor in response to that the predetermined number of iterations is not equal to the number of correlations.

Description

제스처 검출을 위한 시스템 및 방법{SYSTEM AND METHOD FOR GESTURE SENSING}[0001] SYSTEM AND METHOD FOR GESTURE SENSING [0002]

본 발명은 일반적으로 웨어러블 디바이스에 관한 것으로, 구체적으로는 제스처 검출을 위한 시스템 및 방법에 관한 것이다.The present invention relates generally to wearable devices, and more specifically to systems and methods for gesture detection.

레이더 기반 제스처 검출 시스템은 컴퓨터, 스마트폰 또는 태블릿 컴퓨터와 같은 장치를 직접 제어하거나 차량, 건물 내 전자 시스템, 또는 가전 제품과 같은 원격 장치를 제어하기 위해 사용될 수 있는 입력 인터페이스이다. 예를 들어, 원격 장치가 자동차인 경우, 제스처 검출 시스템은 사람이 차 외부에서 자동차의 다양한 동작을 제어할 수 있게 한다. 제스처 검출은 자동차 분야(예컨대, 열쇠 없이 출입(keyless entry), 미디어 제어 등), 산업 분야(예컨대, 기계 제어), 사물 인터넷 분야(예컨대, 주방 기기, HVAC 제어 등) 등과 같은 많은 분야에 사용될 수 있다. 사용자는 손으로 하나 이상의 제스처를 만들어 제스처 검출 시스템과 상호 작용할 수 있다.A radar-based gesture detection system is an input interface that can be used to directly control a device such as a computer, smartphone, or tablet computer, or to control a remote device such as a vehicle, an electronic system in a building, or a home appliance. For example, when the remote device is an automobile, the gesture detection system allows a person to control various motions of the vehicle outside the car. Gesture detection can be used in many areas such as automotive (e.g., keyless entry, media control, etc.), industrial (e.g., machine control), object Internet (e.g. kitchen appliances, HVAC control, have. The user can interact with the gesture detection system by creating one or more gestures by hand.

V 밴드와 같은 밀리미터 파(mm파) 주파수 대역에서의 응용은, 저비용 반도체 기술의 급속한 발전으로 인해 지난 몇 년간 상당한 관심을 받아 왔다. 다른 응용들 중에서도, 레이더 기반 제스처 검출 시스템은 mm파 기술을 사용하여 구현될 수 있다. mm파 스펙트럼은 보다 넓은 가용 대역폭을 가질 수 있으며, 이는 터치리스 사용자 상호 작용 응용에서 보다 양호한 거리 분해능을 허용할 수 있다.Applications in the millimeter wave (mm wave) frequency band, such as the V-band, have received considerable interest in the past few years due to the rapid development of low cost semiconductor technology. Among other applications, radar based gesture detection systems can be implemented using mm wave techniques. The mm wave spectrum can have a wider available bandwidth, which may allow for better distance resolution in a touchless user interaction application.

일 실시예에 따르면, 센서 시스템을 검증하는 방법은, 애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와, 상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와, 상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와, 상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함한다.According to one embodiment, a method of verifying a sensor system comprises the steps of: accessing a predefined numeric sequence in an application processor; determining, from a sensor of the sensor system, a predetermined number of iterations of the predefined number sequence Correlating the verification sequence with the predefined sequence of numbers; counting the number of correlations between the predefined sequence of numbers and the verification sequence; And adjusting parameters of the sensor or the application processor in response to the number of iterations not equal to the number of correlations.

본 발명 및 그 이점에 대한 보다 완전한 이해를 위해, 이제 첨부 도면과 관련한 다음의 설명을 참고한다.
도 1은 제스처 검출 시스템의 시스템도이다.
도 2는 제스처 검출 시스템의 RF 컴포넌트의 개략도이다.
도 3은 제스처 센서 장치의 처리 컴포넌트의 블록도이다.
도 4는 애플리케이션 프로세서의 처리 컴포넌트의 블록도이다.
도 5는 제스처 센서를 검증하는 방법의 흐름도이다.
For a more complete understanding of the present invention and the advantages thereof, reference is now made to the following descriptions taken in conjunction with the accompanying drawings, in which:
1 is a system diagram of a gesture detection system.
2 is a schematic diagram of an RF component of a gesture detection system.
3 is a block diagram of a processing component of a gesture sensor device.
4 is a block diagram of a processing component of an application processor.
5 is a flow chart of a method for verifying a gesture sensor.

본 개시의 실시예의 제조 및 사용은 하기에 상세히 논의한다. 그러나, 본 명세서에 개시된 개념은 다양한 특정 상황에서 실시될 수 있으며, 본 명세서에서 논의하는 특정 실시예는 단지 예시적인 것이며 청구항의 범위를 제한하는 것은 아니라는 것을 이해해야 한다. 또한, 첨부된 청구 범위에 의해 정의된 바와 같은 본 개시의 사상 및 범위를 벗어나지 않고 다양한 변경, 대체 및 변형이 이루어질 수 있음을 이해해야 한다.The fabrication and use of embodiments of the present disclosure are discussed in detail below. It should be understood, however, that the concepts disclosed herein may be practiced in a variety of specific contexts, and that the specific embodiments discussed herein are illustrative only and are not intended to limit the scope of the claims. It should also be understood that various changes, substitutions and alterations can be made herein without departing from the spirit and scope of the present disclosure as defined by the appended claims.

몇몇 실시예에 따른 제스처 검출 시스템의 동작을 검증하기 위한 시스템 및 방법이 개시된다. 구체적으로, 제스처 검출 장치는 제스처 인식을 수행하기 위한 RF/베이스밴드 회로를 포함하며, 다른 디지털 컴포넌트들 중에서 제스처 검출 장치의 동작을 검증하는데 사용되는 난수 생성기를 포함한다. 난수 생성기는 사전 결정된 난수 또는 의사 난수 시퀀스를 생성한다. 난수 시퀀스는, 예를 들어, 선형 피드백 시프트 레지스터(linear feedback shift register)로 생성된다. 제스처 검출 장치의 샘플과 달리, 난수 시퀀스는 선험적으로 알려진 결정 신호(deterministic signal)이다. 검증은, 제스처 센서 장치에서 의사 난수 시퀀스를 생성한 다음, 검증을 위해 제스처 검출 장치에 결합된 애플리케이션 프로세서로 전송하는 것을 포함한다. 제스처 검출 장치에 결합된 애플리케이션 프로세서는 난수 시퀀스를 수신하고, 수신된 의사 난수 시퀀스가 소정의 시퀀스와 매칭되는지 여부를 판정한다. 다양한 실시예에서, 의사 랜덤 시퀀스가 전파되는 신호 경로는 제스처 검출 장치로부터 센서 샘플을 수신하는데 사용되는 것과 동일한 하드웨어, 펌웨어 및 소프트웨어 파이프라인(예컨대, 데이터 전송 파이프라인)을 사용한다. 무엇보다도, 데이터 전송 파이프라인의 검증은 하드웨어 장치의 적절한 동작을 검사하는 것과, 장치에서 실행되는 펌웨어 및/또는 소프트웨어의 적절한 동작을 검사하는 것과, 장치들 사이의 물리적 연결을 검사하는 것을 포함할 수 있다. 일부 실시예에서, 난수 시퀀스의 복사본은 애플리케이션 프로세서에 저장되고, 애플리케이션 프로세서는 수신된 시퀀스를 저장된 시퀀스와 비교한다. 숫자 시퀀스의 일치는 데이터 전송 파이프라인의 무결성을 나타내며, 불일치는 데이터 전송 파이프라인의 일부분이 데이터 전송에 부정적인 영향을 미치고 있음을 나타낼 수 있다. 알려진 시퀀스를 전송하면, 통상의 동작 중에 사전 정의된 값이 아닌 개별 센서 샘플을 검사하는 것에 비해, 데이터 전송 파이프라인에 대해 정보가 결정되도록 할 수 있다. 데이터 전송 파이프라인의 검증은 시작 또는 검증 시퀀스 중에 발생할 수 있으며, 검증은 애플리케이션 프로세서로 전송된 센서 샘플이 예상된 값임을 나타낸다. 데이터 전송 파이프라인의 하나 이상의 파라미터는 검증 실패에 응답하여 조정될 수 있다.A system and method for verifying operation of a gesture detection system in accordance with some embodiments is disclosed. Specifically, the gesture detection apparatus includes an RF / baseband circuit for performing gesture recognition, and includes a random number generator used for verifying operation of the gesture detection apparatus among other digital components. A random number generator generates a predetermined random or pseudorandom sequence. The random number sequence is generated, for example, with a linear feedback shift register. Unlike the sample of the gesture detection device, the random sequence is a priori known deterministic signal. The verification includes generating a pseudo-random number sequence at the gesture sensor device, and then transmitting the verification sequence to an application processor coupled to the gesture detection device for verification. The application processor coupled to the gesture detection device receives the random number sequence and determines whether the received pseudo-random number sequence matches the predetermined sequence. In various embodiments, the signal path over which the pseudo-random sequence is propagated uses the same hardware, firmware, and software pipelines (e.g., a data transmission pipeline) that are used to receive sensor samples from the gesture detection device. Among other things, verification of the data transmission pipeline can include examining the proper operation of the hardware device, checking proper operation of the firmware and / or software running on the device, and checking the physical connection between the devices have. In some embodiments, a copy of the random number sequence is stored in the application processor, and the application processor compares the received sequence with the stored sequence. The match of the numeric sequence represents the integrity of the data transmission pipeline, and the mismatch may indicate that a portion of the data transmission pipeline is negatively impacting the data transmission. Transmitting a known sequence allows information to be determined for the data transmission pipeline, as opposed to examining individual sensor samples that are not predefined values during normal operation. Validation of the data transmission pipeline may occur during a start or verify sequence, and verification indicates that the sensor sample sent to the application processor is the expected value. One or more parameters of the data transfer pipeline may be adjusted in response to a verification failure.

도 1은 제스처 검출 시스템(100)의 시스템도이며, 이것은 부분적으로 또는 전체적으로 사용자 장치로서 구현될 수 있다. 장치는 물리적으로 상호 작용하기 어려울 수 있기 때문에, 사용자는 터치리스 인터페이스를 통해 장치와 상호 작용할 수 있다. 예를 들어, 장치는 작은 터치 스크린을 갖고/또는 버튼이 없는 장치일 수 있다. 이러한 장치의 예로는 센서와 같은 사물 인터넷(IoT) 장치, 스마트 워치 또는 피트니스 장치와 같은 웨어러블 장치, 및/또는 스마트폰 또는 태블릿과 같은 사용자 장치를 포함할 수 있다.1 is a system diagram of a gesture detection system 100, which may be implemented as a user device, either partially or wholly. Because the device may be physically difficult to interact with, the user may interact with the device via a touchless interface. For example, the device may be a device with a small touch screen and / or without a button. Examples of such devices may include object Internet (IOT) devices such as sensors, wearable devices such as smart watches or fitness devices, and / or user devices such as smart phones or tablets.

제스처 검출 시스템(100)은 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)(둘 다 이하에서 더 설명됨)의 두 구성 요소를 갖는다. 동작 중에, 타겟(106)의 위치 및 제스처가 제스처 검출 시스템(100)에 의해 검출될 수 있다. 예를 들어, 두 손가락이 서로 탭핑하는 제스처는 "버튼 누름"으로 해석될 수 있고, 또는 엄지와 손가락을 돌리는 제스처는 다이얼을 돌리는 것으로 해석될 수 있다. 타겟(106)은, 예를 들어 손이나 신체 등일 수 있다. 제스처 센서 장치(102)는 최대 검출 범위(R1)를 특징짓는 시야(108)를 갖는다. 시야(108) 내에서 이루어지는 제스처는 제스처 센서 장치(102)에 의해 검출될 수 있다. 일부 실시예에서, 제스처 검출 시스템(100)은, 시야(108) 내 타겟(106)의 상대 속도, 거리 및 위상이 측정되도록 디지털 빔포밍 홀로그래픽 레이더를 구현하기 위해 다수의 송신 및 수신 채널을 갖는, 주파수 변조 연속파(FMCW) 레이더 센서로서 구현되는 mm파 제스처 검출 시스템이다. 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)는 별개의 장치일 수도 있고, 동일한 장치의 다른 구성 요소일 수도 있다. 일 실시예에서, 제스처 센서 장치(102) 및 애플리케이션 프로세서(104)는 동일한 집적 회로(IC) 다이의 일부로서 제조되거나 또는 동일한 반도체 기판 상에 형성된다.The gesture detection system 100 has two components: a gesture sensor device 102 and an application processor 104 (both further described below). In operation, the position and gesture of the target 106 may be detected by the gesture detection system 100. For example, a gesture in which two fingers are tapped to each other can be interpreted as a "button press, " or a gesture that turns a thumb and a finger can be interpreted as turning a dial. The target 106 may be, for example, a hand, a body, or the like. The gesture sensor device 102 has a field of view 108 that characterizes the maximum detection range R1. The gesture made in the field of view 108 can be detected by the gesture sensor device 102. In some embodiments, the gesture detection system 100 may have a plurality of transmit and receive channels to implement a digital beamforming holographic radar such that the relative velocity, distance, and phase of the target 106 within the view 108 are measured. , A frequency modulated continuous wave (FMCW) radar sensor. Gesture sensor device 102 and application processor 104 may be separate devices or may be other components of the same device. In one embodiment, the gesture sensor device 102 and the application processor 104 are fabricated as part of the same integrated circuit (IC) die or formed on the same semiconductor substrate.

제스처 센서 장치(102)는 3D 공간에서 타겟(106)을 검출하기 위한 근거리 무선 신호를 송신 및 수신한다. 제스처 센서 장치(102)는 입사 RF 신호("처프(chirp)"라고도 함)를 송신하고, 타깃(106)으로부터 입사 RF 신호의 반사인 RF 신호("에코(echo)"라고도 함)를 수신한다. 입사 RF 신호 및 반사 RF 신호로부터 비트(beat) 주파수가 결정된다. 비트 주파수 신호는 3D 공간에서 타겟(106)의 위치, 속도, 각도 등과 같은 정보를 결정하기 위해 사용될 수도 있다.The gesture sensor device 102 transmits and receives a near field radio signal for detecting the target 106 in 3D space. The gesture sensor device 102 transmits an incoming RF signal (also referred to as a "chirp") and receives an RF signal (also referred to as an "echo") that is a reflection of an incoming RF signal from the target 106 . The beat frequency is determined from the incident RF signal and the reflected RF signal. The bit frequency signal may be used to determine information such as the position, velocity, angle, etc. of the target 106 in 3D space.

애플리케이션 프로세서(104)는 비트 주파수 신호를 획득하고 이를 평가하기 위해 하나 이상의 신호 처리 단계를 수행한다. 일 실시예에서, 애플리케이션 프로세서(104)는 제스처 센서 장치(102) 내의 아날로그-디지털 변환기(ADC)를 통해 비트 주파수 신호를 나타내는 베이스밴드 신호를 획득한다. 신호 처리 단계는 고속 푸리에 변환(FFT), 단시간 푸리에 변환(STFT), 타겟 분류, 기계 학습 등을 수행하는 것을 포함한다. 신호 처리 단계의 결과는 장치에서 동작을 결정하고 수행하는 데 사용된다. 근거리 제스처 인식에 대한 더 상세한 내용은, 발명의 명칭이 "RF System with an RFIC and Antenna System"인 미국 특허출원 제14/954,198호에 기술되어 있으며, 이 특허출원은 참고로 본 명세서에 통합된다. 비트 주파수 신호의 평가 결과에 따라서 사용자 장치 상에서 동작이 수행될 수 있다. 일부 실시예에서, 결과는 UI 입력으로 사용될 수 있다. 예를 들어, 미세한 손가락 움직임을 추적할 때 미세한 손가락 움직임의 방향과 속도는 UI에서의 문서 스크롤의 방향과 속도를 결정할 수 있다. 일부 실시예에서, 이들 결과는 사용자 장치상에서 애플리케이션을 열기 위해 사용된다.The application processor 104 performs one or more signal processing steps to acquire and evaluate a bit frequency signal. In one embodiment, the application processor 104 obtains a baseband signal representing a bit frequency signal via an analog-to-digital converter (ADC) in the gesture sensor device 102. The signal processing step includes performing Fast Fourier Transform (FFT), Short Time Fourier Transform (STFT), target classification, machine learning, and the like. The result of the signal processing step is used to determine and perform an operation in the device. Further details of near field gesture recognition are described in U. S. Patent Application Serial No. 14 / 954,198, entitled " RF System with an RFIC and Antenna System, " which is incorporated herein by reference. Operation may be performed on the user equipment according to the evaluation result of the bit frequency signal. In some embodiments, the result may be used as a UI input. For example, when tracking fine finger movements, the direction and speed of fine finger movements can determine the direction and speed of document scrolling in the UI. In some embodiments, these results are used to open an application on a user device.

도 2는 제스처 검출 시스템(100)의 RF 컴포넌트의 개략도이다. 도시된 바와 같이, 제스처 센서 장치(102)는 입사 RF 신호를 송신 안테나(202)를 통해 타겟(106)을 향해 송신하고, 타겟(106)으로부터 반사된 RF 신호를 수신 안테나(204)를 통해 수신한다. 제스처 센서 장치(102)는 송신 안테나(202)에 결합된 송신기 프론트 엔드(206) 및 수신 안테나(204)에 결합된 수신기 프론트 엔드(208)를 포함한다.2 is a schematic diagram of an RF component of the gesture detection system 100. As shown in FIG. As shown, the gesture sensor device 102 transmits an incoming RF signal to a target 106 via a transmit antenna 202, and receives an RF signal reflected from the target 106 via a receive antenna 204 do. Gesture sensor device 102 includes a transmitter front end 206 coupled to transmit antenna 202 and a receiver front end 208 coupled to receive antenna 204. [

송신기 프론트 엔드(206)는 타겟(106)을 향하여 입사 RF 신호의 송신을 수행한다. 송신기 프론트 엔드(206)는 입사 RF 신호를 송신하기 위해 필터, 변조기 등을 포함한다. 2개의 송신기 프론트 엔드(206)가 도시되고 설명되지만, 제스처 센서 장치(102)는 여러 개의 송신기 프론트 엔드(206)를 가질 수 있다.The transmitter front end 206 performs transmission of an incoming RF signal toward the target 106. The transmitter front end 206 includes filters, modulators, and the like for transmitting incident RF signals. Although two transmitter front ends 206 are shown and described, the gesture sensor apparatus 102 may have multiple transmitter front ends 206.

수신기 프론트 엔드(208)는 타겟(106)으로부터 반사된 RF 신호를 수신 및 처리한다. 수신기 프론트 엔드(208)는 반사된 RF 신호를 수신하기 위해 베이스밴드 필터, 복조기, 가변 이득 증폭기(VGA) 등을 포함한다. 하나의 수신기 프론트 엔드(208)가 도시되고 설명되지만, 제스처 센서 장치(102)는 여러 개의 수신기 프론트 엔드(208)를 가질 수 있음을 알아야 한다.The receiver front end 208 receives and processes the reflected RF signal from the target 106. The receiver front end 208 includes a baseband filter, a demodulator, a variable gain amplifier (VGA), etc. to receive the reflected RF signal. It should be appreciated that while one receiver front end 208 is shown and described, the gesture sensor device 102 may have multiple receiver front ends 208.

동작 중에, 송신기 프론트 엔드(206)는 입사 RF 신호를 송신하고, 수신기 프론트 엔드(208)는 반사된 RF 신호를 수신한다. 송신 및 수신은 레이더 회로(210)에 의해 제어될 수 있다. 수신된 반사된 RF 신호는 수신기 프론트 엔드(208)의 파이프라인에 통합된 장치로 필터링되고, 증폭되며 변환된다. 특히, 수신된 신호는 원래의 신호 주파수로부터 더 낮은 비트 주파수 신호를 나타내는 베이스밴드 신호로 하향 변환된다. 그 후, 베이스밴드 신호는 타겟(106)에 관한 정보를 결정하도록 애플리케이션 프로세서(104)에 제공된다.In operation, the transmitter front end 206 transmits an incoming RF signal and the receiver front end 208 receives a reflected RF signal. The transmission and reception can be controlled by the radar circuit 210. The received reflected RF signal is filtered, amplified, and converted into an integrated device in the pipeline of the receiver front end 208. In particular, the received signal is downconverted from the original signal frequency to a baseband signal representing a lower bit frequency signal. The baseband signal is then provided to the application processor 104 to determine information about the target 106.

송신 안테나(202) 및/또는 수신 안테나(204)는, 개별 안테나로 도시되었지만, 안테나의 어레이의 일부일 수도 있음을 알아야 한다. 또한, 송신 안테나(202) 및 수신 안테나(204)는 별개의 안테나 어레이일 수도 있고 동일한 안테나 어레이일 수도 있다. 동일한 안테나 어레이가 송신 및 수신 둘 다에 사용되는 실시예에서, 어레이 내의 안테나는 결합(coupling) 구조(도시되어 있지 않음)로 송신기 프론트 엔드(206) 및 수신기 프론트 엔드(208) 모두에 결합될 수 있다. 결합 구조는 랫-레이스 커플러(rat-race coupler), 윌킨슨 전력 분배기(Wilkinson power divider), 서큘레이터(circulator) 등과 같은 수동 구조 또는 스위치를 사용하여 구현될 수 있다. 송신 안테나(202) 및 수신 안테나(204)의 설계 및 동작에 관한 보다 상세한 설명은 본 명세서에 참고 문헌으로 포함된, 발명의 명칭이 "Radio Frequency System and Method for Wearable Device"인 미국 특허출원 제15/231,544 호에 기재되어 있으며, 따라서 이들의 동작에 대한 상세한 설명은 여기서 반복하지 않을 것이다.It should be noted that transmit antenna 202 and / or receive antenna 204 are shown as separate antennas, but may also be part of an array of antennas. In addition, transmit antenna 202 and receive antenna 204 may be separate antenna arrays or the same antenna array. In an embodiment where the same antenna array is used for both transmit and receive, the antenna in the array may be coupled to both the transmitter front end 206 and the receiver front end 208 in a coupling structure (not shown) have. The coupling structure may be implemented using a passive structure or switch such as a rat-race coupler, a Wilkinson power divider, a circulator, or the like. A more detailed description of the design and operation of the transmit and receive antennas 202 and 204 can be found in U. S. Patent Application Serial No. < RTI ID = 0.0 > 15, < / RTI > / 231,544, and therefore a detailed description of their operation will not be repeated here.

일부 실시예에서, 제스처 센서 장치(102)의 RF 컴포넌트의 일부 또는 전부는 송신 안테나(202), 수신 안테나(204), 송신기 프론트 엔드(206), 수신기 프론트 엔드(208), 및/또는 레이더 회로(210)를 포함하는 패키지로 구현될 수 있다. 일부 실시예에서, 제스처 센서 장치(102)는 회로 기판 상에 배치된 하나 이상의 집적 회로로서 구현될 수 있으며, 송신 안테나(202) 및 수신 안테나(204)는 집적 회로에 인접한 회로 기판 상에 구현될 수 있다. 일부 실시예에서, 송신기 프론트 엔드(206), 수신기 프론트 엔드(208) 및 레이더 회로(210)는 동일한 레이더 프론트 엔드 IC 다이 상에 형성된다. 송신 안테나(202) 및 수신 안테나(204)는 레이더 프론트 엔드 IC 다이의 일부일 수도 있고, 레이더 프론트 엔드 IC 다이 위에 또는 그 인접부에 있는 별개의 안테나일 수도 있다. 레이더 프론트 엔드 IC 다이는 제스처 센서 장치(102)의 다양한 수동 또는 능동 소자의 라우팅 및/또는 구현을 위해 사용되는, 재배선 층(RDL)과 같은 도전 층을 더 포함할 수 있다. 일실시예에서, 송신 안테나(202) 및 수신 안테나(204)는 레이더 프론트 엔드 IC 다이의 RDL을 사용하여 구현될 수 있다.In some embodiments, some or all of the RF components of the gesture sensor device 102 may be coupled to the transmit antenna 202, the receive antenna 204, the transmitter front end 206, the receiver front end 208, and / (210). ≪ / RTI > In some embodiments, gesture sensor device 102 may be implemented as one or more integrated circuits disposed on a circuit board, and transmit antenna 202 and receive antenna 204 may be implemented on a circuit board adjacent to the integrated circuit . In some embodiments, a transmitter front end 206, a receiver front end 208, and a radar circuit 210 are formed on the same radar front end IC die. The transmit and receive antennas 202 and 204 may be part of a radar front end IC die or may be separate antennas on or adjacent to a radar front end IC die. The radar front end IC die may further include a conductive layer, such as a redistribution layer (RDL), which is used for the routing and / or implementation of various passive or active elements of the gesture sensor device 102. In one embodiment, transmit antenna 202 and receive antenna 204 may be implemented using the RDL of a radar front-end IC die.

도 3은 제스처 센서 장치(102)의 처리 컴포넌트의 블록도이다. 제스처 센서 장치(102)는, RF 신호를 송신하고 반사된 RF 신호를 수신하고, 수신된 신호를 필터링하며, 이를 디지털 포맷으로 변환하는 장치들을 통합하는 주문형 집적 회로(ASIC)와 같은 고도로 집적된 장치이다. 제스처 센서 장치(102) 내의 장치들 중 일부 또는 전부는 동일한 레이더 프론트 엔드 IC 다이의 일부로서 형성될 수 있다. 동작 중에, 제스처 센서 장치(102)는 애플리케이션 프로세서(104)에 의해 판독되는 디지털 센서 샘플을 출력한다. 디지털 센서 샘플은 제스처 센서 장치(102)에 의해 검출된 더 낮은(lower beat) 주파수 신호에 대응하는 베이스밴드 신호를 나타내고, 애플리케이션 프로세서(104)에 의해 처리될 준비가 되어 있다. 제스처 센서 장치(102)는 반사된 RF 신호를 평가하기 위한 통합 기능을 가지므로, 이에 의해 생성된 디지털 센서 샘플은 애플리케이션 프로세서에 의해 처리되거나 평가될 준비가 되어 있을 수 있다. 제스처 센서 장치(102)는 마스터 로직 유닛(302), RF/베이스밴드 장치(304), 디지털 인터페이스(306), ADC(308), 멀티플렉서(310), 선입 선출(FIFO) 메모리(312), 및 난수 생성기(314)를 포함하며, 이들의 조합은 레이더 회로(210)의 기능을 부분적으로 또는 전체적으로 구현할 수 있다.3 is a block diagram of the processing components of the gesture sensor device 102. In FIG. Gesture sensor device 102 may be a highly integrated device such as an application specific integrated circuit (ASIC) that integrates devices that transmit RF signals and receive reflected RF signals, filter received signals, to be. Some or all of the devices in the gesture sensor device 102 may be formed as part of the same radar front end IC die. In operation, the gesture sensor device 102 outputs a digital sensor sample read by the application processor 104. The digital sensor sample is representative of a baseband signal corresponding to a lower beat frequency signal detected by the gesture sensor device 102 and is ready for processing by the application processor 104. The gesture sensor device 102 has an integrated function for evaluating the reflected RF signal so that the digital sensor sample generated thereby may be ready to be processed or evaluated by the application processor. The gesture sensor device 102 includes a master logic unit 302, an RF / baseband device 304, a digital interface 306, an ADC 308, a multiplexer 310, a first in first out (FIFO) memory 312, A random number generator 314, and combinations thereof, may partially or wholly implement the functionality of the radar circuit 210. [

마스터 로직 유닛(302)은 제스처 센서 장치(102)를 위한 메인 프로세싱 파이프라인이다. 이것은 시작 시퀀스를 수행하고, 제스처 센서 장치(102)를 캘리브레이션 및 제어하며, 타겟(106)으로부터 RF 신호를 판독하고, 센서 샘플을 생성하는 기능 유닛 및/또는 회로를 포함한다. 일부 실시예에서, 마스터 로직 유닛(302)은 유한 상태 기계이다. 일부 실시예에서, 마스터 로직 유닛(302)은 MCU 또는 마이크로 컨트롤러일 수 있다.Master logic unit 302 is the main processing pipeline for gesture sensor device 102. This includes functional units and / or circuits that perform a start-up sequence, calibrate and control the gesture sensor device 102, read RF signals from the target 106, and generate sensor samples. In some embodiments, master logic unit 302 is a finite state machine. In some embodiments, master logic unit 302 may be an MCU or microcontroller.

RF/베이스밴드 장치(304)는 송신 안테나(202), 수신 안테나(204), 송신기 프론트 엔드(206), 수신기 프론트 엔드(208) 및 레이더 회로(210)를 포함한다. RF/베이스밴드 장치(304)는 (위에서 논의한)레이더 프론트 엔드 IC 다이일 수 있다. 도시의 단순화를 위해 도 3에서는 단일 블록으로 도시되어 있지만, RF/베이스밴드 장치(304)는 많은 장치를 포함할 수 있고, 도 3에 도시된 다른 장치와 동일한 IC 상에 있을 수 있음을 이해해야 한다. 마스터 로직 유닛(302)은 RF/베이스밴드 장치(304)를 제어하여 이를 온/오프 스위칭한다.The RF / baseband device 304 includes a transmit antenna 202, a receive antenna 204, a transmitter front end 206, a receiver front end 208 and a radar circuit 210. RF / baseband device 304 may be a radar front end IC die (discussed above). Although shown as a single block in FIG. 3 for simplicity of the description, it should be understood that RF / baseband device 304 may include many devices and may be on the same IC as the other devices shown in FIG. 3 . Master logic unit 302 controls RF / baseband device 304 to switch it on / off.

디지털 인터페이스(306)는 제스처 센서 장치(102)에 대한 판독 값을 출력하고, 외부 장치가 제스처 센서 장치(102)와 상호 작용하도록 디지털 인터페이스를 제공한다. 제스처 센서 장치(102)로부터의 타겟 데이터는 디지털 인터페이스(306)를 통해 송신되어, 예컨대 애플리케이션 프로세서(104)에 의해 판독될 수 있다. 디지털 인터페이스(306)는 SPI(serial peripheral interface) 버스 또는 I2C(inter-integrated circuit) 인터페이스와 같은 직렬 인터페이스일 수 있다. 디지털 인터페이스(306)는 일반 드라이버 또는 펌웨어가 디지털 센서 샘플에 액세스하기 위해 애플리케이션 프로세서(104)에 의해 사용될 수 있도록 표준화된 인터페이스를 구현할 수 있다. 제스처 센서 장치(102)에 대한 동작 파라미터는 디지털 인터페이스(306)를 통해 수신될 수도 있다. 동작 파라미터는 디지털 인터페이스(306)에 대한 클록 속도, 샘플 버퍼링 레벨, 디지털 인터페이스(306)에 대한 인터페이스 구성 등을 포함할 수 있다.The digital interface 306 outputs a readout for the gesture sensor device 102 and provides a digital interface for the external device to interact with the gesture sensor device 102. Target data from the gesture sensor device 102 may be transmitted via the digital interface 306 and read by, for example, the application processor 104. [ Digital interface 306 may be a serial interface, such as a (serial peripheral interface) bus, SPI or I 2 C (inter-integrated circuit ) interface. The digital interface 306 may implement a standardized interface such that a generic driver or firmware may be used by the application processor 104 to access the digital sensor samples. The operating parameters for the gesture sensor device 102 may be received via the digital interface 306. [ The operating parameters may include a clock rate for the digital interface 306, a sample buffering level, an interface configuration for the digital interface 306, and the like.

ADC(308)는 RF/베이스밴드 장치(304)로부터의 베이스밴드 신호를 디지털 샘플로 변환한다. 디지털 센서 샘플은 더 낮은 주파수 신호에 대응하며, 베이스밴드 필터로 베이스밴드에 다운 혼합된 후 수신기 프론트 엔드(208)에 의해 수신된 신호 반사의 시간 영역 표현이다. 일부 실시예에서, RF/베이스밴드 장치(304)는 여러 개의 채널을 갖는다. 예를 들어, 도 2는 두 개의 송신 채널과 네 개의 수신 채널이 있는 RF/베이스밴드 장치를 보여준다. RF/베이스밴드 장치(304)의 각각의 수신 채널에 대해 ADC가 있을 수 있다. 각각의 수신 채널의 ADC(308)는 변환 후에 샘플에 프리픽스를 부가할 수 있다. 프리픽스는 샘플들을 생성한 RF/베이스밴드 장치(304)의 수신 채널을 나타낸다. ADC(308)의 샘플링 레이트는 마스터 로직 유닛(302)에 의해 제어되고, ADC(308)는 마스터 로직 유닛(302) 및/또는 애플리케이션 프로세서(104)로부터의 트리거 신호에 응답하여 샘플의 수집을 시작하거나 중지할 수 있다.The ADC 308 converts the baseband signal from the RF / baseband device 304 into digital samples. The digital sensor sample corresponds to a lower frequency signal and is a time-domain representation of the signal reflections received by the receiver front end 208 after being downmixed to the baseband with a baseband filter. In some embodiments, the RF / baseband device 304 has multiple channels. For example, Figure 2 shows an RF / baseband device with two transmit channels and four receive channels. There may be an ADC for each receive channel of the RF / baseband device 304. The ADC 308 of each receive channel may add a prefix to the samples after conversion. The prefix represents the receive channel of the RF / baseband device 304 that generated the samples. The sampling rate of the ADC 308 is controlled by the master logic unit 302 and the ADC 308 starts collecting samples in response to the trigger signal from the master logic unit 302 and / Or stop.

멀티플렉서(310)는 ADC(308)에 결합되고, 수신 채널들 중 하나를 선택하는데 사용된다. 선택된 수신 채널의 ADC(308)로부터의 샘플은 선택된 ADC(308)의 출력을 FIFO 메모리(312)로 라우팅함으로써 디지털 인터페이스(306)를 통해 전송되도록 큐잉된다. 멀티플렉서(310)의 입력들 중 적어도 하나는 또한 난수 생성기(314)로부터의 값이 디지털 인터페이스(306)를 통해 전송될 수 있도록 난수 생성기(314)(후술됨)의 출력부에 결합된다. 마스터 로직 유닛(302)은 멀티플렉서(310)의 선택된 채널을 제어할 수 있다.Multiplexer 310 is coupled to ADC 308 and is used to select one of the receive channels. Samples from the ADC 308 of the selected receive channel are queued to be transmitted via the digital interface 306 by routing the output of the selected ADC 308 to the FIFO memory 312. At least one of the inputs of the multiplexer 310 is also coupled to the output of the random number generator 314 (described below) so that the value from the random number generator 314 can be transmitted via the digital interface 306. The master logic unit 302 may control the selected channel of the multiplexer 310.

FIFO 메모리(312)는 선택된 ADC(308)로부터의 센서 값을 저장하고, 센서 판독 값을 버퍼링하는데 사용될 수 있다. FIFO 메모리(312) 내의 값들은 마스터 로직 유닛(302)에 의해 사용될 수 있거나, 또는 디지털 인터페이스(306) 상에서 출력되어 애플리케이션 프로세서(104)에 의해 판독될 수 있다. FIFO 메모리(312)는 예를 들어 메모리 FIFO 기능을 구현하기 위해 판독 포인터 및 기록 포인터가 연속적으로 증분되는 환형 큐(circular queue)를 갖는다. 또는, FIFO 메모리(312)는 캐스케이드 레지스터 체인을 사용하여 구현될 수 있다. 또는, FIFO 메모리 이외의 다른 메모리 유형, 예컨대 다른 휘발성 또는 비휘발성 저장 요소가 FIFO 메모리(312) 대신에 사용될 수 있다. 메모리가 휘발성 저장 요소인 실시예들에서, 메모리는 예를 들어 중재 로직을 갖는 이중 포트 메모리 또는 단일 포트/다중 페이지 메모리일 수 있으며, 예를 들어 SRAM, DRAM 등으로 구현될 수 있다. 디지털 인터페이스(306)는 RF/베이스밴드 장치(304) 및 ADC(308)의 샘플링 속도에 비해 상대적으로 느린 SPI와 같은 인터페이스일 수 있다. 따라서, 디지털 인터페이스(306)는 ADC(308)에 의해 샘플링된 것보다 느린 값들을 출력할 수 있다. FIFO 메모리(312)는 센서 샘플들을 버퍼링하는 상대적으로 긴 큐를 가질 수 있다. 일 실시예에서, FIFO 메모리(312)는 약 196608 비트의 길이를 갖는다. 다른 실시예에서, FIFO 메모리(312)는 임의의 길이를 가질 수 있다.The FIFO memory 312 can be used to store the sensor values from the selected ADC 308 and buffer the sensor readings. Values in the FIFO memory 312 may be used by the master logic unit 302 or may be output on the digital interface 306 and read by the application processor 104. [ The FIFO memory 312 has, for example, a circular queue in which the read pointer and the write pointer are successively incremented to implement the memory FIFO function. Alternatively, the FIFO memory 312 may be implemented using a cascaded register chain. Alternatively, other memory types other than FIFO memory, such as other volatile or nonvolatile storage elements, may be used instead of the FIFO memory 312. In embodiments where the memory is a volatile storage element, the memory may be, for example, a dual port memory having arbitration logic or a single port / multipage memory and may be implemented as, for example, SRAM, DRAM, The digital interface 306 may be an interface such as a SPI that is relatively slow compared to the sampling rate of the RF / baseband device 304 and the ADC 308. [ Thus, the digital interface 306 may output values that are slower than those sampled by the ADC 308. The FIFO memory 312 may have a relatively long queue of buffering sensor samples. In one embodiment, the FIFO memory 312 has a length of about 196608 bits. In another embodiment, the FIFO memory 312 may have any length.

난수 생성기(314)는 랜덤 또는 의사 랜덤 비트 생성기이다. 난수 생성기(314)는 랜덤하지만 결정론적이며 선험적으로 알려진 숫자 시퀀스를 생성한다. 임의의 숫자 순서는 주기적이다. 난수 생성기(314)는 여러 방식으로 구현될 수 있다. 일 실시예에서, 난수 생성기(314)는 선형 피드백 시프트 레지스터(LFSR)이다. LFSR은 임의의 수의 비트를 가질 수 있고, 일 실시예에서는 11 비트 또는 12 비트를 가질 수 있다. 난수 생성기(314)는 때로 M 시퀀스로 지칭되는 최대 길이 시퀀스(MLS)를 생성할 수 있고, 그 특성 다항식으로서 프리미티브 다항식을 가질 수 있다. 예를 들어, 9번째 및 11번째 비트에서 탭을 갖는 LFSR은 M 시퀀스를 생성할 수 있다. 난수 생성기(314)는 난수 시퀀스의 값에 프리픽스(prefix)를 부가할 수 있으며, 따라서 난수 생성기(314)를 이들 숫자를 생성하는 것으로 식별할 수 있다.The random number generator 314 is a random or pseudo random bit generator. The random number generator 314 generates a random but deterministic and a priori known number sequence. The random number sequence is periodic. The random number generator 314 may be implemented in various ways. In one embodiment, the random number generator 314 is a linear feedback shift register (LFSR). The LFSR may have any number of bits, and in one embodiment may have 11 bits or 12 bits. The random number generator 314 may generate a maximum length sequence (MLS), sometimes referred to as an M sequence, and may have a primitive polynomial as its characteristic polynomial. For example, an LFSR with taps at the 9th and 11th bits can generate an M sequence. The random number generator 314 may add a prefix to the value of the random number sequence, thus identifying the random number generator 314 as generating these numbers.

난수 생성기(314)는 FIFO 메모리(312)의 크기에 비례하는 길이를 가질 수 있다. 특히, 난수 시퀀스의 길이는 FIFO 메모리(312)의 길이의 배수일 수 있다. 일 실시예에서, FIFO 메모리(312)는 난수 시퀀스의 주기의 96배인 길이를 갖는다. 따라서, 난수 시퀀스의 96개의 복사본이 FIFO 메모리(312)에 저장될 수 있다.The random number generator 314 may have a length proportional to the size of the FIFO memory 312. In particular, the length of the random number sequence may be a multiple of the length of the FIFO memory 312. In one embodiment, the FIFO memory 312 has a length that is 96 times the period of the random number sequence. Thus, 96 copies of the random number sequence may be stored in the FIFO memory 312.

전술한 바와 같이, 제스처 센서 장치(102)의 데이터 전송 파이프라인은 검증 시퀀스 또는 시작 시퀀스 동안 검증될 수 있다. 마스터 로직 유닛(302)이 유한 상태 머신인 실시예들에서, 검증 또는 개시 시퀀스는 유한 상태 머신의 상태일 수 있다. 검증은 제스처 센서 장치(102)에서 난수 시퀀스를 생성한 다음 검증을 위해 이를 애플리케이션 프로세서(104)로 전송하는 것을 포함한다. 무엇보다도 , 데이터 전송 파이프라인의 검증은 난수 생성기(314); 멀티플렉서(310); FIFO 메모리(312); 디지털 인터페이스(306); 마스터 로직 유닛(302); 제스처 센서 장치(102) 상에서 실행될 수 있는 임의의 펌웨어; 제스처 센서 장치(102)와 애플리케이션 프로세서(104) 간의 물리적 연결; 애플리케이션 프로세서(104)상에서 실행될 수 있는 임의의 펌웨어 또는 드라이버; 애플리케이션 프로세서(104)상에서 실행되는 사용자 레벨 소프트웨어 등의 적절한 동작을 검사하는 것을 포함한다. 환언하면, 본 명세서에서 사용되는 "데이터 전송 파이프라인"이라는 용어는 제스처 센서 장치(102)로부터 애플리케이션 프로세서(104)로 센서 샘플을 전송하는데 사용되는 제스처 검출 시스템(100)의 하드웨어, 펌웨어 및 소프트웨어 측면을 포함한다. 센서 샘플의 손상(corruption)이 데이터 전송 파이프라인을 따라 여러 가능한 지점에서 발생할 수 있다. 검증은 애플리케이션 프로세서(104)에 의해 수신된 센서 샘플이 정확하고 손상되지 않았음을 보장할 수 있다. 알려진 시퀀스를 전송하는 것은, 통상의 동작 동안 사전 정의된 값이 아닌 개별 센서 샘플을 검사하는 것과 비교하여, FIFO 메모리(312)의 상태 및 내용에 관한 정보가 판정될 수 있도록 한다.As described above, the data transmission pipeline of the gesture sensor device 102 may be verified during the verification sequence or the start sequence. In embodiments where the master logic unit 302 is a finite state machine, the verification or initiation sequence may be in the state of a finite state machine. The verification includes generating a random sequence at the gesture sensor device 102 and then transmitting it to the application processor 104 for verification. Among other things, verification of the data transmission pipeline includes a random number generator 314; A multiplexer 310; A FIFO memory 312; A digital interface 306; A master logic unit 302; Any firmware that may be executed on the gesture sensor device 102; A physical connection between the gesture sensor device 102 and the application processor 104; Any firmware or driver that may be executed on the application processor 104; Such as user level software, running on the application processor 104. < RTI ID = 0.0 > In other words, the term "data transfer pipeline" as used herein refers to the hardware, firmware, and software aspects of the gesture detection system 100 used to transfer sensor samples from the gesture sensor device 102 to the application processor 104 . Corruption of the sensor sample may occur at several possible points along the data transmission pipeline. The verification can ensure that the sensor samples received by the application processor 104 are accurate and undamaged. Transmitting a known sequence allows information about the status and content of the FIFO memory 312 to be determined, as compared to examining individual sensor samples that are not predefined values during normal operation.

데이터 전송 파이프라인의 검증 동안, 마스터 로직 유닛(302)은 ADC(308)가 선택 해제되고 난수 생성기(314)가 대신 선택되도록 멀티플렉서(310)를 설정한다. 멀티플렉서(310)의 설정은 예컨대 애플리케이션 프로세서(104)로부터 디지털 인터페이스(306)를 통해 수신된 커맨드에 응답하여 수행될 수 있다. RF/베이스밴드 장치(304) 및/또는 ADC(308)는 커맨드가 수신될 때 턴오프될 수 있다. 난수 생성기(314)는 FIFO 메모리(312)를 난수 시퀀스로 채우기 시작하도록 작동될 수 있다. 디지털 인터페이스(306)는 FIFO 메모리(312)의 내용을 애플리케이션 프로세서(104)로 전송하며, 애플리케이션 프로세서(104)는 숫자 시퀀스를 검증한다. 난수 생성기(314)는 데이터 전송 파이프라인의 초기 단계에(예를 들어, 멀티플렉서(310) 앞에) 위치하기 때문에, 대부분의 또는 모든 데이터 전송 파이프라인은 애플리케이션 프로세서(104)에 의해 검증될 수 있다.During verification of the data transfer pipeline, the master logic unit 302 sets up the multiplexer 310 such that the ADC 308 is deselected and the random number generator 314 is selected instead. The setting of the multiplexer 310 may be performed, for example, in response to a command received via the digital interface 306 from the application processor 104. [ RF / baseband device 304 and / or ADC 308 may be turned off when a command is received. The random number generator 314 may be enabled to begin filling the FIFO memory 312 with a random number sequence. The digital interface 306 sends the contents of the FIFO memory 312 to the application processor 104, which verifies the numeric sequence. Most or all of the data transfer pipelines can be verified by the application processor 104 because the random number generator 314 is located at an early stage (e.g., before the multiplexer 310) of the data transfer pipeline.

도 4는 애플리케이션 프로세서(104)의 프로세싱 컴포넌트의 블록도이다. 애플리케이션 프로세서(104)는 마스터 제어 유닛(MCU), 마이크로 컨트롤러 등과 같은 시스템 온 칩일 수 있다. 예를 들어, 시스템 온 칩은 ARM Cortex 장치를 사용하여 구현될 수 있다. 또는, 애플리케이션 프로세서(104)는 별도의 프로세서, 메모리 등을 포함할 수 있다. 애플리케이션 프로세서(104)의 장치는 개별 블록으로 도시되어 있지만, 이들 장치들 중 일부 또는 모두는 동일한 집적 회로 다이 또는 동일한 반도체 기판 상에 포함될 수 있다. 애플리케이션 프로세서(104)는 디지털 인터페이스(404), 범용 프로세서(406), 저장 장치(408), 메모리(410) 및 전용 프로세서(412)를 상호 접속할 수 있는(또는 하지 않을 수도 있는) 버스(402)를 포함한다.4 is a block diagram of the processing components of the application processor 104. FIG. The application processor 104 may be a system-on-chip such as a master control unit (MCU), microcontroller, or the like. For example, a system-on-chip may be implemented using an ARM Cortex device. Alternatively, the application processor 104 may include a separate processor, memory, and the like. Although the devices of the application processor 104 are shown as separate blocks, some or all of these devices may be included on the same integrated circuit die or the same semiconductor substrate. The application processor 104 includes a bus 402 that may (or may not) interconnect the digital interface 404, the general purpose processor 406, the storage device 408, the memory 410 and the dedicated processor 412. [ .

디지털 인터페이스(404)는 무엇보다도 제스처 센서 장치(102)의 디지털 인터페이스(306)와 통신한다. 디지털 인터페이스(404)는 디지털 인터페이스(306)와 유사할 수 있다. 예를 들어, 이들은 모두 SPI 버스에 통신 가능하게 연결되는 SPI 장치일 수 있다.The digital interface 404 communicates with the digital interface 306 of the gesture sensor device 102 above all. The digital interface 404 may be similar to the digital interface 306. For example, they may all be SPI devices communicatively coupled to the SPI bus.

범용 프로세서(406)는 애플리케이션 프로세서(104)를 동작 또는 제어하기 위한 소프트웨어를 실행하는데 사용된다. 범용 프로세서(406)는 제스처 센서 장치(102)로부터 센서 샘플을 처리하여 타겟(106)에 관한 정보를 결정하도록 구성될 수 있다. 범용 프로세서(406)는 또한 제스처 센서 장치(102)에 의해 생성된 전송과 같은 제스처 센서 장치(102)의 특징들을 제어하도록 구성될 수 있으며, 또한 제스처 센서 장치(102)의 동작 모드를 선택할 수도 있다. 특히, 범용 프로세서(406)는 디지털 인터페이스(404)를 통해 제스처 센서 장치(102)를 검증 시퀀스로 스위칭하도록 구성될 수 있다.The general purpose processor 406 is used to execute software for operating or controlling the application processor 104. The general purpose processor 406 may be configured to process sensor samples from the gesture sensor device 102 to determine information about the target 106. The general purpose processor 406 may also be configured to control features of the gesture sensor device 102, such as transmissions generated by the gesture sensor device 102, and may also select the mode of operation of the gesture sensor device 102 . In particular, the general purpose processor 406 may be configured to switch the gesture sensor device 102 to a verification sequence via the digital interface 404.

저장 장치(408)는 선험적으로 알려진 난수 시퀀스의 복사본을 저장한다. 일부 실시예에서, 저장 장치(408)는 비휘발성 메모리(NVRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM) 등과 같은 비휘발성 저장 장치이고, 난수 시퀀스는 비휘발성 메모리 저장 장치에 저장된다. 일부 실시예에서, 난수 시퀀스는 수치 값으로 저장되지 않고, 대신에 저장 장치(408)는 난수 시퀀스를 생성하기 위한 명령어를 갖는다. 예를 들어, 저장 장치(408)는 난수 시퀀스를 생성하는 난수 생성기(314)와 유사한 난수 생성기일 수도 있고, 난수 시퀀스를 생성하기 위한 소프트웨어를 저장할 수도 있다.The storage device 408 stores a copy of the random number sequence known a priori. In some embodiments, the storage device 408 is a non-volatile storage device such as non-volatile memory (NVRAM), electrically erasable programmable read only memory (EEPROM), etc., and the random number sequence is stored in a non-volatile memory storage device. In some embodiments, the random number sequence is not stored as a numeric value; instead, the storage device 408 has instructions for generating a random number sequence. For example, the storage device 408 may be a random number generator similar to the random number generator 314 for generating a random number sequence, or may store software for generating a random number sequence.

메모리(410)는 애플리케이션 프로세서(104)를 동작 또는 제어하기 위한 소프트웨어를 실행하는데 사용되는 휘발성 메모리일 수 있다. 메모리(410)는 제스처 센서 장치(102)로부터 디지털 인터페이스(306 및 404)를 통해 전송된 숫자 시퀀스를 저장할 수 있다. 일부 실시예에서, 검증 시퀀스 동안 제스처 센서 장치(102)로부터 수신된 값은 메모리(410)의 특정 또는 예약된 부분 또는 블록에 저장된다. 메모리의 특정 또는 예약된 부분은 애플리케이션 프로세서(104)의 나머지에 의해 사용된 것과 동일한 메모리 모듈 상에 있을 수도 있고 다른 메모리 모듈 상에 있을 수도 있다.Memory 410 may be a volatile memory used to execute software for operating or controlling application processor 104. [ The memory 410 may store the numeric sequence transmitted from the gesture sensor device 102 via the digital interfaces 306 and 404. In some embodiments, the value received from the gesture sensor device 102 during the verification sequence is stored in a specific or reserved portion or block of the memory 410. The particular or reserved portion of memory may be on the same memory module as that used by the remainder of the application processor 104 or on another memory module.

전용 프로세서(412)는 제스처 센서 장치(102)로부터의 센서 샘플 또는 숫자 시퀀스를 평가하기 위한 내장된 처리 요소이다. 일 실시예에서, 전용 프로세서(412)는 범용 프로세서와 상이한 아키텍처 또는 상이한 유형의 프로세서이다. 일 실시예에서, 전용 프로세서(412)는 디지털 신호 프로세서(DSP)이다. 전용 프로세서(412)는 센서 샘플을 평가하여 타겟(106)에 관한 정보를 결정하거나 제스처 센서 장치(102)의 동작을 검증하기 위한 신호 처리 단계의 일부를 수행할 수 있다. 전용 프로세서(412)는 메모리(410)를 공유하거나, 자신의 전용 메모리를 공유할 수 있다.The dedicated processor 412 is a built-in processing element for evaluating a sensor sample or number sequence from the gesture sensor device 102. In one embodiment, the dedicated processor 412 is a different architecture or a different type of processor than a general purpose processor. In one embodiment, the dedicated processor 412 is a digital signal processor (DSP). The dedicated processor 412 may evaluate the sensor samples to determine information about the target 106 or perform some of the signal processing steps to verify the operation of the gesture sensor device 102. [ The dedicated processor 412 may share the memory 410 or may share its own dedicated memory.

데이터 전송 파이프라인을 검증할 때, FIFO 메모리(312)의 내용은 디지털 인터페이스(306)를 통해 애플리케이션 프로세서(104)로 전송된다. 애플리케이션 프로세서(104)는 수신된 숫자 시퀀스를 저장 장치(408)에 저장된 숫자 시퀀스와 비교한다. 수신된 숫자 시퀀스가 저장된 숫자 시퀀스와 일치하면 데이터 전송 파이프라인이 검증되고 신뢰할 수 있는 것으로 간주될 수 있다. 비교는 범용 프로세서(406) 및/또는 전용 프로세서(412)에 의해 수행될 수 있으며, 다양한 기술을 사용하여 달성될 수 있다. 일 실시예에서, 애플리케이션 프로세서(104)는 저장된 숫자 시퀀스 및 수신된 숫자 시퀀스와 자기 상관(autocorrelation)을 수행한다. 난수 시퀀스의 길이가 FIFO 메모리(312)의 길이의 배수이면, 자기 상관 함수 결과는 그 배수와 동일한 피크 수를 가져야 한다. 위의 예를 계속하면, 난수 시퀀스의 96개의 복사본이 FIFO 메모리(312)에 저장될 때, 96개의 피크를 갖는 자기 상관 결과는 데이터 전송 파이프라인이 신뢰할 수 있다는 것을 나타낸다. 애플리케이션 프로세서(104)는 자기 상관 피크의 예상된 수의 표시를 저장할 수 있다.When verifying the data transfer pipeline, the contents of the FIFO memory 312 are transferred to the application processor 104 via the digital interface 306. The application processor 104 compares the received numeric sequence with a numeric sequence stored in the storage device 408. If the received numeric sequence matches the stored numeric sequence, the data transmission pipeline can be verified and considered reliable. The comparison may be performed by the general purpose processor 406 and / or the dedicated processor 412 and may be accomplished using a variety of techniques. In one embodiment, the application processor 104 performs autocorrelation with the stored numeric sequence and the received numeric sequence. If the length of the random number sequence is a multiple of the length of the FIFO memory 312, the autocorrelation function result should have the same number of peaks as the multiples thereof. Continuing with the example above, when 96 copies of a random sequence are stored in the FIFO memory 312, the autocorrelation result with 96 peaks indicates that the data transmission pipeline is reliable. The application processor 104 may store an expected number of indications of the autocorrelation peak.

검증은 또한 난수 시퀀스의 값들의 프리픽스를 검사하는 것을 포함할 수 있다. 상술한 바와 같이, 난수 생성기(314) 및 ADC(308)는 프리픽스를 부가할 수 있다. 프리픽스 확인은 애플리케이션 프로세서가 프리픽스가 올바르게 할당되고 전송되었음을 확인할 수 있게 한다.The verification may also include examining the prefix of the values of the random number sequence. As described above, the random number generator 314 and the ADC 308 can add a prefix. A prefix check allows the application processor to verify that the prefix has been correctly assigned and transmitted.

일부 실시예에서, 검증은 애플리케이션 프로세서(104) 상의 사용자 레벨 소프트웨어에 의해 수행될 수 있다. 사용자 레벨 소프트웨어에 의한 검증은 센서 샘플이 애플리케이션 프로세서(104)의 펌웨어 또는 드라이버로부터 오류없이 사용자 수준의 소프트웨어로 전송됨을 확인할 수 있게 한다.In some embodiments, verification may be performed by user level software on the application processor 104. Verification by user level software allows verification that the sensor samples are sent from the firmware or driver of the application processor 104 to the user level software without error.

성공적인 검증 후에, 애플리케이션 프로세서(104)는 제스처 센서 장치(102)를 정상 동작 모드로 스위칭할 수 있다. 일부 실시예에서, 제스처 센서 장치(102)의 동작 파라미터는 검증 성공 또는 검증 실패에 응답하여 변경될 수 있다. 자기 상관 결과에 예상보다 적은 피크가 포함된 경우, 데이터 전송 파이프라인을 따라 숫자 시퀀스가 손상된 위치를 결정하기 위해 여러 파라미터를 조정할 수 있다. 예를 들어, FIFO 메모리(312)에 대한 파라미터가 조정될 수도 있고, 최대 SPI 클록 속도와 같은 디지털 인터페이스(306 및 404)에 대한 파라미터가 평가되거나 조정될 수도 있다. 검증 시퀀스가 다시 수행될 수도 있다. 검증이 통과될 때까지 추가 조정이 이루어질 수 있다. 마찬가지로, 검증이 처음에 통과하면, 사용될 수 있는 더 높은 속도를 결정하기 위해 검증이 실패할 때까지 SPI 채널의 수 또는 속도가 증가할 수 있다.After successful verification, the application processor 104 may switch the gesture sensor device 102 to a normal operating mode. In some embodiments, the operational parameters of the gesture sensor device 102 may be changed in response to a verification success or verification failure. If the autocorrelation result includes fewer peaks than expected, then several parameters can be adjusted to determine where the numeric sequence is corrupted along the data transmission pipeline. For example, the parameters for the FIFO memory 312 may be adjusted and the parameters for the digital interfaces 306 and 404, such as the maximum SPI clock rate, may be evaluated or adjusted. The verification sequence may be performed again. Additional adjustments may be made until the verification is passed. Likewise, if the verification first passes, the number or speed of the SPI channels may increase until the verification fails to determine the higher speed that can be used.

도 5는 제스처 센서를 검증하기 위한 방법(500)의 흐름도이다. 방법(500)은 제스처 센서 장치(102)를 검증할 때 애플리케이션 프로세서(104) 상에서 발생하는 동작을 나타낼 수 있다.5 is a flow diagram of a method 500 for verifying a gesture sensor. The method 500 may represent an action that occurs on the application processor 104 when verifying the gesture sensor device 102.

애플리케이션 프로세서는 사전 정의된 숫자 시퀀스에 액세스한다(단계 502). 사전 정의된 숫자 시퀀스는 저장 장치(408)에 저장된 난수 시퀀스일 수 있다. 제스처 센서 장치(102)로부터 검증 시퀀스가 수신된다(단계 504). 검증 시퀀스는 난수 시퀀스의 사전 결정된 반복횟수를 갖는 주기적인 시퀀스이다. 난수 시퀀스의 예상 반복횟수는 애플리케이션 프로세서(104)에 저장될 수 있다. 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관된다(단계 506). 이 상관은 자기 상관 함수(autocorrelation function)로 수행될 수 있다. 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관되는 개수가 카운트된다(단계 508). 각각의 상관은 자기 상관 함수의 결과에서 피크로 표시될 수 있다. 자기 상관 함수 결과의 피크의 수가 예상된 수와 일치하면(단계 510), 방법(500)은 종료된다. 그렇지 않으면, 제스처 센서의 파라미터는 사전 결정된 반복횟수가 사전 정의된 숫자 시퀀스가 검증 시퀀스와 상관되는 개수와 같지 않은 것에 응답하여 조정된다(단계 512).The application processor accesses a predefined sequence of numbers (step 502). The predefined sequence of numbers may be a sequence of random numbers stored in storage device 408. A verification sequence is received from the gesture sensor device 102 (step 504). The verification sequence is a periodic sequence having a predetermined number of repetitions of the random number sequence. The expected number of iterations of the random number sequence may be stored in the application processor 104. A predefined sequence of numbers is correlated with the verification sequence (step 506). This correlation can be performed with an autocorrelation function. The number in which the predefined sequence of numbers is correlated with the verification sequence is counted (step 508). Each correlation can be indicated as a peak in the result of the autocorrelation function. If the number of peaks of the autocorrelation function result matches the expected number (step 510), the method 500 ends. Otherwise, the parameters of the gesture sensor are adjusted in response to the predetermined number of iterations being not equal to the number of times the predefined number sequence is correlated with the verification sequence (step 512).

실시예들은 장점을 얻을 수 있다. 데이터 전송 파이프라인을 검증하면 디지털 인터페이스의 클록 속도 또는 채널 수가 최적화되거나 적어도 개선될 수 있어, 타겟으로 전송되는 RF 첩의 수량에 따라 수많은 센서 샘플을 충분히 빠르고 신뢰할 수 있게 전송할 수 있다. 애플리케이션 프로세서의 펌웨어는 사용하기 전에 제스처 센서 장치를 구성할 수 있으므로, 검증을 통해 펌웨어 구성을 검증할 수 있다. 디지털 인터페이스의 지연 또는 지터를 측정할 수 있다.Embodiments may benefit. Verifying the data transmission pipeline allows the clock speed or channel number of the digital interface to be optimized or at least improved so that a large number of sensor samples can be transmitted fast enough and reliably, depending on the number of RF couplets transmitted to the target. The firmware of the application processor can configure the gesture sensor device before use, so the firmware configuration can be verified through verification. The delay or jitter of the digital interface can be measured.

일 실시예에 따르면, 센서 시스템을 검증하는 방법은, 애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와, 상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와, 상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와, 상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함한다.According to one embodiment, a method of verifying a sensor system comprises the steps of: accessing a predefined numeric sequence in an application processor; determining, from a sensor of the sensor system, a predetermined number of iterations of the predefined number sequence Correlating the verification sequence with the predefined sequence of numbers; counting the number of correlations between the predefined sequence of numbers and the verification sequence; And adjusting parameters of the sensor or the application processor in response to the number of iterations not equal to the number of correlations.

일부 실시예에서, 상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계는 상기 검증 시퀀스와 상기 사전 정의된 숫자 시퀀스를 자기 상관 함수(autocorrelation function)와 상관시키는 단계를 포함한다. 일부 실시예에서, 상기 상관의 개수를 카운트하는 단계는 상기 자기 상관 함수에 의해 생성된 피크의 개수를 카운트하는 단계를 포함한다. 일부 실시예에서, 상기 검증 시퀀스는 직렬 주변 인터페이스(SPI) 버스를 통해 상기 센서로부터 수신된다. 일부 실시예에서, 상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 센서의 SPI 버스 파라미터를 조정하는 단계를 포함한다. 일부 실시예에서, 상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 애플리케이션 프로세서의 SPI 버스 파라미터를 조정하는 단계를 포함한다.In some embodiments, correlating the verification sequence with the predefined numeric sequence comprises correlating the verification sequence and the predefined sequence of numbers with an autocorrelation function. In some embodiments, counting the number of correlations includes counting the number of peaks generated by the autocorrelation function. In some embodiments, the verification sequence is received from the sensor via a serial peripheral interface (SPI) bus. In some embodiments, adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the sensor. In some embodiments, adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the application processor.

일 실시예에 따르면, 센서 시스템은, 사전 정의된 숫자 시퀀스를 생성하고, 디지털 인터페이스를 통해 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 전송하도록 구성된 센서와, 상기 센서에 연결되고, 상기 디지털 인터페이스를 통해 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 수신하고, 상기 사전 정의된 숫자 시퀀스의 복사본에 액세스하고, 상기 사전 정의된 숫자 시퀀스의 복사본을 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관시키는 애플리케이션 프로세서를 포함한다.According to one embodiment, the sensor system comprises: a sensor configured to generate a predefined sequence of numbers and to transmit the predefined number sequence of a predetermined number of iterations over a digital interface; Defined number sequences of the predetermined number of repetitions, accessing a copy of the predefined sequence of numbers, and transmitting a copy of the predefined sequence of numbers to the predefined number sequence of predetermined number of iterations And an application processor for correlating the received signal with the received signal.

일부 실시예에서, 상기 센서는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스를 포함한다. 일부 실시예에서, 상기 애플리케이션 프로세서는, 상기 사전 정의된 숫자 시퀀스의 복사본이 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관되지 않은 것에 응답하여, 상기 디지털 인터페이스의 파라미터를 조정하도록 구성된다. 일부 실시예에서, 상기 센서 및 상기 애플리케이션 프로세서는 동일한 집적 회로 다이의 일부이다.In some embodiments, the sensor includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about the gesture of the target in three-dimensional space from the target. In some embodiments, the application processor is configured to adjust parameters of the digital interface in response to the fact that a copy of the predefined number sequence is not correlated with the predefined number sequence of the predetermined number of iterations. In some embodiments, the sensor and the application processor are part of the same integrated circuit die.

일 실시예에 따르면, 제스처 센서 장치는, 난수 시퀀스를 생성하도록 구성된 난수 생성기와, 사전 정의된 반복횟수의 상기 난수 시퀀스를 저장하도록 구성된 선입 선출(FIFO) 메모리와, 상기 FIFO 메모리에 연결되고, 상기 FIFO 메모리에 저장된 상기 사전 정의된 반복횟수의 상기 난수 시퀀스를 애플리케이션 프로세서로 전송하도록 구성된 디지털 인터페이스와, 상기 애플리케이션 프로세서로부터의 검증 명령에 응답하여 상기 난수 생성기로부터 상기 FIFO 메모리로 상기 난수 시퀀스를 저장하도록 구성된 마스터 로직 유닛을 포함한다.According to one embodiment, a gesture sensor device comprises: a random number generator configured to generate a random number sequence; a first in first out (FIFO) memory configured to store the random number sequence of a predefined number of iterations; A digital interface configured to send the random number sequence of the predefined number of iterations stored in a FIFO memory to an application processor and to store the random number sequence from the random number generator in the FIFO memory in response to a verify command from the application processor And a master logic unit.

일부 실시예에서, 이 제스처 센서 장치는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스와, 상기 RF 디바이스에 연결되어 있으며, 상기 제스처에 관한 정보를 센서 샘플로 변환하는 아날로그-디지털 변환기(ADC)를 더 포함한다. 일부 실시예에서, 상기 마스터 로직 유닛은 또한 상기 애플리케이션 프로세서로부터 상기 검증 명령을 수신하는 것에 응답하여 상기 RF 디바이스를 턴 오프하도록 구성된다. 일부 실시예에서, 상기 마스터 로직 유닛은 또한 상기 ADC의 제1 ADC의 출력을 상기 FIFO 메모리로 라우팅하도록 구성되며, 상기 FIFO 메모리는 제1 ADC의 출력이 상기 FIFO 메모리에 연결될 때 상기 제1 ADC로부터의 센서 샘플을 저장한다. 일부 실시예에서, 제스처 센서 장치는 상기 ADC 및 상기 난수 생성기에 연결된 멀티플렉서를 더 포함하고, 상기 멀티플렉서는 상기 마스터 로직 유닛으로부터의 선택 명령에 응답하여 상기 난수 생성기와 상기 ADC 중 하나를 상기 FIFO 메모리에 연결하도록 구성된다. 일부 실시예에서, 상기 ADC는 상기 센서 샘플에 프리픽스(prefix)를 추가하도록 구성된다. 일부 실시예에서, 상기 난수 생성기는 또한 상기 난수 시퀀스에 프리픽스(prefix)를 추가하도록 구성된다. 일부 실시예에서, 상기 난수 생성기는 선형 피드백 시프트 레지스터(LFSR)이다. 일부 실시예에서, 상기 난수 시퀀스는 M-시퀀스이고, 상기 LFSR은 상기 M-시퀀스를 생성하도록 구성된다. 일부 실시예에서, 상기 LFSR은 프리미티브 다항식인 특성 다항식을 갖는다. 일부 실시예에서, 상기 난수 시퀀스는 제1 길이를 갖고, 상기 FIFO 메모리는 제2 길이를 가지며, 상기 제2 길이는 상기 제1 길이의 배수이다. 일부 실시예에서, 상기 마스터 로직 유닛은 마이크로컨트롤러이다.In some embodiments, the gesture sensor device includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about a gesture of the target in three-dimensional space from the target, , And further includes an analog-to-digital converter (ADC) that converts the information about the gesture into a sensor sample. In some embodiments, the master logic unit is also configured to turn off the RF device in response to receiving the verify command from the application processor. In some embodiments, the master logic unit is also configured to route the output of the first ADC of the ADC to the FIFO memory, wherein the FIFO memory is coupled to the first ADC when the output of the first ADC is coupled to the FIFO memory Lt; / RTI > In some embodiments, the gesture sensor device further comprises a multiplexer coupled to the ADC and the random number generator, wherein the multiplexer is responsive to a select command from the master logic unit to cause the random number generator and the ADC to be coupled to the FIFO memory Respectively. In some embodiments, the ADC is configured to add a prefix to the sensor samples. In some embodiments, the random number generator is also configured to add a prefix to the random number sequence. In some embodiments, the random number generator is a linear feedback shift register (LFSR). In some embodiments, the random number sequence is an M-sequence, and the LFSR is configured to generate the M-sequence. In some embodiments, the LFSR has a property polynomial that is a primitive polynomial. In some embodiments, the random number sequence has a first length, the FIFO memory has a second length, and the second length is a multiple of the first length. In some embodiments, the master logic unit is a microcontroller.

본 발명은 예시적인 실시예를 참조하여 설명되었지만, 이 설명은 제한적인 의미로 해석되어서는 안 된다. 예시적인 실시예들의 다양한 수정 및 조합과 본 발명의 다른 실시예들은 설명을 참조할 때 당업자에게 명백할 것이다. 그러므로, 첨부된 청구 범위는 임의의 그러한 변형예 또는 실시예를 포함하기 위한 것이다.While the present invention has been described with reference to exemplary embodiments, the description is not to be construed in a limiting sense. Various modifications and combinations of the exemplary embodiments and other embodiments of the invention will be apparent to those skilled in the art upon reference to the description. It is, therefore, to be understood that the appended claims are intended to cover any such modifications or embodiments.

Claims (22)

센서 시스템을 검증하는 방법으로서,
애플리케이션 프로세서에서 사전 정의된 숫자 시퀀스(numeric sequence)에 액세스하는 단계와,
상기 센서 시스템의 센서로부터, 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 갖는 검증 시퀀스를 수신하는 단계와,
상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계와,
상기 사전 정의된 숫자 시퀀스와 상기 검증 시퀀스 사이의 상관의 개수를 카운트하는 단계와,
상기 사전 결정된 반복횟수가 상기 상관의 개수와 동일하지 않은 것에 응답하여, 상기 센서 또는 상기 애플리케이션 프로세서의 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
A method for verifying a sensor system,
Accessing a predefined numeric sequence in an application processor;
Receiving, from a sensor of the sensor system, a verification sequence having the predetermined number of repetitions of the predetermined number sequence;
Correlating the verification sequence with the predefined sequence of numbers;
Counting the number of correlations between the predefined sequence of numbers and the verification sequence;
And adjusting the parameters of the sensor or the application processor in response to the predetermined number of iterations being not equal to the number of correlations
Sensor system verification method.
제1항에 있어서,
상기 검증 시퀀스를 상기 사전 정의된 숫자 시퀀스와 상관시키는 단계는 상기 검증 시퀀스와 상기 사전 정의된 숫자 시퀀스를 자기 상관 함수(autocorrelation function)와 상관시키는 단계를 포함하는
센서 시스템 검증 방법.
The method according to claim 1,
Wherein correlating the verification sequence with the predefined numeric sequence comprises correlating the verification sequence and the predefined sequence of numbers with an autocorrelation function
Sensor system verification method.
제2항에 있어서,
상기 상관의 개수를 카운트하는 단계는 상기 자기 상관 함수에 의해 생성된 피크의 개수를 카운트하는 단계를 포함하는
센서 시스템 검증 방법.
3. The method of claim 2,
Wherein counting the number of correlations includes counting the number of peaks generated by the autocorrelation function
Sensor system verification method.
제1항에 있어서,
상기 검증 시퀀스는 직렬 주변 인터페이스(SPI) 버스를 통해 상기 센서로부터 수신되는
센서 시스템 검증 방법.
The method according to claim 1,
The verification sequence is received from the sensor via a serial peripheral interface (SPI) bus
Sensor system verification method.
제4항에 있어서,
상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 센서의 SPI 버스 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
5. The method of claim 4,
Wherein adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the sensor
Sensor system verification method.
제4항에 있어서,
상기 센서 또는 상기 애플리케이션 프로세서의 상기 파라미터를 조정하는 단계는 상기 애플리케이션 프로세서의 SPI 버스 파라미터를 조정하는 단계를 포함하는
센서 시스템 검증 방법.
5. The method of claim 4,
Wherein adjusting the parameter of the sensor or the application processor comprises adjusting an SPI bus parameter of the application processor
Sensor system verification method.
센서 시스템으로서,
사전 정의된 숫자 시퀀스를 생성하고, 디지털 인터페이스를 통해 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 전송하도록 구성된 센서와,
상기 센서에 연결되고, 상기 디지털 인터페이스를 통해 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스를 수신하고, 상기 사전 정의된 숫자 시퀀스의 복사본에 액세스하고, 상기 사전 정의된 숫자 시퀀스의 복사본을 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관시키는 애플리케이션 프로세서를 포함하는
센서 시스템.
As a sensor system,
A sensor configured to generate a predefined sequence of numbers and transmit the predefined sequence of numbers over a digital interface;
Receiving a predefined number sequence of the predetermined number of repetitions through the digital interface; accessing a copy of the predefined sequence of numbers; and transmitting a copy of the predefined sequence of numbers to a predetermined And an application processor for correlating the number of repetitions with the predefined sequence of numbers
Sensor system.
제7항에 있어서,
상기 센서는 입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스를 포함하는
센서 시스템.
8. The method of claim 7,
The sensor includes an RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal representing information about the gesture of the target in three dimensional space from the target
Sensor system.
제7항에 있어서,
상기 애플리케이션 프로세서는, 상기 사전 정의된 숫자 시퀀스의 복사본이 상기 사전 결정된 반복횟수의 상기 사전 정의된 숫자 시퀀스와 상관되지 않은 것에 응답하여, 상기 디지털 인터페이스의 파라미터를 조정하도록 구성되는
센서 시스템.
8. The method of claim 7,
Wherein the application processor is configured to adjust parameters of the digital interface in response to the fact that a copy of the predefined sequence of numbers is not correlated with the predefined number sequence of the predetermined number of iterations
Sensor system.
제7항에 있어서,
상기 센서 및 상기 애플리케이션 프로세서는 동일한 집적 회로 다이의 일부인
센서 시스템.
8. The method of claim 7,
The sensor and the application processor are part of the same integrated circuit die
Sensor system.
제스처 센서 장치로서,
난수 시퀀스를 생성하도록 구성된 난수 생성기와,
사전 정의된 반복횟수의 상기 난수 시퀀스를 저장하도록 구성된 선입 선출(FIFO) 메모리와,
상기 FIFO 메모리에 연결되고, 상기 FIFO 메모리에 저장된 상기 사전 정의된 반복횟수의 상기 난수 시퀀스를 애플리케이션 프로세서로 전송하도록 구성된 디지털 인터페이스와,
상기 애플리케이션 프로세서로부터의 검증 명령에 응답하여 상기 난수 생성기로부터 상기 FIFO 메모리로 상기 난수 시퀀스를 저장하도록 구성된 마스터 로직 유닛을 포함하는
제스처 센서 장치.
A gesture sensor device,
A random number generator configured to generate a random number sequence;
A first in first out (FIFO) memory configured to store the random number sequence of a predefined number of iterations,
A digital interface coupled to the FIFO memory and configured to send the random number sequence of the predefined number of iterations stored in the FIFO memory to an application processor;
And a master logic unit configured to store the random number sequence from the random number generator to the FIFO memory in response to a verify command from the application processor
Gesture sensor device.
제11항에 있어서,
입사 RF 신호를 타겟으로 송신하고, 상기 타겟으로부터 3차원 공간에서 상기 타겟의 제스처에 관한 정보를 나타내는 반사된 RF 신호를 수신하도록 구성된 RF 디바이스와,
상기 RF 디바이스에 연결되어 있으며, 상기 제스처에 관한 정보를 센서 샘플로 변환하는 아날로그-디지털 변환기(ADC)를 더 포함하는
제스처 센서 장치.
12. The method of claim 11,
An RF device configured to transmit an incident RF signal to a target and receive a reflected RF signal indicative of information about a gesture of the target in three dimensional space from the target;
Further comprising an analog-to-digital converter (ADC) coupled to the RF device for converting the information about the gesture into a sensor sample
Gesture sensor device.
제12항에 있어서,
상기 마스터 로직 유닛은 또한 상기 애플리케이션 프로세서로부터 상기 검증 명령을 수신하는 것에 응답하여 상기 RF 디바이스를 턴 오프하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
The master logic unit may also be configured to turn off the RF device in response to receiving the verify command from the application processor
Gesture sensor device.
제12항에 있어서,
상기 마스터 로직 유닛은 또한 상기 ADC의 제1 ADC의 출력을 상기 FIFO 메모리로 라우팅하도록 구성되며, 상기 FIFO 메모리는 제1 ADC의 출력이 상기 FIFO 메모리에 연결될 때 상기 제1 ADC로부터의 센서 샘플을 저장하는
제스처 센서 장치.
13. The method of claim 12,
Wherein the master logic unit is further configured to route the output of the first ADC of the ADC to the FIFO memory, wherein the FIFO memory stores sensor samples from the first ADC when the output of the first ADC is coupled to the FIFO memory doing
Gesture sensor device.
제12항에 있어서,
상기 ADC 및 상기 난수 생성기에 연결된 멀티플렉서를 더 포함하고, 상기 멀티플렉서는 상기 마스터 로직 유닛으로부터의 선택 명령에 응답하여 상기 난수 생성기와 상기 ADC 중 하나를 상기 FIFO 메모리에 연결하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
And a multiplexer coupled to the ADC and the random number generator, wherein the multiplexer is configured to couple one of the random number generator and the ADC to the FIFO memory in response to a select command from the master logic unit
Gesture sensor device.
제12항에 있어서,
상기 ADC는 상기 센서 샘플에 프리픽스(prefix)를 추가하도록 구성되는
제스처 센서 장치.
13. The method of claim 12,
The ADC is configured to add a prefix to the sensor samples
Gesture sensor device.
제11항에 있어서,
상기 난수 생성기는 또한 상기 난수 시퀀스에 프리픽스(prefix)를 추가하도록 구성되는
제스처 센서 장치.
12. The method of claim 11,
The random number generator may also be configured to add a prefix to the random number sequence
Gesture sensor device.
제11항에 있어서,
상기 난수 생성기는 선형 피드백 시프트 레지스터(LFSR)인
제스처 센서 장치.
12. The method of claim 11,
The random number generator is a linear feedback shift register (LFSR)
Gesture sensor device.
제18항에 있어서,
상기 난수 시퀀스는 M-시퀀스이고, 상기 LFSR은 상기 M-시퀀스를 생성하도록 구성되는
제스처 센서 장치.
19. The method of claim 18,
Wherein the random sequence is an M-sequence and the LFSR is configured to generate the M-sequence
Gesture sensor device.
제18항에 있어서,
상기 LFSR은 프리미티브 다항식인 특성 다항식을 갖는
제스처 센서 장치.
19. The method of claim 18,
The LFSR has a property polynomial, which is a primitive polynomial.
Gesture sensor device.
제11항에 있어서,
상기 난수 시퀀스는 제1 길이를 갖고, 상기 FIFO 메모리는 제2 길이를 가지며, 상기 제2 길이는 상기 제1 길이의 배수인
제스처 센서 장치.
12. The method of claim 11,
Wherein the random number sequence has a first length, the FIFO memory has a second length, and the second length is a multiple of the first length
Gesture sensor device.
제11항에 있어서,
상기 마스터 로직 유닛은 마이크로컨트롤러인
제스처 센서 장치.
12. The method of claim 11,
The master logic unit is a microcontroller
Gesture sensor device.
KR1020180071428A 2017-06-22 2018-06-21 System and method for gesture sensing KR102597743B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/630,675 US10602548B2 (en) 2017-06-22 2017-06-22 System and method for gesture sensing
US15/630,675 2017-06-22

Publications (2)

Publication Number Publication Date
KR20190000318A true KR20190000318A (en) 2019-01-02
KR102597743B1 KR102597743B1 (en) 2023-11-06

Family

ID=62874558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180071428A KR102597743B1 (en) 2017-06-22 2018-06-21 System and method for gesture sensing

Country Status (4)

Country Link
US (2) US10602548B2 (en)
EP (1) EP3418864B1 (en)
KR (1) KR102597743B1 (en)
CN (1) CN109116313A (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119042A (en) * 2019-01-18 2020-08-06 住友電気工業株式会社 Gesture recognition device, gesture recognition system, gesture recognition method, and computer program
DE102019205040A1 (en) * 2019-04-09 2020-10-15 Sivantos Pte. Ltd. Hearing aid and method for operating such a hearing aid
CN113924568A (en) 2019-06-26 2022-01-11 谷歌有限责任公司 Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR20210145281A (en) 2019-07-26 2021-12-01 구글 엘엘씨 Context-sensitive control of radar-based gesture recognition
CN113892072B (en) 2019-08-30 2024-08-09 谷歌有限责任公司 Method and electronic device for enabling a visual indicator for a paused radar pose
US11467672B2 (en) * 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
US11567580B2 (en) * 2020-01-29 2023-01-31 Samsung Electronics Co., Ltd. Adaptive thresholding and noise reduction for radar data
CN111552387A (en) * 2020-04-29 2020-08-18 上海矽杰微电子有限公司 Low-cost millimeter wave gesture recognition implementation method and system
CN118277773B (en) * 2024-05-29 2024-08-23 珠海正和微芯科技有限公司 Gesture recognition method and device, storage medium and electronic equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1288661A (en) * 1970-06-22 1972-09-13
US20160320852A1 (en) * 2015-04-30 2016-11-03 Google Inc. Wide-Field Radar-Based Gesture Recognition
US20170054449A1 (en) * 2015-08-19 2017-02-23 Texas Instruments Incorporated Method and System for Compression of Radar Signals

Family Cites Families (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4241347A (en) 1978-06-28 1980-12-23 International Telephone And Telegraph Corporation PRC/FM CW Radar system
AU6643790A (en) * 1989-11-09 1991-06-13 Roger Reed Digital circuit for a frequency modulation and carrier synthesis in a digital radio system
EP0439807B1 (en) * 1989-12-22 2000-05-24 Nec Home Electronics, Ltd. Code shift keying communication system
GB2247799A (en) 1990-09-04 1992-03-11 Gec Ferranti Defence Syst Radar based navigation aid
US6134340A (en) * 1997-12-22 2000-10-17 Trw Inc. Fingerprint feature correlator
US6147572A (en) 1998-07-15 2000-11-14 Lucent Technologies, Inc. Filter including a microstrip antenna and a frequency selective surface
US6397273B2 (en) 1998-12-18 2002-05-28 Emc Corporation System having an enhanced parity mechanism in a data assembler/disassembler for use in a pipeline of a host-storage system interface to global memory
JP3393204B2 (en) 1999-10-06 2003-04-07 株式会社ホンダエレシス Multi-beam radar device
US6636174B2 (en) 2000-06-06 2003-10-21 Altratek Inc. System and method for detection and tracking of targets
DE10037099A1 (en) 2000-07-28 2002-02-07 Wienand Hans Theo Personenzählvorrichtung
US20030101348A1 (en) * 2001-07-12 2003-05-29 Russo Anthony P. Method and system for determining confidence in a digital transaction
JP3680029B2 (en) 2001-08-08 2005-08-10 三菱重工業株式会社 Vapor growth method and vapor growth apparatus for metal thin film
US7176506B2 (en) 2001-08-28 2007-02-13 Tessera, Inc. High frequency chip packages with connecting elements
US7948769B2 (en) 2007-09-27 2011-05-24 Hemisphere Gps Llc Tightly-coupled PCB GNSS circuit and manufacturing method
KR100477647B1 (en) 2002-06-01 2005-03-23 삼성전자주식회사 Motion correction apparatus for image and method thereof
US6963259B2 (en) 2002-06-27 2005-11-08 Harris Corporation High efficiency resonant line
JP3833606B2 (en) 2002-12-19 2006-10-18 三菱電機株式会社 In-vehicle radar system
US8447077B2 (en) * 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US7119745B2 (en) 2004-06-30 2006-10-10 International Business Machines Corporation Apparatus and method for constructing and packaging printed antenna devices
US7317417B2 (en) 2004-07-12 2008-01-08 Orhan Arikan Methods for detection and tracking of targets
US7057564B2 (en) 2004-08-31 2006-06-06 Freescale Semiconductor, Inc. Multilayer cavity slot antenna
US7615856B2 (en) 2004-09-01 2009-11-10 Sanyo Electric Co., Ltd. Integrated antenna type circuit apparatus
US7692684B2 (en) 2004-09-27 2010-04-06 Point Grey Research Inc. People counting systems and methods
JP2006234513A (en) 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc Obstruction detection system
US8066642B1 (en) 2005-05-03 2011-11-29 Sonosite, Inc. Systems and methods for ultrasound beam forming data control
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
JP4670664B2 (en) * 2005-10-05 2011-04-13 三菱電機株式会社 Image recognition device
US8228382B2 (en) 2005-11-05 2012-07-24 Ram Pattikonda System and method for counting people
EP1791277A1 (en) 2005-11-28 2007-05-30 Siemens Aktiengesellschaft Method and apparatus for transmission path calibration of an antenna system
IL173604A (en) * 2006-02-08 2013-01-31 E Afikim Milking Systems Agricultural Cooperative Ltd Sa Device and method for measuring an animal's posture, particularly for measuring a ruminant's posture
US20070210959A1 (en) 2006-03-07 2007-09-13 Massachusetts Institute Of Technology Multi-beam tile array module for phased array systems
US7652617B2 (en) 2006-06-01 2010-01-26 University Of Florida Research Foundation, Inc. Radar microsensor for detection, tracking, and classification
US7873326B2 (en) 2006-07-11 2011-01-18 Mojix, Inc. RFID beam forming system
DE102006032539A1 (en) 2006-07-13 2008-01-17 Robert Bosch Gmbh FMCW radar sensor
US7889147B2 (en) 2007-02-23 2011-02-15 Northrop Grumman Systems Corporation Modular active phased array
US7525474B2 (en) 2007-03-30 2009-04-28 Honeywell International Inc. Integrated distance measuring equipment and transponder system and method
US7675465B2 (en) 2007-05-22 2010-03-09 Sibeam, Inc. Surface mountable integrated circuit packaging scheme
US8237259B2 (en) 2007-06-13 2012-08-07 Infineon Technologies Ag Embedded chip package
JP4415040B2 (en) 2007-09-18 2010-02-17 三菱電機株式会社 Radar equipment
US7880677B2 (en) 2007-12-12 2011-02-01 Broadcom Corporation Method and system for a phased array antenna embedded in an integrated circuit package
US8134425B2 (en) 2007-12-13 2012-03-13 Broadcom Corporation Method and system for filters embedded in an integrated circuit package
JP4861303B2 (en) 2007-12-27 2012-01-25 株式会社日立製作所 Radar sensor
WO2010010486A1 (en) 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Distance measurement
DE102008054570A1 (en) 2008-12-12 2010-06-17 Robert Bosch Gmbh FMCW radar sensor for motor vehicles
WO2010092438A1 (en) 2009-02-13 2010-08-19 Freescale Semiconductor, Inc. Integrated circuit comprising frequency generation circuitry for controlling a frequency source
US20100207805A1 (en) 2009-02-19 2010-08-19 Agd Systems Limited Obtaining an indication of a number of moving objects passing speed detection apparatus
CN201438747U (en) 2009-05-18 2010-04-14 幻音科技(深圳)有限公司 Earplug earphone
CN101585361A (en) 2009-05-25 2009-11-25 郭文艺 Control device for preventing automobile from colliding and deviating roadway
WO2010147515A1 (en) 2009-06-17 2010-12-23 Telefonaktiebolage Lm Eriksson (Publ) A method for antenna calibration in a wideband communication system
WO2011004135A1 (en) 2009-07-07 2011-01-13 Elliptic Laboratories As Control using movements
CA2790083C (en) 2010-03-05 2017-08-22 University Of Windsor Radar system and method of manufacturing same
US8725085B2 (en) 2010-06-03 2014-05-13 Broadcom Corporation RF front-end module
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
JP5549560B2 (en) 2010-11-26 2014-07-16 富士通株式会社 FM-CW radar device and pairing method
US8538097B2 (en) * 2011-01-26 2013-09-17 Validity Sensors, Inc. User input utilizing dual line scanner apparatus and method
US8988299B2 (en) 2011-02-17 2015-03-24 International Business Machines Corporation Integrated antenna for RFIC package applications
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
DE102011075725A1 (en) 2011-05-12 2012-11-15 Robert Bosch Gmbh Method for recognizing gestures
US8860532B2 (en) 2011-05-20 2014-10-14 University Of Central Florida Research Foundation, Inc. Integrated cavity filter/antenna system
US9183686B2 (en) 2011-07-12 2015-11-10 Tyco Fire & Security Gmbh Method and system for people counting using passive infrared detectors
US9705204B2 (en) 2011-10-20 2017-07-11 Keyssa, Inc. Low-profile wireless connectors
EP2788838A4 (en) 2011-12-09 2015-10-14 Nokia Technologies Oy Method and apparatus for identifying a gesture based upon fusion of multiple sensor signals
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
CN102788969B (en) 2012-07-04 2015-01-28 中国人民解放军海军航空工程学院 Sea surface micromotion target detection and feature extraction method based on short-time fractional Fourier transform
US9678573B2 (en) 2012-07-30 2017-06-13 Microsoft Technology Licensing, Llc Interaction with devices based on user state
US20140070994A1 (en) 2012-09-13 2014-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. 3d short range detection with phased array radar
US9196951B2 (en) 2012-11-26 2015-11-24 International Business Machines Corporation Millimeter-wave radio frequency integrated circuit packages with integrated antennas
CN102967854B (en) 2012-12-07 2014-08-13 中国人民解放军海军航空工程学院 Multi-fractal detection method of targets in FRFT (Fractional Fourier Transformation) domain sea clutter
CN104871295B (en) 2012-12-26 2018-07-06 日立化成株式会社 Extended method, the manufacturing method of semiconductor device and semiconductor device
US8836596B2 (en) 2013-01-15 2014-09-16 Cubic Corporation Filter antenna
US9413079B2 (en) 2013-03-13 2016-08-09 Intel Corporation Single-package phased array module with interleaved sub-arrays
KR101480348B1 (en) 2013-05-31 2015-01-09 삼성에스디에스 주식회사 People Counting Apparatus and Method
US9459339B2 (en) 2013-06-13 2016-10-04 Texas Instruments Incorporated Kalman filter for indoor positioning
CN103529444A (en) 2013-09-27 2014-01-22 安徽师范大学 Vehicle-mounted millimeter-wave radar moving target recognizer and recognition method
US9900687B2 (en) 2013-10-07 2018-02-20 Gn Netcom A/S Earphone device with optical sensor
US9753131B2 (en) 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US9759807B2 (en) 2013-10-25 2017-09-12 Texas Instruments Incorporated Techniques for angle resolution in radar
US9336372B2 (en) * 2013-10-28 2016-05-10 Tencent Technology (Shenzhen) Company Limited Lost account information recovery method and associated apparatus and system
US9773742B2 (en) 2013-12-18 2017-09-26 Intel Corporation Embedded millimeter-wave phased array module
US20150181840A1 (en) 2013-12-31 2015-07-02 i4c Innovations Inc. Ultra-Wideband Radar System for Animals
JP2015141109A (en) 2014-01-29 2015-08-03 富士通テン株式会社 Radar device and signal processing method
US9704769B2 (en) 2014-02-27 2017-07-11 STATS ChipPAC Pte. Ltd. Semiconductor device and method of forming encapsulated wafer level chip scale package (EWLCSP)
CN203950036U (en) 2014-03-12 2014-11-19 肖令军 A kind of have people's depopulated helicopter anti-collision system based on millimetre-wave radar range finding
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
WO2015167260A1 (en) 2014-04-30 2015-11-05 Lg Innotek Co., Ltd. Touch device, wearable device having the same and touch recognition method
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9666553B2 (en) 2014-06-16 2017-05-30 Texas Instruments Incorporated Millimeter wave integrated circuit with ball grid array package including transmit and receive channels
US20170131395A1 (en) * 2014-06-25 2017-05-11 University Of Washington Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device
US10627480B2 (en) 2014-07-17 2020-04-21 Texas Instruments Incorporated Distributed radar signal processing in a radar system
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
EP2988192A1 (en) * 2014-08-20 2016-02-24 Posterfy Oy Apparatus for providing touchless user interface
US9784828B2 (en) 2014-08-27 2017-10-10 Texas Insturments Incorporated FMCW doppler processing algorithm for achieving CW performance
US10094920B2 (en) 2014-08-27 2018-10-09 Texas Instruments Incorporated Range resolution in FMCW radars
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10539669B2 (en) 2014-10-08 2020-01-21 Texas Instruments Incorporated Three dimensional (3D) tracking of objects in a radar system
US10634778B2 (en) 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
US20160118353A1 (en) 2014-10-22 2016-04-28 Infineon Techologies Ag Systems and Methods Using an RF Circuit on Isolating Material
US9733340B2 (en) 2014-11-21 2017-08-15 Texas Instruments Incorporated Techniques for high arrival angle resolution using multiple nano-radars
US9829566B2 (en) 2014-11-25 2017-11-28 Texas Instruments Incorporated Controlling radar transmission to enable interference mitigation
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US9921295B2 (en) 2014-12-30 2018-03-20 Texas Instruments Incorporated Multiple chirp generation in a radar system
US9696359B2 (en) 2014-12-31 2017-07-04 Texas Instruments Incorporated Dynamic measurement of frequency synthesizer noise spurs or phase noise
US10622694B2 (en) 2015-02-12 2020-04-14 Texas Instruments Incorporated Dielectric waveguide radar signal distribution
US9817109B2 (en) * 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
US20180071473A1 (en) 2015-03-16 2018-03-15 Mario Agostino FERRARIO Device for tracheal intubation
US10067221B2 (en) 2015-04-06 2018-09-04 Texas Instruments Incorporated Interference detection in a frequency modulated continuous wave (FMCW) radar system
US9835714B2 (en) 2015-04-09 2017-12-05 Texas Instruments Incorporated Circuit and method for impedance detection in millimeter wave systems
US10859675B2 (en) * 2015-04-20 2020-12-08 Resmed Sensor Technologies Limited Gesture recognition with sensors
CN107430444B (en) 2015-04-30 2020-03-03 谷歌有限责任公司 RF-based micro-motion tracking for gesture tracking and recognition
US9853365B2 (en) 2015-05-05 2017-12-26 Texas Instruments Incorporated Dynamic programming of chirps in a frequency modulated continuous wave (FMCW) radar system
US10613208B2 (en) 2015-05-15 2020-04-07 Texas Instruments Incorporated Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar
US20160349845A1 (en) * 2015-05-28 2016-12-01 Google Inc. Gesture Detection Haptics and Virtual Tools
US9806040B2 (en) 2015-07-29 2017-10-31 STATS ChipPAC Pte. Ltd. Antenna in embedded wafer-level ball-grid array package
US10048354B2 (en) 2015-08-13 2018-08-14 Texas Instruments Incorporated Chirp frequency non-linearity mitigation in radar systems
US10555256B2 (en) 2015-09-08 2020-02-04 Texas Instruments Incorporated Re-sampling with reduced power consumption and complexity
US10078131B2 (en) 2015-09-15 2018-09-18 Texas Instruments Incorporated Method and apparatus for FMCW radar processing
US9886095B2 (en) 2015-09-24 2018-02-06 Stmicroelectronics Sa Device and method for recognizing hand gestures using time-of-flight sensing
US10061015B2 (en) 2015-09-30 2018-08-28 Texas Instruments Incorporated Multi-chip transceiver testing in a radar system
US10234542B2 (en) 2015-09-30 2019-03-19 Texas Instruments Incorporated Measurement of transceiver performance parameters in a radar system
US10718852B2 (en) 2015-10-23 2020-07-21 Texas Instruments Incorporated RF/mm-wave peak detector with high-dynamic range calibration
US9759808B2 (en) 2015-11-12 2017-09-12 Texas Instruments Incorporated Buffer sample size control for variable chirp radar
KR102427185B1 (en) 2015-12-09 2022-08-01 삼성전자 주식회사 Method for operation of switch and electronic device supporting the same
US10746851B2 (en) 2015-12-18 2020-08-18 Texas Instruments Incorporated Circuits and methods for determining chirp signal linearity and phase noise of a FMCW radar
US10599518B2 (en) 2015-12-31 2020-03-24 Texas Instruments Incorporated Protecting data memory in a signal processing system
US10530053B2 (en) 2016-01-13 2020-01-07 Infineon Technologies Ag System and method for measuring a plurality of RF signal paths
US9965043B2 (en) 2016-01-27 2018-05-08 Wipro Limited Method and system for recommending one or more gestures to users interacting with computing device
US9575160B1 (en) * 2016-04-25 2017-02-21 Uhnder, Inc. Vehicular radar sensing system utilizing high rate true random number generator
US10514770B2 (en) 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
CN106980362A (en) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 Input method and device based on virtual reality scenario
US9935065B1 (en) 2016-12-21 2018-04-03 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1288661A (en) * 1970-06-22 1972-09-13
US20160320852A1 (en) * 2015-04-30 2016-11-03 Google Inc. Wide-Field Radar-Based Gesture Recognition
US20170054449A1 (en) * 2015-08-19 2017-02-23 Texas Instruments Incorporated Method and System for Compression of Radar Signals

Also Published As

Publication number Publication date
KR102597743B1 (en) 2023-11-06
CN109116313A (en) 2019-01-01
US10973058B2 (en) 2021-04-06
US20200221509A1 (en) 2020-07-09
US20180376509A1 (en) 2018-12-27
US10602548B2 (en) 2020-03-24
EP3418864B1 (en) 2022-03-02
EP3418864A1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
KR102597743B1 (en) System and method for gesture sensing
US11740323B2 (en) Power control for improved near-far performance of radar systems
US20220291335A1 (en) Radar data buffering
US10969908B2 (en) Using multiple signals to detect touch input
US10061453B2 (en) Detecting multi-touch inputs
EP2702470B1 (en) Method and apparatus for active acoustic touch devices
US10198097B2 (en) Detecting touch input force
US11009998B2 (en) Systems and methods for ultrasonic, millimeter wave and hybrid sensing
WO2013075137A1 (en) Detecting touch input force
US9880671B2 (en) Damping vibrational wave reflections
US20150355319A1 (en) Method, device and system for processing radar signals
JP7323279B2 (en) Apparatus and method for processing radar signals
JP6448179B2 (en) Radar equipment
IL293697A (en) Device and method for generating test data for testing a distance determination in an optical time-of-flight measurement
WO2023013285A1 (en) Signal processing device, ultrasonic wave system, and vehicle
KR20180118318A (en) Position recognition device, system, method using impulse and continuos electromagnetic wave and computer-readable recording medium on which a program for performing the method is recorded
JULIANO MPSoC FPGA-BASED RADAR WARNING RECEIVER AND DEINTERLEAVING PULSE ON PULSE ALGORITHMS
KR20230111121A (en) Continuous wave radar based distance measuring device and method
CN114966707A (en) Wearing detection method and system of wearable device
JP2023091893A (en) Signal processing device, ultrasonic system and vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant