JP2019511148A - 拡張現実システムにおいてオーディオを指向させるための技法 - Google Patents
拡張現実システムにおいてオーディオを指向させるための技法 Download PDFInfo
- Publication number
- JP2019511148A JP2019511148A JP2018539378A JP2018539378A JP2019511148A JP 2019511148 A JP2019511148 A JP 2019511148A JP 2018539378 A JP2018539378 A JP 2018539378A JP 2018539378 A JP2018539378 A JP 2018539378A JP 2019511148 A JP2019511148 A JP 2019511148A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- end user
- generation system
- control subsystem
- microphone assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000003190 augmentative effect Effects 0.000 title description 50
- 230000035945 sensitivity Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 23
- 210000003128 head Anatomy 0.000 description 18
- 239000013307 optical fiber Substances 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 210000000613 ear canal Anatomy 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、概して、拡張現実環境において使用され得るもの等の頭部装着型聴覚補助デバイスに関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実(VR)シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実(AR)シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う。
以下の説明は、拡張現実システムにおいて使用されることになるディスプレイシステムおよび方法に関する。しかしながら、本発明は、拡張現実システムにおける用途に非常に適しているが、本発明は、その最も広義の側面では、そのように限定されなくてもよいことを理解されたい。例えば、本発明は、仮想現実システムだけではなく、仮想または拡張現実体験をユーザに提示するためにディスプレイを利用しない、他の頭部装着型聴覚補助デバイスに適用されることができる。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。
Claims (38)
- エンドユーザによる使用のための聴覚補助装置であって、
実音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも1つのセンサと、
音を電気信号に変換するように構成される適応マイクロホンアセンブリと、
前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成される少なくとも1つのスピーカと、
前記エンドユーザの検出された焦点合わせに基づいて前記適応マイクロホンアセンブリの最大感度の方向および/または距離を修正するように構成される、制御サブシステムと、
を備える、聴覚補助装置。 - 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を修正するように構成される、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を修正するように構成される、請求項1に記載の聴覚補助装置。
- 前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの1つに従って、前記音を前記電気信号に変換するように構成される、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および/または距離に設定するように構成される、請求項1に記載の聴覚補助装置。
- 前記少なくとも1つのセンサは、カメラを備える、請求項1に記載の聴覚補助装置。
- 前記少なくとも1つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項1に記載の聴覚補助装置。
- 前記少なくとも1つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、請求項1に記載の聴覚補助装置。
- 前記少なくとも1つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項1に記載の聴覚補助装置。
- 前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、請求項1に記載の聴覚補助装置。
- 前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも1つのセンサと、前記マイクロホンアセンブリと、前記少なくとも1つのスピーカとを担持する、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向および/または距離を修正するように構成されるデジタル信号プロセッサ(DSP)を備える、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記実音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記電気信号を処理し、前記音を位置特定するように構成される、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記実音源から生じる音が強調され、および/または異なる音源から生じる音が強調解除されるように、前記電気信号を処理し、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、請求項1に記載の聴覚補助装置。
- 前記制御サブシステムは、前記電気信号を処理し、前記実音源から生じる第1の音の特性と異なる源から生じる第2の音の特性とを比較し、前記第1の音の特性と同じタイプの特性を有する音を強調し、前記第2の音と同じタイプの特性を有する音を強調解除するように構成される、請求項1に記載の聴覚補助装置。
- エンドユーザによる使用のための仮想画像生成システムであって、
3次元場面を記憶するメモリと、
音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも1つのセンサと、
音を前記エンドユーザに伝達するように構成される少なくとも1つのスピーカと、
前記少なくとも1つのスピーカに、前記音源への前記エンドユーザの焦点合わせの検出に応答して、他の音源から生じる音よりも前記音源から生じる音を優先的に伝達させ、前記3次元場面の複数の合成画像フレームをレンダリングするように構成される制御サブシステムと、
前記複数の画像フレームを前記エンドユーザに連続して表示するように構成されるディスプレイサブシステムと、
を備える、仮想画像生成システム。 - 前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるように構成される、請求項16に記載の仮想画像生成システム。
- 前記ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影させるように構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、請求項16に記載の仮想画像生成システム。
- 前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも1つのセンサと、前記適応マイクロホンアセンブリと、前記少なくとも1つのスピーカと、前記ディスプレイサブシステムとを担持する、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、グラフィック制御サブシステムユニット(GPU)を備える、請求項16に記載の仮想画像生成システム。
- 前記音源は、実音源である、請求項16に記載の仮想画像生成システム。
- 前記音を電気信号に変換するように構成される適応マイクロホンアセンブリをさらに備え、前記少なくとも1つのスピーカは、前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成され、前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および/または距離に設定するように構成される、請求項21に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を設定するように構成される、請求項22に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を設定するように構成される、請求項22に記載の仮想画像生成システム。
- 前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの1つに従って、前記音を前記電気信号に変換するように構成される、請求項22に記載の仮想画像生成システム。
- 前記音源は、仮想音源である、請求項16に記載の仮想画像生成システム。
- 前記3次元場面は、前記仮想音源を含み、前記メモリは、前記3次元場面の前記仮想音源と関連付けて合成音データを記憶し、前記制御サブシステムは、前記仮想音源への前記エンドユーザの焦点合わせの検出に応答して、前記仮想音源を他の音源から識別し、前記少なくとも1つのスピーカに、前記合成音データに従って、前記音を前記エンドユーザに伝達させるように構成される、請求項26に記載の仮想画像生成システム。
- 前記少なくとも1つのセンサは、カメラを備える、請求項16に記載の仮想画像生成システム。
- 前記少なくとも1つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項16に記載の仮想画像生成システム。
- 前記少なくとも1つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、請求項16に記載の仮想画像生成システム。
- 前記少なくとも1つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、請求項16に記載の仮想画像生成システム。
- 前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度に沿った方向および/またはその距離を修正するように構成されるデジタル信号プロセッサ(DSP)を備える、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記ディスプレイサブシステムに、前記エンドユーザが焦点合わせしている方向および/または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記ディスプレイサブシステムに、前記適応マイクロホンアセンブリの最大感度の方向および/または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、請求項22に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記音を位置特定するように構成される、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記音源から生じる音が強調され、および/または異なる音源から生じる音が強調解除されるように、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、請求項16に記載の仮想画像生成システム。
- 前記制御サブシステムは、前記音源から生じる第1の音の特性と異なる源から生じる第2の音の特性とを比較し、前記第1の音の特性と同じタイプの特性を有する音を強調し、前記第2の音と同じタイプの特性を有する音を強調解除するように構成される、請求項16に記載の仮想画像生成システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662291363P | 2016-02-04 | 2016-02-04 | |
US62/291,363 | 2016-02-04 | ||
PCT/US2017/016263 WO2017136580A1 (en) | 2016-02-04 | 2017-02-02 | Technique for directing audio in augmented reality system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024915A Division JP2020092448A (ja) | 2016-02-04 | 2020-02-18 | 拡張現実システムにおいてオーディオを指向させるための技法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019511148A true JP2019511148A (ja) | 2019-04-18 |
JP6904963B2 JP6904963B2 (ja) | 2021-07-21 |
Family
ID=59496440
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539378A Active JP6904963B2 (ja) | 2016-02-04 | 2017-02-02 | 拡張現実システムにおいてオーディオを指向させるための技法 |
JP2020024915A Pending JP2020092448A (ja) | 2016-02-04 | 2020-02-18 | 拡張現実システムにおいてオーディオを指向させるための技法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024915A Pending JP2020092448A (ja) | 2016-02-04 | 2020-02-18 | 拡張現実システムにおいてオーディオを指向させるための技法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10536783B2 (ja) |
EP (2) | EP3411873B1 (ja) |
JP (2) | JP6904963B2 (ja) |
CN (2) | CN108604439B (ja) |
AU (2) | AU2017215349B2 (ja) |
CA (2) | CA3007511C (ja) |
IL (3) | IL307306B2 (ja) |
NZ (1) | NZ743729A (ja) |
WO (1) | WO2017136580A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10129682B2 (en) * | 2012-01-06 | 2018-11-13 | Bacch Laboratories, Inc. | Method and apparatus to provide a virtualized audio file |
US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
US9980078B2 (en) | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
US11096004B2 (en) | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
EP4270166A3 (en) | 2017-02-28 | 2023-11-08 | Magic Leap, Inc. | Virtual and real object recording in mixed reality device |
US10531219B2 (en) | 2017-03-20 | 2020-01-07 | Nokia Technologies Oy | Smooth rendering of overlapping audio-object interactions |
US11074036B2 (en) | 2017-05-05 | 2021-07-27 | Nokia Technologies Oy | Metadata-free audio-object interactions |
US10165386B2 (en) * | 2017-05-16 | 2018-12-25 | Nokia Technologies Oy | VR audio superzoom |
JP2019054385A (ja) * | 2017-09-14 | 2019-04-04 | カシオ計算機株式会社 | 集音機器、補聴器、及び集音機器セット |
US11395087B2 (en) | 2017-09-29 | 2022-07-19 | Nokia Technologies Oy | Level-based audio-object interactions |
CA3078420A1 (en) * | 2017-10-17 | 2019-04-25 | Magic Leap, Inc. | Mixed reality spatial audio |
CN109753847B (zh) * | 2017-11-02 | 2021-03-30 | 华为技术有限公司 | 一种数据的处理方法以及ar设备 |
US10356362B1 (en) * | 2018-01-16 | 2019-07-16 | Google Llc | Controlling focus of audio signals on speaker during videoconference |
GB201800918D0 (en) * | 2018-01-19 | 2018-03-07 | Nokia Technologies Oy | Associated spatial audio playback |
IL305799B2 (en) | 2018-02-15 | 2024-10-01 | Magic Leap Inc | Mixed reality virtual reverberation |
US10542368B2 (en) | 2018-03-27 | 2020-01-21 | Nokia Technologies Oy | Audio content modification for playback audio |
KR20200136393A (ko) * | 2018-03-29 | 2020-12-07 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
US10848894B2 (en) | 2018-04-09 | 2020-11-24 | Nokia Technologies Oy | Controlling audio in multi-viewpoint omnidirectional content |
US10585641B2 (en) | 2018-04-30 | 2020-03-10 | Qualcomm Incorporated | Tagging a sound in a virtual environment |
WO2019212794A1 (en) * | 2018-05-03 | 2019-11-07 | Dakiana Research Llc | Method and device for sound processing for a synthesized reality setting |
CN109615703B (zh) * | 2018-09-28 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 增强现实的图像展示方法、装置及设备 |
WO2020071728A1 (ko) * | 2018-10-02 | 2020-04-09 | 한국전자통신연구원 | 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치 |
KR102458962B1 (ko) | 2018-10-02 | 2022-10-26 | 한국전자통신연구원 | 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치 |
US10739726B2 (en) * | 2018-10-03 | 2020-08-11 | International Business Machines Corporation | Audio management for holographic objects |
CN113747330A (zh) | 2018-10-15 | 2021-12-03 | 奥康科技有限公司 | 助听器系统和方法 |
US11979716B2 (en) | 2018-10-15 | 2024-05-07 | Orcam Technologies Ltd. | Selectively conditioning audio signals based on an audioprint of an object |
US11089402B2 (en) * | 2018-10-19 | 2021-08-10 | Bose Corporation | Conversation assistance audio device control |
CN109460120A (zh) * | 2018-11-17 | 2019-03-12 | 李祖应 | 一种基于声场定位的现实模拟方法及智能穿戴设备 |
US10595149B1 (en) * | 2018-12-04 | 2020-03-17 | Facebook Technologies, Llc | Audio augmentation using environmental data |
EP3709171A1 (en) * | 2019-03-13 | 2020-09-16 | Nokia Technologies Oy | Audible distractions at locations external to a device |
TWI716842B (zh) * | 2019-03-27 | 2021-01-21 | 美律實業股份有限公司 | 聽力測試系統以及聽力測試方法 |
GB2584837A (en) * | 2019-06-11 | 2020-12-23 | Nokia Technologies Oy | Sound field related rendering |
EP4022421A1 (en) * | 2019-08-26 | 2022-07-06 | Orcam Technologies Ltd. | Hearing aid system with differential gain |
CN114586382A (zh) | 2019-10-25 | 2022-06-03 | 奇跃公司 | 混响指纹估计 |
GB2589340A (en) * | 2019-11-27 | 2021-06-02 | Nokia Technologies Oy | Augmented reality system |
CN110956951A (zh) * | 2019-12-23 | 2020-04-03 | 苏州思必驰信息科技有限公司 | 一种语音增强采集配件、方法、系统、设备及存储介质 |
US11234090B2 (en) | 2020-01-06 | 2022-01-25 | Facebook Technologies, Llc | Using audio visual correspondence for sound source identification |
US11087777B1 (en) * | 2020-02-11 | 2021-08-10 | Facebook Technologies, Llc | Audio visual correspondence based signal augmentation |
US11432067B2 (en) * | 2020-03-23 | 2022-08-30 | Orcam Technologies Ltd. | Cancelling noise in an open ear system |
JP7456492B2 (ja) * | 2020-03-26 | 2024-03-27 | 日本電気株式会社 | 音声処理装置、音声処理システム、音声処理方法及びプログラム |
US11533443B2 (en) | 2020-06-29 | 2022-12-20 | Innovega, Inc. | Display eyewear with adjustable camera direction |
US11990129B2 (en) | 2020-06-29 | 2024-05-21 | Innovega, Inc. | Display eyewear with auditory enhancement |
EP3945735A1 (en) * | 2020-07-30 | 2022-02-02 | Koninklijke Philips N.V. | Sound management in an operating room |
US11493959B2 (en) * | 2020-08-17 | 2022-11-08 | Orcam Technologies Ltd. | Wearable apparatus and methods for providing transcription and/or summary |
US12186017B2 (en) | 2021-04-06 | 2025-01-07 | Innovega, Inc. | Automated contact lens design through image capture of the eye |
US11972592B2 (en) | 2021-04-06 | 2024-04-30 | Innovega, Inc. | Automated eyewear frame design through image capture |
US11604368B2 (en) | 2021-04-06 | 2023-03-14 | Innovega, Inc. | Contact lens and eyewear frame design using physical landmarks placed on the eye |
US11762219B2 (en) | 2021-04-06 | 2023-09-19 | Innovega, Inc. | Automated contact lens design through image capture of an eye wearing a reference contact lens |
JPWO2023047647A1 (ja) * | 2021-09-21 | 2023-03-30 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
JP2012503935A (ja) * | 2008-09-25 | 2012-02-09 | アルカテル−ルーセント ユーエスエー インコーポレーテッド | 自動操作型指向性補聴器およびその操作方法 |
US20120235886A1 (en) * | 2010-02-28 | 2012-09-20 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
JP2015198413A (ja) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | 収音システム及び放音システム |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8730129B2 (en) * | 1990-12-07 | 2014-05-20 | Dennis J Solomon | Advanced immersive visual display system |
US5901232A (en) * | 1996-09-03 | 1999-05-04 | Gibbs; John Ho | Sound system that determines the position of an external sound source and points a directional microphone/speaker towards it |
US6975991B2 (en) * | 2001-01-31 | 2005-12-13 | International Business Machines Corporation | Wearable display system with indicators of speakers |
US7269632B2 (en) | 2001-06-05 | 2007-09-11 | Xdyne, Inc. | Networked computer system for communicating and operating in a virtual reality environment |
KR100677601B1 (ko) | 2004-11-11 | 2007-02-02 | 삼성전자주식회사 | 메타 데이터를 포함하는 영상 데이터를 기록한 저장매체,그 재생장치 및 메타 데이터를 이용한 검색방법 |
JP5286667B2 (ja) * | 2006-02-22 | 2013-09-11 | コニカミノルタ株式会社 | 映像表示装置、及び映像表示方法 |
US20080231926A1 (en) | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
FR2915041A1 (fr) * | 2007-04-13 | 2008-10-17 | Canon Kk | Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants. |
US9703369B1 (en) | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
KR20090052169A (ko) * | 2007-11-20 | 2009-05-25 | 삼성전자주식회사 | 두부(頭部) 장착 디스플레이 |
EP2088802B1 (en) * | 2008-02-07 | 2013-07-10 | Oticon A/S | Method of estimating weighting function of audio signals in a hearing aid |
KR101547639B1 (ko) * | 2009-05-22 | 2015-08-27 | 삼성전자 주식회사 | 사운드 포커싱 장치 및 방법 |
JP5499633B2 (ja) * | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
US8819591B2 (en) | 2009-10-30 | 2014-08-26 | Accuray Incorporated | Treatment planning in a virtual environment |
WO2011106797A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
EP2368720B1 (en) | 2010-03-26 | 2018-10-24 | Provenance Asset Group LLC | Method to transform a virtual object into a real physical object |
JP2012029209A (ja) * | 2010-07-27 | 2012-02-09 | Hitachi Ltd | 音処理システム |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9529424B2 (en) | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
JP2012133250A (ja) * | 2010-12-24 | 2012-07-12 | Sony Corp | 音情報表示装置、音情報表示方法およびプログラム |
CN103563403B (zh) * | 2011-05-26 | 2016-10-26 | 皇家飞利浦有限公司 | 音频系统及方法 |
US20130222371A1 (en) | 2011-08-26 | 2013-08-29 | Reincloud Corporation | Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality |
US20140063061A1 (en) | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
EP2565664B1 (en) * | 2011-09-01 | 2017-02-22 | 9Solutions Oy | Adaptive location tracking system |
JP5969200B2 (ja) * | 2011-11-11 | 2016-08-17 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
US8781142B2 (en) * | 2012-02-24 | 2014-07-15 | Sverrir Olafsson | Selective acoustic enhancement of ambient sound |
US8831255B2 (en) * | 2012-03-08 | 2014-09-09 | Disney Enterprises, Inc. | Augmented reality (AR) audio with position and action triggered virtual sound effects |
WO2013144417A1 (en) * | 2012-03-29 | 2013-10-03 | Nokia Corporation | A method, an apparatus and a computer program for modification of a composite audio signal |
DE102012214081A1 (de) * | 2012-06-06 | 2013-12-12 | Siemens Medical Instruments Pte. Ltd. | Verfahren zum Fokussieren eines Hörinstruments-Beamformers |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CA2876335C (en) | 2012-06-11 | 2020-04-28 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US9544074B2 (en) | 2012-09-04 | 2017-01-10 | Broadcom Corporation | Time-shifting distribution of high definition audio data |
US8750541B1 (en) * | 2012-10-31 | 2014-06-10 | Google Inc. | Parametric array for a head-mountable device |
US20140146394A1 (en) | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
US10231614B2 (en) * | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
US10111013B2 (en) * | 2013-01-25 | 2018-10-23 | Sense Intelligent | Devices and methods for the visualization and localization of sound |
US20140240351A1 (en) | 2013-02-27 | 2014-08-28 | Michael Scavezze | Mixed reality augmentation |
US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
US9124990B2 (en) * | 2013-07-10 | 2015-09-01 | Starkey Laboratories, Inc. | Method and apparatus for hearing assistance in multiple-talker settings |
DE102013215131A1 (de) * | 2013-08-01 | 2015-02-05 | Siemens Medical Instruments Pte. Ltd. | Verfahren zur Verfolgung einer Schallquelle |
US9143880B2 (en) * | 2013-08-23 | 2015-09-22 | Tobii Ab | Systems and methods for providing audio to a user based on gaze input |
CN108209857B (zh) * | 2013-09-03 | 2020-09-11 | 托比股份公司 | 便携式眼睛追踪设备 |
US9848260B2 (en) * | 2013-09-24 | 2017-12-19 | Nuance Communications, Inc. | Wearable communication enhancement device |
US9271077B2 (en) * | 2013-12-17 | 2016-02-23 | Personics Holdings, Llc | Method and system for directional enhancement of sound using small microphone arrays |
CN103686565B (zh) * | 2013-12-29 | 2017-09-26 | 长城汽车股份有限公司 | 车内声音控制系统 |
US9716939B2 (en) * | 2014-01-06 | 2017-07-25 | Harman International Industries, Inc. | System and method for user controllable auditory environment customization |
US9516412B2 (en) * | 2014-03-28 | 2016-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Directivity control apparatus, directivity control method, storage medium and directivity control system |
EP3149960A4 (en) * | 2014-05-26 | 2018-01-24 | Vladimir Sherman | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals |
US9971492B2 (en) * | 2014-06-04 | 2018-05-15 | Quantum Interface, Llc | Dynamic environment for object and attribute display and interaction |
US9226090B1 (en) * | 2014-06-23 | 2015-12-29 | Glen A. Norris | Sound localization for an electronic call |
JP6421313B2 (ja) | 2014-07-28 | 2018-11-14 | 株式会社オーディオテクニカ | マイクロホン装置 |
US20160080874A1 (en) * | 2014-09-16 | 2016-03-17 | Scott Fullam | Gaze-based audio direction |
US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
US9654868B2 (en) * | 2014-12-05 | 2017-05-16 | Stages Llc | Multi-channel multi-domain source identification and tracking |
CN107001252B (zh) * | 2014-12-16 | 2019-04-26 | 3M创新有限公司 | 离子型二醇抗静电聚氨酯及其制备方法 |
US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
US11631421B2 (en) * | 2015-10-18 | 2023-04-18 | Solos Technology Limited | Apparatuses and methods for enhanced speech recognition in variable environments |
US10206042B2 (en) * | 2015-10-20 | 2019-02-12 | Bragi GmbH | 3D sound field using bilateral earpieces system and method |
US9949056B2 (en) * | 2015-12-23 | 2018-04-17 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene |
US9905244B2 (en) * | 2016-02-02 | 2018-02-27 | Ebay Inc. | Personalized, real-time audio processing |
-
2017
- 2017-02-02 IL IL307306A patent/IL307306B2/en unknown
- 2017-02-02 CA CA3007511A patent/CA3007511C/en active Active
- 2017-02-02 EP EP17748174.4A patent/EP3411873B1/en active Active
- 2017-02-02 US US15/423,415 patent/US10536783B2/en active Active
- 2017-02-02 EP EP22176653.8A patent/EP4075826A1/en active Pending
- 2017-02-02 AU AU2017215349A patent/AU2017215349B2/en active Active
- 2017-02-02 WO PCT/US2017/016263 patent/WO2017136580A1/en active Application Filing
- 2017-02-02 JP JP2018539378A patent/JP6904963B2/ja active Active
- 2017-02-02 IL IL283975A patent/IL283975B2/en unknown
- 2017-02-02 CN CN201780009744.1A patent/CN108604439B/zh active Active
- 2017-02-02 NZ NZ743729A patent/NZ743729A/en unknown
- 2017-02-02 CA CA3206524A patent/CA3206524C/en active Active
- 2017-02-02 CN CN202111504258.1A patent/CN114189793B/zh active Active
-
2018
- 2018-06-18 IL IL260113A patent/IL260113B/en active IP Right Grant
-
2020
- 2020-02-18 JP JP2020024915A patent/JP2020092448A/ja active Pending
-
2022
- 2022-03-15 AU AU2022201783A patent/AU2022201783B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012503935A (ja) * | 2008-09-25 | 2012-02-09 | アルカテル−ルーセント ユーエスエー インコーポレーテッド | 自動操作型指向性補聴器およびその操作方法 |
US20120235886A1 (en) * | 2010-02-28 | 2012-09-20 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
JP2015198413A (ja) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | 収音システム及び放音システム |
Also Published As
Publication number | Publication date |
---|---|
IL260113B (en) | 2021-06-30 |
IL307306A (en) | 2023-11-01 |
AU2017215349A1 (en) | 2018-07-12 |
AU2022201783B2 (en) | 2023-06-29 |
CA3206524C (en) | 2024-02-13 |
EP4075826A1 (en) | 2022-10-19 |
CA3007511A1 (en) | 2017-08-10 |
CN114189793B (zh) | 2024-03-19 |
CN114189793A (zh) | 2022-03-15 |
IL307306B2 (en) | 2024-11-01 |
US20170230760A1 (en) | 2017-08-10 |
CA3206524A1 (en) | 2017-08-10 |
CA3007511C (en) | 2023-09-19 |
JP6904963B2 (ja) | 2021-07-21 |
CN108604439B (zh) | 2021-12-28 |
IL283975B1 (en) | 2023-10-01 |
IL283975A (en) | 2021-07-29 |
NZ743729A (en) | 2022-10-28 |
EP3411873B1 (en) | 2022-07-13 |
IL307306B1 (en) | 2024-07-01 |
IL260113A (en) | 2018-07-31 |
AU2017215349B2 (en) | 2021-12-16 |
EP3411873A4 (en) | 2019-01-23 |
JP2020092448A (ja) | 2020-06-11 |
IL283975B2 (en) | 2024-02-01 |
US10536783B2 (en) | 2020-01-14 |
KR20180109910A (ko) | 2018-10-08 |
WO2017136580A1 (en) | 2017-08-10 |
AU2022201783A1 (en) | 2022-04-07 |
EP3411873A1 (en) | 2018-12-12 |
CN108604439A (zh) | 2018-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022201783B2 (en) | Technique for directing audio in augmented reality system | |
JP7578755B2 (ja) | 複合現実デバイスにおける仮想および実オブジェクトの記録 | |
JP7165215B2 (ja) | 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム | |
JP6017854B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
US9706292B2 (en) | Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images | |
JP2022538714A (ja) | 人工現実環境のためのオーディオシステム | |
JP2019511734A (ja) | 仮想/拡張現実システムにおける偏波維持光ファイバ | |
CN110267166B (zh) | 一种基于双耳效应的虚拟声场实时交互系统 | |
US11812222B2 (en) | Technique for directing audio in augmented reality system | |
WO2020026548A1 (ja) | 情報処理装置及び情報処理方法、並びに音響システム | |
KR102767806B1 (ko) | 증강 현실 시스템에서 오디오를 지향시키기 위한 기법 | |
WO2024196673A1 (en) | Far-field noise reduction via spatial filtering using a microphone array |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |