Nothing Special   »   [go: up one dir, main page]

JP2015515873A - 遠隔検出される特性信号から情報を抽出するデバイス及び方法 - Google Patents

遠隔検出される特性信号から情報を抽出するデバイス及び方法 Download PDF

Info

Publication number
JP2015515873A
JP2015515873A JP2015509526A JP2015509526A JP2015515873A JP 2015515873 A JP2015515873 A JP 2015515873A JP 2015509526 A JP2015509526 A JP 2015509526A JP 2015509526 A JP2015509526 A JP 2015509526A JP 2015515873 A JP2015515873 A JP 2015515873A
Authority
JP
Japan
Prior art keywords
signal
frame
frames
derived
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015509526A
Other languages
English (en)
Other versions
JP2015515873A5 (ja
JP6138920B2 (ja
Inventor
クリス ダムカト
クリス ダムカト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015515873A publication Critical patent/JP2015515873A/ja
Publication of JP2015515873A5 publication Critical patent/JP2015515873A5/ja
Application granted granted Critical
Publication of JP6138920B2 publication Critical patent/JP6138920B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本発明は、遠隔検出された特性信号から情報を抽出するデバイス及び方法に関する。対象物12によって発射又は反射される電磁放射14からデータストリーム24が得られる。データストリーム24はフレーム66,70,92,94;108,110,112,122,124;164,166,168のシーケンスを含み、フレームの少なくとも一部は、対象物12に帰属する関心領域56を表すフレームセクション68,72;174,180,186を含む。関心領域56は、少なくとも1つの少なくとも部分的に周期的な生体信号20;208を示す生理学的情報200を含む連続又は離散特性信号136;192を表す。フレーム66,70,92,94;108,110,112,122,124;164,166,168のシーケンスは、望ましくない対象物の動きを少なくとも部分的に示す妨害信号部分を更に含む。特性信号136;192は、前記フレーム66,70,92,94;108,110,112,122,124;164,166,168のシーケンスの少なくとも一部のフレームから次元削減を介して派生信号形態78,88,98,100,102;172,176を導出することにより安定化され得る。現在の派生信号形態88,98,100,102;176の先の派生信号形態78,172に対する位置シフト74,178が推定され得る。推定された位置シフト74,178を考慮して、現在のフレームセクション72;180,186が決定され得る。したがって、望ましくない対象物の動きを少なくとも部分的に補償するために関心領域56がトラックされることができる。結果として、妨害信号部分を少なくとも部分的に補償することができる。決定されたフレームセクション68,72;174,180,186のシーケンスを考慮して、フレーム66,70,92,94;108,110,112,122,124;164,166,168のシーケンスから特性信号136;192を抽出できる。

Description

本発明は、電磁放射から得られるデータストリーム内に含まれる特性(特徴)信号であって、遠隔検出される特性信号から情報を抽出するためのデバイス及び方法に関連し、特に、データストリームは、少なくとも1つの少なくとも部分的に周期的な生体(バイタル)信号を示す生理学的情報を含む連続又は離散特性信号を含む。
WO2011/021128A2は、
−画像のシーケンスを取得するステップと、
−前記画像のシーケンスの少なくとも1つに対して視覚に基づく解析を実行し、前記画像内に表される対象物の状態を分類するためのデータを取得するステップと、
−前記画像のシーケンスの少なくとも1つに表されている生物の生理学的パラメータの少なくとも1つの値を決定するステップであって、前記生理学的パラメータの前記少なくとも1つの値は、前記視覚に基づく解析が実行された前記少なくとも1つの画像が取得されたシーケンスと同じシーケンスからの画像データを解析することにより決定される、ステップと、
−前記視覚に基づく解析により得られた前記データ及び前記生理学的パラメータの前記少なくとも1つの値を用いて前記対象物の状態を分類するステップと
を含む、画像解析のための方法及びシステムを開示する。
上記文献は、上記方法及びシステムのいくつかの改良を更に開示する。例えば、リモート・フォトプレチスモグラフィ(photoplethismographic;PPG)解析の使用が想定される。
WO2011/042858A1は、生物の周期的現象を表す成分を少なくとも含む信号の処理に係る他の方法及びシステムを開示する。リモートフォトプレチスモグラフィに対する更なる基本的アプローチが、Optics Express, Optical Society of America, Washington, D.C., USA, Volume 16, No.26, 21434-21445頁のVerkruysse, W. et al.(2008), “Remote plethysmographic imaging using ambient light”に記載されている。
とはいえ、捕捉された反射又は出射電磁放射等の記録データ(例えば、記録画像フレーム)は常に、抽出されるべき所望の信号の他に、全体的妨害に由来する他の信号成分、例えば輝度条件の変化又は観察対象物の動きによるノイズ等を含む。したがって、所望の信号の高度に精密な抽出は、依然としてかかるデータの処理に大きな課題を課す。
計算能力(処理能力)の分野では大きな進歩が遂げられているが、所望の生体信号の即時の検出、又はいわばオンライン検出を可能にする即時の画像認識及び画像処理を提供することは依然として難しい。これは、未だ十分な計算能力に欠けるモバイルデバイスアプリケーションに特に当てはまる。また、いくつかの環境ではデータ伝送能力が制限され得る。例えば、多くのモバイルユーザが依然としていわゆる「pay as you go」(プリペイド式)契約に頼っている。したがって、データ量及び計算コストを抑えるニーズが依然として存在する。
この課題に対して取り得るアプローチは、信号を覆う妨害信号成分を最小化するために、所望の信号成分が埋め込まれている目的の信号を捕捉するとき、周到に準備された安定した周囲条件を提供することを狙いとし得る。しかし、多くの労力及び準備作業が求められるため、かかる実験室条件を日常の現場用途に移すことはできない。
更に、妨害信号成分の振幅及び/又は公称値が抽出されるべき所望の信号成分の振幅及び/又は公称値よりはるかに大きい場合、生体信号検出は一層難しくなる。リモートPPGの分野では、成分間の差は数桁を含むことさえ予想され得る。
したがって、本発明の一目的は、所望の信号をより高い精度で、更に、好ましくは低減された計算労力で取得することを容易にする更なる改良を提供する、遠隔検出された特性信号から情報を抽出するためのシステム及び方法を提供することである。
また、非常に劣悪な周囲条件、例えば、観察対象物の安定した若しくは場合によっては不安定な動き、又は測定デバイス自体の動きに少なくとも部分的に起因する低いS/N比等の条件下で所望の信号のロバストな抽出を可能にするよう更に適合されたデバイス及び方法を提供することは好適であろう。処理及び分析されるべき捕捉された信号に影響を及ぼす妨害をより受けにくいよう適合されたデバイスを提供することも好適であろう。
本発明の一側面において、遠隔検出される特性信号から情報を抽出するデバイスであって、前記デバイスは、
−対象物によって発射又は反射された電磁放射から得られるデータストリームを受信するインターフェイスであって、データストリームはフレームのシーケンスを含み、フレームの少なくとも一部は対象物に帰属する関心領域を表すフレームセクションを含み、関心領域は生理学的情報を含む連続又は離散特性信号を示し、生理学的情報は少なくとも1つの少なくとも部分的に周期的な生体信号を示し、フレームのシーケンスは望ましくない対象物の動きを少なくとも部分的に示す妨害信号部分を更に含み、妨害信号部分は特性信号に不利な影響を与える、インターフェイスと、
−フレームのシーケンスの少なくとも一部のフレームから次元削減を介して派生信号形態を導出するコンバータであって、派生信号形態は、位置情報を示す第1の信号成分及び第2の信号成分を少なくとも含む、コンバータ、
−先の派生信号形態に対する現在の派生信号形態の位置シフトを推定する比較器であって、位置シフトは望ましくない対象物の動きを表す、比較器、及び
−推定された位置シフトを考慮して現在のフレームセクションを決定する補償器であって、現在のフレームセクションは少なくとも部分的に関心領域を表し、望ましくない対象物の動きを少なくとも部分的に補償するために関心領域がトラックされることを可能にする、補償器を含む、安定化処理手段と、
−決定されたフレームセクションのシーケンスを考慮して、フレームのシーケンスから特性信号を抽出する抽出器とを含み、特性信号は、電磁放射の特性を表す信号空間に関連付けられる、デバイスが提示される。
対象物の動きは、特に即時の信号検出が要求される場合、及び/又は計算能力が制限される場合、信号検出に大きな課題を課す。計算能力は依然として生体信号検出のボトルネックであると考えられ、特にモバイルデバイスが使用される場合に当てはまる。また、対象物の動きは照明変化及び関連する妨害を引き起こす可能性があり、これらは特性信号に更なる悪影響を及ぼす。したがって、動き補償に取り組むことは有益である。
上記で提示されるデバイスは、好適な動き補償アルゴリズムを実行するよう構成される。通常、動き補償は膨大な計算能力及びコストを要する。このため、即時の動き補償は、特にモバイルデバイスにおいて達成するのが困難である。例えば、動き補償はシーケンスの個々のフレーム毎に顔検出を適用することに基づき得る。結果として、モニタリング及び観察対象物がそれに従ってトラックされることができる。しかし、一般的なモバイルデバイスの計算能力を考えると、顔検出には時間がかかり、生体信号の即時の検出のために実行することはほとんど不可能である。本明細書で使用される場合、即時の検出はほぼ即時の検出も含むと理解されたい。言い換えれば、ユーザが考慮すべき時間遅延を認識しない場合、信号検出は即時であると考えることができる。
高価な最先端のモバイルデバイスは、実際に顔検出アプローチを実装することが知られている。しかし、かかる従来のアプローチは持続的な顔検出及びトラッキングではなく、唯一の(又は単一の)検出ランを対象とする。例えば、ロックされたデバイスを選択的に「解除」するために顔検出が使用され得る。とはいえ、これらのアプローチはエラーを起こしやすい。例えば、かなり良好な照明条件下での正面又は正面に近い顔の検出は可能であるが、対象物の誤った方向及び/又は乏しい照明条件により、顔検出はしばしば失敗する。
したがって、上記で提示されるアプローチは、動き補償がフレーム毎の(又は大部分のフレームにおける)顔検出等を要さないという点で有益である。これは、根本的な問題を相当に単純化された「代替」問題に転換することにより達成される。
例えば、計算時間がかかる画像処理を単純化された派生(導出)要素の処理に転換することができる。言い換えれば、好ましい一実施形態によれば、2次元画像処理タスクを2つの1次元計算タスクに転換することができる。
このアプローチは、所与の2次元(画像)パターンから導出される少なくとも2つの特性1次元パターンが、観察対象物の位置シフト推定を可能にするのに十分な位置情報を含み得るという洞察に基づく。また、デバイスは追跡対象物の性質を「知る」必要がない。それにも関わらず、特性1次元パターンを経時的に観察(比較)することにより、位置シフトを推定できる。例えば、対象物の観察の開始時に関心領域を表すフレームセクションを選択することができる。この選択は手動で実行してもよく、パターン検出アルゴリズムを用いて実行してもよい。しかし、初期フレームセクション選択は、トラックされるべき基準セクションを決定するための実質的に唯一の処理であると考えられる。後続の動き補償は、トラックされるべきフレームセクションの代替物を含むフレームの代替物に基づく。代替物、すなわち派生信号形態は、容易に計算及び処理できる。特に、各フレーム毎に(選択されたフレームセクションの背後にある)関心領域を明確にモデリングする必要はない。
良く知られるパターン検出アプローチは、基本的には、対象物の特定の明確に区別される領域が観察されることを要することに留意されたい。例えば、いくつかの画像処理デバイス、例えばデジタルカメラの顔検出及び/又はスマイル検出機能に既に実装されている従来のアルゴリズムは目、鼻、及び口を検出することができるので、人の顔がかかる区別される領域として考えられる。しかし、興味深い生体信号は、対象物の顔を必ずしも含まない対象物の異なる領域(部位)によっても表される。例えば、対象物の顔(顔全体ではなく)、首、腕、又は場合によっては手の肌の部分にリモートPPGを適用することができる。したがって、上記で提示されるアプローチは画像毎の顔検出等に基づくアプローチよりはるかに柔軟である。
また、上記に提示されるアプローチによれば、2つ以上の関心領域のトラッキングも可能であることに留意されたい。複数の関心領域は同じ又は異なる観察対象物にさえ属し得る。基本的には、代替派生信号形態は依然としてフレーム全体の位置情報を含む。したがって、比較器及び補償器が適切に適合されれば、2つ以上の関心領域がトラックされることができる。この目的のために、先の派生信号形態に対する現在の派生信号形態の2つ以上の特性シフトを推定するよう比較器を構成することができる。これに従い、トラックされる関心領域の推定位置シフトを考慮して、2つ以上の現在のフレームセクションを決定するよう補償器を構成できる。
対象物の動きは、デバイスに対する観察対象物の動き、及び反対に、対象物に対するデバイスの動きを含み得る。したがって、対象物の動きという用語は、対応して補償され得る対象物とデバイスとの間の相対的な動きを含む。
フレームのシーケンスは、RGB画像等の色情報を含む一連の画像フレームにより具現化され得る。画像フレームは、対象物及び他の要素を表し得る。基本的には、他の要素の少なくとも一部は特性信号から抽出されるべき所望の信号を表さない。
抽出器、並びにコンバータ、比較器、及び補償器を含む安定化処理手段の様々な実施形態が存在する。第1の、相当に単純な実施形態では、安定化処理手段及び抽出器はいずれも処理ユニットによって、特に各論理コマンドによって駆動(又は制御)されるモバイルデバイスの処理ユニットにより具現化される。かかる処理ユニットは適切な入出力インターフェイスも含み得る。
しかし、代わりに、コンバータ、比較器、及び補償器を含む安定化処理手段のそれぞれが別々の処理ユニットによって具現化されてもよく、又は各コマンドによって制御可能でもよい。よって、各処理ユニットをその特定の目的に適合させてもよい。結果として、タスクの分散を適用することができ、別々のタスクはマルチプロセッサ処理ユニットの単一のプロセッサ上で処理(又は実行)されるか、又は画像処理関連タスクが画像プロセッサ上で実行される一方、他の演算(動作)タスクは中央処理装置上で実行される。
好適な一実施形態によれば、デバイスは、特性信号の時間変動を決定し、特性信号内に含まれる生理学的情報によって表される少なくとも1つの少なくとも部分的に周期的な生体信号を検出するためのアナライザーを更に含む。
アナライザーが同じく中央処理装置によって、又は少なくとも、論理コマンドによって各々制御されるマルチプロセッサ処理ユニットの一部によって具現化されることは合理的である。当然ながら、少なくとも1つの少なくとも部分的に周期的な生体信号の検出の前に特性信号に他の信号最適化手段を適用してもよい。このようにすることで、所望の生体信号を実質的に示さない更なる妨害信号成分をデータストリームから減衰又は除去さえできる。
デバイスの他の側面によれば、コンバータは、フレームのシーケンスの少なくとも一部のフレームの第1の方向及び第2の方向に沿ってフレーム実体を集積して派生信号形態を導出し、第1の信号成分はフレーム行の次元が減らされたマッピングを好ましくは含み、第2の信号成分はフレーム列の次元が減らされたマッピングを好ましくは含む。
言い換えれば、フレーム実体を、異なる方向を備える第1の方向及び第2の方向の直線に沿って投影することができる。好ましくは、第1の方向と第2の方向とは互いに直角である(例えば、水平及び垂直)。投影は、フレームの行及び列に沿うフレーム実体(例えば、RGBそれぞれの値)を積分又は積算することを含み得る。
本明細書で使用される場合、実体(エンティティ)は単一のピクセル又はピクセルの部分集積(agglomeration)を含み得る。実体(ピクセル)の行列を仮定すると、フレームはピクセルパターンを含み得る。言い換えれば、各フレームがマトリックス構造を含み得る。あるいは、フレームはハニカム構造を含んでもよい。当然ながら、他の形状も想定される。フレームの行列は座標系、好ましくはデカルト座標系に従って配置され得る。あるいは、極座標系、他の適切な座標系、及びこれらの派生物を使用することもできる。
当然ながら、次元削減の前に、オリジナルのフレームの座標系に座標変換を適用してもよい。したがって、処理されるべき行列が単純な位置情報を示すよう、処理されるべきフレームセクションを適切な方向に移行させることができる。例えば、フレーム内に存在する対象物に帰属する端部(辺)(又は対象物−背景間の遷移部)を、派生物のために処理されるべき行又は列に少なくとも実質的に直交するよう位置合わせしてもよい。通常、基本的に直交する(例えば、水平又は垂直)端部(辺)は、検出及び処理が容易な強い位置情報信号をもたらし得る。また、対象物に帰属する高コントラスト領域も強い位置情報信号をもたらす。
デバイスの他の側面によれば、少なくとも1つの少なくとも部分的に周期的な生体信号は、心拍数、心拍、呼吸レート、心拍数変動、Traube-Hering-Mayer波、及び酸素飽和度からなる群から選択される。
好適には、かかる生体信号の少なくとも一部が相互に変換され得る。例えば、特性信号は対象物の肌の色を表す個々のピクセル又はピクセルパターンのRGB値を含み得る。これらの値の経時的なわずかな変化を生理学的情報と呼ぶことができる。特性信号の処理及び分析は、目的の生体信号の検出を可能にする。例えば、特性信号のわずかな振動を分析及び解釈して、心拍又は心拍数信号の検出にたどり着くことができる。また、通常、所望の生体信号は、対象物が表す少なくとも1つの少なくとも部分的に周期的な信号から直接又は間接的に得られることを理解されたい。当然ながら、本発明のデバイス(及び方法)を他の検出及び分析手段と組み合わせて、抽出信号を更に改良することができる。
目的の生体信号を検出するために、リモートフォトプレチスモグラフィは様々なアプローチを利用し得る。例えば、特にフレームがRGB値又は同様の色情報を含む場合、赤色(R)信号と緑色(G)信号との間の比が求められ得る。この比は、抽出されるべき所望の信号を良く示すと考えられる。また、赤色及び緑色信号がそれぞれの(時間)平均値により除算されるノーマライゼーションを適用してもよい。ノーマライゼーションは、信号成分を全体的な妨害から少なくとも部分的に独立させ得る。他のアプローチによれば、目的の生体信号を抽出するために、赤色(R)信号と赤外線(IR)信号との間の比を入念に検討することもできる。
目的の生体信号は離散値、例えば心拍数値(心拍/分)を含み得る。あるいは、更なる結論を得るために、経時的な信号波形も興味深い可能性がある。
デバイスの他の側面によれば、信号空間は、少なくとも2つの相補的チャネルを含む色信号空間であり、少なくとも2つの相補的チャネルは所定のスペクトル部分に関連し、特性信号は少なくとも2つの主成分を含み、それぞれが対応する相補的チャネルに関連する。
一例示的実施形態では、信号空間はRGB信号空間又はその派生であり得る。したがって、信号空間は特性信号の3つの主成分の各値を表す3成分を含み得る。選択可能な信号空間は、CIE XYZ、HSV、HSL、sRGB、及びxvYCC信号を含み得る又はから導出され得る。また、これらの派生を使用することもできる。基本的には、所望の信号の検出のためにリニアRGB信号が使用され得ることに留意されたい。したがって、非線形信号空間(例えば、ガンマ補正された信号)はこれに従って変換され得る。必要な分析処理のためにより広いスペクトルベースを与えるために、少なくとも部分的に、いくつかの異なる信号空間を組み合わせることも想定できる。例えば、いわゆるRGBY信号を適用することもできる。RGBY信号空間では、赤色、緑色、及び青色に加えて、黄色信号が色情報を運び得る。入力データストリームが主観色モデル、例えばCMYKに関連する場合、これに従い、付加的な信号空間にたどり着くようデータを変換できる。データストリームから所望の生体信号を抽出するために他のスペクトル成分を使用することもできる。この文脈では、赤外線又は近赤外線成分を適用することもできる。例えば、赤色信号と赤外線信号との間のある比が所望の信号を良く示し得る。
更に好ましくは、信号空間は、少なくとも部分的に周期的な生体信号が、特性信号の少なくとも2つの主成分の少なくとも1つ主成分のわずかな経時的変動に含まれるよう構成される。
情報を抽出するためのデバイスの他の実施形態によれば、コンバータは、更に、初期段階中にフレームのシーケンスのフレームから基準派生信号形態を導出し、基準派生信号形態は、基準位置情報を示す第1の基準成分及び第2の基準成分を少なくとも含み、比較器は、更に、後続の段階中、複数の後続派生信号形態の基準派生信号形態に対するそれぞれの位置シフトを推定する。
言い換えれば、複数の後続フレームのそれぞれの派生信号波形が、信号処理プロセスの開始時に処理された単一の(又は固定の)基準フレームにトレースバック(又はリンク)され得る。例えば、(固定の)基準派生信号形態を導出するためにシーケンスの最初のフレームを処理することができる。したがって、安定化処理のための確かなベースを与えるよう、基準信号波形(又は第1の基準成分及び第2の基準成分)がバッファされ得る。このようにすることで、基準としての変動する派生信号波形の持続的な計算を要する「ローリング」処理プロセスを回避することができる。
これは、欠陥があるフレームは基準派生信号形態を導出するためのベースとはなり得ず、後続フレームの後続フレームセクションを決定することを妨げ得るという点に関して有益である。本明細書で使用される場合、欠陥フレームは、関心領域のエラー表現を含むと考えられる。例えば、欠陥フレームはオクルージョン、例えば対象物を隠す他の物体を含み得る。欠陥フレームは(画像)干渉、例えばノイズ等によって悪影響を及ぼされ得る。また、欠陥フレームでは、対象物がフレームの捕捉(取り込み)領域外に位置し得る。また、欠陥がある画像において対象物は曲がっていたり、捻じれていたり、回転していたり、不利に方向付けられている可能性がある。
この文脈において、デバイスは、処理プロセス全体を通じて基準派生信号形態をバッファするよう適合されたバッファ手段を更に含むことが好ましい。このようにすることで、シフト推定及び動き補償の確かなベースを提供することができる。処理されるべきシーケンスの現在のフレーム毎に所定の間隔(又はシーケンス間隔)を有するフレームから基準派生信号形態を導出しなくてもよい。
この実施形態は、安定化処理手段が更に、後続の段階中、フレームから少なくとも1つの他の基準派生信号形態が導出され得るようコンバータをトリガーするよう更に発展され得る。
例として、経過時間(期間)、処理フレーム数、及び他のプロセスパラメータを含む群からトリガーイベントが選択され得る。したがって、トリガーイベントは基本的には周期的であり得る。一方、非周期的トリガーを適用することもできる。例えば、所定の数の欠陥フレームが処理されたときに新たな基準派生信号を導出するようコンバータ手段がトリガーされてもよい。他の品質関連トリガーイベントも想定できる。このようにすることで、処理期間をいくつかの部分期間に分割することができ、各部分期間が、その期間中、位置シフト推定のためのベースとなる基準派生信号を含む基準フレームを有する。好ましくは、手動トリガーも許容され得る。このようにすることで、ユーザが信号処理プロセスを再開(又はリフレッシュ)することができる。
デバイスの他の実施形態によれば、安定化処理手段は、更に、初期段階中、フレームのシーケンスの少なくとも1つのフレームにおいて関心領域を少なくとも部分的に表すフレームセクションを決定するパターン検出器を含み、基準フレームセクションとして初期フレームセクションを決定し得る。
また、この実施形態では、単一のフレーム、又は処理フレームの絶対数に対して少数のフレーム(例えば、基準フレーム)にのみパターン検出が要求されることを理解されたい。
好ましくは、コンバータのトリガリングが同時に(自動)パターン検出もトリガーするよう、パターン検出器は安定化処理手段に結合され得る。例えば、欠陥フレームのために変位推定が失敗する場合にこれが開始され得る。パターン検出器は顔検出、肌検出等のために構成され得る。
他の実施形態によれば、安定化処理手段は、更に、現在の絶対シフト推定及び/又は現在のシフト推定の経時的一貫性を考慮して推定位置シフト値を補正するバイアス手段を含む。
推定位置シフト値の補正は、相当に大きなオフセット及び/又は経時的に一貫性のない変位推定に由来するシフト値への影響を減らすことを含み得る。バイアス関数の適用については様々な仮定が考えられ、その一部が後述される。
デバイスの他の好ましい側面によれば、デバイスは、フレームのシーケンスを含むデータストリームを捕捉することができる一体的なセンサ手段を含む。
好ましくは、デバイスは携帯電話、PDA(personal digital assistant)、モバイルコンピュータ、モバイルタブレット、及び/又はモバイル専用若しくは多目的メディカルスキャン若しくはモニタリングデバイス等のモバイルデバイスである。また、デバイスは乗り物内に一体的部品として又は取り外し可能な搭載機器として配置されてもよい。
デバイスの他の実施形態によれば、情報を抽出するためのデバイスは、特性信号の成分を選択的に減衰又は強化させるためのフィルタを更に含む。
例えば、0.05Hz−10Hz、好ましくは0.5Hz−3.5Hzの帯域幅の信号成分を増強するための周波数フィルタを使用してもよい。これは、心拍測定のために特に適した範囲であると考えられ得る。呼吸レート測定のためには、例えば、範囲は約0.1Hz−約2Hzの周波数値を含んでもよい。Traube-Hering-Mayer波の検出のためには、範囲は約0.05Hz−約0.2Hzの周波数値を含んでもよい。処理された信号の後処理フィルタリングは、SN比を更に向上できる。このようにすることで、所望の生体信号を示さない更なる妨害信号成分をデータストリームから除外できる。
代わりに、又は加えて、リカーシブ(再帰又は巡回)時間フィルタを適用してもよい。例えば、デバイスは、特性信号の成分に選択的に影響を与えるための重み付け手段を更に含んでもよい。この文脈において、目的の生体信号は特性信号によって表される生理学的情報のわずかな変動に含まれていると考えられ得ることを思い出されたい。全体的な妨害は、目的の所望の信号よりはるかに振幅が大きいと予測され得る。
本発明の他の側面では、遠隔検出される特性信号から情報を抽出する方法であって、前記方法は、
−対象物によって発射又は反射された電磁放射から得られるデータストリームを受信するステップであって、データストリームはフレームのシーケンスを含み、フレームの少なくとも一部は対象物に帰属する関心領域を表すフレームセクションを含み、関心領域は生理学的情報を含む連続又は離散特性信号を表し、生理学的情報は少なくとも1つの少なくとも部分的に周期的な生体信号を示し、フレームのシーケンスは望ましくない対象物の動きを少なくとも部分的に示す妨害信号部分を更に含み、妨害信号部分は特性信号に不利に影響する、ステップと、
−フレームのシーケンスの少なくとも一部のフレームから次元削減を介して派生信号形態を導出するステップであって、派生信号形態は、位置情報を示す第1の信号成分及び第2の信号成分を少なくとも含む、ステップ、
−先の派生信号形態に対する現在の派生信号形態の位置シフトを推定するステップであって、位置シフトは望ましくない対象物の動きを表す、ステップ、及び
−推定された位置シフトを考慮して現在のフレームセクションを決定するステップであって、現在のフレームセクションは少なくとも部分的に関心領域を表し、望ましくない対象物の動きを少なくとも部分的に補償するために関心領域がトラックされることを可能にする、ステップを含む、特性信号を安定化させるステップと、
−決定されたフレームセクションのシーケンスを考慮してフレームのシーケンスから特性信号を抽出するステップとを含み、特性信号は電磁放射の特性を表す信号空間に関連付けられる、方法が提示される。
好適には、方法は、本発明の情報を抽出するデバイスを用いて実行され得る。
方法の一実施形態によれば、方法は、
−初期段階中、フレームのシーケンスのフレームから基準派生信号形態を導出するステップであって、基準派生信号形態は、基準位置情報を示す第1の基準成分及び第2の基準成分を少なくとも含む、ステップと、
−後続段階中、複数の後続の派生信号形態の基準派生信号形態に対するそれぞれの位置シフトを推定するステップと
を更に含む。
このようにすることで、所定の(又は固定の)基準ベースセグメントを有するループ機能を確立することができる。「ローリングウェーブ」制御ループは必要ない。ループ機能は基本的には利用可能な基準値に基づくため、低減された計算資源を要する。
本発明の他の側面では、コンピュータ上で実行されたとき、方法のステップをコンピュータに実行させるプログラムコード手段を含むコンピュータプログラムが提供される。
本明細書で使用される場合、コンピュータという用語は多様な処理デバイスを指す。言い換えれば、相当な計算能力を有するモバイルデバイスは、標準的なデスクトップコンピュータより低い処理パワー資源を提供するとしても、同様にコンピューティングデバイスと呼ぶことができる。
本発明の好ましい実施形態は従属請求項に規定される。特許請求の方法及びコンピュータプログラムは、特許請求のデバイス及び従属デバイスクレームに規定されるものと同様な好ましい実施形態を有することを理解されたい。
本発明の上記及び他の側面は、後述される実施形態を参照して説明され、明らかになるであろう。
図1は、本発明が使用され得るデバイスの一般的配置の概略図を示す。 図2aは、関心領域を表すフレームセクションを有するフレームを示す。 図2bは、関心領域を表すフレームセクションを有するフレームを示す。 図3は、本発明が使用され得る例示的なモバイルデバイスを示す。 図4は、座標変換が適用され得るフレームセクションを有するフレームを概略的に示す。 図5aは、派生信号形態導出が適用されるフレームを示す。 図5bは、図5aの位置に対してシフトされた対象物の関心領域を表すフレームセクションを有する他のフレームを示す。 図6は、動いている対象物を表すフレームのシーケンスを示す。 図7は、例示的な関心領域を示す、対象物を表す他のフレームを示す。 図8は、動いている対象物を表す他のフレームのシーケンスを示す。 図9は、特性信号を含む信号空間の例示的な概略図を示す。 図10aは、対象物の動きの指向性動き成分を示すダイアグラムを示す。 図10bは、対象物の動きの指向性動き成分を示すダイアグラムを示す。 図10cは、目的の生体信号が導出され得る生理学的情報が埋め込まれている特性信号を示す。 図10dは、目的の生体信号が導出され得る生理学的情報が埋め込まれている特性信号を示す。 図11は、本発明の方法の一実施形態のいくつかのステップを表す例示的なブロック図を示す。
以下、本発明のデバイス及び方法のいくつかの側面を利用するリモートフォトプレチスモグラフィのための例示的なアプローチを説明する。各アプローチ全体の文脈から、提示のアプローチの個々のステップ及び特徴を抜き出すことができることを理解されたい。したがって、これらのステップ及び特徴は、やはり本発明の範囲に含まれる他の実施形態の一部であり得る。
図1は、参照符号10によって示される、情報を抽出するためのデバイスの概略図を示す。例えば、デバイス10は、リモートPPGモニタリングのために遠隔対象物12を表す画像フレームを記録するために使用され得る。画像フレームは、対象物12により発せられた又は反射された電磁放射14から得られ得る。対象物12は、人間若しくは動物、又は生物一般でもよい。また、対象物12は所望の信号を良く示す人間の一部、例えば顔の部分又は皮膚の部分一般でもよい。
日光16a又は人工的な線源16b等の線源、いくつかの線源の組み合わせが対象物12に作用し得る。線源16a、16bは、基本的には対象物に衝突する入射放射18a、18bを発する。記録データ、例えば画像フレームのシーケンスから情報を抽出するために、対象物12の画定部分又は部位がセンサ手段22によって検出されてもよい。センサ手段22は、例えば、電磁放射14の少なくともスペクトル成分に属する情報を取得するよう適合されたカメラにより具現化され得る。当然ながら、デバイス10は、先に記録され、保存又はバッファされた入力信号、すなわち入力データストリームを処理するよう適合されてもよい。上述したように、電磁放射14は、少なくとも1つの少なくとも部分的に周期的な生体信号20を良く示し得る連続又は離散特性信号を含み得る。特性信号は(入力)データストリーム24内に含まれ得る(埋め込まれている可能性がある)。一実施形態によれば、データ取り込みのために、対象物12の潜在的に指示性が高い(良く示す)部分が選択され得る(又はピクセルパターンによってマスキングされ得る)。ピクセルパターンの各信号ピクセル値を瞬時に集積する場合、ピクセルパターンから平均ピクセル値を求めることができる。このようにすることで、検出信号をノーマライズし、全体的な妨害についていくらか補償することができる。平均ピクセル値は特性信号によって表され得る。目的の生体信号20は、特性信号のわずかな変動(わずかな周期的特性変化)内に含まれ得る。以下において、取り込まれたデータストリーム24は、複数のピクセルを含む塊にされたピクセル領域を含み得る対象物12の関心領域の表現として考えることができる。図1において、生体信号20は、心拍数、心拍、心拍数変動、呼吸レート、又は酸素飽和度にさえ関する様々な推定を可能にし得る。
このような生体信号を取得するための知られている方法は、心拍数触診、心電図検査、又はパルスオキシメトリを含み得る。しかし、そのためには妨害的なモニタリングが必要であった。上記したように、選択可能な一アプローチは、画像処理方法を利用する非妨害的なリモート測定を対象とする。
連続又は離散特性信号を含むデータストリーム24は、センサ手段22からインターフェイス26に送られ得る。当然ながら、センサ手段22とインターフェイス26との間にバッファ手段が挿入されてもよい。インターフェイス26の下流には、受信されたデータストリーム24’を処理するよう適合された安定化処理手段28が設けられる。基本的に、信号処理は動き補償を目的とし得る。望ましくない対象物の動き、又は対象物12に対するセンサ手段22の動きは、依然として生体信号検出アプローチに大きな課題を課す可能性がある。動き補償アルゴリズム自体は一般的に知られているが、通常、かなりの計算労力を要する。特にモバイルデバイスに関して、より少ない計算コストを要する改良された動き補償アプローチへのニーズが存在する。
本発明の一実施形態によれば、安定化処理手段28は、コンバータ30、比較器32、及び補償器34を含む。コンバータ30、比較器32、及び補償器34は、それぞれ同じ又は別々の処理ユニットによって具現化され得る。言い換えれば、一例示的実施形態によれば、コンバータ30、比較器32、及び補償器34は、同じ処理ユニットの論理部分に含まれてもよい。
点線のボックス35、36により示されるように、安定化処理手段28は更にパターン検出器35及び/又はバイアス手段36を含み得る。パターン検出器35及びバイアス手段36はともにコンバータ30、比較器32、及び補償器34と同様に具現化され得る。
入力データストリーム24、24’がフレームのシーケンスを含むと仮定すると、コンバータ30は、当該フレームのシーケンスのうちの少なくとも一部のフレームから派生的な信号形態を導出するよう構成され得る。動き補償を目的とする更なる処理を簡略化できるよう、派生信号形態は次元的に減らされてもよい。比較器32は、現在の派生信号形態と先の(前又は過去の)派生信号形態との間の位置シフトを推定するよう構成され得る。位置シフトは、補償されるべき対象物の動きを表し得る。上記したように、先の派生信号形態は、当該別個の(固定の)派生信号形態に基づいてシーケンスの2つ以上の後続フレームを処理するためにバッファ内に記憶及び保持され得る。したがって、比較アルゴリズムの少なくとも一部、すなわち基準派生信号の導出は、初期段階において一度実行するだけでよい。
補償器34は、推定された位置シフトに基づいて現在のフレームセクション(例えば、対象物12の関心領域を表す現在のピクセルパターン)を決定するよう適合され得る。このようにすることで、望ましくない対象物の動きに対して関心領域がトラックされることができる。補償器34は、現在のフレームセクションの背後に何が存在するかを「知る」必要がないことに留意されたい。現在の派生信号形態の先の派生信号形態との比較は、基本的には、関心領域の面表現(例えば、目視できる画像表現)を明確に示さない又は表さない派生物(又は代替物)の比較を含む。言い換えれば、フレームから派生信号形態を導出することはできるが、通常、派生信号形態は次元が減らされているので、対応する派生信号形態からフレームを導き出すことはできない。したがって、動き推定のために比較される全てのフレームについてパターン検出又は顔検出をする必要はない。
しかし、それでも、安定化処理手段28は、顔検出及び/又は皮膚検出等のパターン検出のために適合されたパターン検出器35を含み得る。好ましい一実施形態によれば、パターン検出器35は動き補償処理の初期段階のためだけに必要とされ、後に推定位置シフトを考慮して後続フレーム内の各フレームセクションを決定するためのベースとなるフレーム内の関心領域を表す特定のフレームセクションを検出する。
他の実施形態では、パターン検出はデバイスユーザにより手動で実行されてもよい。例えば、初期フレームセクションを決定するための初期フレームを表すスクリーン上で、ユーザが対象物12の顔の部分又は皮膚の部分をマスキングしてもよい。
バイアス手段36は、位置シフト推定を更に改良するよう構成され得る。バイアス手段36内で実行され得る例示的なバイアス関数を以下により詳細に紹介及び説明する。
例えば、安定化処理手段28(より正確には比較器32)は、取得された派生信号形態成分に様々なマッチング関数を適用するよう適合され得る。上記したように、派生信号形態は、(画像)フレームの第1及び第2の方向に沿う積分投影によって得られる。この点に関して、図5a及び図5bも参照されたい。このようにして得られた派生信号形態成分は投影プロフィールと呼ばれ得る。かかる投影プロフィールの比較は、様々なマッチング関数を用いて、異なるオフセットのもと実行され得る。例えば、相関関数等の統計的手段が用いられてもよい。好ましい一実施形態では、絶対差の和又は平均が用いられ得る。一例として、第1及び第2の方向(例えば、水平及び垂直方向又はx方向及びy方向)に沿う変位を積分投影から次のように推定できる。



ここで、項Pref(x)は成分(又は基準投影)実体からの基準派生信号を示す。項Pt(x)は成分(又は現在処理されている投影)実体からの(現在の)派生信号を示す。インデックスver及びhorは第1の方向及び第2の方向を表す。項S(d)は台、すなわち、派生信号成分(又は投影プロフィール)と対応する基準(信号)成分(又は基準投影プロフィール)との間の重なりを示す。台の値||S(d)||は、基本的には、対応する方向の推定シフトを表す実際のオフセットdに依存する。
このアプローチは、信号品質を更に向上させるために、推定アルゴリズムに少なくとも1つのバイアス関数(又はレギュラリゼーション関数)が適用されるという点で更に発展され得る。例えば、相当に大きいオフセットに対してペナルティを導入する項Fsupが加えられてもよい。かかるオフセットは信頼性が低いため、しばしば推定にとって価値が小さい。一例として、Fsupは次のように計算され得る。

ここで、Csupは検出最大シフトdmaxに対するペナルティ値を定める定数である。
代わりに、又はこれに加えて、時間的に一貫性のない(又は不安定な)シフト推定に対するペナルティを導入する項Ftempを加えてもよい。例えば、Ftempは次のように計算され得る。

ここで、Ctempは時間的影響のための定数であり、tは時間(又は実際のフレーム番号)を示し、σtempは予測されるシフト推定の標準偏差である。
したがって、式(1)及び(2)は以下のように改良することができる。


結果として、変位推定のロバストネス及び安定性を向上させることができ、よって望ましくない対象物の動きの補償を更に向上させることができる。例示的な式(1)−(6)、及び根本的なアルゴリズム的アプローチは、本明細書に記載される様々な実施形態に適宜変更して適用され得ることを理解されたい。
安定化処理手段28の下流において、デバイス10内に抽出器40が含まれ得る。処理された補償後のデータストリーム38が抽出器40に伝送され得る。抽出器40は、処理された補償後のデータストリーム38内にまだ含まれているフレームのシーケンス(又は決定されたフレームセクションのシーケンス)から(処理された)特性信号を抽出するよう構成されてもよい。例えば、抽出すべき特性信号は、関心領域内に含まれる肌ピクセル値の集積により得られる実際のRGB値から構成されてもよい。特性信号の経時的なわずかな変動は、最終的に所望の信号20が抽出され得る生理学的情報を含み得る。
他の選択可能な実施形態によれば、デバイス10は、点線のボックスにより示される、抽出されたデータストリーム42が伝送され得るフィルタ44を更に含んでもよい。フィルタ44は、所望の信号20を含むと予想される周波数部分を強化するよう構成されてもよい。
代わりに又は加えて、処理された補償後のデータストリーム38又は抽出されたデータストリーム42内に埋め込まれている特性信号に時間フィルタリングを適用してもよい。一般的に特性信号(例えば、色変化)の大きな変化(又は変動)は目的の生体信号に起因しないと仮定すると、かかる変化は望ましくない歪みとして考えることができ、よって抑制され得る。例えば、信号品質を更に向上させるために、信号にリカーシブ時間フィルタリングを適用してもよい。

ここで、x及びyはトラックされるフレームセクションの単一の実体vx,yの実際の位置であって、時間tにかけて観察される位置を表す。上記と同様に、tは時間を示してもよいし、実際のフレーム番号を示してもよい。実体は個々のピクセルを含んでもよいし、又は塊にされたピクセルのサブセットを含んでもよい。各実体vx,yに重み付けするために成分Kが導入され、重みは実体の変化の大きさに依存する。結果として、変化が小さい実体vx,yが処理され得る(例えば、実際の位置の更新)一方、変化が大きい実体vx,yは無視されて前の位置が保持され得る。当然ながら、例示的な式(7)及び(8)、並びに根本的なアルゴリズム的アプローチは、本明細書で説明される様々な実施形態に適宜変更して適用され得る。
オプションのフィルタ44の下流において、フィルタリングされたデータストリーム46が、少なくとも1つの少なくとも部分的に周期的な目的の生体信号20を検出するよう構成されるアナライザー48に伝送され得る。例えば、アナライザー48は、支配的な信号ピーク、例えば心拍数を示す周波数ピーク等を検出するよう適合されてもよい。最後に、出力信号50が得られる。
点線の矢印52a、52b、52cは、デバイス10の外部での更なる処理のために、デバイス10の様々な段階において前処理されたデータを出力できることを示す。矢印52a、52b、52cにより送られ得るデータは、後続の処理のために記憶又はバッファされてもよい。また、出力データを(画像)データストリームを表すために使用してもよい。
安定化処理手段28、抽出器40、(オプションの)フィルタ44、及びアナライザー48は、共通の処理ユニット54、例えば、単一の又は複数のプロセッサを備える中央処理装置によって合わせて具現化されてもよい。また、各サブコンポーネントを収容する共通の処理ユニット54内で、インターフェイス26がそれらに接続されてもよい。一例として、処理ユニット54は、各論理コマンド及びソフトウェアコードにより駆動(又は制御)されるモバイルコンピューティングデバイス内に実装され得る。安定化処理手段28、抽出器40、(オプションの)フィルタ44、及びアナライザー48は、処理ユニット54によって「仮想的に」具現化され得る。センサ手段22もインターフェイス26に一緒に接続される場合、各サブコンポーネントを共通のケースが収容してもよい。このようなモバイルデバイス10は、携帯電話、モバイルコンピュータ一般、タブレット、及びモバイルリモートPPGスキャナであり得る(図3参照)。
例えば信号品質を更に高める等のために、受信データの追加の前処理又は後処理を実行するようデバイス10を更に適合し得ることを理解されたい。
信号処理の少なくとも一部が遠隔環境内で実行され得ることに留意されたい。図1において、矢印60は、安定化処理手段28、抽出器40、(オプションの)フィルタ44、及びアナライザー48の少なくとも一部がクラウドコンピューティングデバイス60によって(仮想的に)具現化され得ることを示す。例えば、クラウド60は、所望のフレームセクションをトラックするための計算タスクの一部を請け負うことができる例示的な代替的安定化処理手段28’を含む。言い換えれば、クラウド60は、クラウド60内の例示的なプロセッサ64により示されるように、リモートバーチャル処理ユニットとして機能し得る。クラウド60とのデータのやり取りは、点線の矢印62で示されるように、無線データ伝送を含み得る。あるいは、データ伝送はワイヤーケーブルネットワークを介するケーブル伝送も含み得る。
通常、「バーチャル(仮想的)」及び「クラウドコンピューティング」の概念は、典型的には1つ以上のデータセンターロケーションに集約される共有計算資源(例えば、サーバ)のセットの利用を含む。例えば、クラウドコンピューティングシステムは、ユーザが第3者のデータセンター内に計算資源(例えば、仮想サーバインスタンス)を立ち上げて管理することを可能にするウェブサービスとして実装され得る。クラウド環境では、計算資源は様々なサイズ及び構成で利用可能であり得り、複数のユーザの特定のニーズを満たすために様々な資源タイプを指定することができる。クラウドコンピューティングは、(最終)ユーザ側において追加のハードウェア資源の購入及び運用を管理する必要なく、柔軟な資源を提供し得る。クラウドベース計算資源は、社内ネットワーク又は有線公衆インターネットを介してアクセス可能な「クラウド」内のどこかに存在又はどこかで実行されると考えられる。アプリケーションデベロッパー又は情報技術管理者の観点からは、クラウドコンピューティングは、基盤のインフラの性質又はロケーションとは関係なく、スケーラビリティ(例えば、オンデマンドでの資源利用の増加又は削減)、性能(例えば、効率的且つ高速に実行)、及び信頼性(例えば、決して又は少なくとも稀にしかダウンタイムに直面しない)を発揮するアプリケーションの開発及び配置(展開)を可能にする。
上記したように、対象物の血液量脈動の遠隔検出に基づくリモートPPG測定は、対象物の動きに対して非常に敏感である。例えば、観察対象物12が単純に視界から外れるという点で、対象物の動きは所望の信号の検出にとって有害であり得る。これは、特に手持ちのデバイスに当てはまる。一方、対象物12が視界内に留まるとすると、対象物の動きは対象物の肌から反射される入射放射を変化させ得る。また、一般的な生体信号検出アプローチは、基本的には観察対象物12の関心領域のパターン検出又は選択に基づく。したがって、完全に又はほぼ肌のピクセルのみを含む関心領域を表すフレームセクションを選択することが望ましい。結果として、しばしば、所与のフレームの小さなセクションしか処理のために選択することができない。与えられるセクションが小さければ小さいほど、(不都合な)動きの影響は大きい。
これに関連して、図2a及び図2bはフレームのシーケンスから取られた個々のフレーム66、70を例示的に示す。フレーム66は、生体信号検出プロセスの初期段階中に取り込まれたフレームとして考えられる。フレーム66は、観察対象物12に帰属する関心領域56を表すフレームセクション68を含む。例えば、関心領域56は人の顔、又は少なくとも顔の一部を含み得る。通常、関心領域は対象物12の肌の部分を含む。図2bに示されるフレーム70は、後続のフレームを表す。後続のフレーム70は、必ずしも初期フレーム66の直後のフレームでなくともよいことを理解されたい。フレーム70は、(その間に変位された)対象物12’の関心領域56を依然として表すフレームセクション72を含む。対象物12の初期位置は点線によって表される。矢印74は、対象物12又は各フレームセクション68、72のシフト又は変位を示す。
本明細書で使用される場合、フレームは、センサ手段(例えば、カメラ)によって捕捉され得る視野全体をカバーしてもよい。しかし、一部の実施形態によれば、フレームは、センサ手段が捕捉できるフレーム全体の単なるサブセットを含んでもよい。
従来の動き補償アルゴリズムは、基本的には、シフト74を決定するために各フレーム66、70毎に関心領域56を検出することを要する。この高コストな計算に基づいて、目的の生体信号20を抽出するための更なる処理のためにフレームセクション68、72を選択することができる。以下、リモートPPGデバイスにおける対象物の動き補償のための代替的なアプローチを図解及び説明する。
図3は例示的なリモートPPGデバイス10を示す。例えば、デバイス10は携帯電話、モバイルタブレットデバイス、又はモバイルメディカルモニタリングデバイスにより実装され得る。デバイス10は手持ちデバイスとして考えられ得る。好ましくは、デバイスは観察対象物の表現をユーザに示すよう構成される。また、デバイス10は、信号処理プロセスの初期段階中に初期フレーム66において初期フレームセクション68を手動で及び/又は自動的に選択するよう構成されることが更に好ましい。
図4はフレームセクション68が選択された例示的なフレーム66の概略的な他の表現を示す。例えば、フレーム66は基準座標系76に合わせられる。一方、選択されたフレームセクション68は傾けられた座標系76’に合わせられてもよい。当然ながら、座標系76、76’は適切な変換処理を介して相互に変換できる。フレーム66及び選択されたフレームセクション68は必ずしも矩形でなくともよいことに留意されたい。特に、選択されたフレームは所与の関心領域に適切に適合された他の形状を呈することができる。
各フレーム毎にパターン検出(顔検出)を適用することを含む従来の動き補償アプローチは、2つの連続するフレーム間の相対的シフトを決定するときしばしば失敗する。これは、処理されるフレームの少なくとも1つにおいて関心領域が妨げられる(遮蔽される)、又は場合によっては視野から外れる場合に起こり得る。従来の動き補償アプローチは、連続フレーム(対応するフレームに対して所定の、すなわち一定の相対的ギャップを有するフレームを指す)に段階的に適用されるローリングシフト推定を用いるため、基準フレーム及び処理される「現在の」フレームはともにローリングする。言い換えれば、基準フレームは処理される現在のフレームの直接の又は間接の先行フレームであり得る。従来のアプローチは、関心領域が少なくとも部分的に及び一時的に妨げられる場合、乏しいパフォーマンスを示す。基本的には、全ての他のフレームが適切な形状の関心領域を示す一方で、単一のフレームが何らかの態様で破損した関心領域を含むとき、ローリング動き補償アルゴリズムは崩壊し得る。このようなエラー後の従来の動き補償アルゴリズムの回復は困難であり、大きな計算労力を要する。
従来の動き補償アプローチに固有の欠点を考慮すると、破損したフレームセクションを含むフレームの影響をより受けにくく、より少ない計算コストを要するリモートフォトプレチスモグラフィのためのロバストな動き補償アプローチを提供することは望ましかろう。
かかるアプローチが以下に概述され得る。図2a及び図2bに示すフレーム66、70と同様なフレーム66、70を示す図5a及び図5bを参照されたい。図5aは初期フレーム66を示し、図5bは後続のフレーム70を示す。上記と同様に、観察対象物12は図5bにおいて初期位置から動いている(参照符号12’参照)。これに従い、対象物12の関心領域(例えば、顔)をトラックするために、生体信号抽出のために選択される領域を表す図5aのフレームセクション68も動かされるべきである(図5bの(シフトされた)フレームセクション72を参照)。シフト又は変位は矢印74により表される。矢印74は変位ベクトルとして考えることができる。後続フレーム70毎に対象物12に対してパターン検出を適用することなくシフトベクトル74を決定又は少なくとも推定することは好適であろう。
この目的のために、初期フレーム66の次元が減らされた表現が作成される。再び図5aを参照して、第1のフレーム方向80(例えば、行又は水平線)及び第2のフレーム方向82(例えば、列又は垂直線)がそれぞれ矢印によって示されている。例えば、第1の方向80及び第2の方向82は座標系76の各軸に一致し得る(図4参照)。画像実体が第1の方向80の行に沿って及び第2の方向82の列に沿って集積(例えば、積分)され得る。結果として、第1の方向80に沿う集積は、派生信号形態78の第1の成分78aを生じ得る。第2の方向82に沿う集積は、第2の派生信号形態成分78bを生成し得る。例えば、第1の派生信号形態成分78aは、ある密度又は重み分布を有する第1の1次元指標要素84により具現化され得る。これに従い、第2の派生信号形態成分78bは、ある密度又は重み分布を有する第2の1次元指標要素86により具現化され得る。上述したように、第1の方向80又は第2の方向82のいずれかにおいてピクセル実体を集積することは、各行又は列に沿って各RGB(チャネル)値又は同様の色特性値を積算することを含み得る。好ましい一実施形態では、所望の信号を検出するために単一のチャネルの値のみを集積するだけでよい。例えば、RGB環境において、Gチャネルが指示性が高い(良く示す)と考えることができる。YUV環境では、Yチャネルが指示性が高いと考えることができる。
このようにすることで、第1の一次元指標要素84及び第2の一次元指標要素86上の各実体の密度又は重みを決定することができる。第1の指標要素84の実体の数は、フレーム66の行80の数に対応し得る。第2の指標要素86の実体の数は、フレーム66の列82の数に対応し得る。
対象物12が背景及び周囲の物体に対して相当に単純な(明確な)輪郭及び/又は高コントラスト領域を呈すると仮定すると、第1の派生信号形態成分78a及び第2の派生信号形態成分78bを含む派生信号形態78は明確な位置情報を含み得る。一例として、第1の派生信号形態成分78aは代替的垂直位置情報を示し得る。よって、第2の派生信号形態成分78bは代替的水平位置情報を含み得る。最初に処理されたフレーム66の派生信号形態78は、第1の基準派生信号形態成分78a及び第2の基準派生信号形態成分78bを含む基準派生信号形態78として使用され得る。
後続フレーム70のシーケンスのそれぞれにおいて、基準派生信号形態78を位置シフト推定のための基準として使用することができる。この目的のために、同様に図5bにおいて、第1の派生信号形態成分88a及び第2の派生信号形態成分88bを含む現在の派生信号形態88が得られるよう、フレーム70が処理される。対象物12’がフレーム70において変位されるので、これに従って派生信号形態成分88a、88bもシフトされる。
図5bは、更に、点線により示される第1及び第2の基準派生信号形態成分78a、78bの概略的表現を含む。第1及び第2の基準派生信号形態成分78a、78bに対する第1及び第2の現在の派生信号形態成分88a、88bの明確なシフトを推定できるよう、派生信号形態成分78a、78bは所定の位置に留まる(図5bの対象物12の点線表現を参照)。式(1)及び(2)に関連して、例示的アプローチが上記に示されている。
推定されたシフト又は変位はシフトベクトル74により表される。シフト74は、第1のシフト成分74a(例えば、垂直シフト)及び第2のシフト成分74b(例えば、水平シフト)から構成され得る。第1のシフト成分74aは、第1の基準派生信号形態成分78aと第1の現在の派生信号形態成分88aとの間の相対的シフトを表す。第2のシフト成分74bは、第2の基準派生信号形態成分78bと第2の現在の派生信号形態成分88bとの間のシフトを表す。
シフトベクトル74を推定することで、対象物12’の所望の関心領域を含むであろう現在のフレームセクション72を決定することができる。上記したように、フレーム70において動いた対象物12’の表現を実際に検出又は再構築する必要なく、現在のフレームセクション72を決定できることに留意されたい。結果として、実際のフレームコンテンツとは無関係に動き補償を実行できる。提案のアルゴリズムはロバストであり、耐振れ又は揺れ(anti-shake)機能を提供できる。したがって、所望の信号を検出及び抽出するために手持ちデバイス10(図3参照)も使用することができる。
図6は、画像フレーム66、92、94、96の例示的なシーケンス90を示す。例えば、リモートPPG測定は約10−40秒の期間、好ましくは約30秒の期間を有し得る。処理されるフレームのシーケンスは、約20−40フレーム/秒、好ましくは約30フレーム/秒のリフレッシュレート(又は周波数)で取り込まれ得る。
図5a及び図5bに関連して上述したように、動き補償手段(手法)のために、後続フレーム92、94、96のそれぞれを基準フレーム66までトレースバックさせることができる。例えば、初期フレーム66(n=1)は基準派生信号形態78a、78bが導出され得る基準フレームとして考えられる(図5a参照)。各後続フレーム92、94、96(n=2,3,...)は、それぞれが第1の成分98a、100a、102a及び第2の成分98b、100b、102bを含み得る派生信号形態98、100、102を導出するよう処理され得る。点線104a、104b、104cは、派生信号形態98、100、102のそれぞれが基準派生信号形態78にトレースバックされ得り、基準フレーム66に対する各シフトを推定できることを示す。このようにすることで、後続フレーム92、94、96(の代替物)のそれぞれが適切な基準と比較され得る。シフト推定を破損した基準に基づかせるリスクは存在しない。また、後続フレーム92、94、96の一部が破損している可能性があるとしても、破損していない後続の「有効な」各フレームは依然として処理できる。結果として、動き補償アルゴリズムはエラーから容易に回復できる。
図7は、対象物12の表現を示す(画像)フレーム66を示す。上述したように、観察対象物12の様々な部位が所望の生体信号を良く示す関心領域となり得る。例えば、顔の部分全体が関心領域56内に表されてもよい。しかし、リモートフォトプレスチモグラフィ生体信号検出はより小さい関心領域にも適用できる。例えば、関心領域56aは顔の額部分を含み得る。他の関心領域56bは、顔の頬部を含み得る。また、関心領域56cは首の部分を含み得る。他の関心領域56dは、基本的には観察対象物12の前腕部を含む。また、対象物12の手の部分を関心領域として観察することもできる。提示のアプローチは、必ずしも対象物12の顔部に適用されなくてもよい。動き補償は基本的に関心領域56が実際に何であるかとは無関係に実行されるので、(フレーム毎の)顔検出のための高コストな計算処理を避けることができる。一実施形態によれば、ユーザ自身が初期(基準)フレームセクションを定めることができる。一般的に、フレームセクション56は、測定中にトラックされなければならないフレーム66の領域として考えられる。
図8は、リモートPPG環境において動き補償のために処理されるべきフレーム108、110、112、122、124の他のシーケンス106を示す。
一例示的実施形態によれば、デバイス10はパターン検出、好ましくは顔検出のために構成されたパターン検出器(図1参照)を実際に含み得る。フレーム108、110、112、122、124は直接の又は直近の連続フレームであり得る。フレーム108は基準フレームとして働く。パターン検出アルゴリズムを適用することで、観察対象物12の一部を表す検出パターン114を選択及びマスキングすることができる。これにより、後続のフレーム110、112においてトラックされるべき基準フレームセクションとなるフレームセクション116が決定され得る。上記と同様に、基準フレーム108及び後続のフレーム110、112から次元が減らされた派生信号形態を導出することができる(図5a及び図5b参照)。上述したように、点線118a、118bにより示されるように、後続フレーム110、112のそれぞれを基準フレーム108にトレースバックさせて、対象物シフトが検出され得るよう各派生信号形態を比較することができる。フレーム112では対象物12が視野から外れかかっている。したがって、動き推定はエラーを生じ得る。このようなエラーは、参照番号120により示されるようなトリガーイベントとして使用され得る。トリガーイベント120は動き補償プロセスの初期段階を再開し得る。基本的には、フレーム122が(新たな)基準フレームとなり得る。パターン検出アルゴリズムが基準フレーム122に適用され得る。このようにすることで、抽出されるべき生体信号を示すと考えられる対象物12の領域を表す特定のパターンを検出することができる(参照番号114’参照)。よって、後続のフレーム124においてトラックされるべき(新たな)基準フレームセクション126を決定することができる。その後のシフト推定及び動き補償のためには、各後続フレーム124が(新たな)基準フレーム122と比較され得る。このようにすることで、アルゴリズムはトリガーイベント120の際に「リフレッシュ」できるので、動き補償プロセスを更にロバストにすることができる。様々なトリガーイベントが存在することを理解されたい。上記したように、視野外に位置する対象物12はトリガーイベント120を起こし得る。また、妨げられる対象物12がトリガーイベント120を起こし得る。
図9は、特性信号136を含む例示的な信号空間130を示す。信号空間130は、相補的チャネル134a、134b、134cから構成され得る。例えば、信号空間130はRGB信号空間を表し得る。したがって、相補的チャネル134a、134b、134cはそれぞれR、G、Bチャネルを表し得る。特性信号136は信号空間130内の特定の点(又はベクトル)によって表され得る又は具現化され得る。特性信号136は、それぞれが各相補的チャネル134a、134b、134cの値を表す主要成分138a、138b、138cから構成され得る。
特性信号136は、ある時点における(画像)フレームのサブ実体の表現であり得る。例えば、特性信号136は、関心領域の平均ピクセル値を表し得る。言い換えれば、例えば、関心領域が主に肌のピクセルを含む場合、特性信号136は、基本的には観察対象物12が呈する肌の色の平均を表す。肌の色のわずかな変動が特性信号136のわずかな変動を生じ得る。かかるわずかな変動は、生理学的情報として解釈することができる。当該生理学的情報から目的の所望の生体信号を抽出することができる。
図10a、10b、10c、及び10dを参照して、リモートPPG測定における対象物の動きと信号品質との間の例示的な関係が強調され得る。図10a、10b、10c、及び10dは様々なダイアグラムを表す。センサ手段(例えば、カメラ)に対する対象物の動きが発生した例示的なリモートPPG測定プロセスにより、ダイアグラム142a、142b、148a、148bが得られた。図10a及び図10bは、第1のフレーム方向(dx)及び第2のフレーム方向(dy)における経時的な対象物の動きを示す。図10cは、動き補償が適用されない環境における特性信号に対する動き補償の強い影響を示す。一方、図10dは同じ測定に基づくが、例示的な動き補償手段が適用されたデータストリームから得られた特性信号を含む。全てのダイアグラムが同じ期間をカバーする。各ダイアグラムにおいて、時間軸は矢印144により示される。各ダイアグラムにおいて、時間は処理フレーム数によって「カウント」される。
指向性シフトダイアグラム142aは、水平シフト成分74bを例示的に示す。指向性シフトダイアグラム142bは、垂直シフト成分74aを例示的に示す。合わせて、シフト成分74a、74bから全体シフト74が構成され得る(図5b参照)。指向性シフトダイアグラム142a、142bの縦座標146a、146bは、ともに開始時間(フレーム数=0)における開始位置(dx=0;dy=0)に関する無次元の基準位置情報を含み得る。
図10cは、動き補償手段が適用されていないフレームのフレームセクションから得られた特性信号136aを示すダイアグラム148aを示す。図10cを図10a及び図10bと比較すると、高い指向性シフト振幅はダイアグラム148aの特性信号136aの強い振幅により反映され得ることがわかる。例えば、270フレーム付近における大きなシフトは、同時点における特性信号136aの大きな振幅をもたらす。図10c及び図10dに示される両ダイアグラム148a、148bの縦座標152は、特性信号136a、136bの顕著な特徴(特性)(例えば、R/G比等)の無次元の実際の表現を指し得る。ダイアグラム148bの特性信号136bは、上記で概述した例示的なアプローチに基づき動き補償されている。図10cのダイアグラム148aの特性信号136aは、ダイアグラム142a、142bにおいて示される対象物の動きにより明らかに影響されている。動き補償手段が適用されることにより、ダイアグラム148bの特性信号136bでは動きに起因する歪みはもはや支配的ではない。大括弧150a、150bは、図10c及び図10dの各ダイアグラム148a、148bの縦軸方向がカバーする範囲を示す。図10cのダイアグラム148aが包含する範囲150aは、図10dの動き補償されたダイアグラム148bが包含する範囲150bよりはるかに大きいことに留意されたい。したがって、ダイアグラム148bにおいて現れる特性信号136bの残りの信号特性(例えば、極値、反転点等)は、埋め込まれている所望の生体信号を良く示すと考えられる。
一方、図10cの補償されていないダイアグラムの特性信号136aは、所望の生体信号が対象物の動きに起因する妨害により「隠されている」ので、このような結果は得られない。
本発明が包含する様々な選択可能な例示的アプローチを説明してきたが、次に、特性信号から情報を抽出するための方法を概略的に示す図11を参照する。
まず、ステップ160において、複数のフレーム164、166、168を含む入力データストリーム又はシーケンス162が受信される。時間軸は矢印tにより示される。データストリームはセンサ手段22、又はバッファ若しくは記憶手段から送られ得る。データストリームは、例えば、経時的に変化する画像フレームのシーケンスによって具現化され得る。画像フレームはRGBベースのピクセルデータを含み得る。データストリームは対象物の表現を含む。
後続のステップ170では、第1及び第2の基準派生信号形態成分172a、172bを含む基準派生信号形態172が基準フレーム164から導出され得る。また、基準フレーム164において基準フレームセクション174が決定され得る。基準フレームセクション174は、後続の動き補償手段中にトラックされる。基準フレームセクション174は手動で決定されてもよいし、パターン検出(例えば、顔検出)アルゴリズムを適用することにより決定されてもよい。
他の後続ステップ182では、第1及び第2の派生信号形態成分176a、176bを含む現在の派生信号形態176を導出するために後続のフレーム166が処理され得る。現在の派生信号形態176を基準派生信号形態172と比較することにより、位置シフト178を推定できる。結果として、フレーム166においてフレームセクション180を決定し、観察領域がトラックされることができる。基準フレームセクション174の基準位置は参照番号174’により示す。
ステップ182はフレームのシーケンス162毎に繰り返され得ることを理解されたい(点線のループ矢印187参照)。このようにすることで、関心領域を含むフレームセクションを経時的にトラックすることができる(フレーム164内のフレームセクション174、フレーム166内のフレームセクション180、及びフレーム168内のフレームセクション186を参照)。ステップ184は、フレームセクションのシーケンスの決定を含み得る。動き検出及び補償のために、後続フレーム166、168のそれぞれを基準フレーム164までトレースバックさせ得ることにも留意されたい。点線188により示されるように、トリガーイベントの発生に基づき、プロセス中に(新たな)基準フレームの処理が開始され得る。
フレームセクション174、180、186のシーケンスを決定した後、ステップ190でフレームセクションを更に処理し、フレームセクション174、180、186のシーケンスから特性信号192が抽出される。例えば、特性信号192はフレームセクション174、180、186の平均ピクセル値を表し得る。
特性信号192のインスタンス(実体)が更に処理され得る更なる信号処理ステップ194が続き得る。例えば、特性信号192は信号空間(又は色空間)196に属する色特性を含み得る。したがって、特性信号192はそれぞれが信号空間チャネルに関連付けられる主要成分198に分割され得る。生理学的情報200が得られるような更なる信号処理手段が続き得る。例えば、生理学的情報200は、取得されるべき所望の生体信号を良く示すと考えられる特性信号192のわずかな変動から導き出される情報を含み得る。例えば信号フィルタリング又は信号重み付け手法を含み得る更なる信号処理手段202が続き得る。ステップ202では、所定の周波数帯域204が強調される一方、隣接する周波数帯域が減衰されてもよい。また、処理されたデータに周波数分析が適用されてもよい。
最後に、更なるステップ206において、処理された生理学的情報信号200が更に分析され、所望の生体信号208が抽出され得る。目的の信号208の時間ベースの表現及び/又は周波数ベースの表現が興味深い可能性があることを理解されたい。
例として、本発明は、例えば非妨害的なリモート患者モニタリング等の健康管理の分野、一般的監視、セキュリティモニタリング、及びフィットネス器具等のいわゆるライフスタイル環境等に応用され得る。応用例は、酸素飽和度(パルスオキシメトリ)、心拍数、血圧、心拍出量、及び血液灌流の変化のモニタリング、自立機能の評価、並びに末梢血管疾患の検出を含み得る。当然ながら、本発明に係る方法の実施形態では、本明細書で説明されるステップの一部が異なる順番で、場合によっては同時に実行され得る。また、本発明の範囲から逸脱することなく、ステップの一部がスキップされてもよい。これは、様々な選択可能な信号処理ステップに特に当てはまる。
本発明を図面及び上記で詳細に図解及び説明してきたが、かかる図解及び説明は制限的ではなく説明的又は例示的であると考えられたい。本発明は開示の実施形態に限定されない。図面、開示、及び添付の特許請求の範囲を分析することにより、当業者は開示の実施形態の他の変形例を理解し、実行できる。
請求項において、用語「含む(又は備える若しくは有する)」は他の要素又はステップを除外せず、要素は複数を除外しない。単一の要素又は他のユニットが請求項に記載される複数のアイテムの機能を果たしてもよい。単にいくつかの手段が互いに異なる従属請求項内に記載されているからといって、それらの手段の組み合わせを好適に使用することができないとは限らない。
プログラムは、他のハードウェアとともに又は他のハードウェアの一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な非一時的媒体で記憶/供給され得るが、他の形態により、例えばインターネット又は他の有線若しくは無線通信システム等を介して供給されてもよい。
請求項内の如何なる参照符号も特許請求の範囲を限定すると解されるべきではない。

Claims (15)

  1. 遠隔検出される特性信号から情報を抽出するデバイスであって、前記デバイスは、
    −対象物によって発射又は反射された電磁放射から得られるデータストリームを受信するインターフェイスであって、前記データストリームはフレームのシーケンスを含み、前記フレームの少なくとも一部は前記対象物に帰属する関心領域を表すフレームセクションを含み、前記関心領域は生理学的情報を含む連続又は離散特性信号を示し、前記生理学的情報は少なくとも1つの少なくとも部分的に周期的な生体信号を示し、前記フレームのシーケンスは望ましくない対象物の動きを少なくとも部分的に示す妨害信号部分を更に含み、前記妨害信号部分は前記特性信号に不利な影響を与える、インターフェイスと、
    −前記フレームのシーケンスの少なくとも一部のフレームから次元削減を介して派生信号形態を導出するコンバータであって、前記派生信号形態は、位置情報を示す第1の信号成分及び第2の信号成分を少なくとも含む、コンバータ、
    −先の派生信号形態に対する現在の派生信号形態の位置シフトを推定する比較器であって、前記位置シフトは望ましくない対象物の動きを表す、比較器、及び
    −前記推定された位置シフトを考慮して現在のフレームセクションを決定する補償器であって、前記現在のフレームセクションは少なくとも部分的に前記関心領域を表し、望ましくない対象物の動きを少なくとも部分的に補償するために前記関心領域がトラックされることを可能にする、補償器を含む、安定化処理手段と、
    −決定されたフレームセクションのシーケンスを考慮して、前記フレームのシーケンスから前記特性信号を抽出する抽出器とを含み、前記特性信号は、前記電磁放射の特性を表す信号空間に関連付けられる、デバイス。
  2. 前記特性信号の時間変動を決定し、前記特性信号内に含まれる前記生理学的情報によって表される前記少なくとも1つの少なくとも部分的に周期的な生体信号を検出するためのアナライザーを更に含む、請求項1に記載のデバイス。
  3. 前記コンバータは、前記フレームのシーケンスの前記少なくとも一部のフレームの第1の方向及び第2の方向に沿ってフレーム実体を集積して前記派生信号形態を導出し、前記第1の信号成分はフレーム行の次元が減らされたマッピングを含み、前記第2の信号成分はフレーム列の次元が減らされたマッピングを含む、請求項1に記載のデバイス。
  4. 前記少なくとも1つの少なくとも部分的に周期的な生体信号は、心拍数、心拍、呼吸レート、心拍数変動、Traube-Hering-Mayer波、及び酸素飽和度からなる群から選択される、請求項1に記載のデバイス。
  5. 前記信号空間は、少なくとも2つの相補的チャネルを含む色信号空間であり、前記少なくとも2つの相補的チャネルは所定のスペクトル部分に関連し、前記特性信号は少なくとも2つの主成分を含み、前記主成分の各々は、それぞれが対応する相補的チャネルに関連する、請求項1に記載のデバイス。
  6. 前記少なくとも部分的に周期的な生体信号は、前記特性信号の前記少なくとも2つの主成分の少なくとも1つ主成分のわずかな経時的変動に含まれる、請求項5に記載のデバイス。
  7. 前記コンバータは、更に、初期段階中に前記フレームのシーケンスのフレームから基準派生信号形態を導出し、前記基準派生信号形態は、基準位置情報を示す第1の基準成分及び第2の基準成分を少なくとも含み、前記比較器は、更に、後続の段階中、複数の後続派生信号形態の前記基準派生信号形態に対するそれぞれの位置シフトを推定する、請求項1に記載のデバイス。
  8. 前記安定化処理手段は、更に、後続の段階中、フレームから少なくとも1つの他の基準派生信号形態が導出され得るよう前記コンバータをトリガーする、請求項7に記載のデバイス。
  9. 前記安定化処理手段は、更に、初期段階中、前記フレームのシーケンスの少なくとも1つのフレームにおいて少なくとも部分的に前記関心領域を表すフレームセクションを決定するパターン検出器を含み、基準フレームセクションとして初期フレームセクションが決定され得る、請求項1に記載のデバイス。
  10. 前記安定化処理手段は、更に、現在の絶対シフト推定及び/又は現在のシフト推定の経時的一貫性を考慮して推定位置シフト値を補正するバイアス手段を含む、請求項1に記載のデバイス。
  11. 前記フレームのシーケンスを含む前記データストリームを捕捉することができる一体的なセンサ手段を更に含む、請求項1に記載のデバイス。
  12. 前記特性信号の成分を選択的に減衰又は強化するためのフィルタを更に含む、請求項1に記載のデバイス。
  13. 遠隔検出される特性信号から情報を抽出する方法であって、前記方法は、
    −対象物によって発射又は反射された電磁放射から得られるデータストリームを受信するステップであって、前記データストリームはフレームのシーケンスを含み、前記フレームの少なくとも一部は前記対象物に帰属する関心領域を表すフレームセクションを含み、前記関心領域は生理学的情報を含む連続又は離散特性信号を表し、前記生理学的情報は少なくとも1つの少なくとも部分的に周期的な生体信号を示し、前記フレームのシーケンスは望ましくない対象物の動きを少なくとも部分的に示す妨害信号部分を更に含み、前記妨害信号部分は前記特性信号に不利に影響する、ステップと、
    −前記フレームのシーケンスの少なくとも一部のフレームから次元削減を介して派生信号形態を導出するステップであって、前記派生信号形態は、位置情報を示す第1の信号成分及び第2の信号成分を少なくとも含む、ステップ、
    −先の派生信号形態に対する現在の派生信号形態の位置シフトを推定するステップであって、前記位置シフトは望ましくない対象物の動きを表す、ステップ、及び
    −前記推定された位置シフトを考慮して現在のフレームセクションを決定するステップであって、前記現在のフレームセクションは少なくとも部分的に前記関心領域を表し、望ましくない対象物の動きを少なくとも部分的に補償するために前記関心領域がトラックされることを可能にする、ステップを含む、前記特性信号を安定化させるステップと、
    −決定されたフレームセクションのシーケンスを考慮して前記フレームのシーケンスから前記特性信号を抽出するステップとを含み、前記特性信号は前記電磁放射の特性を表す信号空間に関連付けられる、方法。
  14. −初期段階中、前記フレームのシーケンスのフレームから基準派生信号形態を導出するステップであって、前記基準派生信号形態は、基準位置情報を示す第1の基準成分及び第2の基準成分を少なくとも含む、ステップと、
    −後続段階中、複数の後続の派生信号形態の前記基準派生信号形態に対するそれぞれの位置シフトを推定するステップと
    を更に含む、請求項13に記載の方法。
  15. コンピュータ上で実行されたとき、請求項13に記載の方法のステップを前記コンピュータに実行させるプログラムコード手段を含むコンピュータプログラム。
JP2015509526A 2012-05-01 2013-04-19 遠隔検出される特性信号から情報を抽出するデバイス及び方法 Expired - Fee Related JP6138920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261640767P 2012-05-01 2012-05-01
US61/640,767 2012-05-01
PCT/IB2013/053112 WO2013164724A1 (en) 2012-05-01 2013-04-19 Device and method for extracting information from remotely detected characteristic signals

Publications (3)

Publication Number Publication Date
JP2015515873A true JP2015515873A (ja) 2015-06-04
JP2015515873A5 JP2015515873A5 (ja) 2016-06-09
JP6138920B2 JP6138920B2 (ja) 2017-05-31

Family

ID=48626487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509526A Expired - Fee Related JP6138920B2 (ja) 2012-05-01 2013-04-19 遠隔検出される特性信号から情報を抽出するデバイス及び方法

Country Status (7)

Country Link
US (1) US9443304B2 (ja)
EP (1) EP2845168B1 (ja)
JP (1) JP6138920B2 (ja)
CN (1) CN104254876B (ja)
BR (1) BR112014027085A2 (ja)
RU (1) RU2625947C2 (ja)
WO (1) WO2013164724A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528728A (ja) * 2012-07-30 2015-10-01 コーニンクレッカ フィリップス エヌ ヴェ 生理学的情報を抽出するためのデバイス及び方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10153796B2 (en) 2013-04-06 2018-12-11 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (PPG) signals in a vehicle
US10537288B2 (en) 2013-04-06 2020-01-21 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
US10213162B2 (en) 2013-04-06 2019-02-26 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (PPG) signals in a vehicle
FR3023699B1 (fr) * 2014-07-21 2016-09-02 Withings Procede et dispositif de surveillance d'un bebe et d'interaction
US20170224256A1 (en) * 2014-10-13 2017-08-10 Koninklijke Philips N.V. Device and method for detecting vital sign information of a subject
US9582879B2 (en) 2014-10-20 2017-02-28 Microsoft Technology Licensing, Llc Facial skin mask generation for heart rate detection
CN106096377A (zh) * 2016-06-21 2016-11-09 北京奇虎科技有限公司 一种移动终端的应用解锁方法、装置和移动终端
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN107969029B (zh) * 2016-10-19 2021-06-29 华为技术有限公司 一种唤醒前导码生成方法、同步方法及装置
EP3398508A1 (en) * 2017-05-04 2018-11-07 Koninklijke Philips N.V. A system and method for extracting a physiological information from video sequences
EP3440991A1 (en) 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
US10861162B2 (en) * 2017-12-08 2020-12-08 Ebay Inc. Object identification in digital images
CN110236509A (zh) * 2018-03-07 2019-09-17 台北科技大学 于视频中实时分析生理特征的方法
US10696305B2 (en) * 2018-11-15 2020-06-30 XMotors.ai Inc. Apparatus and method for measuring physiological information of living subject in vehicle
US11850026B2 (en) 2020-06-24 2023-12-26 The Governing Council Of The University Of Toronto Remote portable vital signs monitoring
FR3114736B1 (fr) * 2020-10-06 2022-11-04 Valeo Comfort & Driving Assistance Dispositif d’estimation du rythme cardiaque d’un occupant d’un véhicule
FR3134468B1 (fr) * 2022-04-07 2024-09-20 I Virtual Traitement d’images pour la détermination d’un paramètre physiologique

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186002A (ja) * 1997-09-08 1999-03-30 Toshiba Corp 画像処理装置及び被介護者観測装置
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2009131628A (ja) * 2007-11-30 2009-06-18 Fuji Xerox Co Ltd バイタルサインを推定するシステム、方法およびプログラム
US20100061596A1 (en) * 2008-09-05 2010-03-11 Varian Medical Systems Technologies, Inc. Video-Based Breathing Monitoring Without Fiducial Tracking

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2053706C1 (ru) * 1993-03-30 1996-02-10 Федоров Виктор Александрович Способ регистрации артериального пульса и частоты дыхания и устройство для его осуществления
EP1649426B1 (en) 2003-07-16 2018-09-19 Philips Intellectual Property & Standards GmbH Reconstruction of an image of a moving object from volumetric data
US8360986B2 (en) * 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
JP5076755B2 (ja) * 2007-09-07 2012-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8325227B2 (en) * 2008-07-15 2012-12-04 Aptina Imaging Corporation Method and apparatus for low cost motion detection
DE102009021234B4 (de) * 2009-05-14 2011-05-12 Siemens Aktiengesellschaft Verfahren zur Verarbeitung von Messdaten der Perfusions-Computertomographie
KR20120048021A (ko) 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
CN102549621B (zh) * 2009-10-06 2016-08-31 皇家飞利浦电子股份有限公司 用于处理至少包含代表生物中的周期现象的分量的信号的方法和系统
US20110251493A1 (en) 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
CN103270535B (zh) * 2010-06-23 2016-05-25 诺基亚技术有限公司 用于跟踪脸部部分的方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186002A (ja) * 1997-09-08 1999-03-30 Toshiba Corp 画像処理装置及び被介護者観測装置
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2009131628A (ja) * 2007-11-30 2009-06-18 Fuji Xerox Co Ltd バイタルサインを推定するシステム、方法およびプログラム
US20100061596A1 (en) * 2008-09-05 2010-03-11 Varian Medical Systems Technologies, Inc. Video-Based Breathing Monitoring Without Fiducial Tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEFANO ALLINEY: "DIGITAL IMAGE REGISTRATION USING PROJECTIONS", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. V30(PAMI-8) N2, JPN5015006241, 1 March 1986 (1986-03-01), US, pages 222 - 233, ISSN: 0003524244 *
YU SUN: "MOTION-COMPENSATED NONCONTACT IMAGING PHOTOPLETHYSMOGRAPHY 以下備考", JOURNAL OF BIOMEDICAL OPTICS, vol. V16 N7, JPN5015006240, 1 January 2011 (2011-01-01), pages 077010 - 1, ISSN: 0003524243 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528728A (ja) * 2012-07-30 2015-10-01 コーニンクレッカ フィリップス エヌ ヴェ 生理学的情報を抽出するためのデバイス及び方法

Also Published As

Publication number Publication date
WO2013164724A1 (en) 2013-11-07
EP2845168B1 (en) 2018-06-13
EP2845168A1 (en) 2015-03-11
US20150125051A1 (en) 2015-05-07
RU2625947C2 (ru) 2017-07-19
US9443304B2 (en) 2016-09-13
RU2014148166A (ru) 2016-06-20
CN104254876A (zh) 2014-12-31
JP6138920B2 (ja) 2017-05-31
BR112014027085A2 (pt) 2017-06-27
CN104254876B (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
JP6138920B2 (ja) 遠隔検出される特性信号から情報を抽出するデバイス及び方法
RU2589389C2 (ru) Устройство и способ извлечения информации из характеристических сигналов
JP6067706B2 (ja) 歪が低減された信号検出
JP6308161B2 (ja) 脈波検出装置、及び脈波検出プログラム
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
KR102285999B1 (ko) 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템
US9224202B2 (en) Device and method for extracting information from characteristic signals
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
US20150250425A1 (en) Motion robust vital signal monitoring
CA2895381A1 (en) System and method for extracting physiological information from remotely detected electromagnetic radiation
WO2019030074A1 (en) DEVICE, SYSTEM AND METHOD FOR DETERMINING A PHYSIOLOGICAL PARAMETER OF A SUBJECT
JP2015533325A (ja) 生理学的情報を抽出する装置及び方法
WO2013046082A2 (en) Distortion reduced signal detection
JP6455761B2 (ja) 脈波検出装置、及び脈波検出プログラム
EP3370422B1 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
Dautov et al. On the effect of face detection on heart rate estimation in videoplethysmography
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees