WO2023189309A1

WO2023189309A1 - コンピュータプログラム、情報処理方法及び情報処理装置

Info

Publication number: WO2023189309A1
Application number: PCT/JP2023/008702
Authority: WO
Inventors: 康之本間; 俊彦西村
Original assignee: テルモ株式会社
Priority date: 2022-03-28
Filing date: 2023-03-08
Publication date: 2023-10-05
Also published as: CN118338853A

Abstract

正面視以外の方向から取得された顔情報を基に対象者の神経障害の有無を精度よく推定することが期待できるコンピュータプログラム、情報処理方法及び情報処理装置を提供する。　本実施の形態に係るコンピュータプログラムは、コンピュータに、センサが検知した対象者の顔情報を取得し、取得した前記顔情報を基に、前記対象者の顔構造情報を生成し、生成した前記顔構造情報に基づいて、取得した前記顔情報について欠落した前記対象者の顔情報を補完し、補完した前記顔情報に基づいて、当該対象者の神経障害の有無を推定する処理を実行させる。コンピュータプログラムは、予め生成された前記対象者の基準顔構造情報を記憶部から取得し、前記センサが検知した前記顔情報、及び、前記記憶部に記憶された前記基準顔構造情報に基づいて、前記対象者の顔構造情報を生成してもよい。

Description

コンピュータプログラム、情報処理方法及び情報処理装置

　本開示は、対象者の神経障害の有無を推定するコンピュータプログラム、情報処理方法及び情報処理装置に関する。

　特許文献１においては、被験者の顔面を含む顔画像を取得し、予め深層学習された学習済モデルを用いて、顔画像に基づいて被験者の顔面神経麻痺の有無を判定し、脳卒中に関する問診項目を被験者に提示し、問診項目に対する回答を取得し、顔面神経麻痺の有無及び回答に基づいて、被験者の脳卒中の可能性を判定する脳卒中判定装置が提案されている。

特開２０２０－１９９０７２号公報

　特許文献１に記載の脳卒中判定装置のように、カメラで撮影した被験者の顔画像に基づいて顔面神経麻痺の有無を判定するためには、被験者の顔を正面から撮影した顔画像を用いなければ、顔面神経麻痺の有無を精度よく判定することは難しい。

　本開示は、斯かる事情に鑑みてなされたものであって、その目的とするところは、正面視以外の方向から取得された顔情報を基に対象者の神経障害の有無を精度よく推定することが期待できるコンピュータプログラム、情報処理方法及び情報処理装置を提供することにある。

　一実施形態に係るコンピュータプログラムは、コンピュータに、センサが検知した対象者の顔情報を取得し、取得した前記顔情報を基に、前記対象者の顔構造情報を生成し、生成した前記顔構造情報に基づいて、取得した前記顔情報について欠落した前記対象者の顔情報を補完し、補完した前記顔情報に基づいて、当該対象者の神経障害の有無を推定する処理を実行させる。

　一実施形態による場合は、正面視以外の方向から取得された顔情報を基に対象者の神経障害の有無を精度よく推定することが期待できる。

本実施の形態に係る情報処理システムの概要を説明するための模式図である。実施の形態１に係るサーバ装置の構成を示すブロック図である。本実施の形態に係る端末装置の構成を示すブロック図である。実施の形態１に係る情報処理システムにて行われる事前処理の手順を説明するためのフローチャートである。実施の形態１に係る情報処理システムにて行われる事前処理を説明するための模式図である。本実施の形態に係るサーバ装置が行う神経障害の有無の推定処理の手順を示すフローチャートである。実施の形態１に係るサーバ装置が行う顔画像補完処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置が行う神経障害の有無の推定方法を説明するための模式図である。神経障害の推定結果の通知画面の一例を示す模式図である。実施の形態２に係るサーバ装置が備える学習モデルの構成を説明するための模式図である。形状推定モデルが出力する形状情報の一例を示す模式図である。実施の形態２に係るサーバ装置が行う顔画像補完処理の手順を示すフローチャートである。

　本開示の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

＜システム構成＞
　図１は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、対象者の神経障害の有無を推定する処理を行うサーバ装置１と、サーバ装置１が行う推定処理に必要な対象者の顔画像の撮影等を行う一又は複数の端末装置３とを備えて構成されている。本実施の形態に係る情報処理システムでは、対象者が住む住宅内（例えばリビングルーム又はダイニングルーム等）、介護施設又は医療施設等に端末装置３が設置される。端末装置３は、カメラを搭載しており、住宅内で定期的に対象者の撮影を行って、撮影画像をサーバ装置１へ送信する。

　サーバ装置１は、端末装置３から取得した対象者の撮影画像に基づいて、対象者について脳卒中（脳血管障害）、脳梗塞又は顔面神経麻痺等の神経障害の有無を推定する処理を行う。本実施の形態に係るサーバ装置１は、撮影画像に含まれる対象者の顔を基に、神経障害の有無を推定する。サーバ装置１は、例えば対象者について神経障害ありと推定した場合に、この推定結果を端末装置３へ送信する。この推定結果を受信した端末装置３は、例えば警告メッセージを表示部に表示する又は音声出力する等の処理を行うことによって、対象者又は当該対象者に関係する他のユーザ（家族又は医療従事者等）に神経障害のリスクを通知することができる。なおサーバ装置１は、対象者について神経障害がないと推定した場合にも、その旨を推定結果として端末装置３へ送信してよい。

　また本実施の形態に係る情報処理システムは、端末装置３がカメラにより対象者を撮影した画像に基づく神経障害の有無を推定し、神経障害ありと推定した場合に、端末装置３に搭載されたカメラとは異なるセンサ、例えば測距センサ又はマイク（マイクロフォン）等による対象者の情報検出を行い、検出した情報に基づく神経障害の有無の推定を更に行ってもよい。例えば、カメラの撮影画像に基づいて神経障害ありとの推定結果をサーバ装置１から受信した端末装置３は、カメラとは異なるセンサによる情報検出を行い、検出した情報をサーバ装置１へ送信する。サーバ装置１は、端末装置３から受信した情報に基づいて対象者の神経障害の有無を推定する処理を更に行う。対象者の情報検出は、例えば、生体情報異常、顔面麻痺、メンタル異常、転倒、動揺もしくは振戦、脱力、または発話異常等の情報検出が挙げられる。具体的な生体情報異常の症状には、脈拍、心拍変動、呼吸、血中酸素濃度、または血圧変動の異常が含まれる。

　サーバ装置１は、例えばカメラで撮像した画像に基づいて神経障害ありと判定し、且つ、他のセンサにて検出した情報に基づいて神経障害ありと判定した場合に、最終的に対象者について神経障害ありとの推定結果を端末装置３へ送信する。サーバ装置１は、例えばカメラで撮像した画像に基づいて神経障害ありと判定したが、他のセンサにて検出した情報に基づいて神経障害なしと判定した場合に、最終的に対象者について神経障害なしとの推定結果を端末装置３へ送信する。

　なお、この神経障害の有無についての追加での推定は、カメラとは異なるセンサが検知した情報ではなく、カメラが撮影した対象者の画像に基づいて行われてよい。この場合に追加での推定は、対象者の顔に基づく神経障害の有無の判定とは異なる方法、例えば対象者の身体全体に基づく神経障害の有無の判定等の方法で行われる。また追加での推定は必ずしも行われなくてもよく、サーバ装置１は、端末装置３のカメラで撮影された対象者の顔に基づく神経障害の有無の推定のみを行ってもよい。

　また本実施の形態に係る情報処理システムは、対象者について神経障害ありと推定した場合、例えば神経障害の症状の程度等を把握すべく、対象者に対する診断テストを実施してもよい。例えばサーバ装置１は、神経障害ありと判定した対象者の端末装置３へ、ＣＰＳＳ（Cincinnati Prehospital Stroke Scale）、ＮＩＨＳＳ（National Institute of Health Stroke Scale）又はＫＰＳＳ（Kurashiki Prehospital Scale）等の判断指標に基づく神経障害の診断テストを実施するための情報を送信する。端末装置３は、サーバ装置１から受信した情報に基づいて診断テストを実施し、対象者から得られた情報をサーバ装置１へ送信する。サーバ装置１は、端末装置３から受信した情報に基づいて、診断テストに含まれる一又は複数のテスト項目についての判定を行い、診断テストの結果を端末装置３へ送信する。端末装置３は、サーバ装置１から受信した診断テストの結果を表示して対象者に通知する。なお診断テストは必ずしも行われなくてよい。

　本実施の形態に係る情報処理システムでは、神経障害の有無に関する最初の推定処理、即ち端末装置３のカメラが撮影した対象者の顔の画像に基づく神経障害の有無の推定を精度よく行うべく、サーバ装置１が様々な処理を行っている。サーバ装置１は、端末装置３のカメラが撮影した対象者の顔の画像に基づき、対象者の顔について左右の対称性を調べることで、神経障害の有無を推定する。またサーバ装置１は、予め登録された対象者の正常時の顔の画像と、端末装置３のカメラが撮影した対象者の顔の画像とを比較し、その差異に基づいて神経障害の有無を推定する。

　ただし、上記の神経障害の有無の推定は、端末装置３のカメラが撮影した対象者の顔が正面視のものであることが前提である。本実施の形態に係る情報処理システムは、対象者の住宅内に設置された端末装置３のカメラで対象者を撮影するものであり、必ずしも対象者の顔を正面から撮影できるわけではない。そこで本実施の形態に係る情報処理システムでは、端末装置３のカメラにて撮影された対象者の顔の画像が、正面以外の方向（例えば、右斜め前又は左斜め前等）から撮影されたものであり、撮影された画像に対象者の顔全体が写されていない場合、サーバ装置１が写されていない部分（欠落部分）を補完して対象者の顔の正面視での画像を生成し、上記の方法で神経障害の有無を推定する。

＜装置構成＞
　図２は、実施の形態１に係るサーバ装置１の構成を示すブロック図である。本実施の形態に係るサーバ装置１は、処理部１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

　処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたサーバプログラム１２ａを読み出して実行することにより、端末装置３から取得した撮影画像に基づいて対象者の神経障害の有無を推定する処理及び神経障害ありと判定した対象者に対する診断テストを実施するための処理等の種々の処理を行う。

　記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するサーバプログラム１２ａが記憶されると共に、神経障害の有無の推定処理に用いられる情報を記憶する基準情報記憶部１２ｂが設けられている。

　本実施の形態においてサーバプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置１は記録媒体９９からサーバプログラム１２ａを読み出して記憶部１２に記憶する。ただし、サーバプログラム１２ａは、例えばサーバ装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばサーバプログラム１２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置１が通信にて取得してもよい。例えばサーバプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置１の記憶部１２に書き込んでもよい。サーバプログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

　基準情報記憶部１２ｂは、予め取得及び／又は生成された対象者の顔（正常時の顔）に関する情報を基準情報として記憶する。基準情報記憶部１２ｂが記憶する情報には、例えば対象者の顔を正面から撮影した撮影画像、及び、対象者の顔の３次元モデル等の情報が含まれ得る。

　通信部１３は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１３は、ネットワークＮを介して、一又は複数の端末装置３との間で通信を行う。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部１１へ与える。

　なお記憶部１２は、サーバ装置１に接続された外部記憶装置であってよい。またサーバ装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

　また本実施の形態に係るサーバ装置１には、記憶部１２に記憶されたサーバプログラム１２ａを処理部１１が読み出して実行することにより、顔画像取得部１１ａ、３次元モデル生成部１１ｂ、顔画像補完部１１ｃ、神経障害推定部１１ｄ、第２推定部１１ｅ、診断テスト処理部１１ｆ及び通知処理部１１ｇ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、対象者の神経障害の有無を推定する処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

　顔画像取得部１１ａは、通信部１３にて端末装置３との通信を行うことにより、端末装置３が撮影した対象者の顔の画像を取得する処理を行う。また例えば端末装置３が撮影する画像に対象者の全身が写されている場合、顔画像取得部１１ａは、撮影画像から対象者の顔を検出し、検出した顔の部分画像を抽出する処理を行ってもよい。なお撮影画像から対象者の顔の画像を抽出する処理は、サーバ装置１が行うのではなく、端末装置３が行ってもよく、この場合にサーバ装置１は撮影画像から抽出された対象者の顔の画像を端末装置３から取得することができる。

　３次元モデル生成部１１ｂは、顔画像取得部１１ａが取得した対象者の顔の画像と、基準情報記憶部１２ｂに記憶された対象者の３次元モデルとに基づいて、対象者の顔の（最新の）３次元モデルを生成する処理を行う。

　本実施の形態に係る情報処理システムでは、対象者の顔について撮影及び測定等を予め行って、対象者の顔の３次元モデルを予め作成してサーバ装置１の基準情報記憶部１２ｂに記憶しておく。例えば、対象者の顔に対して複数の角度から撮影を行い、様々な角度からの対象者の顔の２次元画像を収集する。また、対象者の顔の表面形状を、赤外線又は超音波等を利用した測距センサにて測定し、対象者の顔の形状を３次元の仮想空間に再現した形状モデルを生成する。この形状モデルに対して、収集した２次元画像を貼り付けることにより、対象者の顔の基準となる３次元モデルが生成される。生成された３次元モデルと、この３次元モデルを作成する際に複数の角度から対象者の顔を撮影した２次元画像とを、サーバ装置１は、基準情報記憶部１２ｂに予め記憶する。以下の説明においては、基準情報記憶部１２ｂに記憶された対象者の顔の３次元モデルを基準３次元モデルと呼び、２次元画像を基準顔画像と呼ぶ。なお形状モデルの生成を測距センサの測定結果に基づいて行うのではなく、対象者の顔を一又は複数の角度から撮影した２次元画像を基に形状モデルを生成してもよい。２次元画像からの３次元の形状モデルの生成には、例えば学習済みの顔メッシュの学習モデルが用いられ得る。顔メッシュの学習モデルは、画像から顔のキーポイント（特徴点）を検出する機械学習モデルであり、人間の顔から数百の特徴点を３次元座標で出力することができる。

　なお、対象者の顔の基準３次元モデルは、複数の表情について複数のモデルが生成されるか、又は、表情を変化させることが可能なモデルとして生成されることが好ましい。このため、対象者の顔の撮影及び表面形状の測定は、対象者の様々な表情においてなされることが好ましい。また本実施の形態においては、様々な表情に左右非対称の表情が含まれることが好ましい。

　３次元モデル生成部１１ｂは、基準情報記憶部１２ｂに記憶された対象者の顔の基準３次元モデルに対して、顔画像取得部１１ａが取得した対象者の顔の画像を貼り付けることで、対象者の顔の３次元モデルを生成する。このときに３次元モデル生成部１１ｂは、例えば貼り付ける顔の画像と、基準３次元モデルの表面に貼り付けられた顔の画像とを比較して、最も表情が近い基準３次元モデルを選択し、この基準３次元モデルの上から顔の画像を貼り付ける。これにより生成される３次元モデルは、端末装置３にて撮影された対象者の顔の画像が貼り付けられたモデルとなり、且つ、端末装置３が撮影した画像において欠落している顔の部分については基準３次元モデルに貼り付けられた顔画像のモデルとなる。

　顔画像補完部１１ｃは、３次元モデル生成部１１ｂが生成した対象者の顔の３次元モデルに基づいて、対象者の顔を撮影した画像の欠落部分を補完する処理を行う。顔画像補完部１１ｃは、生成された顔の３次元モデルを正面視での２次元画像に変換する、即ち３次元仮想空間において顔の３次元モデルの正面に配置した仮想カメラで撮影した２次元画像を生成することによって、端末装置３が撮影した画像において欠落していた部分を補完した対象者の正面視での顔画像を取得する。

　神経障害推定部１１ｄは、顔画像補完部１１ｃが補完した対象者の顔画像に基づいて、対象者の神経障害の有無を推定する処理を行う。なお神経障害推定部１１ｄは、端末装置３から取得した対象者の顔画像が正面視のものである場合には、上記の補完処理を行うことなく、端末装置３から取得した画像に基づいて対象者の神経障害の有無を推定してよい。

　本実施の形態において神経障害推定部１１ｄは、例えば対象者の顔画像から目、口、額及び頬等の位置、並びに、口角及び眉の角度等の様々な特徴点を抽出し、抽出した特徴点を顔の左右で比較して対称性を調べる。神経障害推定部１１ｄは、例えば顔の様々な特徴について左右でのズレ量を算出し、算出したズレ量が所定の閾値を超える場合に、神経障害があると推定することができる。

　また神経障害推定部１１ｄは、例えば対象者の最新の顔画像と過去の顔画像とを比較して、その差異に基づいて神経障害の有無を推定してもよい。このためにサーバ装置１は、対象者の正常状態（神経障害がない状態）で予め撮影された顔画像（この顔画像から抽出した特徴の情報、又は、この顔画像から生成した３次元モデルであってもよい）を基準情報記憶部１２ｂに記憶している。神経障害推定部１１ｄは、端末装置３から取得した顔画像（又は、端末装置３から取得した顔画像を補完した顔画像）から様々な特徴を抽出し、基準情報記憶部１２ｂに記憶された正常状態の顔画像から抽出した特徴と比較する。神経障害推定部１１ｄは、両顔画像の特徴についてズレ量を算出し、算出したズレ量が所定の閾値を超える場合に、神経障害があると推定することができる。

　また本実施の形態において神経障害推定部１１ｄは、対象者の最新の顔画像と過去の顔画像との比較を、顔の左半分と右半分とで別に行い、左右のいずれか一方でズレ量が閾値を超える場合に、対象者について神経障害があると推定する。顔の左右の両方でズレ量が閾値を超える場合、及び、顔の左右の両方でズレ量が閾値を超えない場合、神経障害推定部１１ｄは、対象者について神経障害がないと推定する。なお顔の左右の両方でズレ量が閾値を超える場合について、神経障害推定部１１ｄは、神経障害があると推定してもよい。

　第２推定部１１ｅは、神経障害推定部１１ｄが対象者について神経障害があると推定した場合に、端末装置３が備えるカメラとは異なるセンサを用いた対象者の神経障害の有無の推定を追加で行う。本実施の形態に係る情報処理システムでは、端末装置３が備える測距センサを用いた対象者の顔の形状測定を行い、サーバ装置１が端末装置３から測定結果を取得して、第２推定部１１ｅは対象者の顔の形状について左右の対称性又は正常時の形状との比較等を行って、対象者の神経障害の有無を推定する。なお、第２推定部１１ｅによる追加での推定は、端末装置３が備えるどのようなセンサを用いて行われてもよく、センサが取得した情報に基づいてどのような方法で推定が行われてもよい。

　診断テスト処理部１１ｆは、神経障害推定部１１ｄ及び第２推定部１１ｅにより対象者の神経障害があると推定された場合に、端末装置３を利用して対象者の診断テストを実施するための処理を行う。本実施の形態において診断テスト処理部１１ｆは、ＣＰＳＳ、ＮＩＨＳＳ又はＫＰＳＳ等の判断指標に基づく脳卒中の診断テストを実施する。本実施の形態において診断テストは、例えば端末装置３の表示部に質問のメッセージを表示して対象者から文字入力又は音声入力等による回答を受け付けることで行われ得る。また例えば診断テストは、所定の動作又は表情等を行うことを要求するメッセージ等を端末装置３の表示部に表示し、対象者が要求された動作又は表情等を行った様子をカメラで撮影した画像を取得することで行われ得る。なお、上記の診断テストの実施方法は一例であって、これに限るものではなく、診断テスト処理部１１ｆはどのような診断テストを実施してもよい。

　診断テスト処理部１１ｆは、診断テストに関する質問又は要求等の情報を端末装置３へ送信する。この情報に基づいて端末装置３は診断テストに係る質問又は要求等のメッセージを出力し、対象者による回答の受け付け又は動作の撮影等を行い、受け付けた回答又は撮影した画像等の情報をサーバ装置１へ送信する。端末装置３から診断テストに関する情報を受信したサーバ装置１の診断テスト処理部１１ｆは、受信した情報に基づいて対象者の神経障害の有無及びその程度等を判定する。

　通知処理部１１ｇは、神経障害推定部１１ｄの推定結果、第２推定部１１ｅの推定結果、及び／又は、診断テスト処理部１１ｆの診断結果等を通知する処理を行う。通知処理部１１ｇは、これらの推定結果又は診断結果等の情報を端末装置３へ送信することによって、対象者に対する通知を行う。また通知処理部１１ｇは、例えば予め登録されたメールアドレス又は電話番号等の情報を基に、家族等の対象者に関係する他のユーザへの通知を行ってもよい。

　図３は、本実施の形態に係る端末装置３の構成を示すブロック図である。本実施の形態に係る端末装置３は、処理部３１、記憶部（ストレージ）３２、通信部（トランシーバ）３３、表示部（ディスプレイ）３４、操作部３５、カメラ３６及び測距センサ３７等を備えて構成されている。端末装置３は、神経障害の有無を推定する対象者の住む住宅等に設置される装置である。端末装置３は、例えば住宅等に固定して設置される装置であってもよく、また例えばスマートフォン又はタブレット型端末装置等の可搬型の装置をスタンド等に載置したものであってもよい。

　処理部３１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及びＲＡＭ等を用いて構成されている。処理部３１は、記憶部３２に記憶されたプログラム３２ａを読み出して実行することにより、カメラ３６により対象者を撮影する処理、測距センサ３７により対象者に関する情報を検出する処理、及び、対象者との間で診断テストのための情報を入出力する処理等の種々の処理を行う。

　記憶部３２は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するプログラム３２ａを記憶している。本実施の形態においてプログラム３２ａは遠隔のサーバ装置等により配信され、これを端末装置３が通信にて取得し、記憶部３２に記憶する。ただしプログラム３２ａは、例えば端末装置３の製造段階において記憶部３２に書き込まれてもよい。例えばプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム３２ａを端末装置３が読み出して記憶部３２に記憶してもよい。例えばプログラム３２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置３の記憶部３２に書き込んでもよい。プログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

　通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、サーバ装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

　表示部３４は、液晶ディスプレイ等を用いて構成されており、処理部３１の処理に基づいて種々の画像及び文字等を表示する。操作部３５は、ユーザの操作を受け付け、受け付けた操作を処理部３１へ通知する。例えば操作部３５は、機械式のボタン又は表示部３４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部３５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置３に対して取り外すことが可能な構成であってもよい。

　カメラ３６は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されている。カメラ３６は、撮像素子により撮影した画像（動画像）のデータを処理部３１へ与える。なおカメラ３６は、端末装置３に内蔵されていてもよく、端末装置３に対して取り外すことが可能な構成であってもよい。

　測距センサ３７は、例えば赤外線、超音波又は電磁波等を出射し、これらの反射波を検知することで、対象物までの距離を測定するセンサである。測距センサ３７は、例えばＬｉＤＡＲ（Light Detection And Ranging）と呼ばれるセンサが用いられ得る。本実施の形態において測距センサ３７は、カメラ３６が撮影した対象者の顔画像に基づく神経障害の有無の推定処理により神経障害ありと推定された場合に行われる追加での推定処理に用いられる。測距センサ３７により対象者の顔の形状を測定することができ、この測定結果に基づいてサーバ装置１が対象者の神経障害の有無を推定することができる。なお追加での推定処理のために端末装置３が備えるセンサは、測距センサ３７に限らず、例えば音声を検出するセンサ（マイク）であってもよく、これら以外のどのようなセンサであってもよい。

　また本実施の形態に係る端末装置３は、記憶部３２に記憶されたプログラム３２ａを処理部３１が読み出して実行することにより、撮影処理部３１ａ、測距処理部３１ｂ及び診断テスト処理部３１ｃ等がソフトウェア的な機能部として処理部３１に実現される。

　撮影処理部３１ａは、カメラ３６による対象者の撮影を行い、得られた撮影画像をサーバ装置１へ送信する処理を行う。撮影処理部３１ａは、例えば１秒間に数回～数十回等の周期で繰り返し撮影を行っている。撮影処理部３１ａは、住宅内に対象者がいるか否かに関わらず、カメラ３６による撮影を継続的に行っており、撮影により得られた画像をサーバ装置１へ送信する。ただし撮影処理部３１ａは、例えば撮影により得られた画像から人を検出する処理、人の顔を検出する処理、及び、画像に写されている人が誰であるかを特定する処理等を行って、対象者の顔が写された画像を選別してサーバ装置１へ送信してもよい。また撮影処理部３１ａは、カメラ３６の撮影画像から対象者の顔が写された部分画像を抽出し、抽出した部分画像をサーバ装置１へ送信してもよい。また撮影処理部３１ａは、端末装置３に例えば人感センサ等が搭載されている場合に、端末装置３の周囲に人が存在する場合にのみ撮影を行ってもよい。

　測距処理部３１ｂは、測距センサ３７による対象者の顔までの距離を測定することにより、対象者の顔の表面形状を測定する処理を行う。本実施の形態において測距処理部３１ｂによる測定は、常時行われるのではなく、サーバ装置１から追加での推定処理を行う指示が与えられた場合に開始される。測距処理部３１ｂは、例えばカメラ３６の撮影画像を基に対象者の顔の位置を把握し、測距センサ３７にて測定された距離の情報から対象者の顔の位置に相当する情報を抽出して、抽出した情報を対象者の顔の表面形状の情報としてサーバ装置１へ送信する。

　診断テスト処理部３１ｃは、対象者に対するメッセージ等の出力と、対象者からの入力の受け付けとを行うことにより、神経障害に関する診断テストを実施する。診断テスト処理部３１ｃは、例えばサーバ装置１から与えられた質問のメッセージを表示部３４に表示し、この質問に対する回答の入力を操作部３５にて対象者から受け付けて、受け付けた回答をサーバ装置１へ送信する。なお質問の出力及び回答の入力は、音声入出力により行われてもよい。また例えば、診断テスト処理部３１ｃは、サーバ装置１から与えられた運動又は表情等の要求に関するメッセージを表示部３４に表示し、この要求に対して対象者が行った運動又は表情等をカメラ３６にて撮影し、撮影した画像（動画像又は静止画像）をサーバ装置１へ送信する。

＜事前処理＞
　実施の形態１に係る情報処理システムでは、予め対象者の正常状態（神経障害がない状態）での顔の情報取得が事前処理として行われる。図４は、実施の形態１に係る情報処理システムにて行われる事前処理の手順を説明するためのフローチャートである。また図５は、実施の形態１に係る情報処理システムにて行われる事前処理を説明するための模式図である。なお事前処理は、サーバ装置１にて行われてもよく、端末装置３にて行われてもよく、これら以外の一又は複数の装置を用いて行われてもよい。本実施の形態において事前処理は、サーバ装置１及び端末装置３を用いて行われるものとする。

　事前処理においてサーバ装置１は、例えば端末装置３のカメラ３６を用いて、神経障害の有無を予測する対象者の正常状態での顔の撮影を行う（ステップＳ１）。このときに、例えば対象者の顔に対して端末装置３を手動又は自動で移動させる、又は、端末装置３のカメラ３６に対して対象者が顔を移動させることにより、複数の方向から対象者の顔を撮影した複数の撮影画像を取得する。またこのときに、例えば端末装置３の表示部３４にメッセージを表示して対象者に様々な表情を取ることを要求し、様々な表情の顔を撮影した複数の撮影画像を取得する。様々な表情には、左右非対称の表情が含まれることが好ましい。図５の上段には、ステップＳ１の処理にて得られる対象者の顔画像の一例が示されている。

　またサーバ装置１は、例えば端末装置３の測距センサ３７を用いて、対象者の顔の３次元形状の測定を行う（ステップＳ２）。この測定についても、対象者の様々な表情での測定を行うことが好ましい。またステップＳ１の撮影とステップＳ２の測定とは、同時的に行われてもよい。サーバ装置１は、ステップＳ２の測定結果に基づいて、３次元仮想空間に対象者の顔を再現した３次元の形状モデルを作成する（ステップＳ３）。なおステップＳ３にてサーバ装置１が作成する形状モデルは、対象者の顔の形状（構造）を再現したモデルであり、顔の表面の色又は模様等は再現されていない。図５の中段には、ステップＳ３の処理にて作成される形状モデルの一例が示されている。

　次いでサーバ装置１は、ステップＳ３にて作成した形状モデルの表面に、ステップＳ１にて撮影した対象者の顔の画像を貼り付けることによって、対象者の顔の３次元モデルを生成する（ステップＳ４）。ステップＳ４にて生成される３次元モデルは、３次元仮想空間において向きを変化させることが可能なモデルである。更に３次元モデルは、対象者の複数の表情に対応付けて複数生成されるか、又は、３次元仮想空間において表情を変化させることが可能なモデルであることが好ましい。図５の下段には、ステップＳ４の処理にて生成される３次元モデルの一例が示されており、３次元モデルを複数の向きに変化させた場合に対応する複数の画像が水平方向に並べて示されている。

　サーバ装置１は、ステップＳ１にて取得した顔画像と、ステップＳ４にて生成した３次元モデルとを、記憶部１２の基準情報記憶部１２ｂに記憶して（ステップＳ５）、事前処理を終了する。サーバ装置１の基準情報記憶部１２ｂに記憶されたこれらの情報は、対象者の神経障害の有無を推定する処理を行う際に、端末装置３が撮影した対象者の顔の画像を補完する処理に用いられる。

＜推定処理＞
　本実施の形態に係る情報処理システムでは、対象者の住宅内に設置された端末装置３がカメラ３６による撮影を継続的に行い、撮影により得られた対象者の画像（対象者の顔の画像）をサーバ装置１へ継続的に送信している。サーバ装置１は、端末装置３が撮影した対象者の顔の画像を取得して、この対象者の神経障害の有無を推定する処理を行う。図６は、本実施の形態に係るサーバ装置１が行う神経障害の有無の推定処理の手順を示すフローチャートである。

　本実施の形態に係るサーバ装置１の処理部１１の顔画像取得部１１ａは、通信部１３にて端末装置３との通信を行い、端末装置３がカメラ３６にて撮影した対象者の顔画像を取得する（ステップＳ２１）。顔画像取得部１１ａは、ステップＳ２１にて取得した顔画像が、対象者の顔を正面から撮影した正面視の画像であるか否かを判定する（ステップＳ２２）。正面視の画像である場合（Ｓ２２：ＹＥＳ）、処理部１１は、ステップＳ２４へ処理を進める。正面視の画像ではない場合（Ｓ２２：ＮＯ）、処理部１１は、顔画像補完処理を行って（ステップＳ２３）、ステップＳ２４へ処理を進める。なおステップＳ２３で行われる顔画像補完処理については後述する。

　処理部１１の神経障害推定部１１ｄは、端末装置３から取得した顔画像又はこの顔画像を補正した顔画像を基に、対象者の神経障害の有無を推定する処理を行う（ステップＳ２４）。このときに神経障害推定部１１ｄは、顔画像に写された対象者の顔の左半分と右半分とを比較し、左右の対称性に基づいて神経障害の有無を推定する。また神経障害推定部１１ｄは、端末装置３から取得した顔画像又はこの顔画像を補正した顔画像と、基準情報記憶部１２ｂに記憶された対象者の正常状態での顔画像とを比較し、その差異に基づいて神経障害の有無を推定する。

　処理部１１は、ステップＳ２４の神経障害推定処理により、対象者に神経障害ありと推定されたか否かを判定する（ステップＳ２５）。神経障害なしと推定された場合（Ｓ２５：ＮＯ）、処理部１１は、ステップＳ２１へ処理を戻し、上述の処理を繰り返し行う。神経障害ありと推定された場合（Ｓ２５：ＹＥＳ）、処理部１１の第２推定部１１ｅは、端末装置３に備えられた測距センサ３７による第２の推定処理を行う（ステップＳ２６）。第２の推定処理において第２推定部１１ｅは、例えば端末装置３に対して測距センサ３７による測定を実施する命令を送信し、測距センサ３７による対象者の顔の表面形状の測定結果（顔情報）を端末装置３から取得する。第２推定部１１ｅは、例えば顔画像に基づく推定処理の場合と同様に、対象者の顔の表面形状について左右の対称性に基づく神経障害の有無の推定、又は、正常状態での対象者の顔の表面形状との比較に基づく神経障害の有無の推定等の方法で、測距センサ３７による対象者の神経障害の有無の推定を行うことができる。

　処理部１１は、ステップＳ２６の第２の推定処理により、対象者に神経障害ありと推定されたか否かを判定する（ステップＳ２７）。神経障害なしと推定された場合（Ｓ２７：ＮＯ）、処理部１１は、ステップＳ２１へ処理を戻し、上述の処理を繰り返し行う。神経障害ありと推定された場合（Ｓ２７：ＹＥＳ）、処理部１１の診断テスト処理部１１ｆは、端末装置３を介して対象者との間で質疑応答等を行うことによって、神経障害に関する診断テストを実施する（ステップＳ２８）。診断テスト処理部１１ｆは、例えば対象者に対する質問のメッセージを端末装置３へ送信することで、端末装置３にメッセージを出力させると共に、端末装置３が対象者から受け付けた回答を取得する。また診断テスト処理部１１ｆは、例えば対象者に動作又は表情を要求するメッセージを端末装置３へ送信して出力させ、このメッセージに対して対象者が行った動作又は表情をカメラ３６にて撮影した画像を端末装置３から取得する。診断テスト処理部１１ｆは、これらの処理を複数回行って対象者に関する情報を収集し、例えばＣＰＳＳ、ＮＩＨＳＳ又はＫＰＳＳ等の指標に基づく神経障害の有無及び程度等の判定を行う。

　処理部１１の通知処理部１１ｇは、ステップＳ２４の推定処理の結果、ステップＳ２６の推定処理の結果、及び／又は、ステップＳ２８の診断テストの結果に関する情報を端末装置３へ送信することにより、神経障害に関する推定及び診断の結果を対象者に通知し（ステップＳ２９）、処理を終了する。なお通知処理部１１ｇは、対象者の自宅に設置された端末装置３以外の端末装置、例えば対象者の家族が使用する端末装置又は対象者の担当医師が使用する端末装置等へ通知を行ってもよい。

　図７は、実施の形態１に係るサーバ装置１が行う顔画像補完処理の手順を示すフローチャートである。本フローチャートに示される顔画像補完処理は、図７に示されたフローチャートにおいて端末装置３から取得した顔画像が正面視のものでないと判定された場合に、ステップＳ２３にて実行される処理である。サーバ装置１の処理部１１の３次元モデル生成部１１ｂは、基準情報記憶部１２ｂに記憶された基準３次元モデルを読み出す（ステップＳ４１）。

　３次元モデル生成部１１ｂは、ステップＳ４１にて読み出した基準３次元モデルに対して、端末装置３のカメラ３６にて撮影された対象者の顔画像を貼り付けることで、現在の対象者の顔の３次元モデルを生成する（ステップＳ４２）。このときに３次元モデル生成部１１ｂは、例えば顔画像から特徴点の抽出を行い、基準３次元モデルの顔の特徴点と顔画像の特徴点とが一致するように、基準３次元モデルの表情を変化させるか又は複数の表情の基準３次元モデルから最も特徴点が一致する基準３次元モデルを選択する。

　処理部１１の顔画像補完部１１ｃは、ステップＳ４２にて生成された対象者の顔の３次元モデルから正面視の２次元画像を生成することにより、端末装置３が撮影した顔画像の欠落部分を補完した顔画像を生成し（ステップＳ４３）、顔画像補完処理を終了する。顔画像補完部１１ｃは、例えば３次元仮想空間において対象者の顔の３次元モデルの正面に仮想カメラを設定し、仮想カメラで３次元モデルを撮影した２次元画像を取得することによって、保管された顔画像を得ることができる。

　なお本実施の形態において、顔画像補完処理の対象となる対象者の顔画像は、もし対象者に神経障害がある場合、顔の歪み等の特徴を示す少なくとも１つの特徴点が含まれた顔画像である。例えば顔の右半分に歪み等の特徴が現れている対象者について、顔の左半分のみが撮影された顔画像は顔画像補完処理の対象とはならない。顔の左半分と少なくとも顔の右半分の一部分（歪み等の特徴が現れる部分）が写された顔画像であれば、この一部分に含まれる特徴点に基づいて基準３次元モデルを選択することで、顔画像補完処理により顔の右半分に歪み等が現れた正面視の顔画像を生成することができる。

　また逆に、例えば顔の右半分に歪み等の特徴が現れている対象者について、歪みのある顔の右半分と、歪みのない顔の左半分の一部分とが写された顔画像を基に、顔画像補完部１１ｃは、歪みのない顔の左半分を補完して、顔の右半分に歪みがあり且つ左半分に歪みのない正面視の顔画像を生成することができる。

　図８は、本実施の形態に係るサーバ装置１が行う神経障害の有無の推定方法を説明するための模式図である。図８には、神経障害ありと推定され得る対象者の顔画像の一例が示されている。この顔画像は、端末装置３のカメラ３６にて撮影された撮影画像、又は、この撮影画像を基に欠落部分を補完した画像である。サーバ装置１の処理部１１の神経障害推定部１１ｄは、対象者の顔画像から特徴点の抽出を行う。図８の顔画像では、対象者の顔画像から抽出された口角及び眉尻の特徴点が示されている。

　神経障害推定部１１ｄは、対象者を正中面（図８において一点鎖線で示す中心線）で左右に二分し、対象者の顔の左半分と右半分とについて特徴点の位置関係を比較して、対象者の顔の左右の対称性を判定する。図８において例えば対象者の右口角の位置と左口角の位置との位置関係を比較した場合、右口角の位置が左口角の位置より下がっている。同様に、対象者の右眉尻の位置が、左眉尻の位置より下がっている。神経障害推定部１１ｄは、口角及び眉尻等のように顔の左右に存在する特徴点の座標又は中心線からの距離等の差異を算出し、この差異が所定の閾値を超える場合に神経障害ありと推定することができる。

　また図示は省略するが、神経障害推定部１１ｄは、予め撮影された正常状態での対象者の基準顔画像と、端末装置３のカメラ３６が撮影した対象者の顔画像又はこれを補完した顔画像とを比較して、対象者の神経障害の有無を推定する。神経障害推定部１１ｄは、基準情報記憶部１２ｂに記憶された基準顔画像から特徴点を抽出すると共に、端末装置３から取得した顔画像から特徴点を抽出し、両画像の特徴点を比較する。神経障害推定部１１ｄは、両画像において対応する特徴点の位置の差異が所定の閾値を超える場合に神経障害ありと推定することができる。

＜表示処理＞
　本実施の形態に係る情報処理システムでは、サーバ装置１が対象者に神経障害ありと推定した場合に、端末装置３に情報を表示して対象者への通知を行う。図９は、神経障害の推定結果の通知画面の一例を示す模式図である。なお図９に示す通知画面は、例えば顔画像に基づく推定処理が行われた後、診断テストが実施される前に表示されてもよく、また例えば診断テストの終了後に表示されてもよい。サーバ装置１は適宜のタイミングで通知画面を表示するための画像及びメッセージ等の情報を端末装置３へ送信し、これを受信した端末装置３が図示の通知画面を表示部３４に表示する。

　サーバ装置１からの情報に基づいて端末装置３は、図９に示すように、例えば対象者の１週間前の顔画像と推定に用いられた現在の顔画像とを左右に並べて表示する。このときに端末装置３は、カメラ３６が撮影した顔画像の欠落部分が補完されている場合、現在の顔画像について実際に撮影された部分と補完した部分とが区別可能なように、現在の顔画像を表示する。区別可能な表示は、例えば色を変えて表示する又は網掛けして表示する等の表示方法が採用され得る。図９に示す例では、補完部分に網掛けして現在の顔画像を表示している。

　また端末装置３は、サーバ装置１による神経障害の推定結果として、例えば「右の口角、眉尻が左より下がっており、神経障害の疑いがあります。病院で精密検査を受けることをお勧めします。」等のメッセージを、２つの顔画像の下方に表示する。また現在の顔画像には、神経障害ありと推定した根拠となる顔の部位（特徴点）がいずれであるかを示す表示がなされる。図９に示す例において端末装置３は、神経障害ありと推定した根拠として右口角及び右眉尻を囲む円の図形を顔画像に重畳して表示している。なお根拠部位の表示方法は、図９に示す円の重畳に限らず、例えば色付け又は網掛け等の表示であってもよく、他の部位とは異なる表示の方法であってよく、これら以外のどのような表示方法であってもよい。

＜情報収集処理＞
　本実施の形態に係る情報処理システムでは、対象者の自宅等に設置された端末装置３が継続的に対象者の撮影を行っている。端末装置３が撮影した対象者の顔画像に基づいてサーバ装置１が対象者の神経障害の有無を推定し、神経障害なしと推定した際に用いた顔画像をサーバ装置１が記憶しておいてもよい。サーバ装置１は、正常状態（神経障害がない状態）の対象者の顔画像を記憶して収集し、収集した顔画像を以後の推定処理において基準顔画像として用いることができる。

　また更に、端末装置３が測距センサ３７による測定を継続的に行い、サーバ装置１が正常状態での対象者の顔画像と共に測距センサ３７による測定結果を記憶して収集してもよい。サーバ装置１は、カメラ３６による顔画像及び測距センサ３７の測定結果（即ち、対象者の顔の表面形状）を収集し、収集した情報に基づいて対象者の顔の３次元モデルを生成することができる。サーバ装置１は、これらの情報収集を継続的に行い、定期的に対象者の顔の３次元モデル生成して、収集した顔画像及び生成した３次元モデルを対象者の基準顔画像及び基準３次元モデルとして基準情報記憶部１２ｂに記憶する。

　サーバ装置１による顔画像及び表面形状の情報の収集は、端末装置３から取得した情報全てを対象とするのではなく、例えば１日に数件程度であってよい。サーバ装置１は、例えば端末装置３にて１日に撮影された複数の顔画像及び表面形状の情報の中から、種々の条件で選別した数件程度の情報を記憶する。選別条件には、例えば対象者の正面視のもの、例えば画像の明るさが所定の閾値を超えるもの、例えば撮影された画像全体に対する顔の占める割合が所定の閾値を超えるもの、例えば笑顔等の所定の表情のもの等の様々な条件が採用され得る。なお選別条件は、どのような条件であってもよい。

　またサーバ装置１による基準３次元モデルの生成は、例えば数ヶ月に１回等の所定の周期で行われてよい。このときにサーバ装置１は、既に記憶されている古い基準顔画像及び基準３次元モデルに対して新しい基準顔画像及び基準３次元モデルを上書きして更新してもよく、古い基準顔画像及び基準３次元モデルを残して新しい基準顔画像及び基準３次元モデルを追加して記憶してもよい。

＜まとめ＞
　以上の構成の本実施の形態に係る情報処理システムでは、端末装置３のカメラ３６（センサ）が撮影（検知）した対象者の顔画像（顔情報）をサーバ装置１が取得し、取得した顔画像を基に対象者の顔の３次元モデル（顔構造情報）を生成し、生成した３次元モデルに基づいて顔画像の欠落部分を補完し、補完した顔画像に基づいて対象者の神経障害の有無を推定する。これにより情報処理システムは、正面視以外の方向から撮影された顔画像を基に対象者の神経障害の有無を精度よく推定することが期待できる。また、対象者とこの対象者の顔を撮影するカメラ等のデバイスとの位置関係が限定されないことにより、住宅内等においてデバイスを設置する場所の制限を緩和することが期待でき、対象者のリアルタイムでの見守り及び異常検出等を行うことが期待できる。

　また本実施の形態に係る情報処理システムでは、予め生成された対象者の基準３次元モデルをサーバ装置１が基準情報記憶部１２ｂに記憶し、端末装置３のカメラ３６が撮影した顔画像、基準情報記憶部１２ｂに記憶された基準３次元モデルに基づいて、対象者の３次元モデルを生成する。基準３次元モデルは、対象者の顔を２以上の方向からカメラにて撮影した多視点の顔画像（多視点顔情報）、及び、対象者の顔の表面形状を測距センサで測定することにより再現した形状モデル（３次元顔情報）に基づいて生成される。なおサーバ装置１は、基準３次元モデルを予め生成して記憶しておくのではなく、基準３次元モデルを生成するための多視点の顔画像及び形状モデルを記憶しておき、必要に応じて基準３次元モデルを生成してもよい。これらのより情報処理システムは、基準３次元モデルを精度よく生成し、顔画像の欠落部分を精度よく補完することが期待できる。

　また本実施の形態に係る情報処理システムでは、端末装置３がカメラ３６にて撮影した対象者の顔画像及び測距センサ３７にて測定した対象者の顔の形状情報をサーバ装置１が記憶部１２に記憶して蓄積する。蓄積したこれらの情報に基づいて、サーバ装置１は、基準情報記憶部１２ｂに記憶する基準３次元モデル等を更新することができ、更新した基準３次元モデルを用いることで顔画像の欠落部分を精度よく補完することが期待できる。

　また本実施の形態に係る情報処理システムでは、端末装置３が撮影した対象者の顔画像又はこれを補完した顔画像の右半分と基準情報記憶部１２ｂに記憶された顔画像の右半分との比較結果、及び、端末装置３が撮影した対象者の顔画像又はこれを補完した顔画像の左半分と基準情報記憶部１２ｂに記憶された顔画像の左半分との比較結果に基づいて、対象者の神経障害の有無をサーバ装置１が推定する。例えばサーバ装置１は、補完した顔画像の右半分が基準情報記憶部１２ｂに記憶された顔画像の右半分と比較して下がっている場合、又は、補完した顔画像の左半分が基準情報記憶部１２ｂに記憶された顔画像の左半分と比較して下がっている場合に、対象者に神経障害ありと推定することができる。これにより本実施の形態に係る情報処理システムは、対象者の神経障害の有無を精度よく推定することが期待できる。

　また本実施の形態に係る情報処理システムでは、端末装置３が撮影した対象者の顔画像又はこれを補完した顔画像を基に、対象者の顔の左半分及び右半分の対称性に基づいて、対象者の神経障害の有無を推定する。サーバ装置１は、例えば顔の右半分が左半分と比較して下がっている場合、又は、顔の左半分が右半分と比較して下がっている場合に、対象者に神経障害ありと推定することができる。これにより本実施の形態に係る情報処理システムは、対象者の神経障害の有無を精度よく推定することが期待できる。

　また本実施の形態に係る情報処理システムでは、端末装置３が撮影した顔画像が正面視以外の顔画像である場合に、補完した正面視の顔画像を端末装置３の表示部に表示する。また端末装置３は、補完した顔画像と基準情報記憶部１２ｂに記憶された基準顔画像とを並べて表示する。なお端末装置３は、補完した顔画像と基準顔画像とを、並べて表示するのではなく、重畳して表示してもよい。また端末装置３は、対象者の顔画像と共に、神経障害の有無の推定結果の根拠となる部分がいずれであるかを表示する。これらにより本実施の形態に係る情報処理システムは、神経障害の有無の推定結果等を理解しやすく対象者等に提示することが期待できる。

　また本実施の形態に係る情報処理システムでは、端末装置３のカメラ３６にて撮影した対象者の顔画像に基づき対象者に神経障害ありとサーバ装置１が推定した場合に、端末装置３が測距センサ３７にて対象者の顔の表面形状を測定し、測定した表面形状に基づいてサーバ装置１が対象者の神経障害の有無の推定を更に行う。なお情報処理システムは、測距センサ３７の測定結果に基づく推定を先に行って、カメラ３６の撮影画像に基づく推定を後に行ってもよい。また本実施の形態に係る情報処理システムは、これらの推定処理により対象者に神経障害ありと推定した場合、対象者に対する診断テストを行う。これらにより本実施の形態に係る情報処理システムは、対象者の神経障害の有無及び程度等を精度よく判断することが期待できる。

　なお本実施の形態においては、最初の神経障害の有無の推定処理において、対象者の顔情報を取得するためのセンサとしてカメラ３６を用いているが、一例であってこれに限るものではなく、センサは例えば測距センサ３７であってもよく、これら以外のセンサであってもよい。また本実施の形態においては、２番目の神経障害の有無の推定処理において第２センサとして測距センサ３７を用いているが、一例であってこれに限るものではない。第２センサは、例えばマイク、輝度変化を抽出するイベント駆動撮影装置、ミリ波センサ、超音波センサ、又は、サーモグラフィカメラなど等であってもよく、これら以外のセンサであってもよい。第２センサは、複数種類のセンサを備えてもよい。また、第２センサが取得する情報は、顔情報に限るものではなく、腕のゆらぎの変化（身体動揺・振戦）、腕の脱力、発話異常（失語・構音障害）等の対象者の異常を示す情報であってもよい。

　また本実施の形態に係る情報処理システムでは、端末装置３がカメラにて撮影した顔画像に基づいてサーバ装置１が対象者の神経障害の有無を推定する処理を行っているが、これに限るものではなく、端末装置３が神経障害の有無を推定する処理を行ってもよく、この場合に情報処理システムはサーバ装置１を含まなくてよい。

＜実施の形態２＞
　実施の形態１に係る情報処理システムでは、予め記憶された基準３次元モデル及び基準顔画像を用いて、端末装置３が撮影した対象者の顔画像の欠落部分をサーバ装置１が補完する。これに対して実施の形態２に係る情報処理システムでは、基準３次元モデル及び基準顔画像等の基準となる情報を予め記憶しておくことなく、予め機械学習がなされた学習モデル（いわゆるＡＩ（Artificial Intelligence））を用いることによって、端末装置３が撮影した対象者の顔画像の欠落部分をサーバ装置１が補完する。

　図１０は、実施の形態２に係るサーバ装置１が備える学習モデルの構成を説明するための模式図である。実施の形態２に係るサーバ装置１は、記憶部１２に基準情報記憶部１２ｂが設けられておらず、これに代えて学習済みの学習モデルに関する情報が記憶部１２に記憶されている。学習モデルに関する情報には、例えば学習モデルの構造を規定する情報及び機械学習により決定された内部パラメータの値等の情報が含まれ得る。実施の形態２に係るサーバ装置１は、形状推定モデル５１及び補完モデル５２の２つの学習モデルを用いて、対象者の顔画像の欠落部分を補完する処理を行う。

　形状推定モデル５１は、２次元の顔画像を入力として受け付けて、この顔画像に写された顔の３次元における表面形状を推定し、推定結果を形状情報として出力するように予め機械学習がなされた学習モデルである。形状推定モデル５１には、例えば学習済みの顔メッシュの学習モデルが用いられ得る。顔メッシュの学習モデルは、画像から顔のキーポイント（特徴点）を検出する機械学習モデルであり、人間の顔から数百の特徴点を３次元座標で出力することができる。図１１は、形状推定モデル５１が出力する形状情報の一例を示す模式図である。本図は、顔メッシュの学習モデルが出力した複数の特徴点を３次元仮想空間にプロットしたものであり、人間の顔の形状が再現され、顔の向き等を３次元仮想空間において変化させることが可能である。なお、顔メッシュの学習モデルは既存の技術であるため、機械学習の方法等の詳細の説明は省略する。また形状推定モデル５１は、顔メッシュの学習モデル以外の学習モデルが採用されてよい。

　なお本実施の形態において、形状推定モデル５１は、もし対象者に神経障害がある場合、顔の歪み等の特徴を示す少なくとも１つの特徴点が含まれた顔画像が入力されることによって、この対象者の顔の歪み等を再現した形状情報を出力することができる。もし対象者に神経障害がある場合であっても、顔の歪み等の特徴を示す特徴点が全く含まれていない顔画像が入力された場合には、形状推定モデル５１は、この対象者の顔の歪み等を再現せず、正常状態の顔を再現した形状情報を出力し得る。

　補完モデル５２は、２次元の顔画像と、この顔画像から形状推定モデル５１が推定した形状情報とを入力として受け付けて、顔画像に写された顔の３次元モデルを生成するように予め機械学習がなされた学習モデルである。補完モデル５２が出力する３次元モデルは、入力された形状情報に顔画像が貼り付けられ、且つ、顔画像の欠落部分を補完した３次元モデルである。補完モデル５２は、例えばＤＮＮ（Deep Neural Network）又はＣＮＮ（Convolutional Neural Network）等の学習モデルが採用され得る。補完モデル５２は、例えば実施の形態１に係る情報処理システムにて事前処理として行われる３次元モデルの生成と同様の手順（図５参照）で顔画像、形状情報及び３次元モデルを取得し、これらを教師データとして機械学習を行うことで生成され得る。なおこれらの学習モデルの機械学習の処理は、既存の技術であるため、詳細な説明を省略する。

　図１２は、実施の形態２に係るサーバ装置１が行う顔画像補完処理の手順を示すフローチャートである。実施の形態２に係るサーバ装置１の処理部１１の３次元モデル生成部１１ｂは、端末装置３のカメラ３６にて撮影された対象者の顔画像を、予め機械学習がなされた形状推定モデル５１へ入力する（ステップＳ６１）。３次元モデル生成部１１ｂは、形状推定モデル５１が出力する形状情報を取得する（ステップＳ６２）。

　次いで３次元モデル生成部１１ｂは、対象者の顔画像と、ステップＳ６２にて取得した形状情報とを補完モデル５２へ入力する（ステップＳ６３）。３次元モデル生成部１１ｂは、補完モデル５２が出力する３次元モデルを取得することで（ステップＳ６４）、対象者の顔の３次元モデルを生成する。処理部１１の顔画像補完部１１ｃは、ステップＳ６３にて生成された対象者の顔の３次元モデルから正面視の２次元画像を生成することにより、端末装置３が撮影した顔画像の欠落部分を補完した顔画像を生成し（ステップＳ６５）、顔画像補完処理を終了する。

　また実施の形態２に係る情報処理システムでは、実施の形態１に係る情報処理システムと同様に、端末装置３がカメラ３６にて撮影した顔画像及び／又は測距センサ３７にて計測した形状情報等を記憶して蓄積しておく。蓄積したこれらの情報は、補完モデル５２の再学習に用いることができる。サーバ装置１は、例えば１日に数回の頻度で情報の記憶を行い、例えば１週間に１度の頻度で補完モデル５２の再学習を行うことができる。

　また実施の形態２に係るサーバ装置１は、端末装置３のカメラ３６が撮影した対象者の顔画像を補完し、補完した顔画像に基づいて神経障害ありと推定した後、例えば所定時間内に端末装置３のカメラ３６が撮影した正面視の顔画像に基づいて補完処理を行うことなく神経障害なしと推定した場合、最初の推定結果が誤っていたと判断する。サーバ装置１は、誤っていた最初の推定処理に用いた顔画像、これを補完した顔画像、最初の推定処理に続けて行われた測距センサ３７による測定の結果、及び、後の推定処理に用いた顔画像等の情報を、再学習のための情報として記憶する。このように、サーバ装置１が推定結果に誤りがあったと判断した場合の情報を蓄積して補完モデル５２の再学習に用いることによって、補完モデル５２による顔画像の補完の精度を向上することが期待できる。

　以上の構成の実施の形態２に係る情報処理システムでは、対象者の顔を撮影した顔画像を入力として受け付けて、対象者の３次元モデルを出力するよう機械学習がなされた学習モデル（形状推定モデル５１及び補完モデル５２を組み合わせた学習モデル）をサーバ装置１が備える。サーバ装置１は、端末装置３のカメラ３６が撮影した顔画像を学習モデルへ入力し、学習モデルが出力する３次元モデルを取得することで、対象者の顔画像から３次元モデルを生成する。これにより実施の形態２に係る情報処理システムは、対象者の３次元モデルを精度よく生成し、顔画像の欠落部分を精度よく補完することが期待できる。

　今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　１　サーバ装置
　３　端末装置
　１１　処理部
　１１ａ　顔画像取得部
　１１ｂ　３次元モデル生成部
　１１ｃ　顔画像補完部
　１１ｄ　神経障害推定部
　１１ｅ　第２推定部
　１１ｆ　診断テスト処理部
　１１ｇ　通知処理部
　１２　記憶部
　１２ａ　サーバプログラム
　１２ｂ　基準情報記憶部
　１３　通信部
　３１　処理部
　３１ａ　撮影処理部
　３１ｂ　測距処理部
　３１ｃ　診断テスト処理部
　３２　記憶部
　３２ａ　プログラム
　３３　通信部
　３４　表示部
　３５　操作部
　３６　カメラ
　３７　測距センサ
　５１　形状推定モデル
　５２　補完モデル
　９８，９９　記録媒体
　Ｎ　ネットワーク

Claims

　コンピュータに、
　センサが検知した対象者の顔情報を取得し、
　取得した前記顔情報を基に、前記対象者の顔構造情報を生成し、
　生成した前記顔構造情報に基づいて、取得した前記顔情報について欠落した前記対象者の顔情報を補完し、
　補完した前記顔情報に基づいて、当該対象者の神経障害の有無を推定する
　処理を実行させる、コンピュータプログラム。
　予め生成された前記対象者の基準顔構造情報を記憶部から取得し、
　前記センサが検知した前記顔情報、及び、前記記憶部に記憶された前記基準顔構造情報に基づいて、前記対象者の顔構造情報を生成する、
　請求項１に記載のコンピュータプログラム。
　前記基準顔構造情報には、前記対象者の顔の前面に対して２以上の方向からセンサにて取得した多視点顔情報を含む、
　請求項２に記載のコンピュータプログラム。
　前記基準顔構造情報には、前記対象者の顔の３次元形状をセンサにて取得した３次元顔情報を含む、
　請求項２又は請求項３に記載のコンピュータプログラム。
　前記基準顔構造情報には、前記対象者の顔の前面に対して２以上の方向からセンサにて取得した多視点顔情報を基に生成した顔構造情報、及び／又は、前記対象者の顔の３次元形状をセンサにて取得した３次元顔情報を基に生成した顔構造情報を含む、
　請求項２から請求項４までのいずれか１つに記載のコンピュータプログラム。
　取得した顔情報又は当該顔情報を基に生成した顔構造情報を前記基準顔構造情報として前記記憶部に記憶する、
　請求項２から請求項５までのいずれか１つに記載のコンピュータプログラム。
　補完した前記顔情報に基づく前記対象者の顔の右半分と前記基準顔構造情報に基づく顔の右半分との比較結果、及び、補完した前記顔情報に基づく前記対象者の顔の左半分と前記基準顔構造情報に基づく顔の左半分との比較結果に基づいて、当該対象者の神経障害の有無を推定する、
　請求項２から請求項６までのいずれか１つに記載のコンピュータプログラム。
　補完した前記顔情報に基づく顔の右半分が前記基準顔構造情報に基づく顔の右半分と比較して下がっている場合、又は、補完した前記顔情報に基づく顔の左半分が前記基準顔構造情報に基づく顔の左半分と比較して下がっている場合に、前記対象者に神経障害ありと推定する、
　請求項７に記載のコンピュータプログラム。
　対象者の顔情報を入力として受け付けて前記対象者の顔構造情報を出力するよう機械学習がなされた学習モデルに、前記センサが検知した顔情報を入力して前記学習モデルが出力する前記顔構造情報を取得することで、前記対象者の顔構造情報を生成する、
　請求項１から請求項８までのいずれか１つに記載のコンピュータプログラム。
　補完した前記顔情報に基づく前記対象者の顔の右半分及び左半分の対称性に基づいて、当該対象者の神経障害の有無を推定する、
　請求項１から請求項９までのいずれか１つに記載のコンピュータプログラム。
　前記顔の右半分が左半分と比較して下がっている場合、又は、前記顔の左半分が右半分と比較して下がっている場合に、前記対象者に神経障害ありと推定する、
　請求項１０に記載のコンピュータプログラム。
　前記センサが検知した顔情報を補完した顔情報に基づいて前記対象者に神経障害ありと推定した後、前記センサが検知した顔情報に基づいて補完せずに前記対象者に神経障害なしと推定した場合、神経障害ありと推定した際の顔情報を記憶部に記憶する、
　請求項１から請求項１１までのいずれか１つに記載のコンピュータプログラム。
　前記センサが検知した顔情報が前記対象者の正面視以外の顔情報である場合に、補完した正面視の顔情報を表示部に表示する、
　請求項１から請求項１２までのいずれか１つに記載のコンピュータプログラム。
　補完した顔情報と記憶部に予め記憶された前記対象者の顔情報とを並べて又は重畳して前記表示部に表示する、
　請求項１３に記載のコンピュータプログラム。
　前記神経障害の有無の推定結果に関与した部分を顔情報と共に前記表示部に表示する、
　請求項１３又は請求項１４に記載のコンピュータプログラム。
　前記対象者に神経障害が有ると推定した場合に、前記センサとは異なる第２センサにて前記対象者の情報を取得し、
　前記第２センサにて取得した前記情報に基づいて、当該対象者の神経障害の有無を更に推定する、
　請求項１から請求項１５までのいずれか１つに記載のコンピュータプログラム。
　前記センサとは異なる第２センサにて前記対象者の情報を取得し、
　前記第２センサにて取得した前記情報に基づいて、当該対象者の神経障害の有無を推定し、
　前記対象者に神経障害が有ると推定した場合に、前記センサにて取得した前記顔情報に基づいて、当該対象者の神経障害の有無を更に推定する、
　請求項１から請求項１５までのいずれか１つに記載のコンピュータプログラム。
　前記対象者に神経障害が有ると推定した場合に、前記対象者に対する診断テストを実施する、
　請求項１から請求項１７までのいずれか１つに記載のコンピュータプログラム。
　前記センサは、２次元の画像を撮影するカメラである、
　請求項１から請求項１８までのいずれか１つに記載のコンピュータプログラム。
　前記センサは、測距センサである、
　請求項１から請求項１８までのいずれか１つに記載のコンピュータプログラム。
　情報処理装置が、
　センサが検知した対象者の顔情報を取得し、
　取得した前記顔情報を基に、前記対象者の顔構造情報を生成し、
　生成した前記顔構造情報に基づいて、取得した前記顔情報について欠落した前記対象者の顔情報を補完し、
　補完した前記顔情報に基づいて、当該対象者の神経障害の有無を推定する、
　情報処理方法。
　センサが検知した対象者の顔情報を取得する取得部と、
　取得した前記顔情報を基に、前記対象者の顔構造情報を生成する生成部と、
　生成した前記顔構造情報に基づいて、取得した前記顔情報について欠落した前記対象者の顔情報を補完する補完部と、
　補完した前記顔情報に基づいて、当該対象者の神経障害の有無を推定する推定部と
　を備える、情報処理装置。