Nothing Special   »   [go: up one dir, main page]

JP7206741B2 - 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム - Google Patents

健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム Download PDF

Info

Publication number
JP7206741B2
JP7206741B2 JP2018178586A JP2018178586A JP7206741B2 JP 7206741 B2 JP7206741 B2 JP 7206741B2 JP 2018178586 A JP2018178586 A JP 2018178586A JP 2018178586 A JP2018178586 A JP 2018178586A JP 7206741 B2 JP7206741 B2 JP 7206741B2
Authority
JP
Japan
Prior art keywords
image
health
health condition
user
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018178586A
Other languages
English (en)
Other versions
JP2020052505A (ja
Inventor
光宏 柿沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2018178586A priority Critical patent/JP7206741B2/ja
Publication of JP2020052505A publication Critical patent/JP2020052505A/ja
Application granted granted Critical
Publication of JP7206741B2 publication Critical patent/JP7206741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムに関し、詳細には、顔画像に基づく健康状態の判定に関する。
スマートフォン等のカメラ付き電子機器が普及し、ユーザが気軽に写真を撮影し、撮影画像を活用する機会が増えている。また、撮影した顔画像から本人を確認する技術や、顔の表情から感情を認識する技術等が提案されている。また、近年では顔画像を解析し、顔の美しさを数値化して出力するアプリケーションも開発されている(非特許文献1)。このアプリケーションでは、機械学習(Deep Learning)を利用して、人や物をはじめとした様々な「見た目」に対する抽象的な評価を、一般的な社会での評価に近い形で数値化している。
株式会社PARTY、2016年、"Deeplooks見えないものを見るテクノロジー"、[online]、[平成30年8月22日検索]、インターネット、<URL:https://deeplooks.com/>
しかしながら、ユーザの関心は美しさに限るものではない。例えば、自分の健康状態について客観的な評価を得たいユーザも多い。
本発明は、前述した問題点に鑑みてなされたものであり、その目的は、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供することである。
前述した課題を解決するため第1の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、前記ユーザ端末は、ユーザの画像を撮影する撮影手段と、前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、取得した健康度を出力する出力手段と、を備え、前記サーバは、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定システムである。
第1の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
また、前記サーバは、前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することが望ましい。これにより、ユーザの健康状態の履歴を参照して現在の健康状態を相対的に分析できる。
また、前記サーバは、前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることが望ましい。これにより、顔の変化を動画で確認することが可能となる。
また、前記出力手段は、前記顔画像と前記健康度を示す値とを並べて表示することが望ましい。
また、前記サーバは、前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることが望ましい。これによりユーザは健康状態の推移をグラフで分かりやすく確認できる。また、前記サーバは、現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることが望ましい。これによりユーザは、現在の美顔率と健康度との相関関係を分かりやすく確認できる。
また、前記サーバは、前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることが望ましい。また、前記アドバイス情報はユーザの健康状態に関するアドバイス情報、または、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることが望ましい。これによりユーザは、健康状態に関するアドバイスや適切な表情、化粧、または髪型のアドバイスを閲覧したり音声で聴取したりすることが可能となる。
前記ユーザ端末は、ユーザの音声を入力する音声入力手段と、前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、前記出力手段は、前記健康度を表示または音声出力することが望ましい。これにより、音声による操作でユーザの健康度を得ることができる。
第2の発明は、画像を撮影する撮影手段と、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を出力する出力手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置である。
第2の発明によれば、撮影したユーザの顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、出力する健康状態判定装置を提供できる。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
第3の発明は、ユーザ端末とネットワークを介して通信接続されたサーバであって、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバである。
第3の発明により、第1の発明の健康状態判定システムにおけるサーバを提供できる。
第4の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、前記ユーザ端末がユーザの画像を撮影するステップと、前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、前記ユーザ端末が、取得した健康度を出力するステップと、を含み、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法である。
第4の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
第5の発明は、コンピュータを、撮影した画像を取得する画像取得手段、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を出力する出力手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。
第5の発明により、コンピュータを第2の発明の健康状態判定装置として機能させることが可能となる。
第6の発明は、ユーザ端末とネットワークを介して通信接続されたコンピュータを、前記ユーザ端末から送信された画像を受信する受信手段、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を前記ユーザ端末に送信する送信手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。第6の発明により、コンピュータを第1の発明の健康状態判定システムにおけるサーバとして機能させることが可能となる。
本発明により、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供できる。
本発明に係る健康状態判定システム1のシステム構成を示すブロック図 健康状態判定システム1の機能構成を示すブロック図 データベース34の内容を示す図 サーバ3のハードウェア構成の例を示す図 ユーザ端末5のハードウェア構成の例を示す図 健康状態判定処理の流れを示すフローチャート ユーザ端末5の表示画面例。(a)ユーザを撮影した段階、(b)健康度65を表示した段階 ステップS106の健康状態解析処理を説明するフローチャート 美顔率の判定に用いる画像 健康状態分析処理の流れを示すフローチャート 健康状態分析処理において提供されるダッシュボード80の例を示す図 動画作成処理の流れを示すフローチャート
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図1は本発明に係る健康状態判定システム1のシステム構成を示すブロック図、図2は健康状態判定システム1の機能構成を示すブロック図である。
図1に示すように、健康状態判定システム1は、サーバ3とユーザ端末5とがネットワーク7を介して通信接続されて構成される。
サーバ3は、画像に含まれる顔画像からユーザの健康状態を解析し、健康度を算出するコンピュータである。図2に示すように、サーバ3は、受信部31、解析部32、送信部33、データベース34を有する。またサーバ3は付加的な機能として、グラフ作成部35、相関画像作成部36、アドバイス情報作成部37、動画作成部38等を備えるものとしてもよい。
サーバ3の受信部31は、ユーザ端末5から送信された画像を受信する。
解析部32は、受信した画像に含まれる顔画像に基づきユーザ(顔画像の人物)の健康状態を解析し、健康状態を示す値である健康度を算出する。解析部32は、例えば肌の状態や美顔率に基づいてユーザの健康状態を分析する。そして健康状態を数値化し、健康度として表す。また、解析部32は、顔画像からユーザを特定し、データベース34に記憶されている該ユーザの過去の顔画像や健康状態(肌の状態、美顔率)を参照して健康度を算出するようにしてもよい。
送信部33は、解析部32が算出した健康度を画像の送信元のユーザ端末5に送信する。
データベース34は、解析部32が解析した健康状態に関する情報(健康度346、美顔率345、肌の状態344等)、ユーザの顔画像342、及び顔画像342の撮影日時情報343をユーザの識別情報(ユーザID)341と対応づけて蓄積記憶する。図3はデータベース34の内容を示す図である。ユーザID341は予め登録されたユーザのユーザID341であり、例えば「0001」、「0002」のような識別情報が記憶される。顔画像342はユーザ端末5から送信された画像から顔領域を抽出した顔画像のファイル名または顔画像の格納先を示す情報が記憶される。撮影日時343は、顔画像342の撮影日時を示す情報である。肌の状態344は、顔画像342に含まれるシミや吹き出物の位置情報が格納される。シミや吹き出物の位置情報は、解析部32により過去のユーザの顔画像またはユーザの基準画像との比較により求められる。美顔率345は、解析部32により求められた美顔率の値が格納される。健康度は、解析部32により求められた健康度の値が格納される。
グラフ作成部35は、データベース34に記憶されている健康状態の推移を時系列に示すグラフを作成する。作成したグラフは、ユーザ端末5のWEBブラウザ55からサーバ3にログインした際に、閲覧可能に表示される。
相関画像作成部36は、現在の美顔率と健康度との相関関係を示す画像(相関画像という)を作成する。作成した相関画像は、ユーザ端末5のWEBブラウザ55からサーバ3にログインした際に、閲覧可能に表示される。
アドバイス情報作成部37は、顔画像に基づきアドバイス情報を生成する。アドバイス情報は、例えば、ユーザの健康状態に関するアドバイス情報としてもよいし、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報としてもよい。作成したアドバイス情報は、ユーザ端末5のWEBブラウザ55からサーバ3にログインした際に、閲覧可能に表示されるか、或いは音声出力可能に提供される。
動画作成部38は、データベース34に蓄積記憶した同じユーザの顔画像を連続的に再生する動画像を作成する。作成した動画像は、ユーザ端末5或いは任意の端末で再生可能に提供される。
図4は、サーバ3のハードウェア構成の例を示す図である。図4に示すように、サーバ3は、制御部301、記憶部302、及び通信部303をバス309等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。
制御部301は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等によって構成される。CPUは、記憶部302、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス309を介して接続された各装置を駆動制御し、サーバ3が行う処理を実現する。
記憶部302は、フラッシュメモリ、HDD(Hard Disk Drive)等であり、制御部301が実行するプログラム、プログラム実行に必要なデータ、OS(Operating System)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、健康状態を解析する処理をサーバ3に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部301により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
通信部303は、通信制御装置、通信ポート等を有し、サーバ3とネットワーク7との間の通信を媒介する通信インタフェースであり、ネットワーク7を介して、ユーザ端末5や他のコンピュータとの通信制御を行うことが可能である。バス309は、各部間の制御信号、データ信号等の授受を媒介する経路である。
図1に説明に戻る。
ユーザ端末5は、サーバ3にネットワーク7を介して通信接続可能な端末であり、例えば、スマートフォン、AIスピーカ、ゲーム機、ノート型PC、デスクトップPC、その他の電子機器である。ユーザ端末5は、図2に示すように、カメラ(撮影手段)51、送信部52、健康度取得部53、出力部54、WEBブラウザ55を備える。
カメラ(撮影手段)51は、ユーザの画像を撮影するカメラであり、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子により構成される。
送信部52は、カメラ51により撮影した画像をサーバ3に送信する。
健康度取得部53は、サーバ3において算出されたユーザの健康度346を取得(受信)する。
出力部54は、健康度取得部53により取得(受信)した健康度346を出力する。
WEBブラウザ55はネットワーク7を介してサーバ3にアクセスし、ログイン認証を行うことで、サーバ3のユーザの健康状態に関する情報を取得(ダウンロード)する。健康状態に関する情報には、解析部32により求められた健康度346、肌の状態344、及び美顔率345の履歴、グラフ作成部35により作成されたグラフ、相関画像作成部36により作成された相関画像、アドバイス情報作成部37により作成されたアドバイス情報、動画作成部38により作成された動画等が含まれる。
図5は、ユーザ端末5のハードウェア構成の例を示す図である。図5に示すように、ユーザ端末5は、制御部501、記憶部502、通信部503、表示部504、入力部505、カメラ506、及び音声処理部507をバス508等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。
制御部501、記憶部502、通信部503の機能は上述した制御部301、記憶部302、通信部303と略同様である。なお、ユーザ端末5の記憶部502には後述する処理をユーザ端末5に実行させるためのプログラムが格納される。
表示部504は、入力部505を兼ねたタッチパネル付ディスプレイ等により実現される。表示部504は、ユーザの操作・選択に係る各種の画面を表示し、画面上のタッチ操作によるユーザの指示入力等を受付ける。
入力部505は、タッチパネル及び各種のボタン等により構成され、入力された信号を制御部501に入力する。
音声処理部507は、マイク(音声入力部)、スピーカ(音声出力部)、音声認識部、音声合成部等を備え、マイクから入力された音声を認識して制御部501へ入力する。また、制御部501から出力された音声をスピーカから出力する。
ネットワーク7は、LAN(Local Area Network)や、より広域に通信接続されたWAN(Wide Area Network)、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク7は有線、無線を問わない。
次に、図6~図9を参照して、健康状態判定システム1が実行する各処理について説明する。
まず、図6を参照して健康状態判定処理について説明する。
ユーザ端末5においてユーザから撮影指示が入力されると(ステップS101)、ユーザ端末5の制御部501は、カメラ51を起動し撮影を行う(ステップS102)。ここで、ユーザの顔を含む画像が撮影されるものとする。ユーザ端末5(送信部52)は、撮影した画像をサーバ3に送信する(ステップS103)。
図7(a)はユーザ端末5においてユーザを撮影した段階(ステップS102)での表示画面例である。表示部504には、撮影された画像62が表示されるとともに、「キャンセル」ボタン63及び「送信」ボタン64が表示される。ユーザにより「送信」ボタン64がタッチされると制御部501は、撮影画像62をサーバ3に送信する。ユーザにより「キャンセル」ボタン63がタッチされた場合は、制御部501は撮影画像を破棄し、再撮影を行う。
サーバ3(受信部31)は、ユーザ端末5から送信された画像62を受信する(ステップS104)。すると、サーバ3の制御部301(解析部32)は受信した画像62から顔領域を抽出し、顔画像342を取得する(ステップS105)。なお、顔画像342のサイズが所定の画像サイズとなるように処理されることが望ましい。これは、解析部32が肌の状態(シミの位置や吹き出物の位置)344を求める際に過去の顔画像と比較するためである。そしてサーバ3の制御部301(解析部32)は、取得した顔画像342に基づきユーザの健康状態を解析する(ステップS106)。
図8は、ステップS106の健康状態解析処理を説明するフローチャートである。
図8に示すように、サーバ3の制御部301(解析部32)は、顔画像342からユーザを特定する(ステップS201)。なお、ユーザの過去の顔画像342はサーバ3の記憶部302(データベース34)にユーザを識別する情報であるユーザID341に対応付けて登録されているものとする。ステップS201においてユーザが特定できない場合は、未登録ユーザであるため、新規ユーザ登録処理へ移行する。新規ユーザ登録処理は、新規ユーザIDを発行し、顔画像、ユーザ情報(ユーザ名、年齢、性別等の属性情報、メールアドレス等の連絡先情報)の登録を受け付け、ユーザID、顔画像、ユーザ情報を記憶部302に登録する。
ステップS201においてユーザを特定すると、次にサーバ3の制御部301はユーザの基準顔画像を記憶部302から読み出す(ステップS202)。ユーザの基準顔画像は、最初に登録した顔画像としてもよいし、複数の過去のユーザの顔画像の中からユーザが選択した顔画像としてもよいし、サーバ3の制御部301により生成したユーザの顔画像(例えば、顔のパーツを組み合わせた合成画像)を基準画像としてもよい。また、基準顔画像は、真顔のみとしてもよいが、笑顔、怒った顔、悲しい顔等の表情毎に用意しておくようにしてもよい。
サーバ3の制御部301(解析部32)は、ユーザ端末5から受信したユーザの顔画像342とステップS202で読み出した基準顔画像とを比較して肌の状態(シミ、肌荒れの有無や位置等)344を判定する(ステップS203)。肌の状態判定では、基準顔画像と受信した顔画像342とを比較して、シミや肌荒れの位置を検出し、シミや肌荒れの個数や大きさ、位置から肌の状態344を示す指標値を求める。なお、肌荒れ(吹き出物やニキビ)ができる位置はその原因と関係があるとの見解もあるため、肌荒れの位置から原因を分析するようにしてもよい。例えば、額のニキビは赤身の肉や飽和脂肪酸 、アルコールの摂り過ぎが原因、頬にできるニキビは肉、砂糖、乳製品の摂り過ぎが原因、フェイスラインのニキビは加工食品の摂り過ぎや大腸の消化不良等が原因等である。
また、サーバ3の制御部301(解析部32)は、ユーザ端末5から受信したユーザの顔画像342とステップS202で読み出した基準顔画像とを比較して美顔率345を判定する(ステップS204)。図9は美顔率345の判定に用いる画像である。美顔率345は、例えば、顔の各部位(目、鼻、口、眉、頬、顎)の位置や大きさ等を基準顔画像と比較したり、各パーツの間隔や比率、左右比等に基づいて求められる値である。なお、美顔率345は、一般的な美人顔を基準画像とするのではなく、本人の過去の画像(若いころの画像)や本人が選択した本人の顔画像を基準顔画像とすることが望ましい。
また、美顔率345の判定は、真顔の顔画像342で行ってもよいが、真顔の他に、笑顔、怒った顔、悲しい顔等、表情のある顔画像についても追加判定を行ってもよい。この場合、予めユーザ端末5は、真顔、笑顔、怒った顔、悲しい顔を順に撮影し、それらの画像をすべてサーバ3に送信し、サーバ3は、真顔の顔画像と真顔の基準顔画像、笑顔の顔画像と笑顔の基準顔画像、怒った顔の顔画像と怒った顔の基準顔画像、悲しい顔の顔画像と悲しい顔の基準顔画像をそれぞれ比較して、総合的な美顔率345を算出する。
制御部301(解析部32)は、ステップS203で求めた肌の状態344やステップS204で求めた美顔率345からユーザの健康度346を算出する(ステップS205)。健康度346は、例えば、肌の状態344が良好(シミや吹き出物の個数が少ない、大きさが小さい)であり、美顔率345が高いほど高い値となるように算出される。
制御部301(解析部32)は、算出した健康度346、肌の状態344、美顔率345等を顔画像342、日時情報343とともにユーザID341と対応づけてデータベース34(記憶部302)に保存する(ステップS206)。
上述のように健康状態の解析を行うと(図5のステップS106)、サーバ3の制御部301(送信部33)は算出した健康度346をユーザ端末5に送信する(ステップS107)。
ユーザ端末5(健康度取得部53)は、健康度346を受信する(ステップS108)。そして、ユーザ端末5(出力部54)は、取得した健康度346を表示部504に表示したり、音声処理部507のスピーカから音声出力する(ステップS109)。図7(b)は、健康度65(健康度346)を表示したユーザ端末5の表示画面例を示す図である。図7(b)に示すように、ユーザ端末5の表示部504には例えば、顔画像62(顔画像342)とともに受信した健康度65(健康度346)の値が「92」ポイントのように表示される。
このように、健康状態判定処理では、ユーザの顔画像342から簡単に数値化されたユーザの健康状態(健康度346)を得ることが可能となる。また、ユーザは毎日、ユーザ端末5で顔画像を撮影し、サーバ3に送信するだけで、健康状態の記録をサーバ3に蓄積することが可能となる。
次に、図10、図11を参照して、健康状態判定システム1において実行される健康状態分析処理について説明する。なお、図10の処理において、ユーザ端末5は、音声操作を受け付けているものとする。
ユーザ端末5に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末5は音声処理部507により入力された音声情報を認識し、WEBブラウザ55を起動してサーバ3にアクセスし、ユーザの音声情報を送信する(ステップS301)。サーバ3はユーザ端末5から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う(ステップS302)。サーバ3はユーザ端末5に認証結果を送信する。ユーザ端末5は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。
トップ画面(不図示)には、健康状態判定システム1で実行可能な各機能へ移行するためのボタンが表示される。ここでは、「健康状態の閲覧」メニューがユーザにより選択されるものとする。ユーザ端末5は、健康状態の閲覧要求をサーバ3に送信する(ステップS304)。メニューの選択は、画面のタッチ操作により行ってもよいし、音声入力により行ってもよい。
サーバ3は、ログインしたユーザ端末5から健康状態の閲覧要求を受信すると、データベース34から当該ユーザ(音声により特定されたユーザ)の美顔率345、肌の状態344、健康度346等の健康状態に関する情報の履歴(過去の情報)を取得する(ステップS305)。サーバ3の制御部301は、取得した健康状態に関する情報の履歴(過去の情報)に基づいて健康状態の推移を示すグラフを作成する(ステップS306)。グラフは、例えば、図11に示すような、美顔率345を時系列(週単位、月単位、または年単位)に示したグラフ81、シミの個数を時系列(週単位、月単位、または年単位)に示したグラフ82、肌荒れの個数を時系列(週単位、月単位、または年単位)に示したグラフ83である。グラフ81、82、83はダッシュボード80にレイアウトされる。
また、サーバ3の制御部301は、現在の顔画像342について美顔率345と健康度346との相関画像84を作成する(ステップS307)。相関画像84とは、美顔率345と健康度346との相関関係を示す画像である。例えば、図11に示すように、ユーザの顔画像342の各パーツに美顔率345を算出するための補助線を重ね、各補助線の間隔の比率を各補助線の近傍に示すとともに、美顔率345と健康度346とを示した画像84である。
また、サーバ3の制御部301は、現在の顔画像342についてのアドバイス情報85を作成する(ステップS308)。アドバイス情報85は、ユーザの健康状態に関するアドバイスや、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス等である。
健康状態に関するアドバイスは、肌荒れやシミ等の位置から分析される原因に基づき生活習慣や食事、睡眠等の改善点を提案する情報である。健康状態と肌荒れをリンクさせて、発生から完治までの状況から肌荒れに最適な食事や睡眠など健康へのアドバイスを行う。健康状態に関するアドバイスの情報は、サーバ3の記憶部302に予め記憶された複数パターンのアドバイス用の定型文や画像の中から、肌荒れやシミ等の位置と原因に基づいて適切ないくつかの情報を抽出し、組み合せて生成される。
また、ユーザの顔画像342と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイスは、テキストだけでなくアドバイス画像86を作成してもよい。図11のアドバイス画像86は、左側領域に撮影された顔画像342の左側部分を表示し、右側領域に撮影された顔画像342の右側部分をメイクアップ加工した加工画像を表示したものである。メイクアップ加工は、一般的なメイクアプリにより実施できる。
グラフ81、82、83、相関画像84、アドバイス情報85、アドバイス画像86等が作成されると、サーバ3の制御部301は、作成したグラフ81、82、83、相関画像84、アドバイス情報85、アドバイス画像86等をレイアウトしたダッシュボード80を作成し(ステップS309)、ユーザ端末5に送信する(ステップS310)。
ユーザ端末5(WEBブラウザ55)は、サーバ3からユーザの健康状態を示したダッシュボード80を受信し(ステップS311)、表示部504に閲覧可能に表示する。また、このときアドバイス情報85のテキストを音声で読み上げ(音声出力)するようにしてもよい(ステップS312)。ユーザは、表示されたダッシュボード80を閲覧したり、読み上げられたアドバイス情報を聴取することで、健康状態の推移や健康や美容に関するアドバイスを得ることができる。以上が、健康状態解析処理(グラフ作成処理、相関画像作成処理、アドバイス情報作成処理を含む)の説明である。
なお、図10に示す健康状態解析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報(ユーザID、パスワード)の入力を受け付けてログイン処理を行うものとしてもよい。また、上述したグラフ作成処理におけるグラフの作成方法、相関画像作成処理における相関画像の作成方法、アドバイス情報作成処理におけるアドバイス情報の作成方法は一例であり、本発明は上述の例に限定されず、その他の方法を用いてもよい。
次に、図12を参照して動画作成部38による動画作成について説明する。図12は、動画作成処理について説明するフローチャートである。
図12に示すように、ユーザ端末5に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末5は音声処理部507により入力された音声情報を認識し、WEBブラウザ55を起動してサーバ3にアクセスし、ユーザの音声情報を送信する(ステップS401)。サーバ3はユーザ端末5から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う(ステップS402)。サーバ3はユーザ端末5に認証結果を送信する。ユーザ端末5は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。
トップ画面において、「動画作成」メニューがユーザにより選択されると、ユーザ端末5は、動画作成要求をサーバ3に送信する(ステップS404)。メニューの選択は、タッチ操作により行ってもよいし、音声入力により行ってもよい。
サーバ3は、ログインしたユーザ端末5から動画作成要求を受信すると、データベース34に記憶されている当該ユーザの顔画像342を複数読出し(ステップS405)、読み出した顔画像を時系列に再生する動画(フォトムービー)を作成する(ステップS406)。フォトムービーには、任意の音楽やユーザ端末5から受信した音声コメント等を付加してもよい。サーバ3は、作成した動画(フォトムービー)をユーザ端末5に送信する(ステップS407)。ユーザ端末5は、サーバ3から動画(フォトムービー)を受信(ダウンロード)し(ステップS408)、ユーザ端末5に保存する。これにより、ユーザ端末5において動画(フォトムービー)を再生したり、音声出力したりすることが可能となる(ステップS409)。またユーザ端末5は受信した動画(フォトムービー)をSNSで共有することも可能である。
なお、図12に示す動画作成析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報(ユーザID、パスワード)の入力を受け付けてログイン処理を行うものとしてもよい。
以上説明したように、本発明の健康状態判定システム1によれば、ユーザ端末5において撮影したユーザの画像をサーバ3に送信すると、サーバ3は、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度346を算出し、ユーザ端末5に送信する。ユーザ端末5は、取得した健康度346を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
また、付加的な機能として、撮影された顔画像から健康度、肌の状態、美顔率を時系列に示したグラフや健康度との相関関係を示す相関画像、アドバイス情報、顔画像の動画(フォトムービー)をサーバ3で作成し、ユーザ端末5に提供することも可能である。また、ユーザ端末5で音声操作が行われた場合は、音声によりユーザを特定してサーバ3にログインし、特定したユーザについての健康状態に関する情報(グラフ、相関画像、アドバイス情報等)を取得できる。
なお、上述の例では、ユーザ端末5で撮影した画像をサーバ3に送信してサーバ3により算出された健康度や健康状態に関する情報をユーザ端末5が受信し、出力する構成としたが、この処理をユーザ端末5単体で行う構成としてもよい。
すなわち、ユーザ端末5は、カメラ51、送信部52、出力部54の他、解析部32、データベース34、グラフ作成部35、相関画像作成部36、アドバイス情報作成部37、動画作成部38の機能を備えるものとしてもよい。この場合、ユーザ端末5は、ネットワーク7を介してサーバ3に接続しなくても、撮影した顔画像342に基づき健康度346を算出して出力することが可能となる。
以上、添付図面を参照して、本発明に係る健康状態判定システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1………………健康状態判定システム
3………………サーバ
5………………ユーザ端末
7………………ネットワーク
31………………受信部
32………………解析部
33………………送信部
34………………データベース
35………………グラフ作成部
36………………相関画像作成部
37………………アドバイス情報作成部
38………………動画作成部
51………………カメラ(撮影手段)
52………………送信部
53………………健康度取得部
54………………出力部
55………………WEBブラウザ
62………………顔画像
80………………ダッシュボード
341……………ユーザID
342……………顔画像
343……………撮影日時
344……………肌の状態
345……………美顔率
346……………健康度
504……………表示部

Claims (15)

  1. ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、
    前記ユーザ端末は、
    ユーザの画像を撮影する撮影手段と、
    前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、
    前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、
    取得した健康度を出力する出力手段と、を備え、
    前記サーバは、
    前記ユーザ端末から送信された画像を受信する受信手段と、
    受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、
    前記健康度を前記ユーザ端末に送信する送信手段と、
    を備え、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
    ことを特徴とする健康状態判定システム。
  2. 前記サーバは、
    前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、
    前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することを特徴とする請求項に記載の健康状態判定システム。
  3. 前記サーバは、
    前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることを特徴とする請求項に記載の健康状態判定システム。
  4. 前記出力手段は、
    前記顔画像と前記健康度を示す値とを並べて表示することを特徴とする請求項1から請求項のいずれかに記載の健康状態判定システム。
  5. 前記サーバは、
    前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることを特徴とする請求項1から請求項のいずれかに記載の健康状態判定システム。
  6. 前記サーバは、
    現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることを特徴とする請求項に記載の健康状態判定システム。
  7. 前記サーバは、
    前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることを特徴とする請求項1から請求項のいずれかに記載の健康状態判定システム。
  8. 前記アドバイス情報はユーザの健康状態に関するアドバイス情報であることを特徴とする請求項に記載の健康状態判定システム。
  9. 前記アドバイス情報は、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることを特徴とする請求項に記載の健康状態判定システム。
  10. 前記ユーザ端末は、
    ユーザの音声を入力する音声入力手段と、
    前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、
    前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、
    前記出力手段は、前記健康度を表示または音声出力する
    ことを特徴とする請求項1からのいずれかに記載の健康状態判定システム。
  11. 画像を撮影する撮影手段と、
    前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
    前記健康度を出力する出力手段と、
    を備え、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置。
  12. ユーザ端末とネットワークを介して通信接続されたサーバであって、
    前記ユーザ端末から送信された画像を受信する受信手段と、
    受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
    前記健康度を前記ユーザ端末に送信する送信手段と、
    を備え、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバ。
  13. ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、
    前記ユーザ端末がユーザの画像を撮影するステップと、
    前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、
    前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、
    前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、
    前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、
    前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、
    前記ユーザ端末が、取得した健康度を出力するステップと、
    を含み、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法。
  14. コンピュータを、
    撮影した画像を取得する画像取得手段、
    前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
    前記健康度を出力する出力手段、
    として機能させ、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
    ことを特徴とするプログラム。
  15. ユーザ端末とネットワークを介して通信接続されたコンピュータを、
    前記ユーザ端末から送信された画像を受信する受信手段、
    受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
    前記健康度を前記ユーザ端末に送信する送信手段、
    として機能させ、
    前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
    前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され
    前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
    ことを特徴とするプログラム。
JP2018178586A 2018-09-25 2018-09-25 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム Active JP7206741B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018178586A JP7206741B2 (ja) 2018-09-25 2018-09-25 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178586A JP7206741B2 (ja) 2018-09-25 2018-09-25 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020052505A JP2020052505A (ja) 2020-04-02
JP7206741B2 true JP7206741B2 (ja) 2023-01-18

Family

ID=69997132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178586A Active JP7206741B2 (ja) 2018-09-25 2018-09-25 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7206741B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251014A1 (ja) * 2020-06-09 2021-12-16 Necソリューションイノベータ株式会社 提案情報生成装置、反射体付き表示装置、提案情報生成システム装置、提案情報生成方法、表示処理方法、プログラム及び記録媒体
WO2023048153A1 (ja) * 2021-09-24 2023-03-30 テルモ株式会社 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366651A (ja) 2001-06-11 2002-12-20 Toshiba Corp 素肌診断システム
JP2004227210A (ja) 2003-01-22 2004-08-12 Matsushita Electric Ind Co Ltd 端末装置、サーバ装置及び健康管理システム
JP2004341611A (ja) 2003-05-13 2004-12-02 Mitsubishi Electric Corp 保険者情報システム
JP2005107768A (ja) 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 携帯電話機及び診療支援装置
JP2010086036A (ja) 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2014092845A (ja) 2012-11-01 2014-05-19 Fujifilm Corp 医療補助システム
JP2017027618A (ja) 2016-10-14 2017-02-02 日立マクセル株式会社 肌状態測定ケアシステムおよびスキンケア装置
JP2018110013A (ja) 2018-02-16 2018-07-12 株式会社東芝 健康情報サービスシステム
JP6382433B1 (ja) 2017-11-30 2018-08-29 ユニファ株式会社 保育管理システム、サーバ装置、保育管理プログラム及び保育管理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366651A (ja) 2001-06-11 2002-12-20 Toshiba Corp 素肌診断システム
JP2004227210A (ja) 2003-01-22 2004-08-12 Matsushita Electric Ind Co Ltd 端末装置、サーバ装置及び健康管理システム
JP2004341611A (ja) 2003-05-13 2004-12-02 Mitsubishi Electric Corp 保険者情報システム
JP2005107768A (ja) 2003-09-30 2005-04-21 Sanyo Electric Co Ltd 携帯電話機及び診療支援装置
JP2010086036A (ja) 2008-09-29 2010-04-15 Fujifilm Corp 診断装置及び診断方法
JP2014092845A (ja) 2012-11-01 2014-05-19 Fujifilm Corp 医療補助システム
JP2017027618A (ja) 2016-10-14 2017-02-02 日立マクセル株式会社 肌状態測定ケアシステムおよびスキンケア装置
JP6382433B1 (ja) 2017-11-30 2018-08-29 ユニファ株式会社 保育管理システム、サーバ装置、保育管理プログラム及び保育管理方法
JP2018110013A (ja) 2018-02-16 2018-07-12 株式会社東芝 健康情報サービスシステム

Also Published As

Publication number Publication date
JP2020052505A (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
US8694495B2 (en) Information processing device, information processing terminal, information processing method, and program
US7953254B2 (en) Method and apparatus for generating meta data of content
CN104102927B (zh) 执行用户验证的显示设备及其方法
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
JP6200483B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
US20100086204A1 (en) System and method for capturing an emotional characteristic of a user
KR102490438B1 (ko) 디스플레이 장치 및 그 제어 방법
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
KR20140089454A (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
JP2020126645A (ja) 情報処理方法、端末装置及び情報処理装置
JP6563421B2 (ja) 関連アプリケーションに対するビデオ会議相互参照の改善
JP6649005B2 (ja) ロボット撮影システムおよび画像管理方法
KR20120046653A (ko) 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법
US20140012792A1 (en) Systems and methods for building a virtual social network
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
JP2011164681A (ja) 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
US20200301398A1 (en) Information processing device, information processing method, and program
CN111010526A (zh) 一种视频通讯中的互动方法及装置
CN112749363B (zh) 网络广告发布与获取方法、装置、存储介质和计算机设备
JP6758351B2 (ja) 画像管理システムおよび画像管理方法
KR102457953B1 (ko) 인터랙티브 사진 서비스 방법
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム
JP5965057B2 (ja) 属性推定装置
WO2022181080A1 (ja) 傾向判定装置、反射体付き表示装置、傾向表示システム装置、傾向判定方法、表示処理方法、傾向表示方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221107

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221115

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7206741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150