JP7140848B2

JP7140848B2 - 毛髪被覆率分析のためのシステム及び方法

Info

Publication number: JP7140848B2
Application number: JP2020564110A
Authority: JP
Inventors: フレデリックニーバウアーマイケル; フェイサルシャーマンファイズ; メルコートカインカリアムラグナンダン; プルワルアンクル; カスパーソンステフェン
Original assignee: Procter and Gamble Co
Current assignee: Procter and Gamble Co
Priority date: 2018-05-17
Filing date: 2019-05-15
Publication date: 2022-09-21
Anticipated expiration: 2039-05-15
Also published as: US20190355115A1; JP2021523785A; WO2019222340A1; EP3793427A1; MX2020012225A; CN112188861A; US11282190B2

Description

本出願は、概して、ユーザの頭部の少なくとも頂部の画像を捕捉することと、クラウドソーシングによって取得されたクラスラベルで訓練され、かつユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、ユーザの毛髪被覆率及び／又は頭皮被覆状態を分析することと、分析結果をユーザに提供することと、を行うための、毛髪被覆率分析システム及び方法に関する。本発明は、改善された感度を有するシステム及び方法を提供する。

世界中にわたって、毛髪の早期喪失及び菲薄化は、まだ対処されていない最大の未充足の消費者ニーズのうちの１つであり、人口の半数以上に影響を与えている。自身の毛量の状況について心配している人々の大半は、毛髪の状態の実態に気付いていないため、早急に対策を講じることはない。利用可能な診断技術は存在するが、当該技術は、よりアナログな分析を提供する診療所及び医院に制限されてきた。個人が、自身の状態を早期に判断するための良好なアクセスを有していた場合、彼らは、自身の現在の毛量を維持するのにより相応しい、やるべきことを行うことを選択することができ得る。特に消費者の画像又は自撮りにおける、デジタル画像化技術の近年の向上は、画像分析技術を活用する能力を増大させ、したがって、「手元の（in hand）」消費者向け診断法の利用可能性及びスピードを向上させている。しかしながら、多種多様な消費者特性及び「自撮り」条件は、その条件に正確にアクセスし、かつ、より多くの手動のコンサルテーションを必要とせずに治療プロトコルを推奨することを困難にしてきた。更に、これらの方法、システム、及び判断は、毛髪の物理的特性及び外観に関する所定の情報に依存するので、実生活における毛髪状態を一般化することができない。したがって、人が現在有している毛量を簡便に判定する改善された方法が依然として求められており、次に、当該方法を用いて、カスタマイズされた毛髪喪失予防製品又はレジメン推奨を提供するのを支援することができる。

毛髪状態を判断することは、例えば、毛髪被覆度及び／又は頭皮被覆度を理解するために重要である。そのような判断はまた、毛髪喪失の予防及び／又は治療に用いられる処置の有効性を立証するためにも重要である。

したがって、本発明は、消費者の毛髪喪失を改善された感度で評価して、実生活における毛髪状態を判断し、そのような評価結果、すなわち、評価結果に基づくカスタマイズされた製品の推奨、及び評価結果に基づくカスタマイズされたヘアースタイルの推奨を提供するシステム及び方法に対するニーズを満たしている。

毛髪分析システムであって、
ａ）ユーザの頭部の少なくとも頂部の画像を捕捉して、画像を毛髪分析ユニットに送信するための画像捕捉ユニットと、
ｂ）毛髪分析ユニットであって、ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、画像に基づいてユーザの毛髪被覆率及び／又は頭皮被覆率を分析することと、
分析結果をディスプレイユニットに提供することであって、分析結果は、
分析された毛髪被覆率及び／又は頭皮被覆状態、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである、提供することと、を行う、毛髪分析ユニットと、
ｃ）分析結果をユーザに表示するディスプレイユニットと、を備える、毛髪分析システム。

ａ）画像捕捉ユニットにおいてユーザの頭部の少なくとも頂部の画像を捕捉して、画像を画像捕捉ユニットから毛髪分析ユニットに送信するステップと、
ｂ）ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、画像捕捉ユニットからの画像に基づいて、ユーザの毛髪被覆率及び／又は頭皮被覆率を毛髪分析ユニットにおいて分析し、分析結果をディスプレイユニットに提供するステップであって、分析結果は、
分析された毛髪被覆率及び／又は頭皮被覆状態、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである、ステップと、
ｃ）分析結果をユーザにディスプレイユニットにおいて表示するステップと、を含む、毛髪分析方法。

ユーザの毛髪被覆率及び／又は頭皮被覆状態を分析するシステム及び方法は、実生活における毛髪状態を判断するための改善された感度を提供し、かかる分析の結果を提供する。当該方法及び当該システムにおいてディープニューラルネットワーク（ＤＮＮ）を使用することによって、頭頂部のユーザの毛髪被覆率及び／又は頭皮被覆率が示されている画像から、ユーザがどのように見えているかという毛髪分析をユーザに提供する。このＤＮＮベースのシステムは、画像に関する予め定められている情報への依存性を低減させる画像前処理をほとんど使用せず、消費者の毛髪及び／又は頭皮状態を一般化し、その結果として、消費者の毛髪及び／又は頭皮状態を改善された感度で評価して、実生活における毛髪及び／又は頭皮状態を判断するのに役立つ。

前述の一般的な説明及び以下の詳細説明はどちらも、様々な非限定例を説明し、特許請求される主題の性質及び特徴を理解するための概略又は骨組みを提供することが意図されることを理解されたい。添付の図面は、様々な非限定例の更なる理解を提供するために含まれたものであり、本明細書の一部に組み込まれると共に本明細書の一部を構成するものである。図面は、本明細書に記載されている様々な非限定例を例示しており、説明と共に、特許請求されている主題の原理及び操作を説明する役割を果たす。
本明細書に記載される本発明による、ユーザの画像を捕捉し、画像を分析し、カスタマイズされた製品の推奨を提供するためのシステムを示す非限定的な例である。本明細書に記載される本発明による、カスタマイズされた製品の推奨を提供するためのフローチャートを示す非限定的な例である。

「ディープニューラルネットワーク（deep neural network）」は、入力を表す、学習した特徴又は概念の階層を構築するニューロン又はユニットの複数の層を有するフィードフォワード人工ニューラルネットワークの一種である。これらのＤＮＮ（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）の例は、畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）又はディープカプセルネットワーク（Deep Capsule Network、ＤＣＮ）であり得る。

本明細書においてシステムの様々な構成要素に言及するときに、「連結された」とは、それらの構成要素が、互いに電気的、電子的、及び／又は機械的に通信していることを意味する。

「データ拡張」とは、訓練画像又は他の画像の追加のサンプルを作成するために、当該画像と関連付けられたデータを変更することを意味する。

「特徴ベクトル」とは、デジタル画像内の物体の１つ以上の特性を記述する情報を含む一連の特徴を意味する。特徴ベクトル内の各特徴は、通常、１つ以上の数で表されるが、所望に応じて任意の好適なインジケータ（文字、記号、色等）が使用されてもよい。

「画像捕捉デバイス」とは、ユーザの画像を捕捉することができるデジタルカメラなどのデバイスを意味し、更に、ユーザのビデオを捕捉することができるデジタルカメラなどの「ビデオ捕捉デバイス」であってもよく、更に、３Ｄ画像捕捉デバイスであってもよい。

「巨視的特徴」は、ヒトの頭頂部の上若しくは頭頂に、又は顔の近くに見出される、比較的大きな身体的特徴である。巨視的特徴としては、頭頂部、顔形状、耳、目、口、鼻、毛髪、及びまゆ毛が挙げられるが、これらに限定されない。

「微視的特徴」は、頭皮領域、毛量、毛髪の太さの量、毛髪被覆率、頭皮被覆率、毛髪の分け目などの特徴である。微視的特徴は、巨視的特徴を含まない。

本明細書における「モデル」とは、一組の状況、システム、又は自然発生現象を予測、説明、又は模倣するために使用される数学的方程式、アルゴリズム、又はコンピュータソフトウェアを指す。

「自撮り」は、当人によって撮影された、あるいは、別の人物又は自動画像捕捉システム（例えば、写真ブース又は防犯カメラ）によって撮影された、人物のデジタル画像、デジタルビデオ、静止画像、又は３Ｄスキャンを指す。更に、自撮りは、人の頭部の頂部のデジタル画像、デジタルビデオ、静止画像、又は３Ｄスキャンを含み得る。

本明細書における「ユーザ」とは、例えば、デバイスユーザ、製品ユーザ、システムユーザ等を含む、少なくとも本明細書に提供された特徴を使用する人を指す。

モデルを構築する
診断モデルを訓練するために使用される入力は、数百人の個人（性別、民族、毛髪の色、所在地、背景などのばらつきを含める）の頭部の少なくとも頂部の画像、ビデオ、３Ｄスキャンであり得る。これらの入力は、熟練した採点者のパネル、又は、クラウドソーシングとしても知られる多数の経験の浅い採点者によって、毛髪被覆率について採点され得る。１つのアプローチは、毛髪被覆率のパターン（例えば、低、中、高など）に基づいて、入力をグループに整理することであり得る。別のアプローチは、一対の入力が採点者に示され、より高い（又はより低い）毛髪被覆率を有する１つを選択するように求められる、対比較法を使用することであり得る。単独の又は複数の採点者からのこれらの対選択の集合は、入力が採点される個人の毛髪被覆率のスコア又はランクに集約されてもよい。毛髪被覆率のスケール又はスコア又はランクは、いくつかの毛髪被覆率のレベル（例えば、０～３）に更にビニングされてもよく、又は連続する毛髪被覆率値（例えば、０～１）として使用されてもよい。次いで、入力を、対応する毛髪被覆率グループのラベル又はレベル又はスコアと共に使用して、入力を与えられた毛髪被覆率のラベル、レベル、又はスコアを予測するために、ディープニューラルネットワークモデルを訓練することができる。別個の毛髪被覆率予測モデルは、性別、民族などの異なる属性を有する個人について訓練されてもよい。診断プロセスの事前ステップは、個人にこれらの属性（例えば、性別、民族など）を指定する、又は、別個のディープニューラルネットワークモデルを使用して、入力からこれらの属性を予測し、対応する属性特有の毛髪被覆率モデルに導くように求めることを含んでもよい。

診断の別の事前ステップは、入力品質の問題（例えば、入力が過度にぼやけている、過度に暗い、過度に明るい、頭頂部が明瞭に含まれていないなど）の識別、及び改善された入力を生成するために補正フィードバックを提供することを含んでもよい。入力品質の識別はまた、対応する入力品質問題ラベルを有する入力で訓練されたディープニューラルネットワークモデルを介して予測されてもよい。

ニューラルネットワーク
本発明では、ニューラルネットワークについては、入力（例えば、画像）を取り込み、出力（例えば、そのコンテンツを分類するような画像についての予測）を生成する。ニューラルネットワークは、入力データ（例えば、画素値）を連続的に変換して出力値（例えば、画像分類の確率）を生成するいくつかの（したがって「深い」）「隠れ層」（又は中間層）からなる。隠れ層の重み又はパラメータは、ネットワーク入出力対（したがって、ラベル付けされたデータ、例えば、クラスラベルを有する画像が必要である）を示すことによって、「学習」される（例えば、バックプロパゲーションによる勾配降下）。深さ（複数の隠れ層）を使用する考え方は、学習した特徴／層の階層を作成することであり、学習した特徴／層は、相互に構築されて、入力の複雑な理解（例えば、画像内の未加工の画素－＞ライン／エッジ／色を識別－＞オブジェクトのパーツ（円／四角）－＞小さなオブジェクト（車輪／窓）－＞大きなオブジェクト／シーン（自動車））を生成する。

畳み込みニューラルネットワーク（ＣＮＮ）
本発明では、畳み込みニューラルネットワーク（ＣＮＮ）については、隠れ層が「畳み込み」と呼ばれる特定の動作を使用して、「受容野」のデータのみを処理する（例えば、畳み込みカーネルは、入力画像内の３×３画素ウィンドウを一度に「見る」ことができ、変換を局所的に適用して、画像グリッド全体にわたってこのプロセスを繰り返すことができる）。典型的には、ＣＮＮは、（特徴抽出のための）いくつかの連続した畳み込み層、プーリング層、アクティベーション層を含むことができ、これらが、（予測のために）所望の出力を生成する全結合層につながる。

カプセルネットワーク（ＣａｐｓＮｅｔ）
本発明では、ＣＮＮは、分類を行うために、学習した特徴（例えば、目が鼻及び口の上にある）の相対関係を直接使用しない場合がある。カプセルネットワーク（ＣａｐｓＮｅｔ）は、複雑なオブジェクトを構成する際に、オブジェクトのパーツの姿勢（並進及び回転）を明示的に学習しようとする。したがって、ＣａｐｓＮｅｔは、より少ない数のラベル付けされた例を潜在的に使用して、ＣＮＮと同じ分類性能を達成することができる。

画像捕捉ユニット
画像捕捉ユニットは、ユーザの画像を捕捉し、画像を毛髪分析ユニットに送信するために使用される。

本明細書におけるユーザの画像は、ユーザの頭頂部、又は頭部全体の３Ｄビデオ、又はユーザの毛髪及び顔を示す画像である。画像では、画像が毛髪の輪郭の７０％超、あるいは毛髪の輪郭の８０％超、又は９０％超、又は９５％超を示すように、顔サイズと画像サイズ比との比は約２０％～７０％であってもよい。本明細書の画像は、自撮り及びビデオなどの任意のものであり得る。画像は、許容可能な品質の毛髪全体図が存在することを確実にするために、品質チェック又は前処理を更に受けてもよい。画像は、最適な頭部の自撮りを捕捉するための自動ガイダンスを有してもよい。非限定的な例となるのものでは、そのようなガイダンスは、カメラ又はある角度からの測定された距離などの自動的数値、あるいは音声コマンドを介したものであり得る。別の非限定的な例は、照明条件を調整するためのガイダンスである。更に、頭皮上の毛髪被覆率では、画像は、頭皮上の異なるゾーン（例えば、頭皮上のどの領域がより少ない又はより多くの毛髪被覆率を有しているか）を更に見ることができ、その結果、製品の推奨につながり得る、測定のための特定のゾーンにアクセスすることができる。

画像捕捉ユニットは、有線接続又は無線接続によって毛髪分析ユニットに接続されることができる。

Ｑ＆Ａユーザインターフェースユニット
本発明のシステム及び／又は方法に任意選択的に含まれるこのユニットは、ユーザインターフェースでユーザに質問を提供し、ユーザから回答を受信し、毛髪分析ユニットに回答を送信するためのものである。

このユニットは、それぞれが定義された回答のセットを有している、消費者に対する質問のリストを、ユーザインターフェースで提供し、ユーザインターフェースで消費者によって選択された回答を、毛髪分析ユニットに送信することができる。

本明細書の質問は、例えば、ユーザの毛髪被覆率及び／又は頭皮被覆状態に関する質問、毛髪に関連するユーザの習慣に関連する質問、ユーザの製品の好みに関連する質問、ユーザのヘアースタイルの好みに関連する質問、ユーザの地理的情報に関連する質問、ユーザの性別に関する質問、ユーザの年齢に関連する質問、ユーザの生活スタイルに関する質問である。

毛髪被覆率及び／又は頭皮被覆率分析ユニットにおいて毛髪分析の結果を提供するために、回答を利用することができる。回答は、例えば、任意の形態で毛髪分析ユニットに送信されることができ、例えば、そのまま送信されてもよく、又は回答から計算されたスコアとして送信されてもよい。

Ｑ＆Ａインターフェースユニットは、有線接続又は無線接続によって、毛髪被覆率及び／又は頭皮被覆率分析ユニットと接続されることができる。Ｑ＆Ａインターフェースユニットは、有線接続又は無線接続によって画像捕捉ユニットと接続されてもよく、若しくは画像捕捉ユニットから独立していてもよく、又は、画像捕捉ユニットと共に、例えば、同じモバイルコンピューティングデバイス内に物理的に配置されてもよい。

毛髪分析ユニット
毛髪分析ユニットは、ディープニューラルネットワークを使用することによって、ユーザの頭部の少なくとも頂部の画像に基づいて、ユーザの毛髪被覆率及び／又は頭皮被覆状態を分析し、分析結果をディスプレイユニットに提供するためのものである。分析結果は、分析された毛髪被覆率及び／又は頭皮被覆状態、分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである。

毛髪分析ユニットは、更に、画像を前処理してもよく、処理は、画像上のアンカー特徴を判定することと、画像を変更してアンカー特徴を所定の位置に配置することとを含み得る。

毛髪状態分析は、以下を含むステップによって、毛髪分析ユニットにおいて行われてもよい。
前処理ステップ、
顔の特徴及び毛髪の特徴の両方を含む微視的及び微視的特徴を抽出するために、ディープニューラルネットワーク（ＤＮＮ）を適用するステップ、及び
分析された毛髪被覆率及び／又は頭皮被覆状態を提供するステップ。

本明細書で分析される毛髪状態は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせのうちの少なくとも１つである。

これらの毛髪被覆率及び／又は頭皮被覆状態の分析のために、本発明は、ユーザの頭部の少なくとも頂部の画像の捕捉を組み込むことによって、改善された感度を提供することができる。

毛髪予測、毛髪製品の推奨、毛髪製品の使用推奨、及びヘアースタイルの推奨は全て、そのような分析された分析された毛髪被覆率及び／又は頭皮被覆状態に基づく。

毛髪分析ユニットは、有線接続又は無線接続によってディスプレイユニットと接続されることができる。

ディスプレイユニット
ディスプレイユニットは、分析結果をユーザに表示するためのものであり、分析結果は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせを含み得る、分析された毛髪被覆率及び／又は頭皮被覆状態；分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである。

毛髪製品の推奨及び／又は毛髪製品の使用推奨を示すディスプレイはまた、ユーザが製品を購入するためのオプションを示す。

分析結果は、例えば、絶対値、相対値、インデックスなどの数値データによって、及び／又は表示を有する若しくは有しない色によって示されてもよい。あるいは、又は同時に、分析された毛髪被覆率及び／又は頭皮被覆状態は、例えば、漫画によって、及び／又は改善領域を示すための画像上の表示及び／又はハイライトによって示されてもよい。

ディスプレイユニットは、画像捕捉ユニット及び／又はＱ＆Ａユーザインターフェースユニットと共に、例えば、同じモバイルコンピューティングデバイス内に物理的に配置されてもよい。あるいは、ディスプレイユニットは、それらのうちのいずれかとは別個に配置されてもよい。

本明細書のシステム及び方法は、ＣＮＮ又はＤＣＮなどの訓練されたディープニューラルネットワークを使用して、ユーザの捕捉された画像を分析することによってユーザの毛髪状態を分析することができる。ＣＮＮは、層内の各画素に同じフィルタを使用するニューロン集合の複数の層を含む。部分結合層及び全結合層の様々な組み合わせにおける各画素に対して同じフィルタを使用することにより、システムのメモリ及び処理要件が低減される。

場合によっては、システムは、前処理段階と、これに続くＣＮＮ又はＤＣＮ訓練及び画像分析の段階とを含んでもよい。前処理中に、受信した画像内の、頭皮領域、毛量、毛髪の太さの量、毛髪被覆率、頭皮被覆率、毛髪の分け目、（「アンカー特徴」）などの、ほとんどのユーザに共通する１つ以上の毛髪の特徴を検出することができる。システムは、既知のエッジ検出技術、形状検出技術などを使用して、アンカー特徴（単数又は複数）を検出することができる。アンカー特徴（単数又は複数）の位置に基づいて、画像をスケーリングし、回転させて、アンカー特徴が最終画像内の所定の位置に配置されている状態で、画像を実質的に水平にしてもよい。このようにして、訓練画像を一貫して整合させることができ、したがって、より一貫した訓練及び分析を提供する。次いで、画像は、更なる処理のための入力として所定の画素のエリアに切り取られてもよい。

前処理は、画像正規化も含み得る。例えば、グローバルコントラスト正規化を利用して、訓練画像（及び／又はユーザの画像）を標準化し、実生活における自撮りの捕捉条件によって導入され得る変動性に対処することができる。

場合によっては、入力された画像から追加のサンプルを作成するために、データ拡張を実行することができる。追加のサンプルを使用して、入力画像の変動を許容するようにＣＮＮ又はＤＣＮを訓練する。これは、モデルの精度の向上を支援する。換言すれば、ＣＮＮ又はＤＣＮは、例えば、人々が写真を撮影する方法、写真が撮影される条件、及び写真を撮るために使用されるハードウェアの違いにもかかわらず、好適な分析に必要な重要な特徴の情報及び関係を抽出することができる。データ拡張によって生成される追加のサンプルはまた、ＣＮＮ又はＤＣＮに、１つの特定の特徴ではなく、毛髪状態分析のための様々な特徴に依存するように学習させることができ、ＣＮＮ又はＤＣＮの過剰訓練を予防することができる。データ拡張のいくつかの非限定的な例としては、画像をランダムに拡大又は縮小すること、画像を時計回り又は反時計回り方向にランダムに回転させること、画像をランダムにトリミングすること、及び／又は画像の彩度及び／又は露光をランダムに変更することが挙げられる。場合によっては、画像データは、入力画像をランダムな垂直方向のドロップアウトに適用することによって拡張され得、ランダムな画素列が画像から除去される。

本明細書におけるＣＮＮ又はＤＣＮは、哺乳類の視覚野が画像の重要な特徴を認識することを学習するのと同様に、ＣＮＮ又はＤＣＮに画像のどの部分が皮膚、顔の特徴、毛髪特性等に寄与するかを学習させる、ディープラーニング技術を使用して訓練されてもよい。場合によっては、ＣＮＮ訓練は、ネステロフ運動量（及び／又は他のアルゴリズム）を伴うミニバッチ確率的勾配降下（stochastic gradient descent、ＳＧＤ）を使用することを含んでもよい。確率的勾配降下を利用する例は、米国特許第８，５８２，８０７号に開示されている。

ＤＣＮは、多くのカプセルから構成される。カプセルは、画像の所与の領域内の特定のオブジェクト（例えば、矩形）を検出することを学習するニューロンの小さなグループである。カプセルはベクトル（例えば、８次元ベクトル）を出力し、ベクトルの長さは、オブジェクトが存在する推定確率を表し、ベクトルの向き（例えば、８Ｄ空間内）は、オブジェクトの姿勢パラメータ（例えば、正確な位置、回転など）をエンコードする。通常のニューラルネットワークと同様に、ＤＣＮは複数の層で編成される。最下位層内のカプセルは、プライマリカプセルと呼ばれ、それらのそれぞれは、入力として画像の小領域（画像の受容野と呼ばれる）を受け取り、特定のパターン（例えば矩形）の存在及び姿勢を検出しようとする。ルーティングカプセルと呼ばれる上位層内のカプセルは、ボートなどのより大きくかつより複雑なオブジェクトを検出する。プライマリカプセル層は、いくつかの通常の畳み込み層を使用して実装され得る。例えば、スケーラを含む２５６個の６×６特徴マップを出力する２つの畳み込み層を使用することができる。これらの特徴マップを再形成して、８次元ベクトルを含む３２個の６×６マップを得ることができる。最後に、これらのベクトルが（確率を表すために）０～１の長さを有することを確実にするために、スカッシング関数を適用してもよい。

次の層内のカプセルもまた、合意によるルーティング（routing by agreement）と呼ばれるアルゴリズムを使用して、オブジェクト及びそれらの姿勢を検出しようとする場合もある。合意によるルーティングアルゴリズム（routing-by-agreement algorithm）は、合意検出＋ルーティング更新（これは、１回だけではなく、訓練回数だけではなく、各予測に対して生じ得る）の数回の反復を含んでもよい。

出典：ｈｔｔｐｓ：／／ｗｗｗ．ｏｒｅｉｌｌｙ．ｃｏｍ／ｉｄｅａｓ／ｉｎｔｒｏｄｕｃｉｎｇ－ｃａｐｓｕｌｅ－ｎｅｔｗｏｒｋｓ
場合によっては、ＤＮＮは、訓練されていないＤＮＮに、そこから学習するための多数の捕捉された画像を提供することによって、訓練されてもよい。場合によっては、ＤＮＮは、教師あり学習と呼ばれるプロセスを通じて、特定の毛髪被覆率及び／又は頭皮被覆状態に寄与する画像内の部分を識別するように学習することができる。「教師あり学習」とは、一般に、画像内の人の毛髪被覆率及び／又は頭皮被覆率が所定の画像を分析することによってＤＮＮを訓練することを意味する。所望の精度に応じて、訓練画像の数は、少数の画像から多数の画像（例えば、数百又は数千）から画像の連続した入力まで（すなわち、連続した訓練を提供するために）変化し得る。

本明細書のシステム及び方法は、ユーザの毛髪状態を、広範囲の毛髪タイプ及びヘアースタイルに関して正確に分析することができる訓練されたＤＮＮを利用する。分析された毛髪状態を提供するために、ユーザの画像は、訓練されたＤＮＮを通って順方向に伝播してゆく。ＤＮＮは画像を分析し、毛髪被覆率及び／又は頭皮被覆率などの毛髪状態に寄与する画像の部分を識別する。次いで、ＤＮＮは、識別された部分を使用してユーザの毛髪状態を分析する。

場合によっては、毛髪予測、ヘアケア製品の推奨、毛髪製品の使用推奨、及び／又はヘアースタイルの推奨を提供するのを支援するために、ＤＮＮ分析、分析された毛髪被覆率及び／又は頭皮状態、並びに及び／あるいは目標状態を、任意選択的に、ユーザによって提供される習慣及び慣行の入力と共に使用することができる。

図１は、ユーザの画像を捕捉し、画像を分析し、カスタマイズされた製品の推奨を提供するためのシステム１０を示す。システム１０はネットワーク１を含んでもよく、ネットワーク１は、ワイドエリアネットワーク（移動電話網、公衆交換電話網、衛星ネットワーク、インターネット等）、ローカルエリアネットワーク（ワイヤレスフィディリティ、Ｗｉ－Ｍａｘ、ＺｉｇＢｅｅ（商標）、Ｂｌｕｅｔｏｏｔｈ（商標）等）、及び／又は他の形態のネットワーク機能として具体化され得る。ネットワーク１には、モバイルコンピューティングデバイス２、リモートコンピューティングデバイス４、キオスクコンピューティングデバイス５、及び訓練コンピューティングデバイス６が連結されている。

モバイルコンピューティングデバイス２は、携帯電話、タブレット、ラップトップ、携帯情報端末、並びに／又はデジタル写真のような画像を捕捉、格納、及び／若しくは転送するように構成された他のコンピューティングデバイスであってもよい。したがって、モバイルコンピューティングデバイス２は、デジタルカメラのような画像捕捉デバイス３を含んでもよく、かつ／又は他のデバイスから画像を受信するように構成されてもよい。モバイルコンピューティングデバイス２は、画像捕捉論理８Ａ及びインターフェース論理８Ｂを格納するメモリ構成要素７Ａを含んでもよい。メモリ構成要素７Ａは、ランダムアクセスメモリ（例えば、リモートコンピューティングデバイスなど）、読み出し専用メモリ（リモートコンピューティングデバイス）、レジスタ、及び／又は他の形態のコンピューティング格納ハードウェアを含んでもよい。画像捕捉論理８Ａ及びインターフェース論理８Ｂは、本明細書に記載されるように、ソフトウェア構成要素、ハードウェア回路、ファームウェア、及び／又は他のコンピューティングインフラストラクチャを含んでもよい。以下でより詳細に規制するように、画像捕捉論理８Ａは、ユーザのデジタル画像上での捕捉、格納、前処理、分析、転送、及び／又は他の機能の実行を容易にすることができる。インターフェース論理８Ｂは、質問、オプション等を含み得る、１つ以上のユーザインターフェースをユーザに提供するように構成されてもよい。モバイルコンピューティングデバイス２はまた、ネットワーク１を介して他のコンピューティングデバイスと通信するように構成されてもよい。

リモートコンピューティングデバイス４はまた、ネットワーク１に連結されてもよく、捕捉された画像内の、特定の毛髪状態に寄与する部分を識別することによって、ユーザの毛髪状態を分析することができる畳み込みニューラルネットワークを作成及び訓練するように構成されたサーバ（若しくは複数のサーバ）、パーソナルコンピュータ、モバイルコンピュータ、及び／又は他のコンピューティングデバイスとして構成されてもよい。リモートコンピューティングデバイス４は、訓練論理８Ｃ及び分析論理８Ｄを格納するメモリ構成要素７Ｂを含んでもよい。訓練論理８Ｃは、ＤＮＮの形成及び／又は訓練を容易にし、このため、ＤＮＮの形成及び／又は動作を容易することができる。例えば、ＤＮＮは、リモートコンピューティングデバイス４のメモリ構成要素７Ｂ内に論理８Ｃ、８Ｄとして格納されてもよい。分析論理８Ｄは、リモートコンピューティングデバイス４に、モバイルコンピューティングデバイス２（又は他のコンピューティングデバイス）からのデータを受信させ、分析された毛髪被覆率及び／又は頭皮被覆率、製品の推奨、ヘアースタイルの推奨等を提供するために、受信したデータを処理させることができる。

システム１０はまた、図１に示すように、キオスクコンピューティングデバイス５を含んでもよい。キオスクコンピューティングデバイス５は、モバイルコンピューティングデバイス２と同様に動作し得るが、１つ以上の製品を販売し、かつ／又は現金若しくは電子商取引の形態で支払を受領することも可能にし得る。場合によっては、キオスクコンピューティングデバイス５はまた、訓練コンピューティングデバイス６に関して以下により詳細に記載されるように、ＤＮＮの訓練を容易にするように構成されてもよい。

訓練コンピューティングデバイス６は、ＤＮＮの訓練を容易にするためにネットワーク１に連結されることができる。例えば、トレーナは、訓練コンピューティングデバイス６を介して、顔又は皮膚又は毛髪の１つ以上のデジタル画像をＤＮＮに提供してもよい。トレーナはまた、ＤＮＮに、どの判断が正しいか及びどの判断が正しくないかを知らせる情報、並びにその他の指示を提供してもよい。トレーナからの入力に基づいて、ＤＮＮは、以下でより詳細に説明するように、自動的に適応してもよい。

キオスクコンピューティングデバイス５は、自動販売機タイプのデバイスとして示されているが、これは非限定的な例であることを理解されたい。更なる非限定的な例は、支払及び／又は製造販売も提供するモバイルデバイスを利用することができる。同様に、キオスクコンピューティングデバイス５、モバイルコンピューティングデバイス２、及び／又は訓練コンピューティングデバイス６は、ＤＮＮを訓練するために利用されてもよい。結果として、モバイルコンピューティングデバイス２及びリモートコンピューティングデバイス４について描写されたハードウェア及びソフトウェアは、キオスクコンピューティングデバイス５、訓練コンピューティングデバイス６、及び／又は他のデバイス内に含まれてもよい。同様に、ハードウェア及びソフトウェアは、モバイルコンピューティングデバイス２、リモートコンピューティングデバイス４、キオスクコンピューティングデバイス５、及び訓練コンピューティングデバイス６のうちの１つ以上に含まれてもよい。

また、リモートコンピューティングデバイス４は、ディープニューラルネットワーク処理を実行するものとして図１に示されているが、これはあくまで一例に過ぎないことを理解されたい。ディープニューラルネットワーク処理は、所望に応じて、任意の好適なコンピューティングデバイスによって実行されてもよい。

図２は、カスタマイズされた製品の推奨を提供するためのフローチャートを示し、本明細書に記載されている。ブロック１１において、ユーザの画像を捕捉することができる。ブロック１２において、質問をユーザに提供することができる。ブロック１３において、質問に対する回答をユーザから受信することができる。ブロック１４において、分析された毛髪被覆率及び／又は頭皮被覆状態をユーザに提供することができる。ブロック１５において、カスタマイズされた製品の推奨を、ユーザに提供することができる。

追加の実施例／組み合わせ
Ａ．毛髪分析システムであって、
ａ．ユーザの頭部の少なくとも頂部の画像を捕捉して、画像を毛髪分析ユニットに送信するための画像捕捉ユニットと、
ｂ．毛髪分析ユニットであって、ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、画像に基づいてユーザの毛髪被覆率及び／又は頭皮被覆率を分析することと、
分析結果をディスプレイユニットに提供することであって、分析結果は、
分析された毛髪被覆率及び／又は頭皮被覆状態、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである、提供することと、を行う、毛髪分析ユニットと、
ｃ．分析結果をユーザに表示するディスプレイユニットと、
を備える、毛髪分析システム。
Ｂ．ディープニューラルネットワークは、クラウドソーシングによって取得されたクラスラベルで訓練される、パラグラフＡに記載のシステム。
Ｃ．システムは、Ｑ＆Ａユーザインターフェースユニットを更に備え、当該ユーザインターフェースでユーザに質問を提供し、ユーザから回答を受信し、かつ分析ユニットに回答を送信する、パラグラフＡ又はＢに記載のシステム。
Ｄ．回答は、分析結果を提供するために利用される、パラグラフＡ～Ｃに記載のシステム。
Ｅ．システムは、畳み込みニューラルネットワークを使用する、パラグラフＡ～Ｄに記載のシステム。
Ｆ．システムは、ディープカプセルネットワークを使用する、パラグラフＡ～Ｅに記載のシステム。
Ｇ．毛髪製品の推奨及び／又は毛髪製品の使用推奨を示すディスプレイは、製品を購入するためのユーザにとってのオプションも示す、パラグラフＡ～Ｆに記載のシステム。
Ｈ．分析される毛髪被覆率及び／又は頭皮被覆率は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせのうちの少なくとも１つである、パラグラフＡ～Ｇに記載のシステム。
Ｉ．
ａ）画像捕捉ユニットにおいてユーザの頭部の少なくとも頂部の画像を捕捉して、画像を画像捕捉ユニットから毛髪分析ユニットに送信するステップと、
ｂ）１）クラウドソーシングによって取得されたクラスラベルで訓練される、及び２）ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測する、ディープニューラルネットワークを使用することによって、画像捕捉ユニットからの画像に基づいて、ユーザの毛髪被覆率及び／又は頭皮被覆率を毛髪分析ユニットにおいて分析し、分析結果をディスプレイユニットに提供するステップであって、分析結果は、
分析された毛髪被覆率及び／又は頭皮被覆状態、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪予測、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである、ステップと、
ｃ）分析結果をユーザにディスプレイユニットにおいて表示するステップと、
を含む、
パラグラフＡ～Ｈに記載の毛髪分析方法。
Ｊ．ディープニューラルネットワークは、クラウドソーシングによって取得されたクラスラベルで訓練される、パラグラフＡ～Ｉに記載の方法。
Ｋ．方法は、Ｑ＆Ａユーザインターフェースユニットにおいて、ユーザに質問を提供し、かつ分析ユニットに回答を送信するステップを更に含む、パラグラフＡ又はＢに記載のシステム。
Ｌ．回答は、分析結果を提供するために利用される、パラグラフＡ～Ｋに記載の方法。
Ｍ．毛髪製品の推奨及び／又は毛髪製品の使用推奨を示すディスプレイユニットは、製品を購入するためのユーザにとってのオプションも示す、パラグラフＡ～Ｌに記載の方法。
Ｎ．分析される毛髪被覆率及び／又は頭皮被覆率は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせのうちの少なくとも１つである、パラグラフＡ～Ｍに記載の方法。

本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「４０ｍｍ」と開示された寸法は、「約４０ｍｍ」を意味することが意図される。

相互参照される又は関連する全ての特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本願に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全体が本明細書に組み込まれる。いかなる文献の引用も、本明細書において開示又は特許請求される任意の発明に対する先行技術であるとは見なされず、あるいはそれを単独で又は他の任意の参考文献と組み合わせたときに、そのような発明全てを教示、示唆又は開示するとは見なされない。更に、本文書における用語の任意の意味又は定義が、参照することによって組み込まれた文書内の同じ用語の意味又は定義と矛盾する場合、本文書におけるその用語に与えられた意味又は定義が適用されるものとする。

本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく他の様々な変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内にあるそのような全ての変更及び修正を添付の特許請求の範囲に網羅することが意図されている。

Claims

毛髪分析システムであって、
ａ）ユーザの頭部の少なくとも頂部の画像を捕捉して、前記画像を毛髪分析ユニットに送信するための画像捕捉ユニットと、
ｂ）毛髪分析ユニットであって、
ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、前記画像に基づいて前記ユーザの毛髪被覆率及び／又は頭皮被覆率を分析することと、
分析結果をディスプレイユニットに提供することであって、前記分析結果は、
前記分析された毛髪被覆率及び／又は頭皮被覆状態、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪被覆率及び／又は頭皮被覆状態の予測、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨
のうちの少なくとも１つである、提供することと、を行う、毛髪分析ユニットと、
ｃ）前記分析結果を前記ユーザに表示するディスプレイユニットと、
を備える、毛髪分析システム。
前記ディープニューラルネットワークは、クラウドソーシングによって取得されたクラスラベルで訓練される、請求項１に記載のシステム。
前記システムは、Ｑ＆Ａユーザインターフェースユニットを更に備え、前記Ｑ＆Ａユーザインターフェースユニットで前記ユーザに質問を提供し、前記ユーザから回答を受信し、かつ前記毛髪分析ユニットに前記回答を送信する、請求項１又は２に記載のシステム。
前記回答は、前記分析結果を提供するために利用される、請求項３に記載のシステム。
前記システムは、畳み込みニューラルネットワークを使用する、請求項１～４のいずれか一項に記載のシステム。
前記システムは、ディープカプセルネットワークを使用する、請求項１～４のいずれか一項に記載のシステム。
前記毛髪製品の推奨及び／又は前記毛髪製品の使用推奨を示す前記ディスプレイユニットは、前記毛髪製品を購入するための前記ユーザにとってのオプションも示す、請求項１～６のいずれか一項に記載のシステム。
分析される前記毛髪被覆率及び／又は頭皮被覆率は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせのうちの少なくとも１つである、請求項１～７のいずれか一項に記載のシステム。
コンピュータにより実行される毛髪分析方法であって、
ａ）画像捕捉ユニットにおいてユーザの頭部の少なくとも頂部の画像を捕捉して、前記画像を前記画像捕捉ユニットから毛髪分析ユニットに送信するステップと、
ｂ）ユーザの毛髪被覆率及び／又は頭皮被覆率を性別集団に対して予測するディープニューラルネットワークを使用することによって、前記画像捕捉ユニットからの前記画像に基づいて、前記ユーザの毛髪被覆率及び／又は頭皮被覆率を毛髪分析ユニットにおいて分析し、分析結果をディスプレイユニットに提供するステップであって、前記分析結果は、
前記分析された毛髪被覆率及び／又は頭皮被覆状態、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪被覆率及び／又は頭皮被覆状態の予測、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の推奨、
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づく毛髪製品の使用推奨、及び
前記分析された毛髪被覆率及び／又は頭皮被覆状態に基づくヘアースタイルの推奨、のうちの少なくとも１つである、ステップと、
ｃ）前記分析結果を前記ユーザにディスプレイユニットにおいて表示するステップと、
を含む、方法。
前記ディープニューラルネットワークは、クラウドソーシングによって取得されたクラスラベルで訓練される、請求項９に記載の方法。
前記方法は、Ｑ＆Ａユーザインターフェースユニットにおいて、前記ユーザに質問を提供し、前記ユーザから回答を受信し、かつ前記毛髪分析ユニットに前記回答を送信するステップを更に含む、請求項９～１０のいずれか一項に記載の方法。
前記回答は、前記分析結果を提供するために利用される、請求項１１に記載の方法。
前記毛髪製品の推奨及び／又は毛髪製品の使用推奨を示す前記ディスプレイユニットは、前記毛髪製品を購入するための前記ユーザにとってのオプションも示す、請求項９～１２のいずれか一項に記載の方法。
分析される前記毛髪被覆率及び／又は頭皮被覆率は、毛髪及び／又は頭皮被覆率、頭皮領域、毛量、毛髪の太さの量、毛髪の分け目、並びにこれらの組み合わせのうちの少なくとも１つである、請求項９～１３のいずれか一項に記載の方法。