Nothing Special   »   [go: up one dir, main page]

JP6361776B2 - 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム - Google Patents

診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP6361776B2
JP6361776B2 JP2017081594A JP2017081594A JP6361776B2 JP 6361776 B2 JP6361776 B2 JP 6361776B2 JP 2017081594 A JP2017081594 A JP 2017081594A JP 2017081594 A JP2017081594 A JP 2017081594A JP 6361776 B2 JP6361776 B2 JP 6361776B2
Authority
JP
Japan
Prior art keywords
correction
image
color
luminance
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017081594A
Other languages
English (en)
Other versions
JP2018038789A (ja
Inventor
松永 和久
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to EP17179753.3A priority Critical patent/EP3291173A1/en
Priority to US15/642,280 priority patent/US11379958B2/en
Priority to CN201710610609.4A priority patent/CN107788948B/zh
Priority to CA2974777A priority patent/CA2974777C/en
Priority to CA3060762A priority patent/CA3060762A1/en
Priority to AU2017213456A priority patent/AU2017213456B2/en
Publication of JP2018038789A publication Critical patent/JP2018038789A/ja
Application granted granted Critical
Publication of JP6361776B2 publication Critical patent/JP6361776B2/ja
Priority to AU2018282455A priority patent/AU2018282455B2/en
Priority to US17/747,327 priority patent/US11769255B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。
しかしながら、非疾患領域の肌色部分の色合いや明るさが異なると、医師が目視による所見を得るときに、異なる点にのみ注目してしまい、疾患領域の違いを把握することが困難になる。
このため、例えば、非特許文献1に記載されているように色補正、あるいは特許文献1に記載されているように明るさ補正が行われるが、前者の場合、補正のための色情報計測の際、疾患領域である中央部も計測しているためロバスト性が低く、かつ、灰色仮説で色補正を行っているため補正後の肌部分が青白く不自然になる問題がある。また、後者の場合、光源条件と露出条件の双方に由来する肌色領域の明るさの過不足を補正するが、用途に応じた固有の特徴的処理が含まれておらず、したがって、精度の高い診断は困難であった。
IMPROVING DERMOSCOPY IMAGE ANALYSIS USING COLOR CONSTANCY(http://vislab.isr.ist.utl.pt/wp−content/uploads/2012/12/14−ICIPa.pdf)<2016年5月5日閲覧> 特開2006−325015号公報
本発明は上記した課題を解決するためになされたものであり、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。
上記した課題を解決するために本発明の第1の態様は、ダーモスコープ付きの撮影装置により撮影された撮影画像である皮膚のダーモスコピー画像から病変を診断するための診断支援装置における画像処理方法であって、前記撮影画像の画像処理として画像補正を行うステップ(A)を備え、前記ステップ(A)において、前記画像補正として色の補正及び輝度の補正の少なくとも一方の補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を、前記少なくとも一方の補正に対応する前記周辺領域内の肌の色及び輝度の少なくとも一方に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定することを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
本発明によれば、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。
本発明の実施の形態に係る診断支援装置の構成を示すブロック図である。 第1実施形態の処理部の構成を示すブロック図である。 第1実施形態の色補正処理動作を示すフローチャートである。 第1実施形態の色情報計測領域を説明するため引用した図である。 第2実施形態の処理部の構成を示すブロック図である。 第2実施形態の輝度補正処理動作を示すフローチャートである。 第2実施形態の輝度情報計測領域を説明するために引用した図である。 第2実施形態により生成される輝度ヒストグラムの一例を示す図である。 第2実施形態のゲイン設定処理を説明するために引用した図である。 第2実施形態のゲインクリップ処理を説明するために引用した図である。 第2実施形態による輝度補正前後の画像の一例を示す図である。 第3実施形態に係る診断支援装置の構成を示すブロック図である。 第3実施形態のアンサンブル識別器(ニューラルネットワーク)の構成を示すブロック図である。 第3実施形態に係る診断支援装置の基本動作を示すフローチャートである。 図14のフローチャートを補完的に説明する図である。 第3実施形態のアンサンブル識別器の基本動作を示すフローチャートである。 第3実施形態の機械学習識別器生成処理の流れを示すフローチャートである。 第3実施形態の被検画像(未知の画像識別)識別処理の流れを示すフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
(実施形態の構成)
図1は、本実施形態に係る診断支援装置1の構成を示すブロック図である。図1に示すように、本実施形態に係る診断支援装置1には、ダーモスコープ付撮影装置20が接続されている。
ダーモスコープ付撮影装置20は、診断支援装置1の装置本体10からの指示により撮影を行い、撮影画像であるダーモスコピー画像を画像記憶部13に格納するとともに、表示装置40上に表示する。また、撮影画像は、装置本体10により画像処理が施されて画像記憶部13に格納すると共に表示装置40上に表示される。
入力装置30は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置40は、例えば、LCD(Liquid Crystal Display)モニタ等により構成され、入力装置30は、マウス等により構成されている。
装置本体10は、撮影画像取得部11と、処理部12と、画像記憶部13と、を含む。
撮影画像取得部11は、ダーモスコープ付撮影装置20により撮影された撮影画像を取り込んで処理部12へ出力する。処理部12は、画像補正を行う際、ダーモスコピー画像(撮影画像)のうち疾患の確率が高い中央部(被検領域ともいう。以下同じ。)を除いた周辺部(周辺領域ともいう。以下同じ。)を測定領域に設定する。このため、処理部12は、画像補正手段120を有する。
画像補正手段120は、画像補正として、色合いを補正するための色補正を行うか、輝度補正を行う。画像補正手段120は、色補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。一方、輝度補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにRGBそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。なお、本実施形態では色空間としてRGB色空間を取り上げて説明するが、本実施形態の適用にあたっては、そのほかにも、例えばYUV色空間やHSV色空間であってもよい。
画像記憶部13は、ダーモスコープ付撮影装置20により撮影される患部のダーモスコピー画像を記憶する他に、後述するプログラムの実行途中で生成される画像他、各種データを記憶する。画像記憶部13には、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。
以下、画像補正手段120が、画像補正として色補正を行う場合を第1実施形態とし、画像補正として輝度補正を行う場合を第2実施形態として以下に説明を行う。
(第1実施形態の構成)
図2に示すように第1実施形態の処理部12は、色補正処理手段121を含む。色補正処理手段121は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段121は、中央部を前記撮影画像の中心円とし、中心円を除いた測定領域内で各RGBについて対応画素のLpノルムを求め、e、e及びeのL2ノルムが1となるように係数kで正規化し、eに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、RGBのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。
色補正処理手段121は、測定領域において全面が血液色であるような肌色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定してもよい。
(第1実施形態の動作)
以下、図3のフローチャートを参照しながら第1実施形態に係る処理部12(色補正処理手段121)の色補正処理動作について詳細に説明する。
医師が入力装置30を操作することによる指示の下、まず、ダーモスコープ付撮影装置20により患部の撮影を行うと、装置本体10は、撮影画像取得部11が補正の対象となる撮影後のダーモスコピー画像を取り込み(ステップS301)、処理部12へ出力する。
これを受け処理部12は色情報計測領域を設定する(ステップS302)。具体的に、画像補正手段120が、画像の色合いを取得するため、例えば、図4に示すように、その取得領域を画像中心円の領域外(中央部を除く周辺部)に設定する。これは、画像の色合いを肌の色をベースに判断し、多種多様に色変異する画像中央部の疾患領域を避けるためである。
次に、色補正処理手段121は、色情報計測領域内の各色について、以下に示す演算式(1)(2)(3)にしたがい色ノルム和計算を行う(ステップS303)。
すなわち、色補正処理手段121は、ステップS302で設定した色情報計測領域内のRGB各画素について、対応する画素のLpノルム(但し、p=6で計算)を求め、また、e,e,eのL2ノルムが1となるように(演算式3)、係数kで正規化する。なお、演算式(1)における積分∫は、全ての領域に対して積算を行うことを意味する。
次に、色補正処理手段121は、以下の演算式(4)(5)にしたがい、色補正ゲイン(I ,I ,I )の算出を行う(ステップS304)。
すなわち、色補正処理手段121は、eに3^(1/2)を乗算してこれを逆数にし(演算式4)、色再現行列にしたがう色ゲインの設定を行う(演算式5)。
なお、元画像がほぼRを示す場合、Rゲイン(I )を下げ過ぎてしまうため、色補正処理手段121は、Rゲインの設定最低値よりも下がらないようリミッターを設定する必要がある(ステップS305)。
次に、色補正処理手段121は、補正ターゲットに対するゲインバランス調整を行う(ステップS306)。すなわち、通常のホワイトバランス補正では、灰色仮説で全体のバランスを取るが、補正対象のダーモスコピー画像の場合は、肌の色が支配的であり、このため灰色仮説で調整すれば青緑色に変色するため、以下の演算式(6)(7)(8)にしたがい、変換ターゲットを設定する。すなわち、変換ターゲットの色合いを特定の肌色を想定して設定する。
すなわち、色補正処理手段121は、例えば、変換ターゲットによる色合いの違いを濃淡で示すために、RGBノルム合計比が1.0:0.9:1.0になるようにゲイン係数の調整を実行する。例えば、補正対象のダーモスコピー全画像の色合いについて、RGBのノルム合計比を1.0:1.0:1.0として変換ターゲット画像の色合いを示したり、ステップS306で実行されるように、RGBのノルム合計比を1.0:0.9:1.0としてゲイン調整して変換ターゲット画像の色合いを示したりすることができる。
続いて、色補正処理手段121は、ステップS306で求めたRGBのゲイン係数をRGB各画素に乗算することにより元画像であるダーモスコピー画像の色補正処理を行い(ステップS307)、一連の色補正処理を終了する。
(第1実施形態の効果)
第1実施形態に係る診断支援装置1によれば、処理部12(色補正処理手段121)が、補正対象のダーモスコピー画像に対して色合いを補正(色補正)する際に、色情報計測領域を疾患領域である確率が高い、中央部を除く周辺部に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッターを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は1画像ずつ表示させて見比べるようにしてもよい(以下同じ。)
なお、本実施形態に係る診断支援装置1によれば、RGB色空間を持つ撮影画像を補正の対象として説明したが、RGB色空間に限らず、輝度信号Yと、2つの色差信号U,Vを使って表現されるYUV色空間、又は色相H、彩度S及び明度Vを使って表現されるHSV色空間などを持つ撮影画像を補正の対象としても同様に色補正が可能である。YUV色空間のときには、各画素Y,U,Vに同一の補正ゲイン値を乗算し、HSV色空間のときには、画素S,Vに同一の補正ゲイン値を乗算(画素Hは、そのまま)すればよく、色空間に応じて少なくとも2つの画素に同一の補正ゲイン値を乗算する。
(第2実施形態の構成)
次に、第2実施形態について説明する。図5に示すように、第2実施形態の処理部12は、輝度補正処理手段122を含む。輝度補正処理手段122は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにRGBそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。
このとき、輝度補正処理手段122は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で輝度値ごとに画素数をカウントして輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の輝度ヒストグラムのピーク値を求め、輝度補正のターゲット値を設定して補正前のピーク値がターゲット値となるように補正ゲインを設定し、求められた補正ゲイン値をRGBそれぞれに乗算して輝度補正を行う。
輝度補正処理手段122は、輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、上端値を超えないように補正ゲインをクリップし、補正ゲイン値を最終的なものとしてもよい。
(第2実施形態の動作)
以下、図6のフローチャートを参照しながら第2実施形態に係る処理部12(輝度補正処理手段122)の色補正処理動作について詳細に説明する。
医師が入力装置30を操作することによる指示の下、まず、ダーモスコープ付撮影装置20により患部の撮影を行うと、装置本体10は、撮影画像取得部11が補正の対象となる撮影後のダーモスコピー画像を取り込み(ステップS701)、処理部12へ出力する。
これを受け処理部12は、輝度補正処理手段122が輝度情報計測領域の設定を行う(ステップS702)。輝度補正処理手段122は、例えば、図7に示すように、画像の輝度情報取得のために取得領域を画像中心円領域外(中央部を除く周辺部)に設定する。この措置は、画像の明るさを肌の色をベースに判断し、多種多様に変異する画像中央部の疾患領域を避けるためである。
次に、輝度補正処理手段122は、領域内における輝度ヒストグラムを生成する(ステップS703)。すなわち、輝度補正処理手段122は、ステップS702で設定した領域内で、輝度信号Y(0〜255)について、輝度値ごとに画素数をカウントすることにより、例えば、図8に示すヒストグラムを作成する。
続いて、輝度補正処理手段122は、ヒストグラムのピーク値を安定的に取得するために、隣接する輝度値との加算平均を行いLPF(Low Pass Filter)による輝度方向のヒストグラム平滑化処理を実行する(ステップS704)。次に、輝度補正処理手段122は、ヒストグラムの高輝度側のピーク値を検出する(ステップS705)。例えば、図8に示す輝度ヒストグラムによれば、X=146がピーク値として得られる。
続いて、輝度補正処理手段122は、そのピーク値を輝度補正のターゲット値に変換するゲイン値算出処理を実行する(ステップS706)。ここでは、図9に矢印Aで示すように、輝度補正のターゲット値を190に設定し、補正前のピーク値146が190になるように、190/146の補正ゲインを設定する。
次に、輝度補正処理手段122は、補正ゲインを上げ過ぎて、一部領域が白飛びすることを防ぐためにヒストグラムの上端値を求める。ここでは、ヒストグラムを高輝度側から積算して0.7%以上になる輝度の上端値を求める(ステップS707)。そして、求めた上端値が230を超える場合、図10に矢印Bで示すように、その値を超えないように補正ゲインをクリップする(ステップS708)。
最後に、輝度補正処理手段122は、ステップS708で求めた最終的な補正ゲイン値をRGBのそれぞれに乗算することにより、色相を変えることなく輝度補正を行い(ステップS709)、一連の輝度補正処理を終了する。図11に、輝度補正前後における画像と各ヒストグラムの一例が示されている。
(第2実施形態の効果)
上記した第2実施形態に係る診断支援装置1によれば、補正対象のダーモスコピー画像に対して輝度補正を行う際に、処理部12(輝度補正処理手段122)が、輝度計測領域を疾患領域の確率が高い中央部を除いた周辺部に設定し、その領域に対して輝度ヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、R,G,Bそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、輝度ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。
本実施形態に係る診断支援装置1によれば、肌色領域の判定を、補正の対象であるダーモスコピー画像に合わせ、空間的な条件付けとヒストグラムのピーク値の条件付けとを行い輝度補正を実行することにより、その結果に用途に応じた固有の特徴的処理が含まれ、したがって、撮影光源やメラニン濃度の個人差の影響を取り除くことができ、かつ、画像分類前処理や画像提示に利用することが可能となる。画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。
なお、本実施形態に係る画像処理方法は、例えば、図1に示すように、撮影画像から病変を診断するための診断支援装置1における画像処理方法である。そして、その方法は、前記撮影画像の画像処理を行うステップ(A)を備え、前記画像処理を行うステップ(A)において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする。
ここで、ステップ(A)は、例えば、図3に示す第1実施形態のステップS301〜S307の手順、図6に示す第2実施形態のステップS701〜S709の手順をいう。
また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ(A)が、前記中央部を前記撮影画像の中心円とするステップ(A1)と、前記中心円を除いた前記測定領域内で各RGBについて対応画素のLpノルムを求め、e、e及びeのL2ノルムが1となるように係数kで正規化するステップ(A2)と、eに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行うステップ(A3)と、RGBのゲイン係数を各画素に乗算し、元画像の色補正処理を行うステップ(A4)と、を備えてもよい。
ここで、ステップ(A1)は図3に示す第1実施形態のステップS302、ステップ(A2)は図3に示す第1実施形態のステップS303、ステップ(A3)は図3に示す第1実施形態のステップS304、ステップ(A4)はステップS307、のそれぞれのステップをいう。
また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ(A)が、前記中央部を前記撮影画像の中心円とするステップ(A11)と、前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成するステップ(A12)と、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求めるステップ(A13)と、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定するステップ(A14)と、求められた前記補正ゲイン値をRGBそれぞれに乗算して輝度補正を行うステップ(A15)と、を備えてもよい。
ここで、ステップ(A11)は図6に示す第2実施形態のステップS701,S702、ステップ(A12)は図6に示す第2実施形態のステップS703、ステップ(A13)は図6に示す第2実施形態のステップS704,S705、ステップ(A14)は、図6に示す第2実施形態のステップS706、ステップ(A15)は図6に示す第2実施形態のステップS707〜S709、のそれぞれのステップをいう。
本実施形態に係る画像処理方法によれば、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。
なお、本実施形態に係る方法はプログラムによってコンピュータに実行させることができ、当該プログラムは、例えば、図1に示すように、撮影画像から病変を診断するための診断支援装置1における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ(装置本体10)に、上記した本実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。
当該プログラムによれば、装置本体10(処理部12)が、上記した当該プログラムを読み出し実行することにより、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、当該プログラムは、装置本体10内の図示省略したプログラムメモリに記憶される。
(第3実施形態の構成)
次に、第3実施形態について説明する。第3実施形態は、第1実施形態の色補正処理(正規化)及び/又は第2実施形態の輝度補正処理(正規化)を行ったダーモスコピー画像をニューラルネットワークから構成される識別器に入力し、機械学習の結果を用いて、未知の調査対象の疾患を推論するものである。その際、ダーモスコピー画像の肌色部の色及び/又は輝度を正規化後、正規化のターゲット値を減算してからニューラルネットワークに入力する。
図12は、本発明の第3実施形態に係る診断装置100Aの構成を示すブロック図である。図12に示すように、本発明の第3実施態に係る診断装置100Aには、ダーモスコープ付き撮影装置20aが接続されている。
ダーモスコープ付き撮影装置20aは、診断装置100Aからの指示により撮影を行ない、撮影画像(ダーモスコピー画像)を画像記憶部13aに格納すると共に、表示装置40a上に表示する。また、撮影画像は、診断装置本体10a(処理部10a,アンサンブル識別器14a)により画像処理が施されて画像記憶部13aに保存されると共に表示装置40a上に表示される。
入力装置30aは、ダーモスコープ画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置40a、例えば、LCD(Liquid Crystal Display)モニタ等により構成され、入力装置30aは、マウス等により構成されている。
学習用皮膚画像記憶部103は、学習用に付された疾患の識別名称と既知の皮膚画像データを関連付けて記録される皮膚画像データベースである。
診断装置本体10aは、処理部12aと、アンサンブル識別器14aと、取得部11aとを含む。
処理部12aは、画像記憶部13aに記憶された撮影画像(原画像データ)に画像補正処理を施した変換画像データを生成してアンサンブル識別器14aに出力する。ここで、画像補正処理とは、原画像データの色補正処理(正規化)又は輝度補正処理(正規化)である。なお、これら変換画像データを回転し、あるいは反転させた回転反転画像を含んでもよい。
このため、処理部12aの画像補正手段120は、色補正処理手段121と、輝度補正処理手段122と、減算処理手段123を含む。
色補正処理手段121は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。輝度補正処理手段122は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにRGBそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。色補正処理手段121は、第1実施形態で説明したもの、輝度補正処理手段122は、第2実施形態で説明したものであるので、詳細は省略する。
減算処理手段123は、色補正処理(正規化)及び/又は輝度補正処理(正規化)されたダーモスコピー画像の画素値から、アンサンブル識別器14a(ニューラルネットワーク)に入力する前に、正規化のターゲット値を減算する。肌色部に係るターゲット値は、例えば(R,G,B)=(200,180,200)とする。これにより、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調するような前処理が行うことができる。すなわち、平均画像を減算した場合には必ずしも肌色近辺の値が中心にならないのに対し、肌色部に係るターゲット値を減算することにより、肌色近辺の値を中心として、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調できる。
正規化のターゲット値が減算されたダーモスコピー画像は、アンサンブル識別器14aに入力される。アンサンブル識別器14aは、処理部12aによって前処理された診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別する。このアンサンブル識別器14aは、対象に係る原画像データ、原画像データから変換された(第1の変換画像データ)及び同じく(第2の変換画像データ)のうち少なくとも2つを含む複数の皮膚画像データに対応するように、少なくとも2つの単位識別器141(CNN1),142(CNN2)……と、単位識別器141,142によって各別に得られた識別値を統合し、最終判定値を得る判定手段143と、を含む。
単位識別器141,142……は、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワーク(CNN:Convolution Neural Network)を有し、処理部12aによって生成される変換画像データを、この畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。
なお、単位識別器141,142……は、例えば、診断装置100Aが製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。
図13に、畳み込みニューラルネットワーク(CNN)の代表的構成を示す。図13によれば、畳み込みニューラルネットワークは、学習段階では複数の既知の皮膚画像データ(変換画像データ)が、被検段階では複数の未知の皮膚画像データ(変換画像データ)が入力される入力層111aと、畳み込み層とプーリング層から構成されたセットを複数有し、複数の既知の皮膚画像データ又は複数の未知の皮膚画像データから特徴を抽出する中間層111bと、抽出された特徴に基づき診断対象の分類ごとに識別値を出力する出力層111cと、を備える。
上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニットaを介して行われる。各処理ユニットaの入出力は、入力画像から抽出される複数の特徴である特徴マップbで示される複数の二次元画像である。この場合、入力画像も1枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニットaとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対し、後述する判定手段113で識別処理が行われ、出力クラスを得る構成になっている。
判定手段113は、抽出された特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層111a、中間層111b、出力層111cで構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。ここでは、各単位識別器に111,112よって各別に得られた識別値を、例えば、平均することにより統合し、最終判定値を得る。
畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットURL(http://en.wikipedia.org/wiki/Convolutional neural network)等に詳細に記載されている。畳み込みニューラルネットワーク(CNN)は、脳の神経回路網を模したニューラルネットワークを多層にして学習するディープラーニング(ディープニューラルネットワーク;Deep Neural Network)の一種であり、画像解析に好適に用いることができる。なお、ディープラーニングの他の手法を採用したり、他の手法と組み合わせたりすることも可能である。
なお、取得部12aは、複数の未知の皮膚画像データを取得可能であって、構造明瞭、部位強調等の画像変換のために前処理部10aへ出力する。
(第3実施形態の動作)
以下、図14から図18のフローチャートを参照しながら第3実施形態に係る処理部12a、アンサンブル識別器14aの動作について詳細に説明する。
図14に示すように、まず、所望の撮影後のダーモスコピー画像を入力し、このダーモスコピー画像について、第1実施形態に係る色補正処理(正規化)及び/又は第2実施形態に係る輝度補正処理(正規化)を行う(ステップ(A))。この色及び/又は輝度補正処理(正規化)は、図15に示すように、正規化のターゲット値を例えば、(R,G,B)=(200,180,200)とする。この正規化により、肌色部(非疾患領域)は、青みがかった撮影画像から肌色に近い画像に補正される。なお、ステップ(A)の詳細は、色補正処理については図3で示したステップS301からステップS307、輝度補正処理については図6で示したステップS701からステップS709のとおりである。
図14に戻り、正規化を行った画像の各画素に対して、肌色に係るターゲット値(R,G,B)=(200,180,200)を減算する(ステップ(B))。この減算により、前述したとおり、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調するような前処理を行うことができる。
減算した画像を用いて、ニューラルネットワークから構成されるアンサンブル識別器14aに入力し、学習もしくは推測を行う(ステップ(C))。識別器における学習及び推測の詳細については、項をあらためて説明する。なお、ステップ(C)は、ステップ(B)の前であっても行うことができ、ターゲット値を減算する前に、正規化を行った画像の各画素をアンサンブル識別器14aに入力し、学習もしくは推測を行ってもよい。
(第3実施形態の動作)
以下、図16から図18のフローチャートを参照しながら、本発明の第3実施形態に係る診断装置100Aの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。
図16において(適宜、図13併せて参照)、診断装置本体10の取得部11aは、まず、診断対象に係わる複数の未知の皮膚画像データを学習用皮膚画像として取得する(ステップS10:学習画像収集)。具体的に、未知の皮膚画像データの収集にあたり、医師が患者の疾患部分のダーモスコピー撮影を行なうことにより、取得部11aが、その撮影操作により複数の未知の皮膚画像データを取り込み、処理部12aへ出力する。
このとき、処理部12aは、症例の疾患名を、収集した学習用皮膚画像データに関連付けて学習用皮膚画像記憶部103に登録する。そして、処理部12aは、学習用皮膚画像を必要数収集したか否かを判定し、必要枚数収集するまで上記の手順を繰り返し実行し、学習用皮膚画像記憶部103上に皮膚画像データベースを構築する。
取得部11aがステップS10で未知の皮膚画像データ収集処理を実行後、処理部12aは、未知の皮膚画像データに対して構造明瞭、部位強調等の画像変換処理を実行し、更に、90度回転等のデータ増量処理を施してアンサンブル識別器14aへ出力する。アンサンブル識別器14aは、単位識別器141,142……が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより、入力画像である学習用皮膚画像の特徴を抽出する(ステップS20:機械学習器生成処理)。
具体的に、単位識別器141,142……は、入力画像に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップbを得、その後、特徴マップbに対してプーリングを行ない、m−1の特徴マップbの小領域から値を出力してmの特徴マップに変換する識別器生成処理を実行する。
次に、判定手段143は、単位識別器141,142……で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層111cの各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像について識別処理を実行する(ステップS30:被検画像識別)。
図17は、本発明の第3実施形態に係る診断装置100Aの機械学習識別器生成処理の手順(図16のステップS20)を示すフローチャートである。まず、処理部12aが、学習用皮膚画像に対して、色補正(正規化)及び/又は輝度補正(正規化)のための画像補正処理を実行する(ステップS21)。各変換画像を90xN回転と反転の組み合わせで8倍に増量処理を実行し、結果をアンサンブル識別器14aに引き渡す(ステップS22)。
これを受けてアンサンブル識別器14aは、増量された各画像の学習済みCNN値を変換画像毎に平均して4096次元の特徴ベクトルを得る(ステップS23)。アンサンブル識別器14aは、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする(ステップS24)。そして、ステップS21からS24の処理を繰り返し実行して必要種類の識別器生成後(ステップS25“YES”)、連結された特徴ベクトルを用い、そのベクトルを入力とする線形SVM(Support Vector Machine)学習を行ない、機械学習識別器生成処理を終了する(ステップS26)。
図18は、本発明の第3実施形態に係る診断装置100Aの被検画像の識別処理の手順(図16のステップS30)を示すフローチャートである。図18によれば、まず、処理部12aは、取得部11aが取得した未知の皮膚画像データに対して、色補正(正規化)及び/又は輝度補正(正規化)のための画像補正処理を実行する(ステップS31)。処理部12aは、更に、各変換画像を90xN回転と反転の組み合わせで8倍に増量処理を実行し、結果をアンサンブル識別器14aに引き渡す。
アンサンブル識別器14aは、増量された各画像の学習済みCNN値を変換画像毎に平均して4096次元の特徴ベクトルを得、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする(ステップS32)。そして、アンサンブル識別器14aは、ステッップS31とS32の処理を繰り返し実行して必要種類の識別器生成後(ステップS33“YES”)、判定手段113が、全ての識別値を平均貸して最終判定値を得、例えば、表示装置40aに表示する(ステップS34)。
すなわち、ステップS31〜S33までの処理は、画像変換の対象となる入力画像が学習用皮膚画像から被検画像(未知の画像)に変更されただけであり、必要種類の識別器生成後、学習済みの線形SVM識別器の出力値により識別結果を得る。
(第3実施形態の効果)
上記した第3実施形態に係る診断支援装置1によれば、ダーモスコピー画像の肌色部(非疾患領域)の色・輝度を正規化し、その正規化値を前処理として減算することにより、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調するような前処理が行うことができる。換言すると、中央部と肌色部(非疾患領域)との効果的なエッジ抽出を行うことができる。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。具体的には、上記実施形態は皮膚における病変を対象として説明したが、本発明は皮膚以外にも、例えば、眼底や子宮などの臓器における病変にも適用が可能である。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[請求項1]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ(A)を備え、
前記ステップ(A)において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
[請求項2]
前記ステップ(A)において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項1に記載の方法。
[請求項3]
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項2に記載の方法。
[請求項4]
前記ステップ(A)において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のLpノルムを求め、e、e及びeのL2ノルムが1となるように係数kで正規化し、eに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項1から3のいずれか1項に記載の方法。
[請求項5]
前記前記ステップ(A)において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項1から4のいずれか1項に記載の方法。
[請求項6]
前記前記ステップ(A)において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも2つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項1に記載の方法。
[請求項7]
前記ステップ(A)において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項1又は6に記載の方法。
[請求項8]
前記ステップ(A)において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項6又は7に記載の方法。
[請求項9]
前記色空間が、RGB色空間、YUV色空間及びHSV色空間を含み、RGB色空間の場合には画素R,G,Bについて、YUV色空間の場合には画素Y,U,Vについて、HSV色空間の場合には画素S,Vについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項6から8のいずれか1項に記載の方法。
[請求項10]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項11]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項12]
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ(C)を備えることを特徴とする請求項2、10又は11に記載の方法。
[請求項13]
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
[請求項14]
コンピュータに請求項1から12のいずれか1項に記載の画像処理方法を実行させるプログラム。
100A…診断支援装置、10,10a…装置本体、11,11a…撮影画像取得部、12,12a…処理部、13,13a…画像記憶部、14a…識別器、141,142…単位識別器、143…判定手段、20,20a…ダーモスコープ付撮影装置、30,30a…入力装置、40,40a…表示装置、103…学習用皮膚画像記憶部、120…画像補正手段、121…色補正処理手段、122…輝度補正処理手段、111a…入力層(識別器の)、111b…中間層(識別器の)、111c…出力層(識別器の)、a…処理ユニット(識別器の)、b…特徴マップ(識別器の)

Claims (12)

  1. ダーモスコープ付きの撮影装置により撮影された撮影画像である皮膚のダーモスコピー画像から病変を診断するための診断支援装置における画像処理方法であって、
    前記撮影画像の画像処理として画像補正を行うステップ(A)を備え、
    前記ステップ(A)において、前記画像補正として色の補正及び輝度の補正の少なくとも一方の補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を、前記少なくとも一方の補正に対応する前記周辺領域内の肌の色及び輝度の少なくとも一方に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定することを特徴とする方法。
  2. 前記ステップ(A)において、前記画像補正として前記補正を行う際、前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項1に記載の方法。
  3. 前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項2に記載の方法。
  4. 前記ステップ(A)において、前記画像補正として前記色の補正を行う際、
    前記被検領域を前記撮影画像の中心円とし、
    前記中心円を除いた前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定するとともに、前記測定領域内で色空間の各画素について対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項1から3のいずれか1項に記載の方法。
  5. 前記ステップ(A)において、前記画像補正として前記色の補正を行う際、
    前記周辺領域を、前記周辺領域内の肌の色に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、
    前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項1から4のいずれか1項に記載の方法。
  6. 前記ステップ(A)において、前記画像補正として前記輝度補正を行う際、前記周辺領域を、前記周辺領域内の輝度に関する情報を前記画像補正用のパラメータとして測定するための前記測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも2つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項1に記載の方法。
  7. 前記ステップ(A)において、前記画像補正として前記輝度の補正を行う際、
    前記被検領域を前記撮影画像の中心円とし、
    前記中心円を除いた前記周辺領域を、前記周辺領域内の輝度に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定するとともに、前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項1又は6に記載の方法。
  8. 前記ステップ(A)において、前記画像補正として前記輝度の補正を行う際、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項6又は7に記載の方法。
  9. 前記色空間が、RGB色空間、YUV色空間及びHSV色空間を含み、RGB色空間の場合には画素R,G,Bについて、YUV色空間の場合には画素Y,U,Vについて、HSV色空間の場合には画素S,Vについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項6から8のいずれか1項に記載の方法。
  10. 前記画像補正された前記撮影画像から、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)をさらに備えることを特徴とする請求項1から9のいずれか1項に記載の方法。
  11. ダーモスコープ付きの撮影装置により撮影された撮影画像である皮膚のダーモスコピー画像から病変を診断するための診断支援装置であって、
    前記撮影画像の画像処理として画像補正を行う処理部を備え、
    前記処理部が、前記画像補正として色の補正及び輝度の補正の少なくとも一方の補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を、前記少なくとも一方の補正に対応する前記周辺部内の肌の色及び輝度の少なくとも一方に関する情報を前記画像補正用のパラメータとして測定するための測定領域に設定することを特徴とする診断支援装置。
  12. コンピュータに請求項1から10のいずれか1項に記載の画像処理方法を実行させるプログラム。
JP2017081594A 2016-09-02 2017-04-17 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム Active JP6361776B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP17179753.3A EP3291173A1 (en) 2016-09-02 2017-07-05 Diagnosis assisting device, image processing method in diagnosis assisting device, and program
US15/642,280 US11379958B2 (en) 2016-09-02 2017-07-05 Diagnosis assisting device, and image processing method in diagnosis assisting device
CN201710610609.4A CN107788948B (zh) 2016-09-02 2017-07-25 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
CA3060762A CA3060762A1 (en) 2016-09-02 2017-07-31 Diagnosis assisting device, and image processing method in diagnosis assisting device
CA2974777A CA2974777C (en) 2016-09-02 2017-07-31 Diagnosis assisting device, and image processing method in diagnosis assisting device
AU2017213456A AU2017213456B2 (en) 2016-09-02 2017-08-08 Diagnosis assisting device, and image processing method in diagnosis assisting device
AU2018282455A AU2018282455B2 (en) 2016-09-02 2018-12-21 Diagnosis assisting device, and image processing method in diagnosis assisting device
US17/747,327 US11769255B2 (en) 2016-09-02 2022-05-18 Diagnosis assisting device, and image processing method in diagnosis assisting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016171595 2016-09-02
JP2016171595 2016-09-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018110086A Division JP2018171462A (ja) 2016-09-02 2018-06-08 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2018038789A JP2018038789A (ja) 2018-03-15
JP6361776B2 true JP6361776B2 (ja) 2018-07-25

Family

ID=61624508

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017081594A Active JP6361776B2 (ja) 2016-09-02 2017-04-17 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2018110086A Pending JP2018171462A (ja) 2016-09-02 2018-06-08 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2021134459A Active JP7188514B2 (ja) 2016-09-02 2021-08-20 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018110086A Pending JP2018171462A (ja) 2016-09-02 2018-06-08 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2021134459A Active JP7188514B2 (ja) 2016-09-02 2021-08-20 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

Country Status (1)

Country Link
JP (3) JP6361776B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135504B2 (ja) * 2018-07-02 2022-09-13 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
JP7218118B2 (ja) * 2018-07-31 2023-02-06 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7005040B2 (ja) * 2019-07-01 2022-01-21 株式会社アクセル 学習装置、推論装置、学習方法、プログラムおよび推論方法
US11615609B2 (en) 2019-07-01 2023-03-28 Axell Corporation Learning apparatus, inferring apparatus, learning method, program, and inferring method
US11769221B2 (en) 2020-03-12 2023-09-26 Axell Corporation Learning apparatus, inferring apparatus, computer program, computer system, inferring method, and learning method
CN115943420A (zh) * 2020-08-26 2023-04-07 佳能株式会社 图像处理装置、图像处理方法、训练装置、训练方法、以及程序
JP7566696B2 (ja) 2020-08-26 2024-10-15 キヤノン株式会社 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
KR20220042558A (ko) * 2020-09-28 2022-04-05 주식회사 딥바이오 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023058157A1 (ja) * 2021-10-06 2023-04-13 メディテック株式会社 治療支援装置、システム、及び方法
WO2023106442A1 (ko) * 2021-12-08 2023-06-15 (주)파인헬스케어 상처 진단 및 관리를 위한 의료기기 및 의료기기의 동작 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124126A (ja) * 1993-11-05 1995-05-16 Ken Ishihara 医療用生体情報検出装置、診断装置および治療装置
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
JP4437202B2 (ja) * 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
JP4466261B2 (ja) * 2004-07-30 2010-05-26 カシオ計算機株式会社 撮像装置、明るさ補正方法及びプログラム
JP4599520B2 (ja) * 2004-09-17 2010-12-15 オリンパス株式会社 マルチスペクトル画像処理方法
JP4967454B2 (ja) * 2006-05-23 2012-07-04 ソニー株式会社 画像補正回路、画像補正方法および画像表示装置
JP5797921B2 (ja) * 2011-03-30 2015-10-21 花王株式会社 体表評価方法および体表評価装置
JP5880121B2 (ja) * 2012-02-21 2016-03-08 株式会社リコー 画像処理装置
JP2013255594A (ja) * 2012-06-11 2013-12-26 Canon Inc 画像処理装置及び画像処理方法
JP6036790B2 (ja) * 2014-11-07 2016-11-30 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6361501B2 (ja) * 2014-12-26 2018-07-25 カシオ計算機株式会社 診断装置
US10362984B2 (en) * 2015-01-27 2019-07-30 Healthy.Io Ltd Measuring and monitoring skin feature colors, form and size
JP6108011B2 (ja) * 2016-06-13 2017-04-05 富士ゼロックス株式会社 中継装置及びfax送受信プログラム

Also Published As

Publication number Publication date
JP7188514B2 (ja) 2022-12-13
JP2018038789A (ja) 2018-03-15
JP2021191423A (ja) 2021-12-16
JP2018171462A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
JP6361776B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
CN107788948B (zh) 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US12124960B2 (en) Learning apparatus and learning method
JP6544648B2 (ja) 骨粗鬆症診断支援装置
JP2017045341A (ja) 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
JP4599520B2 (ja) マルチスペクトル画像処理方法
JP7087390B2 (ja) 診断支援装置、画像処理方法及びプログラム
JP2024098259A (ja) 臓器評価システム及び臓器評価方法
JP2024052215A (ja) 高血圧症評価システム及び高血圧症評価方法
JP2024098258A (ja) 臓器評価システム及び臓器評価方法
JP2024019864A (ja) 皮膚評価システム及び皮膚評価方法
JP2023543706A (ja) 暗視野x線画像データ情報の処理
JP2009258771A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6361776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150