JP3852125B2 - 2次元多階調画像におけるパタン検出方法及び装置 - Google Patents
2次元多階調画像におけるパタン検出方法及び装置 Download PDFInfo
- Publication number
- JP3852125B2 JP3852125B2 JP05777796A JP5777796A JP3852125B2 JP 3852125 B2 JP3852125 B2 JP 3852125B2 JP 05777796 A JP05777796 A JP 05777796A JP 5777796 A JP5777796 A JP 5777796A JP 3852125 B2 JP3852125 B2 JP 3852125B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pattern
- pixels
- image
- density gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001514 detection method Methods 0.000 title claims description 46
- 210000000481 breast Anatomy 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 230000002308 calcification Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000009607 mammography Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 208000004434 Calcinosis Diseases 0.000 description 79
- 238000012545 processing Methods 0.000 description 49
- 238000004458 analytical method Methods 0.000 description 20
- 206010006187 Breast cancer Diseases 0.000 description 17
- 208000026310 Breast neoplasm Diseases 0.000 description 17
- 238000009826 distribution Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003211 malignant effect Effects 0.000 description 8
- 210000005075 mammary gland Anatomy 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000000333 X-ray scattering Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は2次元多階調画像におけるパタン検出方法及び装置に関し、詳しくは、2次元多階調画像に含まれる略円錐状の濃度分布パタンを有する領域を探索するのに適した方法及び装置に関し、特に、放射線画像における円形の腫瘤陰影,微小石灰化陰影を精度良く探索し得る技術に関する。
【0002】
【従来の技術】
近年、X線写真の画質向上に伴い、乳癌の重要所見であるミクロン単位の大きさの微小な石灰化が描出可能となり、乳房X線写真(マンモグラム)による乳癌検査が定着してきている。
マンモグラムによる乳癌所見としては、腫瘤陰影,微小石灰化像の2つが主なものであるが、なかでも微小石灰化像により診断される乳癌は初期のものである確率が高く、乳癌の早期発見を目的としたマンモグラムによる集団検診を行なう動きがある。
【0003】
しかし、前記微小石灰化像は、数十ミクロン程度の小さなものであるため、読影には高度な能力を持つ専門医が必要であり、また、集団検診での大量のマンモグラムを読影する場合には、読影医の負担が大きいという問題が発生する。
そこで、画像処理技術を用い、マンモグラムから微小石灰化像を自動検出し、該検出結果を医師の読影の際に提示して、診断医の読影を支援することが考えられてきている。
【0004】
前記画像処理による微小石灰化像の自動検出は、基本的には、微小石灰化像の特徴である微小な円形パタンをフィルタなどにより強調して微小石灰化像の候補領域を抽出し、該抽出された候補領域の特徴解析を行なって乳腺による線成分などの誤った候補を除去した後、最終的に微小石灰化像の候補を特定するものである。
【0005】
代表的な方法としては、固定リングフィルタにより、微小石灰化像の特徴である濃度勾配の放射状のベクトル分布を探索する方法があった。これは、複数の同心円上の濃度勾配をそれぞれ調べ、それぞれの同心円上の画素の濃度勾配の方向が放射状であるか否かを調べることにより、微小石灰化像のパタンに合致するか否かを判別するものである。かかる方法では、偽陽性の検出数が画像1枚当たりに0.83個のときに、真陽性を90.3%の確率で検出できる性能を得ていた。
【0006】
上記の固定リングフィルタによる微小石灰化像の検出方法によると、微小石灰化像に特有の性質を効率に良くベクトル特徴量として表現でき、クラスタの検出率が良好で処理時間も短いという特徴を有する。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来の方法によると、極めて淡く小さい微小石灰化像の検出率が実用レベルに達しておらず、線成分の陰影を多く誤検出するなどの問題があった。上記誤検出の主な原因としては、微小石灰化像のコントラストが、該石灰像が存在する背景領域の組織に依存したバラツキを示すこと、及び、固定リングフィルタの形状が常に一定であり、解析対象となる候補領域の形状が略円形状のものに限定されていることの2つがあげられる。
【0008】
従来方法においては、上記のように線成分などの陰影を誤検出するため、偽陽性の検出数が画像1枚当たり0.83個程度と非常に多く、乳癌のない正常な写真であっても8割の画像に異常所見があると判断してしまうことになっていた。このため、集団検診などのように、多くの写真が正常である場合には、微小石灰化像の自動検出を行なわせても大部分の写真について異常所見があるとの情報を医師に対して与えてしまうため、医師の読影負担を軽減するという目的を達成できないことになっていた。従って、偽陽性を減少させることが要求されるが、従来では、偽陽性を減少させようとすると、真陽性の検出率も低下してしまうという問題が生じていた。
【0009】
また、乳房組織には、分布状態の個人差が非常に大きな乳腺や脂肪組織が含まれ、これらは、X線撮影時にX線散乱などを引き起こすため、前記乳腺や脂肪組織などに含まれる微小石灰化のX線コントラストが低下すると共に、大きなバラツキを示す。このため、背景の組織によって微小石灰化像パタンのコントラストが変化することになり、偽陽性を減少させるには、パタン検出,パタン判別のための濃度閾値を、領域毎に調整することが必要になり、従来では、領域の判別をパタン検出の前に予め行なって、それぞれの領域毎に処理手順や閾値を変更するなどの複雑な処理を行なっており、処理速度や検出精度の低下を招いていた。
【0010】
更に、上記従来の方法では、マンモグラムから検出した微小石灰化像が、クラスタを形成している場合に、異常候補として検出しているが、クラスタを形成していても良性である場合があり、これらを異常として表示することは偽陽性を増やし、診断ミスにつながる可能性があるという問題もあった。
本発明は上記問題点に鑑みなされたものであり、真陽性の検出率を低下させることなく、偽陽性の検出を減少させることができるパタン検出方法及び装置を提供することを目的とする。
【0011】
更に、検出精度を保持しつつ、単一のパタン検出方法を画像の全領域に均一に施すことができるようにすることを目的とする。
また、画像から検出した微小の円形パタンのクラスタが乳癌か否かを精度良く判別できるようにすることを目的とする。
【0012】
【課題を解決するための手段】
そのため請求項1又は5記載の発明では、中心画素の周辺の同心円状の固定フィルタ上に位置する複数の画素それぞれにおける濃度勾配のベクトル強度とベクトル方向とを抽出し、前記濃度勾配のベクトル方向と前記中心画素と当該画素とを結ぶ方向との角度の相違量を前記複数の画素毎に求め、前記複数の画素毎の角度の相違量とベクトル強度とから各同心円領域毎に濃度勾配に関する特徴量を求め、前記特徴量に基づいて前記中心画素を候補画素として抽出するか否かを予め判別しておき、前記候補画素として抽出された前記中心画素から周辺画素へ放射状に広がる複数の探索方向それぞれにおいて、濃度勾配のベクトル強度が極大となる画素を探索し、前記探索された複数画素に合わせて可変フィルタの形状を変形し、該可変フィルタ上の複数画素それぞれでの濃度勾配のベクトル強度、及び、前記探索された複数画素それぞれでの濃度勾配のベクトル方向と前記探索方向との角度の相違量から濃度勾配に関する特徴量を求め、該特徴量に基づいて前記候補画素が所定のパタンに含まれるか否かを判別する構成とした。
【0013】
かかる構成によると、2次元多階調画像データから所定のパタンを検出するために、中心画素の周辺の同心円状の固定フィルタ上に位置する複数の画素の濃度勾配に基づいて、候補画素を緩やかに抽出しておく。そして、前記候補画素として抽出された中心画素から周辺画素へ放射状に広がる複数の探索方向それぞれにおいて、濃度勾配のベクトル強度が極大となる画素の探索は、画素値分布の変曲点を探し出すことに相当するから、候補となっている陰影の形状に合わせて変形した可変フィルタ上の濃度勾配の特徴量が設定されることになり、極めて淡く形が不整な小さい候補陰影においても、濃度勾配の放射状のベクトル分布を精度良く判別できることになる。よって、パタン判別を精度良く行なわせることができるから、パタン検出の高精度化と処理時間の短縮化を図れる。
【0020】
請求項2又は6記載の発明では、背景濃度に逆比例した割合でコントラストを低下させる前処理を前記2次元の多階調の画像データに予め施しておき、かかる前処理が施された画像データに基づいて濃度勾配のベクトル強度及びベクトル方向を抽出させる構成とした。
【0021】
かかる構成によると、検出したい所定パタンのコントラストが小さくなる領域では濃度階調を拡大し、逆に、所定パタンのコントラストが大きくなる領域では濃度階調を圧縮して、所定パタンのコントラストを平均化することが可能となり、自動検出性能を向上させることが可能となる。
【0022】
請求項3又は7記載の発明では、パタン検出の対象としての2次元の多階調の画像データが乳房X線画像であり、検出する所定のパタンが、微小石灰化像に対応する微小円形パタンである構成とした。
【0023】
かかる構成によると、乳癌の重要所見である微小石灰化像を、精度良く自動検出させることができ、以て、乳房X線画像に基づく読影診断の有効な支援が行なえる。
請求項4又は8記載の発明では、乳房のX線撮影で得られた2次元の多階調画像から検出された複数の微小円形パタンの群に関し、前記群に含まれる円形パタンの数、円形パタンの大きさの平均値、円形パタンの大きさの分散値、円形パタンの円形度の平均値、円形パタン相互の距離の平均値のうちの複数の項目に基づいて、前記複数の微小円形パタンの群の特徴量を演算するようにした。
【0024】
一般に癌との相関が高いとされる悪性石灰化像には、その形状,集散,数などに特徴を有するから、前記項目に基づいてクラスタ(群)を構成する微小石灰化像の良悪性の判別が行なえるものである。
【0025】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
尚、以下に示す実施形態は、医療用の乳房X線撮影で得られた2次元の多階調の画像データから乳癌の重要所見である微小石灰化像を自動検出する装置及び方法を示すものである。
【0026】
図1は装置構成の概略を示すものであり、乳房X線画像は、画像記憶手段Aに記憶されており、前処理手段Bにより読み出され前処理が施される。前処理が施された乳房X線画像は、候補パタン検出手段Cに渡され、所定のパタン(微小石灰化像)の候補が検出される。候補パタン検出手段Cで検出された候補パタンは、パタン判別手段Dにより所定のパタン(微小石灰化像)であるかどうかの判別が行われ、最終的に所定のパタンであると判別されたパタンが、表示手段Eによりオペレータ(読影医)に表示される。
【0027】
前記図1に示した各手段における処理内容を図2に示してある。
通常の乳房X線撮影で作成された乳房X線写真は、フィルムデジタイザで読み取られてデジタル画像データに変換され(デジタイズされ)、2次元の多階調の画像データとしてシステムに入力される。
入力された乳房X線画像は、まず前処理を施され、乳房領域(被写体領域)とそれ以外(X線の素抜け領域)とに領域分けがなされる(乳房領域抽出処理:被写体領域抽出手段)。
【0028】
抽出された乳房領域(被写体領域)については、検出対象のパタンのコントラストを均一化するためのコントラスト補正処理が施される(コントラスト補正処理:コントラス補正手段)。
コントラスト補正処理後の画像に対し、濃度勾配抽出処理(濃度勾配抽出手段)と固定リングフィルタ処理(特徴量演算手段)が行われ、対象パタンの候補領域が抽出される(候補画素判別手段,候補画素探索手段)。
【0029】
次に、前記抽出された候補領域に対し、可変リングフィルタ処理(濃度勾配探索手段,濃度勾配特徴量演算手段,画素判別手段)、候補領域の再抽出処理(画像領域抽出手段)、形状解析処理(パタン判別手段)が行われ、この結果、最終的な微小石灰化像の候補が抽出される。
更に、微小石灰化像は、複数集まってクラスタ(群)を形成することが乳癌の特徴的な所見であることから、クラスタの特徴解析(特徴量演算手段)を行うことにより、乳癌の可能性を判定し(乳癌判別手段)、該判定結果に応じて前記微小石灰化像の候補を読影者に表示する。
【0030】
以下に、図2に示した各処理の詳細を説明する。
(1)「X線写真のデジタイズ」
乳房X線写真は、通常は高解像度のX線フィルムを用いて撮影され現像処理された後、専門医による読影が行われるが、ここでは、前記乳房X線写真を、フィルムデジタイザを用いて読み取ってデジタル画像データに変換し、システムに入力する。入力された画像データは、画像記憶手段Aに記憶される。
【0031】
前記画像記憶手段Aとしては、ハードディスクが一般に用いられるが、光磁気ディスクなどの可搬型媒体や、メモリなどの半導体記憶装置を用いることも可能である。
フィルムデジタイザは、微小なレーザビームで走査を行い、フィルムを透過する光量を電気信号に変換するものである。ここでは、100μmのサンプリングピッチで、光学濃度0〜3を12ビットに量子化するデジタイズ処理を行なった。
【0032】
更に細かな微小石灰化像の検出を可能にすべく、50μmのサンプリングピッチでデジタイズ処理することも可能であるが、データ量が膨大になって処理時間が増加するため、検出精度を確保できる範囲でデータ量を極力少なくすべく、100μmのサンプリングピッチを採用している。
また、濃度レンジも、通常の乳房X線画像の場合は、濃度3までの範囲で十分であるが、皮膚に近い部分や皮膚線の形状を見たい場合は、濃度4以上を読み取る必要がある。量子化のレベルも、本実施例では12ビットを用いているが、8ビット〜16ビットの範囲で変更しても良い。
【0033】
また、デジタイザとしてレーザ走査方式の他に、ドラムスキャン型、CCD型等があるが、操作性,ノイズ性能等の点から、レーザ走査方式のデジタイザを選択した。
更に、最近では、X線撮影時に直接デジタル画像を入力できる装置が開発されてきており、これらの装置の画像データを直接用いることも可能である。また、マンモグラム専用にシンチレータでの発光をCCDで撮影し入力するデジタルマンモグラム装置も開発されているが、この様な装置を用いることも可能である。
【0034】
(2)「乳房領域抽出処理(前処理)」
乳房X線画像(マンモグラム)では、通常乳房領域は一部であり、直接X線が照射された部分(X線素抜け部分)が含まれているため、かかる素抜け領域を解析の対象から外すために、乳房領域(被写体領域)の抽出がまず行われる(被写体領域抽出手段)。
【0035】
素抜け領域と乳房領域とでは、その濃度が大きく異なるために、乳頭−胸壁方向に1ラインごとに濃度分布を調べることにより、乳房領域と素抜け領域との境界を判別して容易に分離することが可能である。分離された素抜け領域にはマスクが設定され、今後の処理・解析の対象から外され、乳房領域についてのみ処理・解析が行なわれる。これによって、全領域を対象として処理・解析を行なわせる場合に比して、処理時間を短縮することが可能となる。
【0036】
(3)「コントラスト補正処理(前処理)」
乳房X線画像においては、微小石灰化像が存在する領域周辺の組織によって微小石灰化のパタンの信号の大きさ、即ちコントラストに大きなバラツキが生じる。ここで、同一の微小石灰化でもそれが厚い乳腺内に存在するときほど、X線が微小石灰化に到達するまでに他組織に吸収されたり散乱したりする度合いが大きくなるため、微小石灰化が脂肪領域に近い領域に存在するときよりも、厚い乳腺内に存在するときの方がコントラストが小さくなるものと考えられる。
【0037】
乳腺の退縮度がそれぞれ異なる5枚の乳房X線画像を使用し、微小石灰化像の存在位置の背景の信号レベルとコントラストとの関係を調べた結果を、図3に示す。尚、図中の破線は、分布点を1次関数で近似したものである。
この実験結果をもとに、周辺画素値が300 付近である微小石灰化像を基準とし、他領域の微小石灰化像のコントラストがこの基準と同レベルのコントラスト(約45)になるように補正できるコントラスト補正曲線を、図4に示すように作成した。
【0038】
図4の補正曲線による変換(コントラスト補正手段)を行なうことにより、微小石灰化像のコントラストが小さくなる乳腺領域 (fibroglandular tissue area )の低濃度領域 ( low- density area )の濃度階調が拡大され、逆に、コントラストが大きくなる領域、及び、微小石灰化像が存在する可能性が少ない脂肪領域 ( fatty area ) の濃度階調は圧縮される。このとき、周辺の画素値平均が約300 の微小石灰化像が基準となり、周辺の平均画素値がそれ以下のときはそのコントラストが大きくなり、それ以上のときはコントラストが小さくなる。
【0039】
上記コントラスト補正処理は、パタンの自動検出性能の向上に貢献するだけではなく、視覚的にも乳腺組織内の観察が容易になるという点で有効であり、画像処理法としての応用も可能と考えられる。即ち、上記コントラスト補正処理により、検出するパタンのコントラストを均一化できるため、検出方法を領域に因らずに画一化でき、システム構成を単純化でき、また、処理速度を向上させることが可能になる。
【0040】
(4)「濃度勾配抽出処理(候補パタン抽出処理)」
乳癌に随伴する石灰化の大きさは、約0.75mm以下の微細なものが多く、これらは微小石灰化と呼ばれている。即ち、今回使用したディジタル画像上では、像のボケを考慮しても直径約10画素以下の極めて微小な信号である。これらの信号分布は、周りの濃度値(画素値)と比べて値が小さく、濃度勾配は中心に向かって略一定に落ち込むという基本的な共通点をもっており、この微小な円錐形構造は微小石灰化像に特有な性質である。
【0041】
そこで、ディジタル画像の濃度分布から、方向と強度の要素を合わせもつ濃度勾配のベクトル分布(ソーベルの勾配)を各画素毎に算出し(濃度勾配抽出手段)、該ベクトル分布に基づいて円錐形構造のベクトルパターン(以下、基本ベクトルパターンと呼ぶ)を有する領域を自動抽出する処理(候補画素探索手段)を次のステップで行う。
【0042】
(5)「固定リングフィルタ処理(候補パタン抽出処理)」
固定リングフィルタは、大きさの異なる複数のリング状のサブフィルタで構成されており、微小石灰化像の大きさに対応する直径に設定してある。
具体的には、3つのサイズの異なるフィルタを設定してあり、小さい方からFilterA、FilterB、FilterCと呼び、それぞれの直径は、3 画素、5 画素、7 画素である。図5は、これら3枚のリングフィルタに、基本ベクトルパターンを重ね合わせたものである。
【0043】
これらの3枚のフィルタを候補領域上に重畳させ、基本ベクトルパターンとフィルタ内のベクトルパターンとを解析し、サブフィルタ毎にベクトル方向性の類似性を表す「方向特徴量」と、ベクトル強度の類似性を表す「強度特徴量」を演算する(特徴量演算手段)。
前記方向特徴量の演算は、以下の手順によって実行される。
【0044】
まず、各サブフィルタ内の画素数nに応じて各画素に番地付け(k=1〜n)を行い、サブフィルタ上のk番地の画素における基本ベクトルパターン(中心画素と当該画素とを結ぶ方向)と濃度勾配のベクトル方向との角度の相違量をθk (0 ≦θk ≦π) とする。
ここで、サブフィルタ上の各画素におけるベクトル方向類似性の平均値を前記方向特徴量とするので、n個の画素からなるサブフィルタの方向特徴量Dは、数1で表され、ベクトル方向の類似性が高いときほど大きな値に算出される。尚、FilterAではn=8、FilterBではn=12、FilterCで Cはn=16である。
【0045】
【数1】
【0046】
数1において、αは重み付け係数で、形状が不整な微小石灰化像のベクトルパターンの性質を考慮して、各フィルタごとに別々の値が設定される。
一方、強度特徴量Iは、サブフィルタ上の各画素のベクトルをVkと表すときに、ベクトル強度にその画素における方向特徴量を乗じたものの平均値として算出され、数2で表される。
【0047】
【数2】
【0048】
(6)「候補パタン抽出処理」
上記の固定リングフィルタ処理を、乳房領域に対して行うことにより、各画素に対して3つのフィルタA,B,C毎に方向特徴量及び強度特徴量のデータが求められ、結果的に各画素に対して6個の特徴量が求められる。
そして、これらの特徴量が所定の閾値を超える画素を、対象パタン(微小石灰化像に対応する円形パタン)に含まれる画素として判別し(候補画素判別手段)、対象パタンに含まれると判別された画素の集合を候補パタンとして抽出を行う。
【0049】
抽出された候補パタンは、1つの領域が複数に分割されている可能性があるため、3×3画素のテンプレートによるモルフォロジ演算のオープン処理を行い、分割されたパタンの併合を行う。そして、併合が行われた各パタンの重心を求め、該重心の座標を候補パタンの座標として次のステップに進む。
(7)「可変リングフィルタ処理(パタン判別処理)」
前段階で抽出された候補パタンに対し、下記の可変リングフィルタ処理を行い、正常構造などから誤って検出された偽陽性の候補パタンの除去を行う。
【0050】
可変リングフィルタ処理は、前述の固定リングフィルタ処理と同等の処理を、候補パタンの形状に応じた形にフィルタの形状を変形して行なうことにより、候補パタンの特徴量をより正確に求め、候補パタンが所定のパタンか否かを厳密に判別する。
フィルタの変形は、図6に示すように、候補パタンの座標の画素を中心とし、周辺へ放射状に広がる探索方向を複数設定し、それぞれの探索方向において、各画素における濃度勾配のベクトル強度が極大となる画素を求めることで行う(濃度勾配探索手段)。尚、図6において、探索方向の矢印上に示される四角は、それぞれの探索方向でベクトル強度が極大となる画素を示す。
【0051】
上記フィルタ形状の変形条件を、微小石灰化クラスタが存在する画像を例にして説明する。
図7(a)は、典型的な微小石灰化像の断面の画素値分布を示し、図7(b)は図7(a)に対応する微小石灰化像における濃度勾配のベクトル強度の分布を示している。微小石灰化像が存在する部分のベクトル強度は、前記図7(a)に示すように、リング状のエッジ構造がみられ、このエッジの部分は、図7(b)でいえばベクトル強度が極大になる部分に相当し、微小石灰化像の最深部はベクトル強度が極小となる部分である。そこで、可変リングフィルタは、固定リングフィルタ解析で既に検出されている点(画素値分布の最深部の画素)から、ベクトル強度が極大値をもつ画素を探し出すまで形状を変形する。図7(b) のベクトル強度の極大値を探し出すことは、図7(a) の画素値分布の変曲点を探し出すことに相当するため、候補陰影の形状に合わせて最適なフィルタ形状に変形することができることになる。
【0052】
例えば、形が不整な微小石灰化像と、線成分の乳腺組織陰影像に対して可変リングフィルタを適用すると、そのリング形状はそれぞれ図8(a),(b)のように求まる。このように、固定リングフィルタは常に円形状であったが、可変リングフィルタは、候補形状に呼応して形状が変化するものである。
フィルタ形状の変形後に行う方向・強度特徴量の計算は(濃度勾配特徴量演算手段)、固定リングフィルタ解析の特徴量計算と同様に前記数1及び数2に示す演算式を用いて行う。ただし、フィルタ形状は適応的に決まるため、重み付け関数としてはα=1.0を用いる。また、フィルタ構造は一重のみであり、フィルタ上の画素数nはその候補パタン毎に当該候補パタンの形状に応じて毎回変化することになる。
【0053】
そして、方向・強度特徴量が所定の閾値を超える場合には、候補パタンの座標の画素を、対象パタン(微小石灰化像に対応する円形パタン)に含まれる画素として判別する(画素判別手段)。
形が不整な微小石灰化像に対するフィルタの出力値(方向・強度特徴量)を調べると、固定リングフィルタ解析では、3つのフィルタのうちのFilterAにおける検出条件のみを満たし、微小石灰化像を検出することができないが、可変リングフィルタでは検出条件を満たしており、特に方向特徴量は固定リングフィルタと比較して高い値を示す。
【0054】
これに対して、線成分陰影像に対するフィルタの出力値(方向・強度特徴量)では、固定リングフィルタ解析ではFilterAとFilterBにおける検出条件を満たしてしまい、線成分陰影像を微小石灰化像として誤検出してしまう。一方、可変リングフィルタでは、固定リングフィルタでは探索できない候補辺縁の状況を正確に分析できるため、方向特徴量の出力値が低くなり、線成分陰影像を微小石灰化像として誤検出することがない。
【0055】
ここで、正常構造に起因する線成分陰影像の誤検出を除去する様に、固定リングフィルタ処理での判別を厳しく行うと、形が不整な微小石灰化像までもが除外されてしまい、検出率が低下してしまう。ところが、可変リングフィルタ処理では線成分陰影像を効果的に除去できるため、固定リングフィルタの判別を緩やかにすることができ、形が不整な微小石灰化像を検出することが可能となる。従って、真陽性の検出率の向上と偽陽性の削減とを同時に達成することが可能となる。
【0056】
(8)「候補領域の再抽出処理(パタン判別処理)」
可変リングフィルタ解析の終了後には、さらに偽陽性候補を削除するための処理として形状解析処理を行なう。
前記形状解析は、2次元的な大きさや形状などから真偽の判断を行なうため、解析以前に候補陰影の領域を正確に抽出する必要がある。
【0057】
微小石灰化像のコントラストに大きなばらつきがみられる原因の1つに、微小石灰化の存在位置の相違から生じるX線吸収値の変化があり、上記システムでは、前記X線吸収の影響を抑制するためにコントラスト補正処理を行なっているが、依然として石灰化自体の性質や大きさの違いによって若干のばらつきがみられるため、単純な固定閾値による2値化では正確に領域を抽出することができない。
【0058】
そこで、個々の微小石灰化像に応じて最適な閾値γを設定する必要があり、ここでは、可変リングフィルタ処理によってフィルタ形状を変形させた後に、そのフィルタ上の画素の画素値の平均値(代表値)を求め、この値を2値化する際の閾値γとして使用するようにした。尚、平均値の代わりに、中央値を閾値としても良い。
【0059】
そして、前記閾値γを用いて画素値の2値化を行なうことで候補領域を抽出する(画像領域抽出手段)。
(9)「候補領域の形状解析(パタン判別処理)」
候補領域を抽出すると、抽出された微小石灰化像の候補領域について、画像の形状に関する特徴量として面積と円形度の特徴量を計算する。
【0060】
面積の特徴量は、候補領域に含まれる画素数として求められるが、偽陽性候補を削除するための閾値としては、微小石灰化像に該当しない良性の粗大石灰化像を検出しないように実験的に50(画素数)に設定し、面積が50を越える候補領域を偽陽性候補として削除するものとした(パタン判別手段)。
また、円形度は{4π×面積÷(円周長) 2 }として求められ、該円形度は、候補領域が円形に近いときほど大きな値となり(最大1.0 )、円形からずれるほど小さな値になる。そして、可変リングフィルタでも識別が困難である血管や乳管などの線成分陰影や、その交差する箇所の偽陽性候補を削除できるように、円形度から偽陽性候補を削除するための閾値として実験的に0.5 を設定し、円形度が0.5 を下回る候補領域を偽陽性候補として削除するものとした(パタン判別手段)。
【0061】
尚、前記形状解析に代えて、若しくは、形状解析と共に、候補領域内の画素値(原画像又はコントラスト補正処理後の画像)に基づいて、偽陽性候補の削除を行なっても良い。具体的には、候補領域の最深部の画素値や、該最深部の画素値と周囲のエッジ部における画素値との偏差等に基づいて、候補領域を偽陽性候補として削除することが可能である。
【0062】
(10) 「クラスタ領域特徴解析(パタン判別処理)」
これまでの一連の検出処理、及び、偽陽性候補の削除の処理を終えた時点で、残された候補領域を微小石灰化像(所定パタン)であると断定し、その後これらがクラスタ化している領域を自動的に抽出する。
本システムでは、専門医の判断により、50平方mmの領域に3個以上の微小石灰化候補が存在するとき、かかる領域をクラスタ領域として抽出し、その領域を雲状の枠によって例えば乳房X線画像に重ねて表示する。
【0063】
次に、クラスタを構成する微小石灰化像の良性・悪性の判別を行う。
石灰化の中でも、特に癌との相関が高いとされる悪性石灰化像は、特徴的な所見として、(a)微細である、(b)集簇度が高い、(c)多数存在する、(d)大小の不同が認められる、(e)形が不整である、(f)線状に配列して存在する、の6つの所見を有する。
【0064】
そこで、これらの所見の有無を調べるために、抽出されたクラスタ中の石灰化像の大きさの平均,他の石灰化像との平均距離,石灰化像の数,大きさの分散,及び円形度の平均を計算する(特徴量演算手段)。次いで、これら5つの項目にそれぞれ30,30,15,15,10の配点を与え、前記悪性石灰化像の特徴的所見に合致するか否かによって個別に特徴評価を行い、最終的にそれら得点を加算して悪性度を0〜100の値で数量化する。尚、前記5つの項目の全てを演算することが好ましいが、前記5つの項目のうちの複数項目を選択しても良い。
【0065】
そして、前記悪性度が100を超えたときには悪性石灰化クラスタ,30を下回ると良性石灰化クラスタ,その中間は境界領域石灰化(borderline calcification)クラスタであると評価し(乳癌判別手段)、画面にクラスタ領域を枠で囲んで表示する際に、枠の色を危険度の高い順に赤(悪性),黄(境界),青色(良性)の3段階で表示することによって、良性・悪性の目安を表現する。
【0066】
(11) 「検出結果の表示」
乳房X線画像を表示させるに当たっては、微小石灰化像の信号を強調するために、コントラスト補正を行った原画像に対し非鮮鋭マスクフィルタを用いて高周波数成分の強調を行うことが好ましい。
前記非鮮鋭マスク処理とは、例えば、特開昭62−89177号公報等に開示されるように、オリジナル信号をSorg 、非鮮鋭マスク信号をSus、強調係数をβとしたときに、
S' =Sorg +β(Sorg −Sus)
なる演算を行なう処理を示す。
【0067】
本システムでは、ボケ画像(非鮮鋭マスク信号)を生成するためのマスクサイズ及び強調係数βを、実験的にそれぞれ11×11画素及び3.0 と設定した。本処理によって作成した画像は、画像中の微小石灰化像の観察を容易にすることが可能である。
そして、前記信号強調処理を行った画像を高解像度CRTに表示させるが、強調処理を行っているため、微小石灰化像は、乳房X線写真に比べより明瞭に表示されることになり、然も、その表示画像の上に、前段までの処理・解析で検出された危険度の高いクラスタ領域を危険度に合わせた色の枠で囲う表示が行なわれる。
【0068】
クラスタ領域の表示は、特に上記の枠で囲む方法に限るわけでは無く、対象領域の輝度やコントラストを変化させても良いし、点滅表示させても良い。また、クラスタではなく、個々の微小石灰化像に対しマークの表示を行うことも可能である。
また、表示手段を、CRTに限るものではなく、フィルムなどのハードコピーに出力することも可能である。また、通常の乳房X線写真の読影の際に、対応する領域を表示可能な表示装置(CRT等)をシャウカステン等の観察装置に併置し、CRT等の表示装置に危険度の高い領域を指示し、詳細な読影はX線写真を用いて行う構成を取ることも可能である。
【0069】
更に、本システムの検出結果とは独立な読影を行えるように、まず乳房X線画像のみを表示し、所定の時間の後に、あるいは指示があった後に検出結果を表示するようにすることも可能である。
上記のように、本システムによると、正常構造に起因する線状陰影や血管影などの分離が容易に行なえ、乳房X線画像における微小石灰化像を高精度に検出することができるので、かかる検出結果を読影医に提示することで、乳房X線画像に基づく乳癌の診断精度を向上させることができる。
【0070】
尚、本システムでは、乳房X線画像における微小石灰化像の検出を行なわせる構成としたが、対象とする画像を乳房X線画像に限定するものではなく、また、微小石灰化像を所定パタンとする構成に限定するものでもない。
【0071】
【発明の効果】
以上説明したように、請求項1又は5記載の発明によると、所定の中心画素の周辺における同心円状の固定フィルタにより、円錐形構造のベクトルパタンを有する領域を、濃度勾配の特徴量に基づいて簡便に判別し、この緩やかな判別によってある程度候補画素を絞った上で、この抽出された候補画素の陰影の形状に合わせて可変フィルタを設定し、濃度勾配の特徴を求める画素が設定されることになるから、極めて淡く形が不整な小さい候補陰影においても、濃度勾配の放射状のベクトル分布を精度良く判別できることができ、例えば乳房X線画像においては、微小石灰化像を偽陽性と厳密に区別して精度良く検出することができるという効果がある。このように、候補画素を予め抽出しておき、この抽出された候補画素毎にフィルタの形状を変形することで、厳密にパタン判別を行うことができるから、パタン検出の高精度化と処理時間の短縮化を図れるという効果がある。
【0075】
請求項2又は6記載の発明によると、コントラストを均一化できるので、領域に因らずに画一的な検出方法を用いることができ、以て、構成の単純化と処理速度の向上を図れるという効果がある。
【0076】
請求項3又は7記載の発明によると、乳癌の重要所見である微小石灰化像を精度良く自動検出させることができ、以て、乳房X線画像に基づく乳癌の診断精度を向上させることができるという効果がある。
請求項4又は8記載の発明によると、複数の微小円形パタンの群を構成する微小円形パタン(微小石灰化像)が良性のものであるか悪性のものであるかを判別できるという効果がある。
【図面の簡単な説明】
【図1】実施形態におけるシステム構成の概略を示すブロック図。
【図2】実施形態における処理内容を示すブロック図。
【図3】微小石灰化像の背景とコントラストとの相関を示す線図。
【図4】コントラストの補正曲線を示す線図。
【図5】固定リングフィルタと基本ベクトルパターンを示す図。
【図6】可変リングフィルタと探索方向を示す図。
【図7】微小石灰化像の信号特性を示す図であり、(a)は画素値分布を示す線図、(b)はベクトル強度の変化を示す線図。
【図8】可変リングフィルタの形状例を示す図であり、(a)は形が不整な微小石灰像の場合、(b)は乳腺組織陰影の場合のフィルタ形状を示す図。
Claims (8)
- 2次元の多階調の画像データから所定のパタンを検出する方法であって、
中心画素の周辺の同心円状の固定フィルタ上に位置する複数の画素それぞれにおける濃度勾配のベクトル強度とベクトル方向とを抽出し、前記濃度勾配のベクトル方向と前記中心画素と当該画素とを結ぶ方向との角度の相違量を前記複数の画素毎に求め、前記複数の画素毎の角度の相違量とベクトル強度とから各同心円領域毎に濃度勾配に関する特徴量を求め、前記特徴量に基づいて前記中心画素を候補画素として抽出するか否かを予め判別しておき、
前記候補画素として抽出された前記中心画素から周辺画素へ放射状に広がる複数の探索方向それぞれにおいて、濃度勾配のベクトル強度が極大となる画素を探索し、前記探索された複数画素に合わせて可変フィルタの形状を変形し、該可変フィルタ上の複数画素それぞれでの濃度勾配のベクトル強度、及び、前記探索された複数画素それぞれでの濃度勾配のベクトル方向と前記探索方向との角度の相違量から濃度勾配に関する特徴量を求め、該特徴量に基づいて前記候補画素が所定のパタンに含まれるか否かを判別することを特徴とする2次元多階調画像におけるパタン検出方法。 - 背景濃度に逆比例した割合でコントラストを低下させる前処理を、前記2次元の多階調の画像データに施し、該前処理が施された画像データに基づいて濃度勾配のベクトル強度及びベクトル方向を抽出することを特徴とする請求項1に記載の2次元多階調画像におけるパタン検出方法。
- 前記2次元の多階調の画像データが、乳房X線画像であり、前記所定のパタンが、微小石灰化像に対応する微小円形パタンであることを特徴とする請求項1又は2に記載の2次元多階調画像におけるパタン検出方法。
- 前記乳房X線撮影で得られた2次元の多階調画像から検出された複数の微小円形パタンの群に関し、前記群に含まれる円形パタンの数、円形パタンの大きさの平均値、円形パタンの大きさの分散値、円形パタンの円形度の平均値、円形パタン相互の距離の平均値のうちの複数の項目に基づいて、前記複数の微小円形パタンの群の特徴量を演算することを特徴とする請求項3に記載の2次元多階調画像におけるパタン検出方法。
- 2次元の多階調の画像データから所定のパタンを検出する装置であって、
中心画素の周辺の同心円状の固定フィルタ上に位置する複数の画素それぞれにおける濃度勾配のベクトル強度とベクトル方向とを抽出する第1の濃度勾配抽出手段と、
前記抽出された濃度勾配のベクトル方向と前記中心画素と当該画素とを結ぶ方向との角度の相違量を前記複数の画素毎に求め、前記複数の画素毎の角度の相違量とベクトル強度とから各同心円領域毎に濃度勾配に関する特徴量を演算する第1の特徴量演算手段と、
該第1の特徴量演算手段で演算された特徴量に基づいて前記中心画素を候補画素として抽出するか否かを予め判別する候補画素判別手段と、
該候補画素判別手段で候補画素として抽出された前記中心画素から周辺画素へ放射状に広がる複数の探索方向それぞれにおいて、濃度勾配のベクトル強度が極大となる画素を探索する第2の濃度勾配探索手段と、
該第2の濃度勾配探索手段で探索された複数画素に合わせて可変フィルタの形状を変形し、該可変フィルタ上の複数画素それぞれでの濃度勾配のベクトル強度、及び、前記探索された複数画素それぞれでの濃度勾配のベクトル方向と前記探索方向との角度の相違量から濃度勾配に関する特徴量を演算する第2の特徴量演算手段と、
該第2の特徴量演算手段で演算された特徴量に基づいて前記候補画素が所定のパタンに含まれるか否かを判別する画素判別手段と、
を含んで構成されたことを特徴とする2次元多階調画像におけるパタン検出装置。 - 背景濃度に逆比例した割合でコントラストを低下させる前処理を、前記2次元の多階調の画像データに施すコントラスト補正手段を更に設けたことを特徴とする請求項5に記載の2次元多階調画像におけるパタン検出装置。
- 前記2次元の多階調の画像データが、乳房X線画像であり、前記所定のパタンが、微小石灰化像に対応する微小円形パタンであることを特徴とする請求項5又は6に記載の2次元多階調画像におけるパタン検出装置。
- 前記乳房X線撮影で得られた2次元の多階調画像から検出された複数の微小円形パタンの群に関し、前記群に含まれる円形パタンの数、円形パタンの大きさの平均値、円形パタンの大きさの分散値、円形パタンの円形度の平均値、円形パタン相互の距離の平均値のうちの複数の項目に基づいて、前記複数の微小円形パタンの群の特徴量を演算する第3の特徴量演算手段を更に設けたことを特徴とする請求項7に記載の2次元多階調画像におけるパタン検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05777796A JP3852125B2 (ja) | 1996-03-14 | 1996-03-14 | 2次元多階調画像におけるパタン検出方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05777796A JP3852125B2 (ja) | 1996-03-14 | 1996-03-14 | 2次元多階調画像におけるパタン検出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09251535A JPH09251535A (ja) | 1997-09-22 |
JP3852125B2 true JP3852125B2 (ja) | 2006-11-29 |
Family
ID=13065308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05777796A Expired - Lifetime JP3852125B2 (ja) | 1996-03-14 | 1996-03-14 | 2次元多階調画像におけるパタン検出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3852125B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101562756B1 (ko) | 2006-04-28 | 2015-10-22 | 도요타 모터 유럽 | 강건한 관심 지점 검출기 및 기술자 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4336398B2 (ja) * | 1998-03-25 | 2009-09-30 | キヤノン株式会社 | 放射線デジタル画像処理システム、放射線デジタル画像処理装置及び放射線デジタル画像処理方法 |
JP4393016B2 (ja) * | 2000-06-30 | 2010-01-06 | 株式会社日立メディコ | 画像診断支援装置 |
US7187789B2 (en) | 2000-08-31 | 2007-03-06 | Fuji Photo Film Co., Ltd. | Prospective abnormal shadow detecting system, and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant |
JP4146310B2 (ja) * | 2003-07-17 | 2008-09-10 | 浜松ホトニクス株式会社 | 組成の均一度の評価方法及び組成の均一度の評価装置 |
US7515743B2 (en) * | 2004-01-08 | 2009-04-07 | Siemens Medical Solutions Usa, Inc. | System and method for filtering a medical image |
JP4904755B2 (ja) * | 2005-02-09 | 2012-03-28 | 富士電機株式会社 | 画像識別用タグおよび画像識別システム |
JP4492412B2 (ja) * | 2005-03-31 | 2010-06-30 | 株式会社日立製作所 | 画像処理方法および装置 |
JP4343980B2 (ja) * | 2007-12-12 | 2009-10-14 | キヤノン株式会社 | 放射線デジタル画像処理システム |
JP4908440B2 (ja) * | 2008-03-06 | 2012-04-04 | 株式会社東芝 | 画像処理装置及び方法 |
KR101439412B1 (ko) * | 2010-11-22 | 2014-09-11 | 한국전자통신연구원 | 영상에서 종괴의 경계 검출 방법 |
CN102984990B (zh) | 2011-02-01 | 2015-05-20 | 奥林巴斯医疗株式会社 | 诊断辅助装置 |
KR101307162B1 (ko) * | 2011-11-03 | 2013-09-11 | 인제대학교 산학협력단 | 전자파 유방영상에서 유방종양 분석을 위한 보조 진단 시스템 및 방법 |
JPWO2023119904A1 (ja) * | 2021-12-21 | 2023-06-29 |
-
1996
- 1996-03-14 JP JP05777796A patent/JP3852125B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101562756B1 (ko) | 2006-04-28 | 2015-10-22 | 도요타 모터 유럽 | 강건한 관심 지점 검출기 및 기술자 |
Also Published As
Publication number | Publication date |
---|---|
JPH09251535A (ja) | 1997-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zebari et al. | Improved threshold based and trainable fully automated segmentation for breast cancer boundary and pectoral muscle in mammogram images | |
EP0731952B1 (en) | Automated method and system for improved computerized detection and classification of masses in mammograms | |
US5133020A (en) | Automated method and system for the detection and classification of abnormal lesions and parenchymal distortions in digital medical images | |
EP1035508B1 (en) | Automated method and system for the segmentation of medical images | |
US6760468B1 (en) | Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network | |
US7903861B2 (en) | Method for classifying breast tissue density using computed image features | |
US6795521B2 (en) | Computer-aided diagnosis system for thoracic computer tomography images | |
Tripathy et al. | Unified preprocessing and enhancement technique for mammogram images | |
US4907156A (en) | Method and system for enhancement and detection of abnormal anatomic regions in a digital image | |
EP0502027B1 (en) | Computer-based method for assisting an investigation of a human breast for a malignancy | |
JP3432863B2 (ja) | ディジタル乳房x線像のクラスタ化微小石灰化物検出支援方法 | |
Loizidou et al. | An automated breast micro-calcification detection and classification technique using temporal subtraction of mammograms | |
US8086002B2 (en) | Algorithms for selecting mass density candidates from digital mammograms | |
US6738500B2 (en) | Method and system for detecting small structures in images | |
US20110026791A1 (en) | Systems, computer-readable media, and methods for classifying and displaying breast density | |
JP3852125B2 (ja) | 2次元多階調画像におけるパタン検出方法及び装置 | |
JPH06339476A (ja) | 胸部x線画像における間質性浸潤の幾何学的パターンの特徴を決定するための方法及びシステム | |
JPH06121792A (ja) | ディジタル胸部レントゲン写真の肺小結節自動検出における正常例の誤診を分析する方法およびそのシステム | |
US20180053297A1 (en) | Methods and Apparatuses for Detection of Abnormalities in Low-Contrast Images | |
US9808217B2 (en) | Breast cancer detection system, breast cancer detection method, breast cancer detection program, and computer-readable recording medium having breast cancer detection program recorded thereon | |
JP2004222776A (ja) | 異常陰影候補検出装置 | |
JPH1119077A (ja) | 放射線画像における腫瘤影の検出方法及び装置 | |
WO2022153100A1 (en) | A method for detecting breast cancer using artificial neural network | |
JP2004351056A (ja) | 医用画像処理装置 | |
Sultana et al. | Detection of mammographic microcalcifications using a refined region-growing approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |