Nothing Special   »   [go: up one dir, main page]

JP2000300555A - Ultrasonic image processing device - Google Patents

Ultrasonic image processing device

Info

Publication number
JP2000300555A
JP2000300555A JP11109400A JP10940099A JP2000300555A JP 2000300555 A JP2000300555 A JP 2000300555A JP 11109400 A JP11109400 A JP 11109400A JP 10940099 A JP10940099 A JP 10940099A JP 2000300555 A JP2000300555 A JP 2000300555A
Authority
JP
Japan
Prior art keywords
sight
ultrasonic image
image processing
calculation
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11109400A
Other languages
Japanese (ja)
Inventor
Eiji Kasahara
英司 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Aloka Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aloka Co Ltd filed Critical Aloka Co Ltd
Priority to JP11109400A priority Critical patent/JP2000300555A/en
Publication of JP2000300555A publication Critical patent/JP2000300555A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To form an ultrasonic image by which a blood running condition in its vessel can be expressed in a three-dimensional manner. SOLUTION: A voxel space 100 is sliced into a plurality of blocks to execute a predetermined operation for each block. An intermediate image 102 is generated to show a blood vessel only for each block. The intermedium images 102 are superposed giving priority to the ones closer to a viewpoint side while being weighed by a depth queuing method. By doing this, a superposed image 104 is formed. By matching a vision with the direction of an ultrasonic beam, the processing becomes faster, and in this case, an inversely binarizing or a depth queuing processing can be executed for each unit of vision.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は超音波画像処理装置
に関し、特に三次元的な表現をもった超音波画像を形成
する装置に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an ultrasonic image processing apparatus, and more particularly to an apparatus for forming an ultrasonic image having a three-dimensional representation.

【0002】[0002]

【従来の技術】生体内の三次元領域に対して超音波の送
受波を行い、これにより得られた三次元エコーデータに
基づいて三次元画像を形成する装置が実用化されてい
る。そのような装置においては、例えば、三次元領域の
一方側に仮想的な視点が設定され、他方側には仮想的な
スクリーンが設定され、視点から出る各視線に沿ってエ
コーデータを順次積算し、その積算値をスクリーン上の
画素値とする処理が実行される。これは積算法に従った
処理である。また、特開平10−33538号公報など
に記載された装置では、ボリュームレンダリング法を基
礎として各超音波ビーム上で取得されたエコーデータ列
に沿って各エコーデータを順次参照し、所定の透過光量
を順次演算することにより、最終的な出力光量すなわち
画素値が演算されている。
2. Description of the Related Art An apparatus that transmits and receives ultrasonic waves to and from a three-dimensional region in a living body and forms a three-dimensional image based on three-dimensional echo data obtained by the ultrasonic wave has been put to practical use. In such an apparatus, for example, a virtual viewpoint is set on one side of a three-dimensional area, a virtual screen is set on the other side, and echo data is sequentially integrated along each line of sight coming out of the viewpoint. Then, a process of setting the integrated value as a pixel value on the screen is executed. This is a process according to the integration method. In the apparatus described in Japanese Patent Application Laid-Open No. H10-33538, each echo data is sequentially referred to along an echo data sequence acquired on each ultrasonic beam based on a volume rendering method, and a predetermined amount of transmitted light is obtained. Are sequentially calculated to calculate the final output light quantity, that is, the pixel value.

【0003】いずれにしても従来の三次元画像処理方法
においては、基本的に三次元領域の全体が一括して処理
範囲とされ、各視線ごとに所定の演算終了条件が満たさ
れるまで各エコーデータに対する逐次演算が実行され
る。
In any case, in the conventional three-dimensional image processing method, basically, the entire three-dimensional area is collectively set as a processing range, and each echo data is obtained until a predetermined calculation end condition is satisfied for each line of sight. Are sequentially performed.

【0004】[0004]

【発明が解決しようとする課題】ところで、生体内に存
在する血管を抽出して三次元的に表示するような場合、
血流のドプラ情報(速度情報)を利用して三次元的な画
像を形成することもできる。しかし、ドプラ情報の精度
を確保するため、どうしても1方向当たり複数回の送受
信が必要とされ、従って画像構築に当たって時間がかか
り過ぎるという問題がある。その一方、エコーデータの
レベルを基準として血管の状態を三次元表示することも
可能であるが、上記の積算手法やボリュームレンダリン
グ法を単に適用すると、三次元領域の全体を処理対象と
なるため、血管よりも実組織の情報が支配的になってし
まうという問題がある。例えば、血管と実組織のエコー
強度にあまり差がない状況において、図1(A)に示す
ように、三次元データ取込用探触子8を利用して、三次
元エコーデータを取り込む場合に、ビーム方向Bに沿っ
て積算やボリュームレンダリング法に基づく演算を行う
と、同図(B)に示すように演算結果において血管10
と実組織12との間の差Dは極めて少なくなる。その結
果、それを画像化しても三次元空間内に存在する血管の
走向状態を明瞭に表現することは困難である。
In the case where blood vessels existing in a living body are extracted and displayed three-dimensionally,
A three-dimensional image can also be formed using Doppler information (velocity information) of the blood flow. However, in order to secure the accuracy of the Doppler information, transmission and reception must be performed a plurality of times in one direction, and there is a problem that it takes too much time to construct an image. On the other hand, it is also possible to three-dimensionally display the state of the blood vessel on the basis of the level of the echo data, but if the above-described integration method or volume rendering method is simply applied, the entire three-dimensional region is processed, There is a problem that information of real tissue becomes more dominant than blood vessels. For example, in a situation where there is not much difference between the echo intensities of the blood vessel and the real tissue, as shown in FIG. 1A, when the three-dimensional data acquisition probe 8 is used to acquire three-dimensional echo data. When the calculation based on the integration or the volume rendering method is performed along the beam direction B, as shown in FIG.
Is very small. As a result, it is difficult to clearly express the running state of the blood vessel existing in the three-dimensional space even if it is imaged.

【0005】本発明は、上記従来の課題に鑑みなされた
ものであり、その目的は、周囲組織との輝度差が少ない
組織(例えば肝臓内の血管)を明瞭に画像表現すること
にある。
The present invention has been made in view of the above-mentioned conventional problems, and an object of the present invention is to clearly express an image of a tissue (for example, a blood vessel in a liver) having a small luminance difference from surrounding tissues.

【0006】[0006]

【課題を解決するための手段】(1)上記目的を達成す
るために、本発明は、データ取込空間に対して複数の視
線を設定し、各視線ごとに画素値を決定する超音波画像
処理装置において、前記データ取込空間を視点側から複
数のブロックにスライスすることによって各視線を複数
の区間に分割する分割手段と、前記各視線ごとに区間単
位で所定のデータ演算を実行する手段であって、視点側
から見て最初に組織抽出条件を満たす演算結果が得られ
た区間を可視化区間として判定する組織抽出手段と、前
記可視化区間の深さに応じて当該視線の画素値を決定
し、これにより超音波画像を構成する合成手段と、を含
むことを特徴とする。
(1) In order to achieve the above object, the present invention provides an ultrasonic image in which a plurality of lines of sight are set in a data acquisition space and a pixel value is determined for each line of sight. A processing unit that divides each line of sight into a plurality of sections by slicing the data capture space into a plurality of blocks from a viewpoint side, and a unit that performs a predetermined data calculation in a section unit for each of the sight lines And a tissue extraction unit that determines a section in which an operation result that satisfies a tissue extraction condition is first obtained as a visualization section when viewed from the viewpoint side, and determines a pixel value of the line of sight according to the depth of the visualization section. And a synthesizing means for forming an ultrasonic image.

【0007】上記構成によれば、三次元空間としてのデ
ータ取込空間が複数のブロックにスライスされ、各ブロ
ック単位で処理が実行される。具体的には、各ブロック
における視線区分ごとにエコーデータに対する所定演算
が実行され、その演算は、基本的に各視線ごとに所定の
組織抽出条件を満足する区間(可視化区間)が発見され
るまで実行される。
[0007] According to the above configuration, the data capture space as a three-dimensional space is sliced into a plurality of blocks, and the processing is executed for each block. Specifically, a predetermined calculation is performed on the echo data for each line of sight in each block, and the calculation is performed until a section (visualization section) that satisfies a predetermined tissue extraction condition is basically found for each line of sight. Be executed.

【0008】例えば、最初の区間から演算を行ってい
き、所定番目の区間において組織抽出条件が満足されれ
ば当該区間が可視化区間とされ、同じ視線上におけるそ
れ以降の区間に対する演算を省略可能である。ここで、
最終の区間まで演算を進行しても組織抽出条件が満足さ
れなければ、当該視線については可視化区間がないもの
として取り扱ってもよく、あるいは適当な条件の下で画
素値を割り当ててもよい。
For example, the calculation is performed from the first section, and if the tissue extraction condition is satisfied in the predetermined section, the section is regarded as a visualization section, and the calculation for the subsequent sections on the same line of sight can be omitted. is there. here,
If the tissue extraction condition is not satisfied even if the calculation is advanced to the final section, the line of sight may be treated as if there is no visualization section, or a pixel value may be assigned under an appropriate condition.

【0009】各視線ごとに可視化区間が特定されると、
各視線に対して、各可視化区間の視点からの深さに応じ
て画素値が割り当てられる。例えば、浅い位置に可視化
区間がある視線に対してはより大きな輝度が付与され、
深い位置に可視化区間がある視線に対してはより小さい
輝度が付与される。このようなデプスキューイング手法
によれば、生体内の組織を濃淡をもって立体的に表現で
きる。
When the visualization section is specified for each line of sight,
A pixel value is assigned to each line of sight according to the depth of each visualization section from the viewpoint. For example, a line of sight having a visualization section at a shallow position is given greater brightness,
A smaller luminance is given to a line of sight having a visualization section at a deep position. According to such a depth queuing method, a tissue in a living body can be three-dimensionally represented by shading.

【0010】本発明によれば、視点から見てより手前に
ある組織を優先させて、強調表現できるので、例えば血
管の走行状態を明瞭に表現することが可能となる。特
に、組織間の輝度差が小さいような場合にも、積算法や
ボリュームレンダリング法などに基づいてブロックごと
に(区分ごとに)エコーデータを統合評価できるので、
輝度差をより確実に弁別可能である。また、データ取込
空間の全体(視線の全体)にわたってエコーデータを統
合して一律に評価するのではないため、ある組織中に特
定組織が埋没してしまうような問題も解消可能である。
[0010] According to the present invention, since the tissue located in front of the viewpoint can be emphasized and expressed with priority, for example, the running state of the blood vessel can be clearly expressed. In particular, even when the luminance difference between tissues is small, the echo data can be integrated and evaluated for each block (for each section) based on the integration method or volume rendering method.
The luminance difference can be more reliably discriminated. In addition, since the echo data is not integrated and evaluated uniformly over the entire data capturing space (the entire line of sight), a problem that a specific tissue is buried in a certain tissue can be solved.

【0011】なお、視線を任意の位置に設定できるよう
に構成してもよいが、超音波ビーム方向と視線とを一致
させれば、エコーデータの時系列順でそのまま上記処理
を適用できるという利点を得られる。よって、リアルタ
イム表示が可能となる。
Although the line of sight may be set at an arbitrary position, if the ultrasonic beam direction is matched with the line of sight, the advantage is that the above processing can be applied as it is in the chronological order of the echo data. Can be obtained. Therefore, real-time display becomes possible.

【0012】望ましくは、前記組織抽出手段は、各区間
ごとに区間内データに対して所定の演算を行う演算手段
と、前記演算手段の演算結果に対して二値化処理を行う
二値化処理手段と、前記二値化後の値に基づいて当該区
間が可視化区間であるか否かを判定する判定手段と、を
含む。
Preferably, the tissue extraction means performs a predetermined operation on the data in the section for each section, and a binarization processing which performs a binarization process on a calculation result of the calculation means. Means for determining whether the section is a visualization section based on the value after the binarization.

【0013】上記構成によれば、しきい値による弁別に
よって演算結果が評価される。すなわち、目的とする組
織か否かの判別が行える。
According to the above configuration, the calculation result is evaluated by discrimination based on the threshold value. That is, it is possible to determine whether the organization is the target organization.

【0014】望ましくは、前記演算手段は、ボリューム
レンダリング法に従った演算を実行する。また望ましく
は、前記演算手段は、積算法に従った演算を実行する。
望ましくは、前記二値化処理ではしきい値を基準として
データの反転二値化が実行される。例えば、臓器中の血
管を抽出するような場合、血管エコーは臓器エコーより
も小さいとされ、反転二値化処理を行うのが望ましい。
すなわち、輝度差を利用してその小さい方を抽出するも
のである。
Preferably, the calculation means executes a calculation according to a volume rendering method. Preferably, the calculation means executes a calculation according to an integration method.
Preferably, in the binarization processing, inversion binarization of data is performed based on a threshold value. For example, when extracting a blood vessel in an organ, the blood vessel echo is determined to be smaller than the organ echo, and it is desirable to perform inversion binarization processing.
That is, the smaller one is extracted using the luminance difference.

【0015】望ましくは、前記しきい値を可変設定する
ための手段を含む。このしきい値可変によれば、抽出対
象を自在に設定可能である。また体質や観察部位に応じ
て適切な観測条件を設定可能である。
Preferably, a means for variably setting the threshold value is included. According to this variable threshold value, the extraction target can be set freely. Further, appropriate observation conditions can be set according to the constitution and the observation site.

【0016】望ましくは、前記ブロックの深さ幅を可変
設定するための手段を含む。ブロックの深さ幅は、実験
によれば、血管を表現する場合例えば10〜20データ
に設定するのが望ましいが、観察対象などに応じて適宜
変更できるように構成するのがさらに望ましい。
Preferably, the apparatus further comprises means for variably setting a depth width of the block. According to experiments, the depth width of the block is preferably set to, for example, 10 to 20 data when expressing a blood vessel, but is more desirably configured to be appropriately changed according to an observation target or the like.

【0017】(2)また上記目的を達成するために本発
明は、データ取込空間を視点側から複数のブロックにス
ライスし、各ブロックごとに中間画像を形成する中間画
像生成手段と、前記各中間画像に対して視点側からの順
番に応じて重み付けを行いつつ所定条件に従って合成す
る合成手段と、前記合成後の超音波画像を表示する表示
手段と、を含むことを特徴とする。
(2) In order to achieve the above object, the present invention provides an intermediate image generating means for slicing a data capture space into a plurality of blocks from the viewpoint side and forming an intermediate image for each block; It is characterized by including a synthesizing unit that synthesizes the intermediate image according to a predetermined condition while performing weighting according to the order from the viewpoint side, and a display unit that displays the ultrasonic image after the synthesis.

【0018】上記構成によれば、データ取込空間を一括
して画像化するのではなく、各ブロック内の組織構造を
より顕在化させるために、各ブロックごとに中間画像が
形成され、それらが深さに応じた重み付けを前提として
合成される。
According to the above arrangement, an intermediate image is formed for each block in order to make the tissue structure in each block more apparent, instead of imaging the data capture space all at once. The composition is performed on the premise of weighting according to the depth.

【0019】望ましくは、前記中間画像生成手段は、前
記複数のブロックを貫通する各視線ごとに所定のデータ
演算を行う演算手段と、前記演算手段の演算結果を所定
のしきい値を利用して反転二値化して中間画像を生成す
る二値化手段と、を含む。
Preferably, the intermediate image generating means performs a predetermined data calculation for each line of sight passing through the plurality of blocks, and a calculation result of the calculation means using a predetermined threshold value. Binarizing means for generating an intermediate image by inverting binarization.

【0020】望ましくは、前記合成手段は、前記二値化
後の中間画像に対して、視点からの深さに応じて視線ご
とに重み付けを行う重み付け手段と、前記各視線ごとに
前記複数の中間画像の中で最も大きな重み付け値を抽出
し、それを各視線の画素値とする画素値決定手段と、を
含む。
Preferably, the synthesizing means weights the binarized intermediate image for each line of sight in accordance with the depth from the viewpoint, and the plurality of intermediate images for each line of sight. A pixel value determining unit that extracts the largest weight value in the image and uses the extracted value as the pixel value of each line of sight.

【0021】[0021]

【発明の実施の形態】以下、本発明の好適な実施形態を
図面に基づいて説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below with reference to the drawings.

【0022】図2及び図3には、本実施形態に係る画像
処理方法の基本原理が示されている。本実施形態におい
ては、図3に示されるように、ボクセル空間100が複
数のブロックによってスライスされる。ここで、各ブロ
ックは視点から出る複数の視線を貫通するように設定さ
れる。ボクセル空間100は、三次元エコーデータ取込
用探触子によって形成される空間であり、すなわち超音
波ビームを三次元的に走査して構成される三次元空間で
ある。本実施形態においては、後述のようにアレイ振動
子を電子走査することによって走査面が形成され、その
走査面をそれと直交する方向に機械的に移動させること
によってボクセル空間100が構成される。つまり、ボ
クセル空間100は三次元空間内で取り込まれた三次元
エコーデータによって構成される空間である。
FIGS. 2 and 3 show the basic principle of the image processing method according to the present embodiment. In the present embodiment, as shown in FIG. 3, the voxel space 100 is sliced by a plurality of blocks. Here, each block is set so as to pass through a plurality of lines of sight coming out of the viewpoint. The voxel space 100 is a space formed by a probe for capturing three-dimensional echo data, that is, a three-dimensional space formed by three-dimensionally scanning an ultrasonic beam. In the present embodiment, a scanning surface is formed by electronically scanning the array transducer as described later, and the voxel space 100 is formed by mechanically moving the scanning surface in a direction orthogonal to the scanning surface. That is, the voxel space 100 is a space constituted by three-dimensional echo data captured in the three-dimensional space.

【0023】ちなみに、図3において、X方向は電子走
査方向に相当しており、Y方向は走査面を移動させる機
械走査方向に相当しており、Z方向は超音波ビーム方向
すなわち深さ方向に相当している。視線方向をビーム方
向に一致させれば、後に詳述するようにリアルタイムで
の画像処理が可能になる。もちろん、超音波ビームの方
向とは別に任意に視点の設定ができるようにしてもよ
い。いずれにしても、視点側からの各視線に対して交差
するように複数のブロックが定義される。
Incidentally, in FIG. 3, the X direction corresponds to the electronic scanning direction, the Y direction corresponds to the mechanical scanning direction for moving the scanning surface, and the Z direction corresponds to the ultrasonic beam direction, that is, the depth direction. Is equivalent. If the line-of-sight direction is made to coincide with the beam direction, real-time image processing can be performed as described later in detail. Of course, the viewpoint may be arbitrarily set independently of the direction of the ultrasonic beam. In any case, a plurality of blocks are defined so as to intersect with each line of sight from the viewpoint side.

【0024】図2(A)には、ボクセル空間100にお
ける特定の走査面が示されている。ここで、その走査面
はBモード画像に相当するものである。
FIG. 2A shows a specific scanning plane in the voxel space 100. Here, the scanning surface corresponds to a B-mode image.

【0025】上述のようにボクセル空間100は複数の
ブロックによって区分され、その結果、各視線は複数の
区間に分割されることになる。本実施形態においてはビ
ーム方向と視線方向が一致しており、具体的には特定の
ビームBか複数の区間Wによって分割される。そして、
各区間Wごとに所定の演算が実行される。
As described above, the voxel space 100 is divided by a plurality of blocks, and as a result, each line of sight is divided into a plurality of sections. In the present embodiment, the beam direction and the line-of-sight direction match, and more specifically, the beam is divided by a specific beam B or a plurality of sections W. And
A predetermined operation is performed for each section W.

【0026】ここで、その演算は、特開平10−335
38号公報などに記載されたボリュームレンダリング法
に基づく演算あるいは積算演算であるのが望ましい。す
なわち、各区間内において視点側から順次エコーデータ
を参照して行き、区間内の全てのエコーデータを統合し
て演算結果を求める手法である。もちろん、演算手法と
しては各種のものを適用可能である。
Here, the calculation is performed according to Japanese Patent Laid-Open No. Hei 10-335.
It is preferable that the calculation is an operation based on the volume rendering method described in Japanese Patent Publication No. 38 or the like or an integration operation. That is, in this method, the echo data is sequentially referred to from the viewpoint side in each section, and all the echo data in the section are integrated to obtain a calculation result. Of course, various calculation methods can be applied.

【0027】図2(B)には、各ブロックについての演
算結果が示されている。(B1)がブロック1における
演算結果を示しており、以下同様に、(B2)、(B
3)、(B4)はそれぞれブロック2、ブロック3、ブ
ロック4の演算結果を示している。この(B)に示され
るように、例えば血管10を包含するブロック2におい
ては、その血管部分と実組織12との間において演算結
果が大きく開いている。すなわち血管の弁別をより的確
に行えることが理解される。ここで、(B2)に示す符
号Dは実組織12と血管10との演算結果の差を表して
いる。従来においては、ブロックあるいは区間といった
概念が存在しないため、視線全体にわたってボリューム
レンダリングや積算を行っており、このため相対的に血
管部位のエコーデータが低く評価されてしまっていた
が、本実施形態によれば、(B2)に示すようにブロッ
クという演算範囲の細分化によって、局所的に存在する
注目組織をより忠実に認識することが可能となる。
FIG. 2B shows the calculation results for each block. (B1) shows the operation result in block 1, and similarly (B2), (B2)
3) and (B4) show the calculation results of block 2, block 3 and block 4, respectively. As shown in (B), for example, in the block 2 including the blood vessel 10, the calculation result is largely open between the blood vessel portion and the real tissue 12. That is, it is understood that discrimination of blood vessels can be performed more accurately. Here, the symbol D shown in (B2) represents the difference between the calculation results of the real tissue 12 and the blood vessel 10. Conventionally, since there is no concept such as a block or a section, volume rendering and integration are performed over the entire line of sight, and therefore, echo data of a blood vessel part has been evaluated relatively low. According to this, as shown in (B2), by subdividing the calculation range of a block, it is possible to more accurately recognize a target tissue that exists locally.

【0028】本実施形態においては、各区間の演算結果
に対しては所定のしきい値による反転二値化処理が実行
されており、しきい値を超える演算結果は最低輝度に変
換され、一方、しきい値を超えない演算結果は最高輝度
に変換される。その結果、図2に示す例では、血管が存
在する部位に対して最高輝度が付与されることになる。
In the present embodiment, the operation result of each section is subjected to an inversion binarization process using a predetermined threshold value, and the operation result exceeding the threshold value is converted to the lowest luminance. , The operation result not exceeding the threshold value is converted to the highest luminance. As a result, in the example shown in FIG. 2, the highest luminance is given to the part where the blood vessel exists.

【0029】上述した判定二値化処理が各ブロックに対
して実行されると、図3に示されるように、各ブロック
ごとに反転二値化後の中間画像102が生成されること
になる。すなわち、その中間画像102はそれぞれのブ
ロック内に含まれる血管を表す画像として位置づけられ
る。本実施形態においては、それらの中間画像102に
対して視点から各ブロックを見たときの深さに応じた重
み付け処理すなわちデプスキューイング処理が実行さ
れ、それと共に、視点側から見て手前に存在する重付け
値を選択しつつ複数の中間画像の合成処理が実行され
る。その結果合成像104が取得される。
When the above-described decision binarization processing is executed for each block, an intermediate image 102 after inversion binarization is generated for each block as shown in FIG. That is, the intermediate image 102 is positioned as an image representing a blood vessel included in each block. In the present embodiment, a weighting process corresponding to the depth when each block is viewed from the viewpoint, that is, a depth queuing process, is performed on the intermediate image 102, and the intermediate image 102 is located in front of the intermediate image 102 when viewed from the viewpoint side. The synthesis process of the plurality of intermediate images is executed while selecting the weight value to be performed. As a result, a composite image 104 is obtained.

【0030】したがって、合成像104においては、血
管が存在するブロックの深さに応じた濃度値が割り当て
られることになり、三次元的に走行する複数の血管が立
体的に濃淡表現されることになる。ここにおいて、合成
像の作成に当たっては手前優先による合成が行われてい
るため、奥側に存在する血管は基本的に消去される。こ
の場合、そのような消去対象となる部分についてはあら
かじめ演算を省略させることも可能である。
Therefore, in the composite image 104, a density value is assigned according to the depth of the block in which the blood vessel exists, and a plurality of blood vessels traveling three-dimensionally are three-dimensionally expressed. Become. Here, since the synthesis is performed with priority given to the near side when creating the synthesized image, the blood vessels existing on the back side are basically deleted. In this case, it is possible to omit the operation for such a portion to be erased in advance.

【0031】以上のように、本実施形態によれば、視点
側から見て手前に存在する血管をより優先させつつ三次
元内に存在する血管を立体的に濃淡表現できるので、疾
病診断にあたって有益な情報を提供できるという利点が
ある。上記の例においては血管が表現されていたが、も
ちろん悪性腫瘍などを三次元表示する場合においても上
述の手法を適用可能である。また、合成像104にあた
っては白黒濃淡表示も可能であるが例えば着色を施すよ
うにしてもよい。いずれにおいても本実施形態によれば
各ブロックごとに注目組織の抽出を行いつつ最終的に立
体表現を行えるので、エコー強度の差が小さいような組
織間においてもその差を強調して表現できるという利点
がある。
As described above, according to the present embodiment, the blood vessels existing in three dimensions can be expressed in three-dimensional density while giving priority to the blood vessels existing in the foreground when viewed from the viewpoint side. There is an advantage that the information can be provided. Although a blood vessel is represented in the above example, the above method can be applied to a case where a malignant tumor or the like is three-dimensionally displayed. The composite image 104 can be displayed in black and white shades, but may be colored, for example. In any case, according to this embodiment, since the three-dimensional representation can be finally performed while extracting the target tissue for each block, the difference can be emphasized and expressed even between tissues where the difference in echo intensity is small. There are advantages.

【0032】図4には、本実施形態に係る超音波画像処
理装置の好適な実施形態がブロック図として示されてい
る。この超音波画像処理装置は超音波診断装置である。
FIG. 4 is a block diagram showing a preferred embodiment of the ultrasonic image processing apparatus according to the present embodiment. This ultrasonic image processing device is an ultrasonic diagnostic device.

【0033】三次元エコーデータ取込用探触子8は例え
ば生体表面に当接して用いられる探触子である。探触子
内部にはアレイ振動子とそのアレイ振動子を機械的に走
査する機構とが設けられている。アレイ振動子を構成す
る複数の振動素子を電子走査することにより超音波ビー
ムが電子走査され、さらにそのアレイ振動子を機械走査
させれば、結果として上述したボクセル空間100を形
成可能である。複数の診断素子が2次元的に配列された
2Dアレイ振動子を利用することも可能である。また他
の探触子を利用してもよい。
The three-dimensional echo data capturing probe 8 is, for example, a probe used in contact with the surface of a living body. An array transducer and a mechanism for mechanically scanning the array transducer are provided inside the probe. The ultrasonic beam is electronically scanned by electronically scanning a plurality of transducers constituting the array transducer, and the voxel space 100 described above can be formed as a result by mechanically scanning the array transducer. It is also possible to use a 2D array transducer in which a plurality of diagnostic elements are two-dimensionally arranged. Further, another probe may be used.

【0034】送受信部14は、三次元エコーデータ取込
用探触子8に対して送信信号を供給すると共に、その三
次元エコーデータ取込用探触子8から出力される受信信
号を処理する回路である。送受信部14によって送信ビ
ーム及び受信ビームが形成される。ビームの走査及びフ
ォーカスは走査制御部16によって制御されている。
The transmission / reception section 14 supplies a transmission signal to the three-dimensional echo data acquisition probe 8 and processes a reception signal output from the three-dimensional echo data acquisition probe 8. Circuit. The transmitting and receiving unit 14 forms a transmission beam and a reception beam. The scanning and focusing of the beam are controlled by the scanning control unit 16.

【0035】画像形成部18は、図2及び図3に示した
手法によって超音波三次元画像を形成する回路である。
この画像形成部18は専用のハードウエアとして構成し
てもよいが例えばコンピュータなどの装置によって構成
することもできる。しきい値設定器20は、図2に示し
たしきい値をユーザーにより可変設定するための装置で
あり、ブロック幅設定器22はスライスするブロックの
深さ幅(視線方向の幅)をユーザーにより可変設定する
ための装置である。それらの設定器20,22は例えば
キーボードやトラックボールなどの入力装置で構成され
る。表示部24は例えばCRTなどのディスプレイで構
成される。
The image forming section 18 is a circuit for forming an ultrasonic three-dimensional image by the method shown in FIGS.
The image forming unit 18 may be configured as dedicated hardware, or may be configured by a device such as a computer, for example. The threshold value setting device 20 is a device for variably setting the threshold value shown in FIG. 2 by the user, and the block width setting device 22 sets the depth width (width in the line of sight) of the sliced block by the user. This is a device for variably setting. The setting devices 20 and 22 are configured by input devices such as a keyboard and a trackball. The display unit 24 is configured by a display such as a CRT.

【0036】図7には、画像形成部18における処理内
容がフローチャートとして示されている。ちなみに、図
4に示す画像形成部18においては、図2及び図3に示
した手法とは若干異なり、ビーム単位で上述同様の処理
を実行している。すなわち、各ブロック単位で処理を行
うのではなく視線をビームに一致させてビーム単位での
時系列順に沿ったデータ処理が実現されている。
FIG. 7 is a flowchart showing the processing contents in the image forming section 18. Incidentally, in the image forming unit 18 shown in FIG. 4, slightly different from the method shown in FIGS. 2 and 3, the same processing as described above is executed for each beam. That is, instead of performing processing in units of blocks, data processing is performed along a time series in beam units by matching the line of sight to the beam.

【0037】S101では、特定のビームアドレス(方
位)に対して超音波ビームが形成される。S102で
は、ブロック番号を示すiに0が代入され、S103に
おいてはブロックi内(区間i内)において当該超音波
ビーム上におけるエコーデータに対する所定の演算が実
行される。その所定の演算は上述したように例えばボリ
ュームレンダリング法に基づく演算でありあるいは積算
法に基づく演算などである。このS103によって当該
ビーム上における区間ごとの演算結果が求められること
になる。
In S101, an ultrasonic beam is formed for a specific beam address (azimuth). In S102, 0 is substituted for i indicating the block number, and in S103, a predetermined calculation is performed on the echo data on the ultrasonic beam in the block i (in the section i). The predetermined calculation is, for example, a calculation based on the volume rendering method as described above, or a calculation based on the integration method. By this S103, the calculation result for each section on the beam is obtained.

【0038】S104では、図2(B)に示したように
例えば血管部位のみを抽出するため演算結果に対する反
転二値化処理が実行される。すなわち、各演算結果とし
きい値とが比較され、しきい値を超える演算結果が最低
輝度に変換され、しきい値を下回るエコーデータは最高
輝度に変換される。もちろん、抽出臓器が背景臓器より
も高いレベルを有するものである場合には反転処理を行
う必要はない。
In step S104, as shown in FIG. 2B, for example, in order to extract only a blood vessel part, an inversion binarization process is performed on the operation result. That is, each calculation result is compared with the threshold value, the calculation result exceeding the threshold value is converted into the lowest luminance, and the echo data below the threshold value is converted into the highest luminance. Of course, if the extracted organ has a higher level than the background organ, it is not necessary to perform the inversion processing.

【0039】現在処理を行っている区間の演算結果に対
して反転二値化処理が行われると、S105では、その
結果としてその区間の演算結果が最高輝度に変換された
か否かが判断される。ここで、最高輝度に変換された判
断されたと判断された場合、S108が実行され、一
方、最低輝度に変換されたと判断された場合にはS10
6が実行される。S106では、ブロック番号が最終の
番号に到達したか否かが判断され、到達していない場合
にはS107においてiが1つインクリメントされ、S
102からの各工程が繰り返し実行される。そのような
繰り返し実行の途中でS105において最高輝度が判定
されると、処理がS108に移行する。これにより例え
ば血管部の検出以降についての演算を省略することが可
能となる。
When the inversion binarization process is performed on the operation result of the section currently being processed, in S105, it is determined whether or not the operation result of the section has been converted to the highest luminance as a result. . Here, if it is determined that the luminance has been converted to the highest luminance, S108 is executed, while if it is determined that the luminance has been converted to the lowest luminance, S10 is executed.
6 is executed. In S106, it is determined whether or not the block number has reached the final number. If not, i is incremented by one in S107, and
Each step from 102 is repeatedly executed. If the highest luminance is determined in S105 during such repeated execution, the process proceeds to S108. Thus, for example, it is possible to omit the calculation after the detection of the blood vessel.

【0040】S108では、当該ビームアドレスに対応
付けて最高輝度が判定された区間の番号すなわちブロッ
クの番号iが格納される。
In S108, the number of the section in which the maximum luminance is determined, that is, the block number i is stored in association with the beam address.

【0041】S109では、最終ビームまで到達したか
否かが判断され、到達していない場合にはS110にお
いてビームアドレスが変更され新しいアドレス上におい
て超音波ビームが形成され、上述同様の処理が繰り返し
実行される。そして、S111においては各ビームアド
レスすなわち本実施形態においては各視線ごとに画素値
のマッピングが行われる。具体的には、例えば図6に示
されるようなブロックの深さに相当するiと画素値の大
きさIとの関係式にしたがって各視線ごとに画素値が決
定される。これにより、例えば図5に示されるようなマ
ッピングイメージ106が構成される。すなわち各視線
ごとにiに対応した画素値が与えられ、それらの全体に
より三次元超音波画像が構成される。S112において
はそのような超音波画像が表示部24に表示される。ち
なみに、図6に示されるようにiとIとの関係式は例え
ば符号301,302で示すように各種のものを選択利
用可能である。
In step S109, it is determined whether or not the beam has reached the final beam. If the beam has not reached the beam, the beam address is changed in step S110 to form an ultrasonic beam on a new address. Is done. Then, in S111, pixel values are mapped for each beam address, that is, for each line of sight in the present embodiment. Specifically, for example, a pixel value is determined for each line of sight according to a relational expression between i corresponding to the block depth and the pixel value size I as shown in FIG. Thereby, for example, a mapping image 106 as shown in FIG. 5 is configured. That is, a pixel value corresponding to i is given for each line of sight, and a three-dimensional ultrasonic image is constituted by the whole. In S112, such an ultrasonic image is displayed on the display unit 24. Incidentally, as shown in FIG. 6, various relational expressions between i and I can be selectively used as shown by reference numerals 301 and 302, for example.

【0042】図7に示したフローチャートにおいて、S
103はブロック分割手段としての機能を包含するもの
であると位置づけられる。また、S104及びS105
は組織抽出手段としても位置づけられる。そして、S1
11は合成手段として位置づけることが可能である。ま
た別の観点からみれば、S103及びS104が中間画
像生成手段として位置づけられる。なお、ブロックの深
さ幅としては例えば10〜20画素を設定するのが望ま
しい。
In the flowchart shown in FIG.
Reference numeral 103 is regarded as including a function as a block dividing unit. Also, S104 and S105
Is also positioned as a tissue extraction means. And S1
11 can be positioned as a combining means. From another point of view, S103 and S104 are positioned as intermediate image generation means. It is desirable to set, for example, 10 to 20 pixels as the depth width of the block.

【0043】上記の実施形態によれば、例えば血管を抽
出する場合においてもドプラ情報を利用することなく、
エコーデータのレベルそのものを利用して画像化が可能
であるので演算速度を高めることができ、また三次元的
に走行する血管の様子をより明確に表現できるという利
点がある。
According to the above embodiment, for example, even when extracting a blood vessel, the Doppler information is not used.
Since the imaging can be performed using the level of the echo data itself, there is an advantage that the calculation speed can be increased, and the state of the blood vessel traveling three-dimensionally can be more clearly expressed.

【0044】[0044]

【発明の効果】以上説明したように、本発明によれば、
周囲組織と輝度差が少ない組織を明瞭に画像表現するこ
とが可能となる。
As described above, according to the present invention,
It is possible to clearly express an image of a tissue having a small luminance difference from the surrounding tissue.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 従来手法に基づく演算結果の問題を示すため
の説明図である。
FIG. 1 is an explanatory diagram showing a problem of a calculation result based on a conventional method.

【図2】 本発明の原理を説明するための図である。FIG. 2 is a diagram for explaining the principle of the present invention.

【図3】 本発明の原理を説明するための図である。FIG. 3 is a diagram for explaining the principle of the present invention.

【図4】 本実施形態に係る超音波画像処理装置の全体
構成を示すブロック図である。
FIG. 4 is a block diagram illustrating an overall configuration of an ultrasonic image processing apparatus according to the present embodiment.

【図5】 マッピングイメージを示す説明図である。FIG. 5 is an explanatory diagram showing a mapping image.

【図6】 重み付け条件を示す図である。FIG. 6 is a diagram showing weighting conditions.

【図7】 画像形成部における具体的な処理内容を示す
フローチャートである。
FIG. 7 is a flowchart illustrating specific processing contents in an image forming unit.

【符号の説明】[Explanation of symbols]

8 三次元エコーデータ取込用探触子、10 血管、1
2 実組織、14 送受信部、16 走査制御部、18
画像形成部、20 しきい値設定器、22ブロック幅
設定器、24 表示部、100 ボクセル空間、102
中間画像、104 合成像。
8 Probe for 3D echo data acquisition, 10 blood vessels, 1
2 real organization, 14 transmitting / receiving unit, 16 scanning control unit, 18
Image forming unit, 20 threshold setting unit, 22 block width setting unit, 24 display unit, 100 voxel space, 102
Intermediate image, 104 composite image.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 4C301 BB13 BB22 BB28 BB29 EE20 GB02 JB23 JC14 KK17 5B057 AA07 BA05 CA13 CB13 CE08 CE20 DA08 DB03 DB08 5C054 AA01 AA05 CA08 CF05 FC05 FC12 FD01 HA12 5J083 AA02 AB17 AE08 BE19 BE60 CA12 DC05  ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) 4C301 BB13 BB22 BB28 BB29 EE20 GB02 JB23 JC14 KK17 5B057 AA07 BA05 CA13 CB13 CE08 CE20 DA08 DB03 DB08 5C054 AA01 AA05 CA08 CF05 FC05 FC12 FD01 HA12 5J083 AA19 AB

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 データ取込空間に対して複数の視線を設
定し、各視線ごとに画素値を決定する超音波画像処理装
置において、 前記データ取込空間を視点側から複数のブロックにスラ
イスすることによって各視線を複数の区間に分割する分
割手段と、 前記各視線ごとに区間単位で所定のデータ演算を実行す
る手段であって、視点側から見て最初に組織抽出条件を
満たす演算結果が得られた区間を可視化区間として判定
する組織抽出手段と、 前記可視化区間の深さに応じて当該視線の画素値を決定
し、これにより超音波画像を構成する合成手段と、 を含むことを特徴とする超音波画像処理装置。
1. An ultrasonic image processing apparatus for setting a plurality of lines of sight in a data capture space and determining a pixel value for each line of sight, wherein the data capture space is sliced into a plurality of blocks from a viewpoint side. Dividing means for dividing each line of sight into a plurality of sections, and means for executing predetermined data calculation for each section for each line of sight. A tissue extraction unit that determines the obtained section as a visualization section; and a combining unit that determines a pixel value of the line of sight according to the depth of the visualization section, thereby forming an ultrasound image. Ultrasonic image processing apparatus.
【請求項2】 請求項1記載の装置において、 前記組織抽出手段は、 各区間ごとに区間内データに対して所定の演算を行う演
算手段と、 前記演算手段の演算結果に対して二値化処理を行う二値
化処理手段と、 前記二値化後の値に基づいて当該区間が可視化区間であ
るか否かを判定する判定手段と、 を含むことを特徴とする超音波画像処理装置。
2. The apparatus according to claim 1, wherein the tissue extracting means performs a predetermined operation on data within the section for each section, and binarizes a result of the operation of the calculating means. An ultrasonic image processing apparatus comprising: a binarization processing unit that performs processing; and a determination unit that determines whether the section is a visualization section based on the value after the binarization.
【請求項3】 請求項2記載の装置において、 前記演算手段は、ボリュームレンダリング法に従った演
算を実行することを特徴とする超音波画像処理装置。
3. An ultrasonic image processing apparatus according to claim 2, wherein said calculation means executes a calculation according to a volume rendering method.
【請求項4】 請求項2記載の装置において、 前記演算手段は、積算法に従った演算を実行することを
特徴とする超音波画像処理装置。
4. The ultrasonic image processing apparatus according to claim 2, wherein said calculation means executes a calculation according to an integration method.
【請求項5】 請求項2記載の装置において、 前記二値化処理ではしきい値を基準としてデータの反転
二値化が実行されることを特徴とする超音波画像処理装
置。
5. The ultrasonic image processing apparatus according to claim 2, wherein in said binarization processing, inversion binarization of data is executed based on a threshold value.
【請求項6】 請求項5記載の装置において、 前記しきい値を可変設定するための手段を含むことを特
徴とする超音波画像処理装置。
6. The ultrasonic image processing apparatus according to claim 5, further comprising means for variably setting said threshold value.
【請求項7】 請求項1記載の装置において、 前記ブロックの深さ幅を可変設定するための手段を含む
ことを特徴とする超音波画像処理装置。
7. The ultrasonic image processing apparatus according to claim 1, further comprising means for variably setting a depth width of said block.
【請求項8】 データ取込空間を視点側から複数のブロ
ックにスライスし、各ブロックごとに中間画像を形成す
る中間画像生成手段と、 前記各中間画像に対して視点側からの順番に応じて重み
付けを行いつつ各中間画像を所定条件に従って合成する
合成手段と、 前記合成後の超音波画像を表示する表示手段と、 を含むことを特徴とする超音波画像処理装置。
8. An intermediate image generating means for slicing a data capturing space into a plurality of blocks from the viewpoint side and forming an intermediate image for each block, and for each of the intermediate images according to an order from the viewpoint side. An ultrasonic image processing apparatus comprising: synthesizing means for synthesizing each intermediate image according to predetermined conditions while performing weighting; and display means for displaying the ultrasonic image after the synthesis.
【請求項9】 請求項8記載の装置において、 前記中間画像生成手段は、 前記複数のブロックを貫通する各視線ごとに所定のデー
タ演算を行う演算手段と、 前記演算手段の演算結果を所定のしきい値を利用して反
転二値化して中間画像を生成する二値化手段と、 を含むことを特徴とする超音波画像処理装置。
9. The apparatus according to claim 8, wherein the intermediate image generating means performs predetermined data calculation for each line of sight passing through the plurality of blocks, and calculates a calculation result of the calculation means in a predetermined manner. An ultrasonic image processing apparatus, comprising: a binarizing unit configured to generate an intermediate image by performing inversion binarization using a threshold value.
【請求項10】 請求項9記載の装置において、 前記合成手段は、 前記二値化後の中間画像に対して、視点からの深さに応
じて視線単位で重み付けを行う重み付け手段と、 前記各視線ごとに前記複数の中間画像の中で最も大きな
重み付け値を抽出し、それを各視線の画素値とする画素
値決定手段と、 を含むことを特徴とする超音波画像処理装置。
10. The apparatus according to claim 9, wherein the synthesizing unit weights the binarized intermediate image on a line-of-sight basis according to a depth from a viewpoint. An ultrasonic image processing apparatus, comprising: a pixel value determining unit that extracts a largest weight value among the plurality of intermediate images for each line of sight and sets the extracted value as a pixel value of each line of sight.
JP11109400A 1999-04-16 1999-04-16 Ultrasonic image processing device Pending JP2000300555A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11109400A JP2000300555A (en) 1999-04-16 1999-04-16 Ultrasonic image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11109400A JP2000300555A (en) 1999-04-16 1999-04-16 Ultrasonic image processing device

Publications (1)

Publication Number Publication Date
JP2000300555A true JP2000300555A (en) 2000-10-31

Family

ID=14509296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11109400A Pending JP2000300555A (en) 1999-04-16 1999-04-16 Ultrasonic image processing device

Country Status (1)

Country Link
JP (1) JP2000300555A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005074226A (en) * 2003-08-29 2005-03-24 Ge Medical Systems Global Technology Co Llc Method and apparatus for presenting multiple enhanced images
JP2005074227A (en) * 2003-08-29 2005-03-24 Ge Medical Systems Global Technology Co Llc Method and device for c-screen volume-complex imaging
US7223240B2 (en) 2002-11-14 2007-05-29 Aloka Co., Ltd. Ultrasonic diagnostic apparatus
JP2010519627A (en) * 2007-02-22 2010-06-03 トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク Method and apparatus for representing a three-dimensional image data set with a two-dimensional image
WO2012152738A1 (en) * 2011-05-06 2012-11-15 Werth Messtechnik Gmbh Determining dimensions of a workpiece
JP2016007502A (en) * 2014-06-26 2016-01-18 株式会社東芝 Medical image processing apparatus and medical image processing method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7223240B2 (en) 2002-11-14 2007-05-29 Aloka Co., Ltd. Ultrasonic diagnostic apparatus
EP1419737B1 (en) * 2002-11-14 2007-07-11 Aloka Co. Ltd. Ultrasonic diagnostic apparatus
JP2005074226A (en) * 2003-08-29 2005-03-24 Ge Medical Systems Global Technology Co Llc Method and apparatus for presenting multiple enhanced images
JP2005074227A (en) * 2003-08-29 2005-03-24 Ge Medical Systems Global Technology Co Llc Method and device for c-screen volume-complex imaging
JP2010519627A (en) * 2007-02-22 2010-06-03 トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク Method and apparatus for representing a three-dimensional image data set with a two-dimensional image
WO2012152738A1 (en) * 2011-05-06 2012-11-15 Werth Messtechnik Gmbh Determining dimensions of a workpiece
JP2016007502A (en) * 2014-06-26 2016-01-18 株式会社東芝 Medical image processing apparatus and medical image processing method

Similar Documents

Publication Publication Date Title
EP2016905B1 (en) Ultrasound diagnostic apparatus
CN102105107B (en) Signal processing apparatus, ultrasonic apparatus and method for detecting a unique region such as a reflector of high reflectivity
US9039620B2 (en) Ultrasound diagnostic apparatus
JP2007152109A (en) Ultrasonic image system and method
CN110446466B (en) Volume rendered ultrasound imaging
JP2009011468A (en) Ultrasound diagnosis apparatus
EP3866698B1 (en) Systems and methods for guiding the acquisition of an ultrasound image
US7223240B2 (en) Ultrasonic diagnostic apparatus
KR100308230B1 (en) Ultrasound imaging apparatus for a target separation from background
JP2005095278A (en) Ultrasonograph
EP4076208B1 (en) Systems and methods for assessing a placenta
JP2000300555A (en) Ultrasonic image processing device
JP4917259B2 (en) Method and system for angle-dependent backscatter space synthesis
JP2006167100A (en) Ultrasonic diagnostic apparatus
US20220039773A1 (en) Systems and methods for tracking a tool in an ultrasound image
EP3017428B1 (en) Ultrasonic imaging apparatus and control method thereof
EP3639750A1 (en) Systems and methods for tracking a tool in an ultrasound image
JP3977779B2 (en) Ultrasonic diagnostic equipment
JP3500014B2 (en) Ultrasound diagnostic equipment
JP2004173905A (en) Ultrasonograph
JP2003334193A (en) Ultrasonic diagnostic equipment and ultrasonic image forming method
JPH1085213A (en) Ultrasonic diagnostic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060324

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110