Nothing Special   »   [go: up one dir, main page]

JP5847454B2 - Subject information acquisition apparatus, display control method, and program - Google Patents

Subject information acquisition apparatus, display control method, and program Download PDF

Info

Publication number
JP5847454B2
JP5847454B2 JP2011139455A JP2011139455A JP5847454B2 JP 5847454 B2 JP5847454 B2 JP 5847454B2 JP 2011139455 A JP2011139455 A JP 2011139455A JP 2011139455 A JP2011139455 A JP 2011139455A JP 5847454 B2 JP5847454 B2 JP 5847454B2
Authority
JP
Japan
Prior art keywords
information
acoustic wave
display
subject
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011139455A
Other languages
Japanese (ja)
Other versions
JP2013005871A (en
Inventor
椀田 浩一郎
浩一郎 椀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011139455A priority Critical patent/JP5847454B2/en
Publication of JP2013005871A publication Critical patent/JP2013005871A/en
Application granted granted Critical
Publication of JP5847454B2 publication Critical patent/JP5847454B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、被検体情報取得装置、表示制御方法およびプログラムに関する。   The present invention relates to a subject information acquisition apparatus, a display control method, and a program.

レーザーなどの光源から照射した光を用いて生体などの被検体内の情報を得る光画像化装置の研究が医療分野で積極的に進められている。
このような光画像化技術の一つとして、Photoacoustic Tomography(PAT:光音響トモグラフィー)がある。光音響トモグラフィーとは、光音響効果により被検体内で伝播・拡散した光のエネルギーを吸収した生体組織から発生した音響波に基づき、被検体内部の光学特性値に関連した情報を可視化する技術である。光学特性値に関連した情報取得の一例としては、音響波を、被検体を取り囲む複数の個所で検出し、得られた信号を数学的に解析処理する方法がある。
Research on an optical imaging apparatus that obtains information in a subject such as a living body by using light emitted from a light source such as a laser is being actively promoted in the medical field.
One such optical imaging technique is photoacoustic tomography (PAT). Photoacoustic tomography is a technology that visualizes information related to optical property values inside a subject based on acoustic waves generated from living tissue that has absorbed the energy of light propagated and diffused within the subject due to the photoacoustic effect. is there. As an example of obtaining information related to the optical characteristic value, there is a method of detecting an acoustic wave at a plurality of locations surrounding the subject and mathematically analyzing the obtained signal.

この技術で得られる、光照射によって生じた初期音圧分布あるいは光エネルギー吸収密度分布などの情報は、新生血管の増殖を伴う悪性腫瘍場所の特定などに利用できる。以降の説明では光エネルギー吸収密度分布の記述を省略するが、初期音圧分布の説明に含まれるものとする。このような初期音圧分布に基づく3次元再構成画像の生成と表示は生体組織の内部の把握に有用であり、医療分野における診断に役立つことが期待されている。ただし、発展途上の技術であるため、より一層ノイズやアーチファクトが低減された画質の良い画像の生成が望まれている。   Information obtained by this technique, such as the initial sound pressure distribution or light energy absorption density distribution generated by light irradiation, can be used to identify the location of a malignant tumor associated with the growth of new blood vessels. In the following description, description of the light energy absorption density distribution is omitted, but is included in the description of the initial sound pressure distribution. Generation and display of such a three-dimensional reconstructed image based on the initial sound pressure distribution is useful for grasping the inside of a living tissue, and is expected to be useful for diagnosis in the medical field. However, since this is a developing technology, it is desired to generate an image with good image quality in which noise and artifacts are further reduced.

ここで、光音響効果とは、物体にパルス光を照明すると、被測定物内の吸収係数が高い領域で体積膨張により音響波(疎密波であり、典型的には超音波)が発生する現象である。パルス光を照射することによる体積膨張によって発生した音響波を、本発明において「光音響波」という。   Here, the photoacoustic effect is a phenomenon in which when an object is illuminated with pulsed light, an acoustic wave (dense wave, typically ultrasound) is generated due to volume expansion in a region with a high absorption coefficient in the object to be measured. It is. In the present invention, an acoustic wave generated by volume expansion caused by irradiation with pulsed light is referred to as “photoacoustic wave”.

一般に光音響トモグラフィーでは、被検体全体を取り囲む閉じられた空間表面(特に球面状測定表面)の様々な点で、音響波の時間変化を理想的な音響検出器(広帯域・点検出)で測定すれば、理論的には光照射により生じた初期音圧分布を完全に可視化できる。また、閉じられた空間でなくとも、被検体に対して円柱状あるいは平板状に測定可能であれば、光照射により生じた初期音圧分布をほぼ再現できることが数学的に知られている(非特許文献1参照)。   In general, in photoacoustic tomography, the time variation of an acoustic wave is measured with an ideal acoustic detector (broadband, point detection) at various points on a closed spatial surface (especially a spherical measurement surface) that surrounds the entire subject. In theory, the initial sound pressure distribution generated by light irradiation can be completely visualized. Further, it is mathematically known that the initial sound pressure distribution generated by the light irradiation can be substantially reproduced if it is possible to measure the subject in a columnar shape or a flat shape even if it is not a closed space. Patent Document 1).

下記式(1)は、PATの基本となる偏微分方程式であり、「光音響波動方程式」と言われる。この式を解けば、初期音圧分布からの音波伝播を記述でき、どの場所で音響波がどのように検出できるかを理論的に求めることができる。

Figure 0005847454
ここで、rは位置、tは時間であり、p(r,t)は音圧の時間変化、p(r)は初期音圧分布、cは音速である。δ(t)は光パルスの形状をあらわすデルタ関数である。 The following equation (1) is a partial differential equation that is the basis of PAT, and is called a “photoacoustic wave equation”. If this equation is solved, the sound wave propagation from the initial sound pressure distribution can be described, and it can be theoretically determined how and where the acoustic wave can be detected.
Figure 0005847454
Here, r is a position, t is time, p (r, t) is a temporal change in sound pressure, p 0 (r) is an initial sound pressure distribution, and c is a sound speed. δ (t) is a delta function representing the shape of the optical pulse.

一方、PATの画像再構成とは、検出点で得られた音圧pd(r,t)から初期音圧分布p(r)を導き出すことであり、数学的には逆問題と呼ばれる。以下にPATの画
像再構成手法で代表的に使われているUniversal Back Projection(UBP)法に関して
説明する。式(1)の光音響波動方程式を周波数空間上で解析することで、p(r)を求める逆問題を正確に解くことができる。その結果を時間空間上で表したのがUBPである。最終的に以下のような式(2)が導かれる。

Figure 0005847454
ここで、Ωは任意の再構成ボクセル(あるいはフォーカス点)に対する全体の測定エリアSの立体角である。 On the other hand, PAT image reconstruction is to derive the initial sound pressure distribution p 0 (r) from the sound pressure pd (r d , t) obtained at the detection point, which is mathematically called an inverse problem. The Universal Back Projection (UBP) method that is typically used in the PAT image reconstruction method will be described below. By analyzing the photoacoustic wave equation of Expression (1) on the frequency space, the inverse problem for obtaining p 0 (r) can be accurately solved. The result is UBP in time space. Finally, the following equation (2) is derived.
Figure 0005847454
Here, Ω 0 is the solid angle of the entire measurement area S 0 with respect to an arbitrary reconstructed voxel (or focus point).

さらに、式を分かりやすく変形すると、以下の式(3)となる。

Figure 0005847454
ここでb(r,t)は投影データ、dΩは任意の観測点Pに対する検出器dSの立体角である。この投影データを式(3)の積分に従って逆投影することで初期音圧分布p(r)を得ることができる。 Furthermore, when the formula is easily modified, the following formula (3) is obtained.
Figure 0005847454
Here, b (r 0 , t) is projection data, and dΩ 0 is a solid angle of the detector dS 0 with respect to an arbitrary observation point P. The initial sound pressure distribution p 0 (r) can be obtained by back projecting this projection data according to the integration of equation (3).

なお、b(r,t)とdΩは、以下の式(4)、式(5)で表わされる。

Figure 0005847454
ここで、θは検出器と任意の観測点Pとがなす角度である。 Note that b (r 0 , t) and dΩ 0 are expressed by the following equations (4) and (5).
Figure 0005847454
Here, θ is an angle formed by the detector and an arbitrary observation point P.

音源の大きさに比べて、音源と測定位置の距離が十分大きい場合(遠距離音場近似)、以下の式(6)となる。

Figure 0005847454
このときb(r,t)は、以下の式(7)となる。
Figure 0005847454
When the distance between the sound source and the measurement position is sufficiently larger than the size of the sound source (far-field sound field approximation), the following equation (6) is obtained.
Figure 0005847454
At this time, b (r 0 , t) becomes the following formula (7).
Figure 0005847454

このようにPATの画像再構成では、検出器で得られた検出信号p(r,t)を時間微分することで投影データb(r,t)を得て、式(3)に従って逆投影することで、初期音圧分布p(r)が求まることが知られている(非特許文献1及び2参照)。 Thus, in the PAT image reconstruction, the projection signal b (r 0 , t) is obtained by time differentiation of the detection signal p (r 0 , t) obtained by the detector, and the inverse is performed according to the equation (3). It is known that the initial sound pressure distribution p 0 (r) is obtained by projection (see Non-Patent Documents 1 and 2).

ただし、式(3)を求めるために利用した光音響波動方程式である式(1)は、「音速一定」、「全方位からの測定」、「インパルス的光励起」、「広帯域での音響波検出」、「ポイントでの音響波検出」、「連続的な音響波のサンプリング」を仮定している。現実的には、これらの仮定を満たす装置の実現は容易ではない。   However, equation (1), which is a photoacoustic wave equation used to obtain equation (3), is “constant sound velocity”, “measurement from all directions”, “impulse optical excitation”, “acoustic wave detection in a wide band” ”,“ Acoustic wave detection at points ”, and“ continuous acoustic wave sampling ”. Realistically, it is not easy to realize a device that satisfies these assumptions.

例えば、現実の被検体では、被検体全体を囲む、閉じた空間表面全体で、音響波検出情報を得ることは困難である。また、音響波の測定領域を大きくするには、音響検出器のサイズや素子数、および各素子の信号処理、制御部を増大させる必要があり、製造コストの増加につながる。このような事情から、PATの技術を用いた実用的な測定装置は、被検体の特定の方向から、限られた大きさの探触子(検出器)を用いて音響波を検出する装置として構成されることが多い。   For example, in an actual subject, it is difficult to obtain acoustic wave detection information on the entire closed space surface surrounding the whole subject. Further, in order to increase the acoustic wave measurement area, it is necessary to increase the size and number of elements of the acoustic detector, the signal processing of each element, and the control unit, leading to an increase in manufacturing cost. Under such circumstances, a practical measurement apparatus using the PAT technique is an apparatus for detecting an acoustic wave from a specific direction of a subject using a probe (detector) of a limited size. Often composed.

このような装置の一例として、特許文献1で開示されているように、平板型測定系の光音響トモグラフィーが考案されている。この光音響トモグラフィーでは、平板で挟まれた被検体に光を照射し、平板上に配置された音響波検出器で音響波を検出する。ここで、光の照射数と音響波受信の回数は、複数回行われる場合もある。複数回の光の照射と音響波受信を元に、音響波信号、または、音響波信号に基づいて算出された各値を平均化した値を算出して用いることもある。   As an example of such an apparatus, as disclosed in Patent Document 1, a photoacoustic tomography of a flat plate measurement system has been devised. In this photoacoustic tomography, light is irradiated to a subject sandwiched between flat plates, and an acoustic wave is detected by an acoustic wave detector disposed on the flat plate. Here, the number of light irradiations and the number of times of acoustic wave reception may be performed a plurality of times. An acoustic wave signal or a value obtained by averaging each value calculated based on an acoustic wave signal may be calculated and used based on multiple times of light irradiation and acoustic wave reception.

平板に限らず、被検体に接する、または、被検体の表面と平行な面などのように被検体との相対的な位置関係が明白な平面、または曲面上に移動可能な機構で探触子を配置して音響波を取得する場合もある。このような面上を、探触子に配置された素子の位置に関する情報を記録しながら音響波を受信した領域をここでは受信領域と呼ぶと、受信領域全体で検出した音響波を用いて画像再構成することもできる。   The probe is not limited to a flat plate, but can be moved on a flat surface or curved surface where the relative positional relationship with the subject is obvious, such as a surface that is in contact with the subject or parallel to the surface of the subject. In some cases, an acoustic wave may be acquired by arranging. An area where an acoustic wave is received while recording information on the position of an element arranged on the probe on such a surface is referred to as a reception area in this case, and an image using the acoustic wave detected in the entire reception area is used. It can also be reconfigured.

ここで、受信領域とは、探触子の移動により、素子が配置された探触子の受信面の占める領域であり、時刻は異なるが探触子の素子で音響波を受信しうる領域でもある。受信領域は探触子の受信面の形状や配置された素子位置により、平面に限定されず、曲面においても同様に扱える。   Here, the reception area is an area occupied by the receiving surface of the probe on which the element is arranged due to movement of the probe, and is an area where the acoustic wave can be received by the element of the probe at different times. is there. The receiving area is not limited to a flat surface depending on the shape of the receiving surface of the probe and the position of the arranged element, and the same can be applied to a curved surface.

受信領域内で探触子を移動しながら音響波を受信すると、探触子の素子の位置が変化する。しかし、素子ごとに検出される音響波を、検出時の受信領域上の素子位置で検出された音響波であると捉えると、受信領域上の各位置で検出された音響波とみなせる。すなわち、受信領域サイズの受信面に素子が配置された探触子で検出された音響波とみなして扱うこともできる。光音響波の場合は光の照射位置や照射時刻に応じて探触子を移動し、受信領域上の各素子位置で検出された音響波信号群を集めることで、受信領域全体の音響波信号を検出することができる。   When an acoustic wave is received while moving the probe within the reception area, the position of the element of the probe changes. However, if an acoustic wave detected for each element is regarded as an acoustic wave detected at an element position on the reception area at the time of detection, it can be regarded as an acoustic wave detected at each position on the reception area. That is, it can be treated as an acoustic wave detected by a probe in which an element is arranged on the receiving surface of the receiving area size. In the case of photoacoustic waves, the probe is moved according to the irradiation position and irradiation time of light, and the acoustic wave signals of the entire receiving area are collected by collecting the acoustic wave signals detected at each element position on the receiving area. Can be detected.

なお、平板の探触子を被検体に密着させて音響波を検出する方法には、ノイズの少ない音響波の検出ができる点や、検出を繰り返す間、被検体や探触子の位置の固定や、探触子の移動の制御等が容易になる、といった利点がある。   In addition, the method of detecting acoustic waves by bringing a flat probe into close contact with the subject allows detection of acoustic waves with less noise, and fixing the position of the subject and the probe during repeated detection. There is an advantage that the movement of the probe can be easily controlled.

ここで、音響波検出器の素子の指向性に応じた有効な音響波信号について説明する。
本明細書における有効な音響波信号とは、探触子の素子の特性や感度により定まる実用的な値以上で検出された音響波に基づいた音響波信号のことである。一般的な超音波探触子では、素子の中心軸の音圧から1/2の音圧になる指向角で定まる円錐状の範囲に収まる音源からの音響波を有効とする。そのため、本発明の実施においてもこのような素子の指向性の範囲の音源による音響波を検出した場合に有効な音響波信号として説明する。ただし、指向角は、必ずしも、音圧が1/2になる角度に限定しなくてもよい。本明細書の説明においては、素子ごとの特性や感度から、素子ごとに有効とみなして定まる範囲を音源とする音響波の検出に基づいた音響波信号を有効な音響波信号とし、その場合の指向角により定まる範囲を素子の指向性の範囲として説明する。
Here, an effective acoustic wave signal corresponding to the directivity of the element of the acoustic wave detector will be described.
An effective acoustic wave signal in this specification is an acoustic wave signal based on an acoustic wave detected at a practical value or more determined by the characteristics and sensitivity of the probe element. In a general ultrasonic probe, an acoustic wave from a sound source that falls within a conical range determined by a directivity angle that is ½ of the sound pressure from the central axis of the element is made effective. Therefore, in the embodiment of the present invention, it will be described as an acoustic wave signal that is effective when an acoustic wave is detected by a sound source within the directivity range of such an element. However, the directivity angle is not necessarily limited to an angle at which the sound pressure is halved. In the description of the present specification, an acoustic wave signal based on detection of an acoustic wave having a sound source in a range determined as effective for each element from the characteristics and sensitivity of each element is regarded as an effective acoustic wave signal. The range determined by the directivity angle will be described as the directivity range of the element.

平板に沿って音響波検出器を移動して音響波を検出する場合、探触子が被検体に対して取り得る方位は限定されてしまうので、撮影対象とする領域の全周囲に探触子を接触させることはできない。その結果、被検体に対して限定された方位にある探触子の受信領域上の素子位置で検出した音響波に基づいた信号を使用するため、光音響波動方程式の仮定とは異なる音響波信号群による画像再構成となる。   When detecting an acoustic wave by moving an acoustic wave detector along a flat plate, the orientation that the probe can take with respect to the subject is limited, so the probe is placed around the entire area to be imaged. Cannot be contacted. As a result, an acoustic wave signal different from the assumption of the photoacoustic wave equation is used because a signal based on the acoustic wave detected at the element position on the receiving area of the probe in a limited orientation with respect to the subject is used. Image reconstruction by group.

さらに、撮影対象とする領域を画像再構成する領域、すなわち、再構成領域と言い換えれば、再構成領域の各点において、有効な音響波信号の数や、検出位置との相対的な位置の条件が、必ずしも同じ条件にはならない。すなわち、再構成領域内において有効な音響波信号に関する条件が異なる領域が存在し、この条件の相違から再構成画像の画質が異なる領域が生じる。   Furthermore, the area to be imaged is an area for image reconstruction, that is, a reconstruction area.In other words, the number of effective acoustic wave signals at each point of the reconstruction area and the condition of the position relative to the detection position However, the conditions are not necessarily the same. That is, there are regions having different conditions regarding the effective acoustic wave signal in the reconstruction region, and regions having different image quality of the reconstructed image are generated due to the difference in the conditions.

超音波画像の表示においては、例えば、特許文献2に、探触子の素子ごとの信号強度を判定し、所定の値以上の信号強度の素子のマップや、3次元画像を生成した場合にCモード画像を表示する例が開示されている。ただし、送受信した超音波信号の強度を判定して表示するものであり、光音響波の再構成画像の画質の異なる領域を識別できるような表示は行われていない。   In the display of an ultrasonic image, for example, in Patent Document 2, when the signal intensity for each element of the probe is determined and a map of elements having a signal intensity equal to or greater than a predetermined value or a three-dimensional image is generated, C An example of displaying a mode image is disclosed. However, the intensity of the transmitted / received ultrasonic signal is determined and displayed, and no display capable of identifying regions having different image quality of the reconstructed image of the photoacoustic wave is performed.

米国特許第5840023号公報US Patent No. 5840023 特開2007−312980号公報JP 2007-31980 A

PHYSICAL REVIEW E 71, 016706(2005)PHYSICAL REVIEW E 71, 016706 (2005)

しかしながら、従来の技術のように、再構成処理の対象とする領域の1点において再構成処理に用いる音響波は、前述の受信領域上の素子位置で検出された音響波に限定される。受信領域上の素子は、その特性により再構成処理の対象とする1点からの相対的な位置によっては、再構成処理に有効な音響波を検出できない位置がある。一般に、探触子(検出器)の素子で検出された音響波信号は、素子ごとの指向性に基づく範囲に収まる領域に音源が存在する場合に有効な音響波信号として扱う。そのため、画像再構成においては、
再構成対象領域内の1点に対する受信領域上の音響波信号の検出位置情報、各点に有効な音響波信号群を抽出することになる。
However, as in the prior art, the acoustic wave used for the reconstruction process at one point in the area to be reconstructed is limited to the acoustic wave detected at the element position on the reception area. Depending on the characteristics of the elements on the reception area, there are positions where an acoustic wave effective for the reconstruction process cannot be detected depending on the relative position from one point that is the target of the reconstruction process. In general, an acoustic wave signal detected by an element of a probe (detector) is handled as an effective acoustic wave signal when a sound source exists in a region that falls within a range based on directivity of each element. Therefore, in image reconstruction,
The detection position information of the acoustic wave signal on the reception area for one point in the reconstruction target area and the acoustic wave signal group effective for each point are extracted.

例えば、受信領域が平面の場合、再構成領域内の各点から、受信領域に下ろした垂線の足を中心として、指向角の直線と受信領域と平行な面との交点で定まる円形の領域が定まる。この領域内が、有効な音響波を検出する素子の存在しうる領域である有効音響波検出領域である。この有効音響波検出領域が、受信領域に収まるような位置にあるような再構成領域内の点では、受信領域上の検出位置ごとの有効な音響波信号数が多くなる。しかし、受信領域の端部に近い位置にある再構成領域内の点は、受信領域に収まり切らないため、検出位置ごとの有効な音響波信号数が限定され、画質の差を生じてしまう。   For example, when the receiving area is a plane, a circular area determined by the intersection of a directivity angle straight line and a plane parallel to the receiving area from the points in the reconstruction area, centered on the leg of the perpendicular line that extends down to the receiving area. Determined. This area is an effective acoustic wave detection area that is an area where an element for detecting an effective acoustic wave can exist. At a point in the reconstruction area where the effective acoustic wave detection area is located within the reception area, the number of effective acoustic wave signals for each detection position on the reception area increases. However, since points in the reconstruction area that are close to the end of the reception area do not fit in the reception area, the number of effective acoustic signals for each detection position is limited, resulting in a difference in image quality.

また、再構成領域内の点から、有効な音響波信号の数が同じであっても、再構成に用いる音響波信号の検出位置が偏った方位にある場合は、偏った向きにアーチファクトを生じやすい。非対称な位置の素子で受信した音響波信号群を用いた画像再構成処理となるため、光音響波動方程式の仮定との相違が大きくなるのである。   In addition, even if the number of effective acoustic wave signals is the same from the points in the reconstruction area, artifacts are generated in the biased direction when the detection position of the acoustic wave signal used for reconstruction is in a biased direction. Cheap. Since the image reconstruction processing uses the acoustic wave signal group received by the element at the asymmetrical position, the difference from the assumption of the photoacoustic wave equation becomes large.

そのため、従来の技術を適用したPATの画像再構成では、光音響波の音源が、受信領域の中心付近から外れた端部の法線上にある場合にアーチファクトを生じやすい。受信領域の外縁部付近や受信領域のさらに外側の平行な面に対する法線上にある光音響波の音源の再構成画像については、さらに大きなアーチファクトが生じる。   Therefore, in the PAT image reconstruction to which the conventional technique is applied, an artifact is likely to occur when the sound source of the photoacoustic wave is on the normal line of the end portion outside the vicinity of the center of the reception area. A larger artifact is generated in the reconstructed image of the photoacoustic wave sound source in the vicinity of the outer edge of the reception area or on the normal line to the parallel plane further outside the reception area.

また、これらの条件は、探触子の受信面と被検体内の画像再構成を行う空間上の1点との距離により異なる条件となる。すなわち、受信領域から近い位置にある空間上の1点からは、受信素子の指向角の範囲に入る点の数が少なくなる。   These conditions are different depending on the distance between the receiving surface of the probe and one point on the space where image reconstruction is performed in the subject. That is, the number of points that fall within the range of the directivity angle of the receiving element is reduced from one point on the space close to the receiving area.

以上より、光音響波動方程式の仮定とは一致しない位置で検出された音響波信号群を用いて再構成された再構成画像には、画質の異なる領域が存在するが、従来の技術による再構成画像の表示では、この領域の識別は困難であった。再構成画像の表示では識別できないような再構成処理に用いた音響波信号に基づいた画質の異なる領域の識別をできる情報を表示することが、本発明の課題である。   From the above, reconstructed images reconstructed using acoustic wave signal groups detected at positions that do not match the assumptions of the photoacoustic wave equation have regions with different image quality. In the image display, it is difficult to identify this area. It is an object of the present invention to display information that can identify regions of different image quality based on acoustic wave signals used for reconstruction processing that cannot be identified by displaying a reconstructed image.

本発明は上記の課題に鑑みてなされたものであり、音響波信号に基づいて生成された再構成画像の領域ごとの画質をユーザーに識別可能にするための技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for enabling a user to identify the image quality for each region of a reconstructed image generated based on an acoustic wave signal. .

本発明は以下の構成を採用する。すなわち、  The present invention employs the following configuration. That is,
被検体から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、  A subject information acquisition device that acquires characteristic information in a subject using an acoustic wave signal obtained by detecting acoustic waves generated from the subject by a detection element,
前記音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得手段と、  Using the acoustic wave signal, characteristic information acquisition means for acquiring characteristic information at a plurality of points of interest in the subject;
前記音響波の検出に関する条件である音響波検出情報を用いて前記複数の注目点における前記特性情報の精度の違いを示す情報を生成する精度情報生成手段と、  Accuracy information generating means for generating information indicating a difference in accuracy of the characteristic information at the plurality of points of interest using acoustic wave detection information which is a condition relating to detection of the acoustic wave;
前記複数の注目点における前記特性情報と、前記精度の違いを示す情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成し表示手段に表示させる表示情報生成手段と、  Using the characteristic information at the plurality of attention points and information indicating the difference in accuracy, display information that can identify the difference in accuracy of the characteristic information at the plurality of attention points is generated and displayed on the display means. Display information generating means;
を有し、Have
前記特性情報取得手段は、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  The characteristic information acquisition unit acquires the characteristic information at the plurality of points of interest using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject among the acoustic wave signals.
ことを特徴とする被検体情報取得装置である。This is a subject information acquisition apparatus characterized by the above.
本発明はまた、以下の構成を採用する。すなわち、  The present invention also employs the following configuration. That is,
被検体から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、  A subject information acquisition device that acquires characteristic information in a subject using an acoustic wave signal obtained by detecting acoustic waves generated from the subject by a detection element,
前記音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得手段と、  Using the acoustic wave signal, characteristic information acquisition means for acquiring characteristic information at a plurality of points of interest in the subject;
前記複数の注目点における前記特性情報と、前記音響波の検出に関する条件である音響波検出情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成し表示手段に表示させる表示情報生成手段と、  Generation of display information that can identify differences in accuracy of the characteristic information at the plurality of points of interest using the characteristic information at the plurality of points of interest and acoustic wave detection information that is a condition relating to detection of the acoustic waves Display information generating means to be displayed on the display means;
を有し、Have
前記特性情報取得手段は、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  The characteristic information acquisition unit acquires the characteristic information at the plurality of points of interest using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject among the acoustic wave signals.
ことを特徴とする被検体情報取得装置である。This is a subject information acquisition apparatus characterized by the above.

本発明はまた、以下の構成を採用する。すなわち、  The present invention also employs the following configuration. That is,
被検体内の特性情報を表示する表示制御方法であって、  A display control method for displaying characteristic information in a subject,
被検体内から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得ステップと、  A characteristic information acquisition step of acquiring characteristic information at a plurality of points of interest in the subject using an acoustic wave signal obtained by detecting acoustic waves generated from within the subject,
前記音響波の検出に関する条件である音響波検出情報を用いて前記複数の注目点における前記特性情報の精度の違いを示す情報を生成する精度情報生成ステップと、  An accuracy information generating step for generating information indicating a difference in accuracy of the characteristic information at the plurality of points of interest using acoustic wave detection information which is a condition relating to the detection of the acoustic wave;
前記複数の注目点における前記特性情報と、前記精度の違いを示す情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、  A display information generating step for generating display information capable of identifying a difference in accuracy of the characteristic information at the plurality of points of interest using the characteristic information at the plurality of points of interest and information indicating the difference in accuracy; ,
前記表示情報を表示させるステップと、  Displaying the display information;
を有し、Have
前記特性情報取得ステップでは、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  In the characteristic information acquisition step, among the acoustic wave signals, the characteristic information at the plurality of points of interest is acquired using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject.
ことを特徴とする表示制御方法である。This is a display control method characterized by this.
本発明はまた、以下の構成を採用する。すなわち、  The present invention also employs the following configuration. That is,
被検体内の特性情報を表示する表示制御方法であって、  A display control method for displaying characteristic information in a subject,
被検体内から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得ステップと、  A characteristic information acquisition step of acquiring characteristic information at a plurality of points of interest in the subject using an acoustic wave signal obtained by detecting acoustic waves generated from within the subject,
前記複数の注目点における前記特性情報と、前記音響波の検出に関する条件である音響波検出情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、  Generation of display information that can identify differences in accuracy of the characteristic information at the plurality of points of interest using the characteristic information at the plurality of points of interest and acoustic wave detection information that is a condition relating to detection of the acoustic waves Display information generation step to perform,
前記表示情報を表示させるステップと、  Displaying the display information;
を有し、Have
前記特性情報取得ステップでは、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  In the characteristic information acquisition step, among the acoustic wave signals, the characteristic information at the plurality of points of interest is acquired using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject.
ことを特徴とする表示制御方法である。This is a display control method characterized by this.

本発明によれば、音響波信号に基づいて生成された再構成画像の領域ごとの画質をユーザーに識別可能にするための技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique for enabling a user to identify the image quality for every area | region of the reconstruction image produced | generated based on the acoustic wave signal can be provided.

画像情報取得装置の機能ブロックを示す図。The figure which shows the functional block of an image information acquisition apparatus. 情報処理部をソフトウェアにより実現する際の構成を示す図。The figure which shows the structure at the time of implement | achieving an information processing part by software. 実施例における音響波信号計測部の構成例を示す図。The figure which shows the structural example of the acoustic wave signal measurement part in an Example. 音響波計測、画質判定および表示処理のフローチャート。The flowchart of an acoustic wave measurement, image quality determination, and a display process. 再構成と音響波検出情報保存処理のフローチャート。The flowchart of a reconstruction and acoustic wave detection information storage process. 注目点と受信領域上の有効信号検出領域の関係を示す図。The figure which shows the relationship between an attention point and the effective signal detection area | region on a receiving area. 情報表示の一例を示す図。The figure which shows an example of an information display.

以下、添付図面に従って本発明に係る画像再構成方法、及び被検体情報取得装置である画像情報取得装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。本発明では、画像として被検体内の特性情報を示す画像を取得するため、本発明の画像情報取得装置は、被検体情報取得装置であると言える。   Hereinafter, preferred embodiments of an image reconstruction method according to the present invention and an image information acquisition apparatus which is a subject information acquisition apparatus will be described in detail with reference to the accompanying drawings. However, the scope of the invention is not limited to the illustrated examples. In the present invention, an image indicating the characteristic information in the subject is acquired as an image. Therefore, it can be said that the image information acquisition device of the present invention is a subject information acquisition device.

本実施形態に係る画像再構成方法は、検出した音響波から初期音圧分布を求めて3次元再構成画像を生成する画像再構成方法である。また、本実施形態に係る画像再構成方法を実施する画像情報取得装置は、光音響波診断装置である。光音響波診断装置は、光を照射して発生させた音響波を検出して得られる音響波信号に基づき3次元再構成画像を生成する。本実施形態では、1回の撮影で検出された音響波信号より、素子ごとの音響波信号の数や位置の異なる複数の音響波信号群を抽出して、複数の3次元再構成画像を生成する。   The image reconstruction method according to the present embodiment is an image reconstruction method in which an initial sound pressure distribution is obtained from detected acoustic waves and a three-dimensional reconstruction image is generated. Moreover, the image information acquisition apparatus which implements the image reconstruction method according to the present embodiment is a photoacoustic wave diagnostic apparatus. The photoacoustic wave diagnostic apparatus generates a three-dimensional reconstructed image based on an acoustic wave signal obtained by detecting an acoustic wave generated by irradiating light. In the present embodiment, a plurality of acoustic wave signal groups having different numbers and positions of acoustic wave signals for each element are extracted from the acoustic wave signals detected by one imaging to generate a plurality of three-dimensional reconstructed images. To do.

本発明において、撮影とは、被検体内から伝播した音響波を受信し、被検体内の特性情報を取得することを示す。特性情報とは、音響波の音圧や、音圧から導かれる光エネルギー吸収密度や、吸収係数、組織を構成する物質の濃度等の被検体情報を反映した情報を示す。物質の濃度とは、例えば、酸素飽和度やオキシ・デオキシヘモグロビン濃度などである。また、特性情報としては、数値データとして取得してもよく、被検体内の各位置(各注目点)の分布情報(特性情報分布)を示す画像データとして取得しても良い。つまり、被検体内の吸収係数分布や酸素飽和度分布等を反映した分布情報を示す画像データとして特性情報を取得しても良い。   In the present invention, imaging means receiving acoustic waves propagated from within the subject and acquiring characteristic information within the subject. The characteristic information indicates information reflecting object information such as the sound pressure of an acoustic wave, the light energy absorption density derived from the sound pressure, the absorption coefficient, and the concentration of a substance constituting the tissue. The concentration of the substance is, for example, oxygen saturation or oxy / deoxyhemoglobin concentration. Further, the characteristic information may be acquired as numerical data, or may be acquired as image data indicating distribution information (characteristic information distribution) of each position (each attention point) within the subject. That is, the characteristic information may be acquired as image data indicating distribution information reflecting an absorption coefficient distribution, an oxygen saturation distribution, and the like in the subject.

なお、被検体内の特性情報を取得する1回の撮影の中で、複数回の光照射を行うこともある。その際、特性情報分布を示す3次元再構成画像を生成する領域内の各点の特性情報の取得(再構成)に使用した音響波信号群の数や位置等の音響波検出情報を記録する。そして、音響波検出情報をもとに、各点における再構成画像の画質の優劣を判定する。そして、その判定結果に基づいた領域情報を認識できるようにして再構成画像と共に表示する。本発明において画質とは、取得された特性情報の精度を意味する。「特性情報の精度」は、取得した特性情報の全て、または、一部に基づいて、被検体内の所定の特徴に相関した特徴を持つ画像データを生成した場合に、その画像の特徴の特徴量と、被検体内の特徴の特徴量との相関の精度も含まれる。   In addition, in one imaging | photography which acquires the characteristic information in a subject, light irradiation may be performed in multiple times. At that time, acoustic wave detection information such as the number and position of acoustic wave signal groups used for acquiring (reconstructing) the characteristic information of each point in the region for generating the three-dimensional reconstructed image indicating the characteristic information distribution is recorded. . Then, the superiority or inferiority of the image quality of the reconstructed image at each point is determined based on the acoustic wave detection information. Then, the area information based on the determination result is recognized and displayed together with the reconstructed image. In the present invention, the image quality means the accuracy of the acquired characteristic information. “Accuracy of characteristic information” refers to the characteristics of features of an image when image data having characteristics correlated with predetermined characteristics in the subject is generated based on all or part of the acquired characteristic information. The accuracy of the correlation between the quantity and the feature quantity of the feature in the subject is also included.

(概略機能ブロック図)
図1は、本実施形態に係る光音響波診断装置の機能構成を示している。図1に示すように、本実施形態に係る光音響波診断装置は、情報処理部1000、音響波信号計測部1100によって構成されている。本発明の光音響波診断装置は、被検体内を伝播した音響波を受信して被検体内の特性情報を取得する被検体情報取得システムである。各機能ブロックを実施するための機器構成の例を図2、図3に示している。図2は、本実施形態に係る光音響波診断装置の情報処理部1000(被検体情報取得装置)を実施する機器構成の一例である。また、図3は、音響波信号計測部1100を実施する機器構成の一例である。
(Outline functional block diagram)
FIG. 1 shows a functional configuration of the photoacoustic wave diagnostic apparatus according to the present embodiment. As shown in FIG. 1, the photoacoustic wave diagnostic apparatus according to this embodiment includes an information processing unit 1000 and an acoustic wave signal measuring unit 1100. The photoacoustic wave diagnostic apparatus of the present invention is an object information acquisition system that receives an acoustic wave propagated in a subject and acquires characteristic information in the subject. Examples of the device configuration for implementing each functional block are shown in FIGS. FIG. 2 is an example of a device configuration that implements the information processing unit 1000 (subject information acquisition apparatus) of the photoacoustic wave diagnostic apparatus according to the present embodiment. FIG. 3 is an example of a device configuration that implements the acoustic wave signal measurement unit 1100.

(音響波検出情報)
音響波信号計測部1100は、音響波検出器1105(図3)の各素子で検出された音響波検出情報を情報処理部1000に送信する。
ここで、音響波検出器1105は、例えば、超音波を検出する探触子である。また、音響波検出情報とは、音響波を受信した音響波検出器の検出素子から出力される受信信号(音響波信号)や、音響波検出器1105の受信面上に配置された素子の位置に関する情報や、感度、指向性に関する情報のような素子の情報が該当する。さらに、音響波取得の撮影パラメータや他の計測情報のような音響波信号取得時の条件に関わる情報も含まれる。光音響波診断装置では、音響波を発生させる光の光源の制御や、被検体を圧迫する場合の圧迫に関する情報も、音響波信号取得時の条件として取得する。
(Acoustic wave detection information)
The acoustic wave signal measurement unit 1100 transmits acoustic wave detection information detected by each element of the acoustic wave detector 1105 (FIG. 3) to the information processing unit 1000.
Here, the acoustic wave detector 1105 is, for example, a probe that detects ultrasonic waves. The acoustic wave detection information is a reception signal (acoustic wave signal) output from a detection element of an acoustic wave detector that has received an acoustic wave, or a position of an element disposed on the reception surface of the acoustic wave detector 1105. Information on the element, information on the element such as information on sensitivity and directivity is applicable. Furthermore, information related to conditions at the time of acoustic wave signal acquisition such as imaging parameters for acoustic wave acquisition and other measurement information is also included. In the photoacoustic wave diagnostic apparatus, information regarding the control of the light source that generates the acoustic wave and the compression when the subject is compressed is also acquired as a condition when acquiring the acoustic wave signal.

ここで、素子の位置に関する情報とは、被検体や、画像再構成の対象とする再構成領域と素子との位置関係が特定できる情報であれば、どのような情報でもよい。例えば、各素子の数、素子配列のピッチ、受信面上における素子位置等の情報と、音響波検出器の位置、被検体の位置やサイズ、画像再構成を行う再構成領域の位置やサイズ、それぞれの相対的な位置関係などの情報がある。特に音響波検出器を移動させた場合、音響波検出器の受信面上の素子が移動しながら音響波を受信した時の、受信領域上の素子位置に関する情報として扱うこともできる。   Here, the information regarding the position of the element may be any information as long as it is information that can identify the subject or the positional relationship between the element to be reconstructed for image reconstruction and the element. For example, information such as the number of each element, the pitch of the element arrangement, the element position on the receiving surface, the position of the acoustic wave detector, the position and size of the subject, the position and size of the reconstruction area for image reconstruction, There is information such as relative position of each. In particular, when the acoustic wave detector is moved, it can be handled as information on the element position on the reception area when the acoustic wave is received while the element on the reception surface of the acoustic wave detector is moving.

素子ごとに取得される情報は、音響波検出器1105の素子の識別子、または、受信領域上の位置情報等と関連付けられた情報として送信される。音響波検出器が移動しない場合は、素子の識別子と受信領域上の位置とは1対1で対応する。音響波検出器が移動しながら音響波を受信した場合は、音響波検出器の素子は複数の位置で受信するため、音響波を検出した受信領域上の素子位置ごとに関連づけられる。   Information acquired for each element is transmitted as information associated with an element identifier of the acoustic wave detector 1105 or position information on the reception area. When the acoustic wave detector does not move, there is a one-to-one correspondence between the element identifier and the position on the reception area. When an acoustic wave is received while the acoustic wave detector is moving, the elements of the acoustic wave detector are received at a plurality of positions, and are therefore associated with each element position on the reception area where the acoustic wave is detected.

音響波検出情報は、音響波信号を送信してもよいし、素子の感度補正、ゲイン補正等の補正を施した後の音響波信号の情報を送信してもよい。光音響波診断装置では、1回の撮影処理で複数回の光を照射し、得られた音響波信号の平均を音響波信号として送信する方法であっても、本発明を実施することができる。   As the acoustic wave detection information, an acoustic wave signal may be transmitted, or information on the acoustic wave signal after correction such as element sensitivity correction and gain correction may be transmitted. In the photoacoustic wave diagnostic apparatus, the present invention can be implemented even by a method of irradiating light multiple times in one imaging process and transmitting an average of the obtained acoustic wave signals as an acoustic wave signal. .

なお、音響波検出情報の中には、実施形態の構成に応じて静的な定数としても本発明の実施に支障のない情報も含まれる。このような情報は、情報処理部1000の主メモリ102や、磁気ディスク103(いずれも図2)に、あらかじめ記憶しておいて、画像再構成処理の実行時に利用してもよい。一方、撮影の度に動的に定まる情報は音響波検出情報の一部として、音響波信号計測部1100から情報処理部1000に送信する。   The acoustic wave detection information includes information that does not hinder the implementation of the present invention even as a static constant according to the configuration of the embodiment. Such information may be stored in advance in the main memory 102 of the information processing unit 1000 or the magnetic disk 103 (both of which are shown in FIG. 2) and used when executing the image reconstruction process. On the other hand, information that is dynamically determined each time an image is taken is transmitted from the acoustic wave signal measuring unit 1100 to the information processing unit 1000 as part of the acoustic wave detection information.

例えば、音響波検出器1105の受信面上における素子の位置に関する情報が送信される場合について考える。この場合、素子の識別子と音響波検出器の位置情報が、音響波信号計測部1100から情報処理部1000に送信された後、あらかじめ情報処理部1000に記憶されている音響波検出器と素子の相対的な位置情報を参照して本発明を実施することも可能である。   For example, consider a case where information regarding the position of an element on the reception surface of the acoustic wave detector 1105 is transmitted. In this case, after the element identifier and the position information of the acoustic wave detector are transmitted from the acoustic wave signal measuring unit 1100 to the information processing unit 1000, the acoustic wave detector and the element stored in the information processing unit 1000 in advance are stored. It is also possible to implement the present invention with reference to relative position information.

(情報処理部)
情報処理部1000は、音響波信号計測部1100から得られた音響波検出情報を用いて、3次元画像再構成処理を行う。また、生成された3次元再構成画像と音響波検出情報を生成し、本発明における判定結果情報と領域情報を生成する。さらに、これらを用いて表示情報を生成する。そして、判定結果を認識できるような形で、表示情報に基づいて再構成画像の表示を行うことで、画質の異なる領域を識別可能な表示を行う。つまり取得した特性情報の精度(被検体の特徴と画像上の特徴との相関の度合いを含む)の違いを識別可能な表示を行う。
(Information Processing Department)
The information processing unit 1000 performs a three-dimensional image reconstruction process using the acoustic wave detection information obtained from the acoustic wave signal measurement unit 1100. Further, the generated three-dimensional reconstructed image and acoustic wave detection information are generated, and determination result information and area information in the present invention are generated. Furthermore, display information is generated using these. Then, by displaying the reconstructed image based on the display information in such a way that the determination result can be recognized, a display that can identify regions having different image quality is performed. That is, a display that can identify the difference in accuracy of the acquired characteristic information (including the degree of correlation between the feature of the subject and the feature on the image) is performed.

次に情報処理部1000の機能ブロックについて説明する。
図1において、情報処理部1000は、音響波情報取得部1001、再構成処理部1002、画質判定部1003、領域情報生成部1004、表示情報生成部1005、表示部1006によって構成される。
Next, functional blocks of the information processing unit 1000 will be described.
In FIG. 1, the information processing unit 1000 includes an acoustic wave information acquisition unit 1001, a reconstruction processing unit 1002, an image quality determination unit 1003, an area information generation unit 1004, a display information generation unit 1005, and a display unit 1006.

音響波情報取得部1001は、音響波信号計測部1100から送信された音響波検出情報を取得し、再構成処理部1002に音響波検出情報を送信する。
本実施例では、音響波信号計測部1100から送信された音響波検出情報を用いて画像再構成を行う手順で説明する。しかし、本発明の実施形態は、音響波情報取得部1001が音響波検出情報を取得する手段を限定せず実施可能である。必ずしも、音響波信号計測部1100を必要とせず、例えば、音響波信号計測部1100が送信するデータと同等の音響波検出情報をサーバ装置からネットワークを介して取得してもよい。また、音響波情報取得部1001内の記憶装置や記憶媒体から読み出して実施することも可能である。
The acoustic wave information acquisition unit 1001 acquires the acoustic wave detection information transmitted from the acoustic wave signal measurement unit 1100 and transmits the acoustic wave detection information to the reconstruction processing unit 1002.
In this embodiment, a procedure for performing image reconstruction using acoustic wave detection information transmitted from the acoustic wave signal measurement unit 1100 will be described. However, the embodiment of the present invention can be implemented without limiting the means by which the acoustic wave information acquisition unit 1001 acquires acoustic wave detection information. The acoustic wave signal measurement unit 1100 is not necessarily required, and for example, acoustic wave detection information equivalent to data transmitted by the acoustic wave signal measurement unit 1100 may be acquired from the server device via a network. It is also possible to read out from a storage device or storage medium in the acoustic wave information acquisition unit 1001 and implement.

再構成処理部1002は、画像再構成を行う領域内の注目点ごとに、注目点からの音響波に起因する選択された音響波信号のみを用いて3次元画像再構成を行い、特性情報を示す3次元画像を生成する。そして注目点ごとの特性情報から音響波検出情報に基づく3次元再構成画像(ボリュームデータ)を生成する。つまり本発明において再構成処理部は特性情報取得部として機能する。
ここで、再構成処理部1002の画像再構成処理は、解析解による3次元画像再構成であれば、タイムドメイン法であっても、フーリエドメイン法であっても本発明の第1の実施形態を適用することができる。
The reconstruction processing unit 1002 performs three-dimensional image reconstruction using only the selected acoustic wave signal resulting from the acoustic wave from the attention point for each attention point in the region to be image reconstructed, and obtains characteristic information. The three-dimensional image shown is generated. Then, a three-dimensional reconstructed image (volume data) based on the acoustic wave detection information is generated from the characteristic information for each target point. That is, in the present invention, the reconstruction processing unit functions as a characteristic information acquisition unit.
Here, as long as the image reconstruction process of the reconstruction processing unit 1002 is a three-dimensional image reconstruction based on an analytical solution, the time domain method or the Fourier domain method is used in the first embodiment of the present invention. Can be applied.

光音響波診断装置の場合は、被検体内における光の吸収係数分布を示す値を特性情報として算出し、再構成された3次元画像を生成する。照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることから、被検体内の組成の相違を3次元画像として表示することができる。   In the case of a photoacoustic wave diagnostic apparatus, a value indicating a light absorption coefficient distribution in a subject is calculated as characteristic information, and a reconstructed three-dimensional image is generated. Since the degree of light absorption varies within the subject depending on the wavelength of light to be irradiated, the difference in composition within the subject can be displayed as a three-dimensional image.

なお、再構成処理で用いる各情報は、音響波検出情報として、音響波信号計測部1100から送信される情報に含めてもよいし、あらかじめ、磁気ディスク103に格納されている情報を使用してもよい。さらに、オペレータの指示により入力部106(図2)からの操作指示で指定することも可能である。再構成処理で用いる情報の例としては、再構成処理のアルゴリズムの選択や、再構成処理で出力するボクセルの数、ピッチのような再構成処理のパラメータにあたる情報があげられる。   Each information used in the reconstruction process may be included in the information transmitted from the acoustic wave signal measuring unit 1100 as acoustic wave detection information, or information stored in advance on the magnetic disk 103 is used. Also good. Furthermore, it is possible to specify by an operation instruction from the input unit 106 (FIG. 2) according to an operator instruction. Examples of information used in the reconstruction process include selection of an algorithm for the reconstruction process, information corresponding to parameters of the reconstruction process such as the number of voxels output in the reconstruction process, and the pitch.

生成された再構成画像は、再構成処理部1002から表示情報生成部1005に送られる。また、必要に応じて、画質判定部1003にも送られる。
また、再構成処理部1002は、再構成処理に用いた音響波検出情報を生成する。
The generated reconstructed image is sent from the reconstruction processing unit 1002 to the display information generating unit 1005. Further, it is also sent to the image quality determination unit 1003 as necessary.
Also, the reconstruction processing unit 1002 generates acoustic wave detection information used for the reconstruction process.

音響波検出情報は、再構成処理に用いた音響波検出情報を再構成領域内の各点に対応付けて記録される。音響波検出情報は、再構成処理で生成される再構成画像の画質に影響す
る音響波検出情報であれば、どのような情報も含めることができる。例えば、再構成処理を行う各点に用いる音響波信号の数、受信位置、音響波検出器の素子の指向性の範囲内で受信された音響波信号数、音響波信号の受信条件等があげられる。画質判定部1003で再構成画像品質(つまり特性情報の精度の優劣の度合いなど)の判定に利用可能な情報であれば、音響波検出情報に含めることができる。さらに、光音響波の場合は、音響波を生じさせた光の波長や照明条件等も含めることができる。
The acoustic wave detection information is recorded by associating the acoustic wave detection information used in the reconstruction process with each point in the reconstruction area. The acoustic wave detection information can include any information as long as the acoustic wave detection information affects the image quality of the reconstructed image generated by the reconstruction process. For example, the number of acoustic wave signals used at each point where reconstruction processing is performed, the reception position, the number of acoustic wave signals received within the directivity range of the elements of the acoustic wave detector, the reception conditions of acoustic wave signals, etc. It is done. Any information that can be used by the image quality determination unit 1003 to determine reconstructed image quality (that is, the degree of superiority or inferiority of the characteristic information accuracy) can be included in the acoustic wave detection information. Furthermore, in the case of a photoacoustic wave, the wavelength of the light that generated the acoustic wave, illumination conditions, and the like can be included.

音響波検出情報の記録方法の一例としては、再構成処理で出力するボリュームデータ内のボクセルと対応づけられた情報として記録する方法がある。ボリュームデータのサイズや形状に関する情報や、ボリュームデータ内部の各ボクセルの位置情報に対応付けて、音響波検出情報を記録すればよい。   As an example of a method of recording acoustic wave detection information, there is a method of recording as information associated with voxels in volume data output by reconstruction processing. The acoustic wave detection information may be recorded in association with information on the size and shape of the volume data and position information of each voxel in the volume data.

生成された音響波検出情報は、再構成処理部1002から画質判定部1003に送られる。   The generated acoustic wave detection information is sent from the reconstruction processing unit 1002 to the image quality determination unit 1003.

画質判定部1003は、再構成処理部1002で生成された再構成画像の画質を判定する。本発明において画質判定部1003は、特性情報の精度判定部であり、本発明における画質の判定とは、再構成処理部1002が音響波信号に基づいて生成した被検体内の特性情報(再構成画像)の精度を判定することに当たる。また、再構成処理で出力されたボリュームデータであればボクセル値の良否や有効性のレベルを判定することで特性情報の精度を判定する。そのため、再構成画像を表示する場合は画質の判定である。しかし、再構成処理の算出値であるボクセル値の良否等を判定した場合は、目的に応じて、ボクセル値で示された特性情報の良否や有効性のレベルを判定することと同義である。本実施例では、これらを含めて、特性情報の精度の判定を画質の判定として説明する。   The image quality determination unit 1003 determines the image quality of the reconstructed image generated by the reconstruction processing unit 1002. In the present invention, the image quality determination unit 1003 is a characteristic information accuracy determination unit. The image quality determination in the present invention refers to characteristic information (reconstruction) in a subject generated by the reconstruction processing unit 1002 based on an acoustic wave signal. This is to determine the accuracy of the image. If the volume data is output by the reconstruction process, the accuracy of the characteristic information is determined by determining the quality of the voxel value and the level of validity. Therefore, when displaying a reconstructed image, it is determination of image quality. However, when the quality of the voxel value, which is the calculated value of the reconstruction process, is determined, this is synonymous with determining the quality of the characteristic information indicated by the voxel value and the level of validity according to the purpose. In the present embodiment, including these, the determination of the accuracy of the characteristic information will be described as the determination of the image quality.

ここで、音響波を検出した領域が3次元領域であっても、任意の平面上の領域のみに再構成処理を実施した場合は、2次元の再構成画像上のピクセル値の有効性を判定することになる。本実施例では、3次元領域を対象とした説明であるが、本発明の実施形態については、2次元領域においても実施可能である。   Here, even if the acoustic wave detection region is a three-dimensional region, if the reconstruction process is performed only on a region on an arbitrary plane, the validity of the pixel value on the two-dimensional reconstruction image is determined. Will do. In the present embodiment, the description is for a three-dimensional area, but the embodiment of the present invention can also be implemented in a two-dimensional area.

画質判定部1003は、再構成処理部1002が記録した再構成領域の各点の音響波検出情報に基づいて画質の判定を行う。ただし、必要に応じて、再構成画像を参照する判定方法を実施してもよい。   The image quality determination unit 1003 determines the image quality based on the acoustic wave detection information of each point in the reconstruction area recorded by the reconstruction processing unit 1002. However, a determination method that refers to the reconstructed image may be performed as necessary.

音響波検出情報に基づいた画質の判定方法としては、再構成処理に用いた音響波信号数に基づく判定方法がある。再構成処理アルゴリズムにおいては音響波信号数が多い方がアーチファクトが低減され、画質がよくなる。また、再構成領域の各点において、素子の指向性を考慮した最大数の音響波信号を画質のよい領域として判定することもできる。さらに、再構成領域の各点が素子の指向性に基づいて受信領域内で利用可能な音響波信号を受信領域上で対称な位置にある音響波信号を選択して用いることで偏った位置のアーチファクトを抑制することができる。再構成領域内において、このような位置にある点の占める領域を画質の良い領域として判定することもできる。   As an image quality determination method based on acoustic wave detection information, there is a determination method based on the number of acoustic wave signals used in reconstruction processing. In the reconstruction processing algorithm, a larger number of acoustic wave signals reduces artifacts and improves image quality. Further, at each point in the reconstruction area, it is possible to determine the maximum number of acoustic wave signals in consideration of the directivity of the element as an area having a good image quality. Furthermore, each point in the reconstruction area is selected based on the directivity of the element, and an acoustic wave signal that is available in the reception area is selected and used by selecting an acoustic wave signal in a symmetric position on the reception area. Artifacts can be suppressed. In the reconstruction area, an area occupied by such points can be determined as an area with good image quality.

再構成画像を参照する判定方法の例としては、再構成画像における画素値や再構成画像から抽出される特徴量を判定に用いる方法がある。画質判定に用いる再構成画像の特徴量の例としては、画素値の分布や、あらかじめ定められた閾値以上の画素値による形状の特徴を利用できる。また、3次元再構成画像を断面画像で分割した場合の各断面画像上の各点において、隣接する断面画像の各点との相関の度合いなどを用いることもできる。画質判定部1003が再構成画像を参照する判定方法を実施する場合は、再構成処理部1002から画質判定部1003に対し、音響波検出情報と再構成画像の両方が送られる。   As an example of a determination method that refers to a reconstructed image, there is a method that uses a pixel value in the reconstructed image or a feature amount extracted from the reconstructed image for determination. As an example of the feature amount of the reconstructed image used for the image quality determination, a distribution of pixel values or a feature of a shape with a pixel value equal to or greater than a predetermined threshold can be used. In addition, the degree of correlation with each point of the adjacent cross-sectional image can be used at each point on each cross-sectional image when the three-dimensional reconstructed image is divided into cross-sectional images. When the image quality determination unit 1003 performs a determination method that refers to the reconstructed image, both the acoustic wave detection information and the reconstructed image are sent from the reconstruction processing unit 1002 to the image quality determination unit 1003.

画質判定部1003の判定結果は、再構成画像内の各点に対応づけられた判定結果情報として領域情報生成部1004に送られる。   The determination result of the image quality determination unit 1003 is sent to the region information generation unit 1004 as determination result information associated with each point in the reconstructed image.

判定結果情報の例としては、再構成画像内の各点の画質の良否を2値で記録する方法や、重みづけをした数値で段階的に記録する方法がある。また、再構成画像の形状やサイズの情報と再構成画像中の判定結果の分布を示す数式のような情報で各点の画質を示すことでも実施できる。判定結果情報は、領域情報生成部1004が、再構成画像における画質の相違を識別できる領域情報の生成に利用できる情報であればよい。   As an example of the determination result information, there are a method of recording the quality of the image quality of each point in the reconstructed image as a binary value, and a method of recording stepwise with a weighted numerical value. It can also be implemented by indicating the image quality of each point with information such as a mathematical expression indicating the shape and size information of the reconstructed image and the distribution of determination results in the reconstructed image. The determination result information may be information that can be used by the region information generation unit 1004 to generate region information that can identify a difference in image quality in the reconstructed image.

領域情報生成部1004は、画質判定部1003から送られた判定結果情報に基づいて、領域情報を生成する。領域情報は、再構成画像内の画質の異なる領域を識別する情報である。つまり領域情報は、特性情報の精度(被検体の特徴と画像上の特徴との相関の度合いを含む)の違いを示す精度情報であり、領域情報生成部は、精度情報生成部であると言える。領域情報生成部1004は、判定結果情報に含まれる判定結果を参照し、再構成画像内で画質が同等である領域ごとに領域を分割する。   The area information generation unit 1004 generates area information based on the determination result information sent from the image quality determination unit 1003. The area information is information for identifying areas with different image quality in the reconstructed image. In other words, the region information is accuracy information indicating the difference in accuracy of the characteristic information (including the degree of correlation between the feature of the subject and the feature on the image), and the region information generation unit can be said to be an accuracy information generation unit. . The area information generation unit 1004 refers to the determination result included in the determination result information, and divides the area for each area having the same image quality in the reconstructed image.

領域情報は、再構成画像内の画質が異なる領域を識別可能な情報であれば、どのような形式の情報でもよいが、画質のレベルと対応付けた情報となる。例えば、画質の異なる領域の境界を示す位置情報や数式でもよい。この場合は、境界に関する情報と境界で区切られる領域の画質のレベルを示す情報が含まれる。
再構成画像がボリュームデータである場合には、画質が同等であるボクセル群の識別子をグルーピングし、画質のレベルに対応づけた情報でもよい。また、境界付近にあるボクセルを特定する情報と区切られた領域の画質のレベルを示す情報であってもよい。
The area information may be information in any format as long as it can identify areas with different image quality in the reconstructed image, but is information associated with the image quality level. For example, position information or a mathematical expression indicating a boundary between regions having different image quality may be used. In this case, information regarding the boundary and information indicating the image quality level of the area delimited by the boundary are included.
When the reconstructed image is volume data, it may be information in which identifiers of voxel groups having the same image quality are grouped and associated with the image quality level. Further, it may be information indicating the level of image quality of an area separated from information specifying voxels near the boundary.

生成された領域情報は、領域情報生成部1004から表示情報生成部1005に送られる。   The generated region information is sent from the region information generation unit 1004 to the display information generation unit 1005.

表示情報生成部1005は、再構成処理部1002から送られた再構成画像と領域情報生成部1004から送られた領域情報に基づいて、画質判定部1003が判定した画質の相違を識別できる表示情報を生成する。例えば、再構成画像のボリュームデータ内における画質の良い領域の分布のみを示すような表示画像を再構成画像の表示情報とは、別に生成して、画質の良否を識別する表示情報としてもよい。   The display information generating unit 1005 can identify the difference in image quality determined by the image quality determining unit 1003 based on the reconstructed image sent from the reconstruction processing unit 1002 and the region information sent from the region information generating unit 1004. Is generated. For example, a display image that shows only the distribution of a region with good image quality in the volume data of the reconstructed image may be generated separately from the display information of the reconstructed image and used as display information for identifying whether the image quality is good or bad.

また、再構成画像に基づいた表示情報を表示する場合に、領域情報に基づいて画質の異なる領域を色分けしたり、透明度を変更したり、境界線を特性情報分布を示す画像に重畳し表示情報として生成することもできる。さらに、再構成画像に基づいた画像内における領域の境界や形状を示す座標や数式、領域の識別を促進するアノテーションや文字列と断面画像を表示情報として生成する方法もある。   In addition, when displaying display information based on the reconstructed image, the display information is displayed by color-coding regions with different image quality based on the region information, changing the transparency, or superimposing the boundary line on the image indicating the characteristic information distribution. Can also be generated. Furthermore, there are also methods for generating, as display information, coordinates and mathematical formulas indicating boundaries and shapes of regions in the image based on the reconstructed image, annotations that promote region identification, character strings, and cross-sectional images.

ここで、表示情報生成部1005が生成する再構成画像に基づいた表示情報とは、3次元画像情報に基づいて生成される表示情報であれば、どのような表示情報でも実施できる。表示情報の例としては、ボリュームレンダリング、多断面変換表示法、最大値投影法などで得られる2次元画像がある。また、3次元画像情報から得られる情報を統計情報などの別の表示情報を生成することもできる。   Here, any display information can be implemented as long as the display information based on the reconstructed image generated by the display information generation unit 1005 is display information generated based on the three-dimensional image information. Examples of display information include a two-dimensional image obtained by volume rendering, a multi-section conversion display method, a maximum value projection method, and the like. In addition, other display information such as statistical information can be generated from the information obtained from the three-dimensional image information.

光音響波に基づく画像再構成を行う光音響波診断装置では、照射光の波長に応じた被検体内の吸収係数分布値に基づく3次元画像情報を得ることができる。これらの値に、生体組織を構成する物質(グルコース、コラーゲン、酸化・還元ヘモグロビンなど)固有の波長依存性を比較することによって、生体を構成する物質の濃度分布を画像化することがで
きる。さらには各値の統計情報を数値、グラフやヒストグラム等で表示することも可能である。表示情報生成部1005が生成する表示情報は、これらの情報の生成も含まれる。
In a photoacoustic wave diagnostic apparatus that performs image reconstruction based on photoacoustic waves, three-dimensional image information based on the absorption coefficient distribution value in the subject according to the wavelength of irradiation light can be obtained. By comparing the wavelength dependence specific to the substances (glucose, collagen, oxidized / reduced hemoglobin, etc.) constituting the living tissue with these values, the concentration distribution of the substances constituting the living body can be imaged. Furthermore, statistical information of each value can be displayed as a numerical value, a graph, a histogram, or the like. The display information generated by the display information generation unit 1005 includes generation of such information.

生成された表示情報は、表情情報生成部1005から表示部1006に送られる。   The generated display information is sent from the facial expression information generation unit 1005 to the display unit 1006.

表示部1006は、生成した表示情報を表示するためのグラフィックカード、および、液晶やCRTディスプレイのような、情報表示装置であり、表示情報生成部1005から送られた表示情報を表示する。表示部については音響波計測部の機能ブロックに含めても良いし、外部の情報表示装置に表示情報を送信し表示させても良い。   The display unit 1006 is a graphic card for displaying the generated display information, and an information display device such as a liquid crystal display or a CRT display, and displays the display information sent from the display information generation unit 1005. The display unit may be included in the functional block of the acoustic wave measuring unit, or the display information may be transmitted and displayed on an external information display device.

なお、本発明の画像再構成方法を実施する画像情報装置の説明では、音響波信号計測部1100と情報処理部1000を分けて説明している。具体的には、デジタルマンモグラフィのような計測装置と制御装置(PCでもよい)のような機器構成が一例として挙げられる。しかし、音響波信号計測部1100と情報処理部1000を含む1つの画像情報取得装置としても実施可能である。例えば、一般的な超音波診断装置に、本発明の音響波信号計測部1100と情報処理部1000に相当する機能を併せ持つモダリティのような装置構成で実施することも可能である。   In the description of the image information apparatus that performs the image reconstruction method of the present invention, the acoustic wave signal measurement unit 1100 and the information processing unit 1000 are described separately. Specifically, a device configuration such as a measurement device such as digital mammography and a control device (or a PC) may be mentioned as an example. However, it can be implemented as one image information acquisition apparatus including the acoustic wave signal measurement unit 1100 and the information processing unit 1000. For example, a general ultrasonic diagnostic apparatus can be implemented with an apparatus configuration such as a modality having functions corresponding to the acoustic wave signal measuring unit 1100 and the information processing unit 1000 of the present invention.

図2は、情報処理部1000の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。   FIG. 2 is a diagram illustrating a basic configuration of a computer for realizing the functions of the respective units of the information processing unit 1000 by software.

CPU101は、主として情報処理部1000の各構成要素の動作を制御する。主メモリ102は、CPU101が実行する制御プログラムを格納したり、CPU101によるプログラム実行時の作業領域を提供したりする。磁気ディスク103は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述するフローチャートの処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ104は、モニタ105のための表示用データを一時記憶する。モニタ105は、例えばCRTディスプレイや液晶モニタ等であり、表示メモリ104からのデータに基づいて画像を表示する。   The CPU 101 mainly controls the operation of each component of the information processing unit 1000. The main memory 102 stores a control program executed by the CPU 101 and provides a work area when the CPU 101 executes the program. The magnetic disk 103 stores an operating system (OS), device drivers for peripheral devices, various application software including a program for performing processing of a flowchart described later, and the like. The display memory 104 temporarily stores display data for the monitor 105. The monitor 105 is, for example, a CRT display or a liquid crystal monitor, and displays an image based on data from the display memory 104.

入力部106は、マウス、キーボードなどのオペレータによるポインティング入力及び文字等の入力を行う。本発明の実施形態におけるオペレータの操作は入力部106より行われる。I/F107は、情報処理部1000と外部との間で各種データのやりとりを行うためのものであり、IEEE1394やUSB、イーサネットポート(イーサネットは登録商標)等によって構成される。I/F107を介して取得したデータは、主メモリ102に取り込まれる。
音響波信号計測部1100の機能は、I/F107を介して実現される。なお、上記各構成要素は共通バス108により互いに通信可能に接続されている。
The input unit 106 performs pointing input and character input by an operator such as a mouse and a keyboard. The operation of the operator in the embodiment of the present invention is performed from the input unit 106. The I / F 107 is for exchanging various types of data between the information processing unit 1000 and the outside, and includes an IEEE 1394, USB, Ethernet port (Ethernet is a registered trademark), and the like. Data acquired via the I / F 107 is taken into the main memory 102.
The function of the acoustic wave signal measuring unit 1100 is realized via the I / F 107. The above components are connected to each other via a common bus 108 so that they can communicate with each other.

(音響波信号計測部)
図3は、音響波信号計測部1100の構成の一例を示す図である。
光源1101は、レーザーや発光ダイオード等のような被検体に照射する照射光の光源である。照射光には、被検体を構成する成分のうち特定の成分で吸収の度合いが強いと予想される波長の光を用いる。
(Acoustic wave signal measurement unit)
FIG. 3 is a diagram illustrating an example of the configuration of the acoustic wave signal measurement unit 1100.
The light source 1101 is a light source of irradiation light that irradiates a subject such as a laser or a light emitting diode. As the irradiation light, light having a wavelength that is expected to be strongly absorbed by a specific component among the components constituting the subject is used.

制御部1102は、光源1101、光学装置1104や音響波検出器1105、位置制御手段1106の制御を行う。制御部1102はまた、音響波検出器1105で得られた光音響波の電気信号(音響波信号)を増幅し、アナログ信号からデジタル信号に変換する。また、各種信号処理、各種補正処理を行う。また、不図示のインターフェースを介して、音響波信号計測部1100から、例えば情報処理部1000のような外部機器に音響波
信号を送信する。
The control unit 1102 controls the light source 1101, the optical device 1104, the acoustic wave detector 1105, and the position control unit 1106. The control unit 1102 also amplifies the electrical signal (acoustic wave signal) of the photoacoustic wave obtained by the acoustic wave detector 1105, and converts the analog signal into a digital signal. Various signal processing and various correction processes are performed. Further, an acoustic wave signal is transmitted from the acoustic wave signal measuring unit 1100 to an external device such as the information processing unit 1000 via an interface (not shown).

レーザー等の光源の制御の内容としては、レーザー照射のタイミング、波形、強度などの制御がある。音響波検出器の位置制御手段1106の制御については、音響波検出器1105の位置を適切な位置に移動する。   The contents of control of a light source such as a laser include control of the timing, waveform, intensity, etc. of laser irradiation. Regarding the control of the acoustic wave detector position control means 1106, the position of the acoustic wave detector 1105 is moved to an appropriate position.

制御部1102はまた、音響波検出器1105が検出した光音響波の信号をレーザー照射のタイミングと同期をとって計測するための各制御を行う。さらに、複数回のレーザーを照射して得られる素子ごとの音響波信号を加算平均して素子ごとの音響波信号の平均値を算出するような信号処理も行う。   The control unit 1102 also performs various controls for measuring the photoacoustic wave signal detected by the acoustic wave detector 1105 in synchronization with the timing of laser irradiation. Further, signal processing is performed such that the average value of the acoustic wave signals for each element is calculated by averaging the acoustic wave signals for each element obtained by irradiating the laser several times.

光学装置1104は、例えば光を反射するミラーや、光を集光したり拡大したり形状を変化させるレンズなどである。このような光学部品は、光源から発せられた光1103が被検体1107に所望の形状で照射されれば、どのようなものを用いてもかまわない。このような光学部品は、光源から発せられた光1103が被検体1107に所望の形状で照射されれば、どのようなものを用いてもかまわない。光源1101、光学装置1104は、複数用いることも可能である。   The optical device 1104 is, for example, a mirror that reflects light, a lens that collects or enlarges light, or changes its shape. As such an optical component, any optical component may be used as long as the light 1103 emitted from the light source is irradiated on the subject 1107 in a desired shape. As such an optical component, any optical component may be used as long as the light 1103 emitted from the light source is irradiated on the subject 1107 in a desired shape. A plurality of light sources 1101 and optical devices 1104 can be used.

なお、光源1101から照射された光1103は、光導波路などを用いて伝搬させることも可能である。光導波路としては、光ファイバが好ましい。複数の光源があり、かつ、光ファイバを用いる場合は、それぞれの光源に対して複数の光ファイバを使用して、生体表面に光を導くことも可能である。あるいは、複数の光源からの光を一本の光ファイバに導き、一本の光ファイバのみを用いて、すべての光を生体に導いても良い。   Note that light 1103 emitted from the light source 1101 can be propagated using an optical waveguide or the like. An optical fiber is preferable as the optical waveguide. When there are a plurality of light sources and optical fibers are used, it is also possible to guide light to the surface of the living body by using a plurality of optical fibers for each light source. Alternatively, light from a plurality of light sources may be guided to one optical fiber, and all light may be guided to the living body using only one optical fiber.

このような構成で制御部1102の制御の元、光源1101で発生させた光1103を、光学装置1104を介して被検体1107に照射すると、被検体内の光吸収体1108が光を吸収し、光音響波1109を発生する。そして発生した光音響波1109は被検体内を伝播し被検体外に放出される。この場合、光吸収体1108が音源に該当する。   In such a configuration, when the subject 1107 is irradiated with light 1103 generated by the light source 1101 under the control of the control unit 1102 via the optical device 1104, the light absorber 1108 in the subject absorbs light, A photoacoustic wave 1109 is generated. The generated photoacoustic wave 1109 propagates through the subject and is emitted outside the subject. In this case, the light absorber 1108 corresponds to the sound source.

音響波検出器1105は、圧電現象を用いたトランスデューサー、光の共振を用いたトランスデューサー、容量の変化を用いたトランスデューサーなどで構成される。音響波を検知できるものであれば、どのような音響波検出器を用いてもよい。音響波検出器1105は、被検体1107に直に接触して音響波を検出してもよいし、平板1110のような板で被検体を圧迫し、圧迫された被検体の光音響波1109を平板越しに検出してもよい。   The acoustic wave detector 1105 includes a transducer using a piezoelectric phenomenon, a transducer using optical resonance, a transducer using a change in capacitance, and the like. Any acoustic wave detector may be used as long as it can detect acoustic waves. The acoustic wave detector 1105 may detect an acoustic wave by directly contacting the subject 1107, press the subject with a plate such as a flat plate 1110, and detect the photoacoustic wave 1109 of the compressed subject. You may detect over a flat plate.

本実施形態の音響波検出器は、複数の素子(検出素子)が2次元的に配置されたものを前提に説明する。このような2次元配列素子を用いることで、同時に複数の場所で音響波を検出することができ、検出時間を短縮できると共に、被検体の振動などの影響を低減できる。また、音響波検出器1105と被検体との間には、音響波の反射を抑えるための不図示のジェルや水などの音響インピーダンスマッチング剤を使用してもよい。   The acoustic wave detector of the present embodiment will be described on the assumption that a plurality of elements (detection elements) are two-dimensionally arranged. By using such a two-dimensional array element, acoustic waves can be detected simultaneously at a plurality of locations, the detection time can be shortened, and influences such as vibration of the subject can be reduced. Further, between the acoustic wave detector 1105 and the subject, an acoustic impedance matching agent such as gel or water (not shown) for suppressing reflection of acoustic waves may be used.

ここで、光を被検体に照射する領域や音響波検出器1105は移動可能であってよい。光源から発生した光が被検体上を移動可能となるように光学装置1104を構成することができる。光を被検体に照射する領域を移動させる方法としては、可動式ミラー等を用いる方法、光源自体を機械的に移動させる方法などがある。さらに、音響波検出器1105の位置を移動する位置制御手段1106を設けて、音響波検出器を移動できるように構成する。位置制御手段1106の一例としては、位置センサの情報に基づき平板1110上をモーターで移動する方法がある。   Here, the region where the object is irradiated with light and the acoustic wave detector 1105 may be movable. The optical device 1104 can be configured such that light generated from the light source can move on the subject. As a method for moving a region where light is irradiated onto a subject, there are a method using a movable mirror and the like, a method of mechanically moving a light source itself, and the like. Further, a position control means 1106 for moving the position of the acoustic wave detector 1105 is provided so that the acoustic wave detector can be moved. As an example of the position control means 1106, there is a method of moving on the flat plate 1110 by a motor based on information of the position sensor.

光を照射する領域や音響波検出器1105の位置の制御は制御部1102が行う。また、制御部1102は、光を被検体1107に照射する領域(被検体に照射される光)と、音響波検出器1105とを同期して移動するように制御することもできる。光の照射領域が移動可能であることにより、より広範囲に光を照射し、かつ、照射領域に対して適切な位置にある音響波検出器で光音響波を検出することができるようになる。   The control unit 1102 controls the light irradiation region and the position of the acoustic wave detector 1105. In addition, the control unit 1102 can also control the acoustic wave detector 1105 to move in synchronization with a region (light irradiated to the subject) where the subject 1107 is irradiated with light. Since the light irradiation area is movable, it is possible to irradiate light in a wider range and to detect the photoacoustic wave with an acoustic wave detector at an appropriate position with respect to the irradiation area.

ここで、音響波検出器を移動させる方法は、受信領域上の各位置の素子で検出された音響波信号を、その位置に素子を配置した音響波検出器で検出した音響波信号とみなせれば、どのような移動方法でもよい。例えば、音響波検出器の素子が配置された面が長方形の場合は、音響波検出器の移動方向に応じて、音響波検出器の素子の配置された面の縦、または、横サイズ分ずつ、間をあけずに音響波検出器を移動した後、各位置で静止して音響波を検出する方法で実施できる。
この音響波信号群を受信領域上の素子の位置ごとの音響波信号として扱うことにより、あたかも、同じ素子ピッチで、移動数倍の素子が配置されたサイズの音響波検出器のようにみなすことができる。
Here, in the method of moving the acoustic wave detector, the acoustic wave signal detected by the element at each position on the reception area can be regarded as the acoustic wave signal detected by the acoustic wave detector having the element arranged at that position. Any moving method may be used. For example, when the surface on which the acoustic wave detector elements are arranged is a rectangle, depending on the moving direction of the acoustic wave detector, the vertical or horizontal size of the surface on which the acoustic wave detector elements are arranged After moving the acoustic wave detector without a gap, it can be carried out by a method in which the acoustic wave is detected by stopping at each position.
By treating this acoustic wave signal group as an acoustic wave signal for each position of the element on the receiving area, it can be regarded as an acoustic wave detector having the same element pitch and the size of a moving element multiplied by a number. Can do.

なお、音響波検出器の移動量は、音響波検出器の素子の配置された面のサイズと必ずしも、同じサイズでなくてもよい。また、素子の配置された面が、他の形状であっても、素子の配置された面の移動前の領域と移動後の領域が接する、あるいは重なるような移動量とする方法でもよい。さらには、音響波検出器の移動方法は、受信領域内において、隙間があるような移動方法でも本発明の実施は可能である。たとえば、音響波を受信した受信領域上の各位置の音響波信号の代表値を抽出、または、平均値を算出する等の方法で決定し、最終的に、受信領域上の各位置の音響波検出情報が揃うような音響波検出器の移動であればよい。この場合は、受信領域サイズの受信面を持つ音響波検出器とみなした場合の素子ピッチに相当する各位置ごとに音響波信号が揃えばよい。   Note that the amount of movement of the acoustic wave detector is not necessarily the same size as the size of the surface on which the elements of the acoustic wave detector are arranged. In addition, even if the surface on which the element is arranged has another shape, the movement amount may be such that the area before the movement of the surface on which the element is arranged and the area after the movement contact or overlap each other. Further, the acoustic wave detector can be moved even if there is a gap in the reception area. For example, the representative value of the acoustic wave signal at each position on the reception area that received the acoustic wave is extracted or determined by a method such as calculating an average value, and finally the acoustic wave at each position on the reception area is determined. The acoustic wave detector may be moved so that the detection information is aligned. In this case, the acoustic wave signals may be aligned at each position corresponding to the element pitch when the acoustic wave detector is regarded as having a reception surface having a reception area size.

さらに、音響波検出器を静止せずに移動しながら音響波の検出を継続するような音響波検出器の移動方法でもよい。音響波検出器の移動範囲に相当する受信領域において、音響波検出器の位置および素子位置ごとに検出された音響波信号群から代表値となる信号を抽出する、または平均値をとる等の方法で、受信領域上の各位置における音響波信号を決定する。音響波検出器の速度や移動範囲を調整することで、任意のサイズの受信領域に任意のピッチで素子が配置された音響波検出器のようにみなすことができる。また、走査の制御が容易になり、走査時間も短縮できる。なお、見掛け上の音響波検出器の素子のピッチ、すなわち、受信領域で音響波を検出する素子位置のピッチは、音響波検出器上に配置されている素子のピッチと異なる任意のピッチで実施することもできる。   Further, the acoustic wave detector may be moved such that the acoustic wave detection is continued while the acoustic wave detector is moved without being stationary. A method of extracting a representative signal from an acoustic wave signal group detected for each position and element position of the acoustic wave detector or taking an average value in a reception area corresponding to the moving range of the acoustic wave detector Thus, an acoustic wave signal at each position on the reception area is determined. By adjusting the speed and moving range of the acoustic wave detector, it can be regarded as an acoustic wave detector in which elements are arranged at an arbitrary pitch in a receiving area of an arbitrary size. Further, scanning control becomes easy and the scanning time can be shortened. Note that the apparent element pitch of the acoustic wave detector, that is, the pitch of the element position for detecting the acoustic wave in the reception area, is an arbitrary pitch different from the pitch of the element arranged on the acoustic wave detector. You can also

本発明における音響波信号計測部1100の構成を持つ光音響波診断装置で撮影を実施する場合には、入力部106を介してユーザーにより撮影領域の指示が行われる。そして撮影領域に必要な音響波信号の取得を行う。撮影領域は、装置ごとの仕様で定まる、被検体内の特性情報を取得しうる特性情報の取得領域であり、目的とする撮影ごとに指定される3次元領域である。   When imaging is performed with the photoacoustic wave diagnostic apparatus having the configuration of the acoustic wave signal measurement unit 1100 in the present invention, an imaging region is instructed by the user via the input unit 106. Then, an acoustic wave signal necessary for the imaging area is acquired. The imaging area is an acquisition area of characteristic information that can acquire characteristic information in the subject, which is determined by the specifications of each apparatus, and is a three-dimensional area that is designated for each target imaging.

撮影領域の入力方法は、目的とする撮影領域を音響波信号計測部1100が特定できる方法であれば、どのような方法でもよい。装置内で撮影可能な範囲内で直方体の各頂点の座標や、数式を入力されてもよい。ユーザーが被検体を捉えたカメラ画像上にマウスで矩形領域を指定し、その領域を被検体上に投影した領域と被検体の奥行方向を計測して特定される3次元領域を撮影領域とする方法なども実施できる。この場合は、透明な平板越しに被検体をカメラ撮影し、被検体の平板からの厚さを計測することで、撮影領域とする直方体を特定することができる。なお、3次元データとしてボリュームデータとして扱うには直方体の領域である場合が一般的であるが、撮影領域は、必ずしも、直方体でなくとも
、実施可能である。
Any method may be used for inputting the imaging region as long as the acoustic wave signal measuring unit 1100 can identify the target imaging region. The coordinates of the vertices of the rectangular parallelepiped and mathematical formulas may be input within a range that can be photographed within the apparatus. The user designates a rectangular area on the camera image that captures the subject, projects the area onto the subject, and measures the depth direction of the subject to determine the three-dimensional area specified as the imaging area. A method etc. can also be implemented. In this case, a rectangular parallelepiped serving as an imaging region can be specified by photographing the subject through a transparent flat plate and measuring the thickness of the subject from the flat plate. In general, a rectangular parallelepiped region is used as volume data as three-dimensional data, but the imaging region is not necessarily a rectangular parallelepiped.

本発明の実施において、基本的には、3次元領域の情報を表示するために、撮影領域が、そのまま、再構成領域に相当するとして、音響波の受信領域、すなわち音響波検出器を走査して音響波を取得する走査領域を決定する。しかし、取得した音響波検出情報に基づいて、異なる領域の再構成領域を設定し、異なる領域の再構成画像に対して実施することも可能である。さらに、再構成画像に対する、本発明の画質判定処理と領域情報生成処理を実施する領域も、再構成画像内の異なる領域に対して実施することもできる。   In the implementation of the present invention, basically, in order to display the information of the three-dimensional area, it is assumed that the imaging area corresponds to the reconstruction area as it is, and the acoustic wave receiving area, that is, the acoustic wave detector is scanned. The scanning area for acquiring the acoustic wave is determined. However, based on the acquired acoustic wave detection information, it is also possible to set a reconstructed area of a different area and implement it on a reconstructed image of a different area. Furthermore, the area where the image quality determination process and the area information generation process of the present invention are performed on the reconstructed image can also be performed on different areas in the reconstructed image.

なお、3次元画像を2次元の表示を行うディスプレイに表示する場合には、表示情報生成部においてなんらかの領域の限定、または画像処理を施した後、画像を表示部に表示させる。そのため、撮影領域、再構成領域、および、再構成画像、画質判定および領域情報の各領域とは異なる領域に対する画像および、画像情報を表示できる。   When displaying a three-dimensional image on a display that performs two-dimensional display, after the display information generation unit performs some region limitation or image processing, the image is displayed on the display unit. Therefore, it is possible to display an image and image information for an area different from each of the imaging area, the reconstruction area, the reconstructed image, the image quality determination, and the area information.

(実施手順)
次に、図4、図5のフローチャートを用いて、本発明の被検体情報取得装置である情報処理部が実行する具体的な表示制御方法の処理の手順を説明する。以下の実施形態では、音響波信号計測部1100で音響波を計測する。そして、情報処理部1000で計測した音響波に基づいた再構成画像の生成および画質判定を行い、領域情報、表示情報を生成し、再構成画像における断面画像と境界線を表示する表示制御方法の例について説明する。
(Implementation procedure)
Next, a specific display control method processing procedure executed by the information processing unit, which is the subject information acquisition apparatus of the present invention, will be described using the flowcharts of FIGS. 4 and 5. In the following embodiment, an acoustic wave is measured by the acoustic wave signal measurement unit 1100. A display control method for generating a reconstructed image based on an acoustic wave measured by the information processing unit 1000 and determining image quality, generating region information and display information, and displaying a cross-sectional image and a boundary line in the reconstructed image. An example will be described.

(音響波計測)
図4(a)は、本発明の実施における音響波信号計測部1100が音響波を計測して、音響波信号と音響波検出情報を取得する手順をしたフローチャートである。本実施例では図3で示した光音響波計測装置で音響波と音響波検出情報を取得する例について説明する。しかし、本発明の適用は光音響波計測装置に限定されるものではない。音響波に基づいた情報を生成するために音響波を取得して音響波信号と音響波検出情報を取得できる装置であれば、どのような装置であっても適用することができる。
(Acoustic wave measurement)
FIG. 4A is a flowchart illustrating a procedure in which the acoustic wave signal measurement unit 1100 according to the present invention measures an acoustic wave and acquires an acoustic wave signal and acoustic wave detection information. In this embodiment, an example in which acoustic waves and acoustic wave detection information are acquired by the photoacoustic wave measurement apparatus shown in FIG. 3 will be described. However, the application of the present invention is not limited to the photoacoustic wave measuring apparatus. Any device can be applied as long as it can acquire an acoustic wave and generate an acoustic wave signal and acoustic wave detection information in order to generate information based on the acoustic wave.

ステップS401において、音響波信号計測部1100が光音響波の計測処理を開始すると、制御部1102の制御により、光源1101が、光学装置1104を介して被検体1107にレーザー光を照射する。
ステップS402において、被検体1107が放出した光音響波を音響波検出器1105で検出する。光音響波を検出すると、S403に進む。
ステップS403において、制御部1102は、撮影時のパラメータや音響波検出器1105の素子ごとに検出された音響波信号等を含む音響波検出情報を生成する。
In step S <b> 401, when the acoustic wave signal measurement unit 1100 starts photoacoustic wave measurement processing, the light source 1101 irradiates the subject 1107 with laser light via the optical device 1104 under the control of the control unit 1102.
In step S <b> 402, the photoacoustic wave emitted from the subject 1107 is detected by the acoustic wave detector 1105. If a photoacoustic wave is detected, it will progress to S403.
In step S <b> 403, the control unit 1102 generates acoustic wave detection information including parameters at the time of imaging, an acoustic wave signal detected for each element of the acoustic wave detector 1105, and the like.

ここで、音響波検出情報には、音響波の計測に関連する情報ならどのような情報を含めてもよい。また、1回の撮影でレーザー光を複数回照射する場合は、レーザー照射回数や照射時刻等の情報と共に、検出された複数の音響波信号を含めてもよい。または、ノイズを軽減するために、各照射時の音響波信号の平均値を音響波検出情報とするように、信号処理を加えた情報としてもよい。さらに、被検体に対する音響波検出器や素子の位置情報を受信した音響波信号に対応づける情報等も含めることができる。   Here, the acoustic wave detection information may include any information as long as it is information related to acoustic wave measurement. Moreover, when irradiating a laser beam several times by one imaging | photography, you may include the detected several acoustic wave signal with information, such as a laser irradiation frequency | count and irradiation time. Or in order to reduce noise, it is good also as information which added signal processing so that the average value of the acoustic wave signal at the time of each irradiation may be used as acoustic wave detection information. Furthermore, the information etc. which match the acoustic wave signal with respect to the subject to the received acoustic wave signal can be included.

生成された音響波検出情報は、情報処理部1000に送信されて、本実施例における音響波検出情報の取得手順を終了する。   The generated acoustic wave detection information is transmitted to the information processing unit 1000, and the acoustic wave detection information acquisition procedure in the present embodiment is completed.

(再構成と音響波検出情報の保存)
図5は、情報処理部1000で音響波情報取得部1001が音響波検出情報を取得し、再構成処理部1002が、再構成処理に用いた音響波検出情報を記録しながら、音響波検
出情報に基づいた再構成画像を生成する手順を示したフローチャートである。
(Reconstruction and storage of acoustic wave detection information)
In FIG. 5, the acoustic wave information acquisition unit 1001 acquires the acoustic wave detection information in the information processing unit 1000, and the reconstruction processing unit 1002 records the acoustic wave detection information used for the reconstruction processing while recording the acoustic wave detection information. 5 is a flowchart showing a procedure for generating a reconstructed image based on the image.

図5のフローチャートは、情報処理部1000の音響波情報取得部1001が音響波検出情報を取得した時から開始される。
ステップS501において、音響波情報取得部1001は音響波信号計測部1100から取得した音響波検出情報を主メモリ102、または、磁気ディスク103等の記憶装置に記憶し、再構成処理部1002が利用できるようにする。そして、再構成処理部1002に音響波検出情報、または、記憶したアドレスに関する情報を送信する。
The flowchart of FIG. 5 starts when the acoustic wave information acquisition unit 1001 of the information processing unit 1000 acquires acoustic wave detection information.
In step S501, the acoustic wave information acquisition unit 1001 stores the acoustic wave detection information acquired from the acoustic wave signal measurement unit 1100 in the main memory 102 or a storage device such as the magnetic disk 103, and can be used by the reconstruction processing unit 1002. Like that. Then, acoustic wave detection information or information regarding the stored address is transmitted to the reconstruction processing unit 1002.

ステップS502において、再構成処理部1002は、被検体内部において再構成処理を実行する領域である再構成領域内の未抽出の空間上の1点を注目点として抽出する。ここで、再構成領域は、音響波信号計測部1100で音響波を取得する時の撮影領域と異なる領域を再構成することもできる。撮影領域より小さい領域を再構成領域としてもよい。あるいは、取得した音響波信号は、撮影領域以外の領域を音源とする音響波も含まれていることから、撮影領域より大きい領域を再構成領域としても、本発明の表示方法を実施することができる。   In step S <b> 502, the reconstruction processing unit 1002 extracts one point on the unextracted space in the reconstruction area that is an area for executing the reconstruction process inside the subject as a point of interest. Here, the reconstruction area can also reconstruct an area different from the imaging area when the acoustic wave signal measurement unit 1100 acquires the acoustic wave. An area smaller than the imaging area may be used as the reconstruction area. Alternatively, since the acquired acoustic wave signal includes an acoustic wave having a sound source in a region other than the imaging region, the display method of the present invention can be implemented even if a region larger than the imaging region is used as a reconstruction region. it can.

ステップS503において、再構成処理部1002は、注目点に対する受信領域上の有効な音響波を検出しうる領域である有効音響波検出領域を算出する。有効音響波検出領域は、注目点と受信領域の位置関係と有効な音響波信号の検出に関する素子の特性(例えば指向角)に基づいて定まる領域である。有効音響波検出領域の例を、図6の有効音響波検出領域604に示す。   In step S503, the reconstruction processing unit 1002 calculates an effective acoustic wave detection area that is an area in which an effective acoustic wave on the reception area with respect to the point of interest can be detected. The effective acoustic wave detection area is an area determined based on the positional relationship between the point of interest and the reception area and the characteristics of the element (for example, the directivity angle) relating to the detection of an effective acoustic wave signal. An example of the effective acoustic wave detection region is shown in an effective acoustic wave detection region 604 in FIG.

ステップS504において、再構成処理部1002は、ステップS503で抽出した被検体内部の注目点に対して再構成処理に用いる有効な音響波信号群を抽出する。抽出される有効な音響波検出情報群は、ステップS503で算出された有効音響波検出領域で検出された音響波信号群から抽出される。
ここで、注目点ごとに抽出される音響波信号群の数は、必ずしも、同数ではない。例えば、音響波検出器の全素子で検出された音響波信号群を用いることもあれば、一部の素子で検出された音響波信号群を抽出する場合もある。
In step S504, the reconstruction processing unit 1002 extracts an effective acoustic wave signal group used for the reconstruction process for the point of interest inside the subject extracted in step S503. The extracted effective acoustic wave detection information group is extracted from the acoustic wave signal group detected in the effective acoustic wave detection area calculated in step S503.
Here, the number of acoustic wave signal groups extracted for each point of interest is not necessarily the same. For example, an acoustic wave signal group detected by all elements of the acoustic wave detector may be used, or an acoustic wave signal group detected by some elements may be extracted.

注目点と音響波信号受信時の素子の相対的な位置関係と素子の指向性の範囲により、各注目点で有効に利用できる音響波信号数は異なる。注目点が指向性の範囲に入らない位置の素子で受信した音響波信号は、同じ音響波であっても著しく感度が下がった音響波信号しか取得できない。そのため、再構成処理に有効な音響波信号として扱えず、注目点ごとの有効な音響波信号数は異なる場合がある。例えば、図6の注目点(ボクセル)602と注目点(ボクセル)605は、各注目点から受信領域に下ろした垂線603との距離が等距離であっても、有効信号検出領域604と606のように、受信領域601上に重なる領域が異なる。そのため、垂線と受信領域の交点を中心とする所定の半径の円内に含まれる、有効な音響波信号を検出しうる素子数が異なるため、注目点ごとの有効な音響波信号数が異なる。   The number of acoustic wave signals that can be effectively used at each point of interest varies depending on the relative positional relationship between the point of interest and the element when receiving the acoustic wave signal and the range of directivity of the element. An acoustic wave signal received by an element at a position where the point of interest does not fall within the directivity range can be acquired only with an acoustic wave signal whose sensitivity has been significantly reduced even if the acoustic wave signal is the same. Therefore, it cannot be treated as an acoustic wave signal effective for reconstruction processing, and the number of effective acoustic wave signals for each point of interest may be different. For example, the attention point (voxel) 602 and the attention point (voxel) 605 of FIG. 6 are equal to each other in the effective signal detection regions 604 and 606 even if the distance from the attention point (voxel) 605 is equal to the perpendicular line 603 lowered from the attention point to the reception region. As described above, the areas overlapping on the reception area 601 are different. Therefore, since the number of elements that can detect an effective acoustic wave signal included in a circle having a predetermined radius centered on the intersection of the perpendicular and the reception area is different, the number of effective acoustic wave signals for each target point is different.

また、音響波信号を受信する受信領域の素子群は限定された領域内に存在し、注目点との相対的な位置は、必ずしも対称性のない位置で検出された音響波信号群が存在する。この対称性とは、例えば、受信領域601上に注目点602から下ろした垂線603の足を中心として、点対称の位置にある1対の音響波信号がある場合は対称な位置の音響波信号とみなす。限定された方位にある受信領域で被検体の領域内の画像再構成を行うと、光音響波動方程式の過程から外れているが、同じ受信領域上で受信した音響波信号に対称性がないと、さらに偏りのある再構成画像となり、アーチファクトが増大する。そのため、音響波信号が同数であっても対称性のない音響波信号群で再構成する領域と、対称性のある
音響波信号群で再構成する領域との画質に差がでてくる。結果として、対称性のある位置に他の検出素子があるものの割合が多いほど、画質は良くなる。
In addition, the element group in the reception area that receives the acoustic wave signal exists in a limited area, and the acoustic wave signal group that is detected at a position that is not necessarily symmetric exists in the relative position to the point of interest. . This symmetry is, for example, when there is a pair of acoustic wave signals in a point-symmetrical position around the foot of the perpendicular line 603 dropped from the point of interest 602 on the reception area 601 and the acoustic wave signal at the symmetrical position. It is considered. When image reconstruction within the subject area is performed in the reception area in a limited orientation, it is out of the process of the photoacoustic wave equation, but there is no symmetry in the acoustic wave signal received on the same reception area. Further, the reconstructed image becomes more biased and the artifact increases. Therefore, even if the number of acoustic wave signals is the same, there is a difference in image quality between a region reconstructed with a group of acoustic waves having no symmetry and a region reconstructed with a group of acoustic waves with symmetry. As a result, the higher the ratio of those having other detection elements at symmetrical positions, the better the image quality.

そこでステップS504の処理において、再構成処理部1002は、この画質の差を軽減するために、有効な音響波信号から、さらに、対称性のある音響波検出情報を選別して再構成する場合もある。
また、装置固有の条件で、有効な音響波信号を制限する場合もある。撮影可能な位置にある被検体であっても、装置の内壁、部品等の音響波特性に影響する要因が把握できる場合は、有効な音響波信号群を制限する場合もある。
さらに、画像再構成に要する処理時間の短縮のために、再構成処理に用いる音響波信号数をあえて少なくすることもある。
Therefore, in the process of step S504, the reconstruction processing unit 1002 may further select and reconstruct symmetrical acoustic wave detection information from effective acoustic wave signals in order to reduce the difference in image quality. is there.
In some cases, effective acoustic wave signals are limited under conditions specific to the apparatus. Even in the case of a subject at a position where imaging can be performed, an effective acoustic wave signal group may be limited if the factors affecting the acoustic wave characteristics of the inner wall and parts of the apparatus can be grasped.
Further, in order to shorten the processing time required for image reconstruction, the number of acoustic wave signals used for reconstruction processing may be reduced.

ステップS505において、再構成処理部1002は、ステップS504で抽出された音響波検出情報群を用いて、再構成処理を行う。再構成処理部1002が実行する再構成処理アルゴリズムは、主メモリ102、または、磁気ディスク103等に記憶されているものとする。また、再構成アルゴリズムの選択や、再構成処理に関するパラメータは、ユーザーにより、あらかじめ、入力部106を介して設定され、主メモリ102、または、磁気ディスク103等に記憶されているものとする。   In step S505, the reconstruction processing unit 1002 performs a reconstruction process using the acoustic wave detection information group extracted in step S504. It is assumed that the reconstruction processing algorithm executed by the reconstruction processing unit 1002 is stored in the main memory 102, the magnetic disk 103, or the like. Also, it is assumed that parameters relating to selection of a reconstruction algorithm and reconstruction processing are set in advance by the user via the input unit 106 and stored in the main memory 102 or the magnetic disk 103 or the like.

ここで、再構成処理部1002の処理手順として、まずステップS504において有効な音響波検出情報を抽出し、次いでステップS505で再構成処理を行うように説明した。しかし、あらかじめ再構成処理アルゴリズムやパラメータが決定されていれば、ステップS505に必要な音響波検出情報群を、ステップS504の有効な音響波検出情報として抽出するようにしても実施可能である。   Here, as a processing procedure of the reconstruction processing unit 1002, it has been described that effective acoustic wave detection information is first extracted in step S504, and then reconstruction processing is performed in step S505. However, if the reconstruction processing algorithm and parameters are determined in advance, the acoustic wave detection information group necessary for step S505 can be extracted as effective acoustic wave detection information in step S504.

ステップS506において、再構成処理部1002は、再構成処理で算出された値を注目点ごとの再構成画像として保存する。3次元の再構成画像をボリュームデータとして算出する場合は、算出された値をボクセル値として保存する。   In step S506, the reconstruction processing unit 1002 stores the value calculated in the reconstruction process as a reconstructed image for each point of interest. When a three-dimensional reconstructed image is calculated as volume data, the calculated value is stored as a voxel value.

ここで、本実施例では、再構成処理の算出値を再構成画像として説明した。しかし、ボリュームデータにボクセル値として格納される再構成処理により算出された情報は、必ずしも、一般的なビットマップのような画像データのように、表示装置の階調で、直接表示しうる値域の値でなくてもよい。再構成処理で算出された情報がボクセル空間に分布する値として格納され、表示処理で、表示装置の仕様に応じて適切なウインドウ処理を実施し、表示画像が表示されるような、再構成処理による算出値も含めて再構成画像としている。   Here, in the present embodiment, the calculated value of the reconstruction process has been described as a reconstructed image. However, the information calculated by the reconstruction process stored as voxel values in the volume data is not necessarily in the range of values that can be directly displayed in the gradation of the display device, like image data such as a general bitmap. It does not have to be a value. Information calculated in the reconstruction process is stored as a value distributed in the voxel space, and in the display process, an appropriate window process is performed according to the specifications of the display device, and a display image is displayed. The reconstructed image is also included including the calculated value obtained by.

ステップS507において、再構成処理部1002は、注目点ごとの音響波検出情報を保存する。保存される音響波検出情報は、注目点、ボリュームデータであれば、各ボクセルに関連づけられる保存方法であれば、どのような方法であってもよい。   In step S507, the reconstruction processing unit 1002 stores acoustic wave detection information for each point of interest. The stored acoustic wave detection information may be any method as long as it is a storage method associated with each voxel as long as it is a point of interest and volume data.

ここで、音響波検出情報には、音響波信号計測部1100で取得した音響波検出情報は、音響波の検出位置情報と関連づけられた音響波信号や、例えば、音響波検出器の素子の特性や計測装置の音響特性等の音響波の取得条件に関する情報が含まれる。さらに光音響波の場合は、光音響波を生じさせた照明に関する条件、さらに、音響波検出器や光の照射等の制御に関する情報を含めることもできる。   Here, in the acoustic wave detection information, the acoustic wave detection information acquired by the acoustic wave signal measuring unit 1100 is an acoustic wave signal associated with the detection position information of the acoustic wave, for example, the characteristics of the element of the acoustic wave detector. And information on acoustic wave acquisition conditions such as acoustic characteristics of the measuring device. Furthermore, in the case of a photoacoustic wave, it is also possible to include information relating to the condition that caused the photoacoustic wave to be generated, and further information relating to the control of the acoustic wave detector, light irradiation, and the like.

ステップS508において、再構成処理部1002は、再構成領域内の注目点のうち、未処理の注目点の有無を判定する。未処理の注目点が存在する場合は、ステップS502からステップS507までの処理を繰り返し実行する。   In step S508, the reconstruction processing unit 1002 determines whether there is an unprocessed attention point among the attention points in the reconstruction area. If there is an unprocessed attention point, the processing from step S502 to step S507 is repeatedly executed.

ステップS508において、未処理の注目点が存在しない場合は、再構成処理部1002は、記録情報のファイルのクローズ等、再構成処理の終了に必要な処理を実行する。その後、画質判定部1003に音響波検出情報を送信して、本発明の実施例における再構成処理を終了する。   If there is no unprocessed point of interest in step S508, the reconstruction processing unit 1002 executes processing necessary for the completion of the reconstruction processing, such as closing the recording information file. Thereafter, the acoustic wave detection information is transmitted to the image quality determination unit 1003, and the reconstruction process in the embodiment of the present invention is terminated.

(画質判定と領域情報生成)
図4(b)は、本発明の実施例における画質の判定と判定結果に基づいた領域情報を生成する手順を示したフローチャートである。以下に、本実施例の判定処理について図4(b)のフローチャートを用いて説明する。
(Image quality judgment and area information generation)
FIG. 4B is a flowchart showing a procedure for determining image quality and generating region information based on the determination result in the embodiment of the present invention. Hereinafter, the determination process of the present embodiment will be described with reference to the flowchart of FIG.

ステップS801は、本発明の実施例の再構成処理の終了後、画質判定部1003の音響波検出情報を画質判定部1003が取得した時から開始される。
ステップS801において、画質判定部1003は、再構成処理部1002から送られた音響波検出情報に関する情報と、あらかじめ、ユーザーに設定された画質判定設定情報に基づいて、画質の判定を行う。画質判定設定情報は、画質判定方法、および、再構成画像の画質判定の基準、または、段階を特定できる設定情報を指定する情報であればよい。特に、音響波検出情報をパラメータとして指定する場合は、どのような情報であっても設定できる。
Step S801 is started when the image quality determination unit 1003 acquires the acoustic wave detection information of the image quality determination unit 1003 after the reconstruction process according to the embodiment of the present invention ends.
In step S801, the image quality determination unit 1003 determines image quality based on the information regarding the acoustic wave detection information sent from the reconstruction processing unit 1002 and the image quality determination setting information set in advance by the user. The image quality determination setting information may be information that designates setting information that can specify the image quality determination method, the standard for determining the image quality of the reconstructed image, or the stage. In particular, when the acoustic wave detection information is designated as a parameter, any information can be set.

判定方法の一例としては、3次元再構成画像のボリュームデータの各ボクセルの位置情報と音響波の検出素子の特性や位置情報から、素子の指向性の範囲で検出された有効な信号群が揃うボクセルであるか否かで画質を判定する方法がある。ボクセルごとの指向性の範囲に収まる音響波信号数と、各ボクセルと受信領域の位置関係から、受信領域上に指向性の範囲で検出可能な音響波信号数の最大数を算出する。ボクセルごとに再構成処理で使用した音響波信号数が、最大数であれば、画質の良い領域とみなす。本実施例では、この判定方法による画質の判定結果に基づいて表示する例を示す。この判定方法の場合の画質判定設定情報には、判定方法を指定する。   As an example of the determination method, effective signal groups detected within the range of directivity of the elements are prepared from the position information of each voxel of the volume data of the three-dimensional reconstructed image and the characteristics and position information of the detection element of the acoustic wave. There is a method of determining the image quality based on whether or not it is a voxel. From the number of acoustic wave signals that fall within the directivity range for each voxel and the positional relationship between each voxel and the reception area, the maximum number of acoustic wave signals that can be detected in the directivity range on the reception area is calculated. If the number of acoustic wave signals used in the reconstruction process for each voxel is the maximum number, it is regarded as a region with good image quality. In this embodiment, an example of display based on the determination result of the image quality by this determination method is shown. A determination method is designated in the image quality determination setting information in the case of this determination method.

また、再構成画像を構成するボリュームデータの各ボクセル値の算出に用いた有効な音響波信号数に閾値と判定方法の識別情報を画質判定設定情報として設定し、画質判定部1003は、この閾値に基づいて、画質の良否を判定する方法も実施できる。   Further, the threshold information and the identification information of the determination method are set as the image quality determination setting information for the number of effective acoustic wave signals used for calculating each voxel value of the volume data constituting the reconstructed image, and the image quality determination unit 1003 Based on the above, it is possible to implement a method for determining whether the image quality is good or bad.

さらに、再構成画像における画素に生じるアーチファクトの偏りを問題にする場合は、各ボクセル値の算出に用いた音響波信号が対称性のある位置の音響波信号群か否かで判定してもよい。   Furthermore, in the case where the artifact bias occurring in the pixels in the reconstructed image is a problem, the determination may be made based on whether or not the acoustic wave signal used for calculating each voxel value is an acoustic wave signal group at a symmetrical position. .

ここで、一般的な音響波検出器の素子の特性から、受信領域より遠い位置であるほど、指向性の範囲で検出できる素子位置は増加し、有効な音響波検出信号数も増加する傾向がある。検出できる有効な音響波信号数としては、最大数であっても、再構成領域における受信領域との相対的な位置によっては、画質に差が生じる。そのため、再構成領域内の各注目点と受信領域からの距離を閾値として上記の判定方法と併用してもよい。   Here, from the characteristics of the elements of a general acoustic wave detector, as the position is farther from the reception area, the element positions that can be detected in the directivity range increase, and the number of effective acoustic wave detection signals tends to increase. is there. Even if the number of effective acoustic wave signals that can be detected is the maximum number, there is a difference in image quality depending on the relative position of the reconstruction area to the reception area. Therefore, you may use together with said determination method by making each attention point in a reconstruction area | region and the distance from a receiving area into a threshold value.

また、ステップS801で説明した3次元再構成画像は、音響波信号計測部1100で音響波を計測した際の撮影領域に相当する。受信領域と再構成領域の各注目点との距離と同様、撮影領域の音響特性を考慮して、再構成領域内の各注目点の画質判定に適用してもよい。   In addition, the three-dimensional reconstructed image described in step S801 corresponds to an imaging region when the acoustic wave is measured by the acoustic wave signal measurement unit 1100. Similar to the distance between the reception area and each attention point in the reconstruction area, it may be applied to image quality determination of each attention point in the reconstruction area in consideration of the acoustic characteristics of the imaging area.

これらの判定方法の判定結果は、良否の判定だけでなく段階を設けてもよいし、複数の基準を組み合わせた判定方法の場合は、複数の判定結果を列挙する方法でもよい。   The determination results of these determination methods may be provided with stages as well as pass / fail determinations, and in the case of a determination method combining a plurality of criteria, a method of enumerating a plurality of determination results may be used.

なお、本発明の実施における画質判定設定情報の入力は、ユーザーが入力部106を介して、主メモリ102、または、磁気ディスク103に記憶されるものとする。   The input of the image quality determination setting information in the embodiment of the present invention is assumed to be stored in the main memory 102 or the magnetic disk 103 by the user via the input unit 106.

画質判定部1003は、判定された判定結果に、必要に応じて、画質判定の判定方法に関する情報を加えた情報を判定結果情報として、領域情報生成部1004に送信する。判定結果情報に含まれる各判定結果の位置に関する情報は個別のボクセルに関する位置情報を列挙する情報で実施できる。または、目的とする表示画像に対し、表示領域の精度が十分な場合は、画質のよい領域を含む数式に近似した情報に変換した情報のいずれでもよい。本実施例においては、各注目点における有効な音響波検出情報数の揃う画質の良いボクセル群の領域の境界面を近似した領域情報と、判定方法を識別するIDなどの情報を判定結果情報とする。   The image quality determination unit 1003 transmits information obtained by adding information related to the determination method of image quality determination to the region information generation unit 1004 as determination result information, as necessary. The information regarding the position of each determination result included in the determination result information can be implemented as information listing position information regarding individual voxels. Alternatively, when the display area is sufficiently accurate with respect to the target display image, any of the information converted into information approximate to a mathematical expression including an area with good image quality may be used. In the present embodiment, the region information that approximates the boundary surface of the region of the voxel group with good image quality in which the number of effective acoustic wave detection information at each point of interest is aligned, and information such as an ID that identifies the determination method are the determination result information. To do.

ここで、本実施例における領域情報について説明する。本実施例における画質のよい注目点は、図6の有効信号検出領域606に対応する注目点605のように、受信領域上で検出できる有効な音響波信号数が最大となるような注目点である。従って本実施例における画質のよい領域とは、このような画質のよい注目点605と同等な注目点からなる点群の占める領域となる。かかる点群が存在するのは、画像再構成領域内において、受信領域側が大きな四角錐台のような形状の領域となる。そのため、画質の良否の境界面は四角錐台の表面を示す式で近似することができる。   Here, the region information in the present embodiment will be described. The attention point with good image quality in this embodiment is an attention point that maximizes the number of effective acoustic wave signals that can be detected in the reception area, such as the attention point 605 corresponding to the effective signal detection area 606 in FIG. is there. Therefore, the area with good image quality in this embodiment is an area occupied by a point group consisting of attention points equivalent to the attention point 605 with good image quality. Such a point cloud exists in an image reconstruction area having a shape like a large truncated pyramid on the reception area side. For this reason, the boundary surface for the quality of image quality can be approximated by an expression indicating the surface of the truncated pyramid.

ステップS802において、領域情報生成部1004は、画質判定部1003から送られた判定結果情報に基づいて特性情報の精度の違いを示す精度情報として領域情報を生成する。本ステップで生成する領域情報は、判定結果情報に基づいて、特性情報の精度の違いを、再構成画像の領域を分割することで示す。ただし、領域情報としては、再構成処理部1002が生成した再構成画像に基づく情報を表示する際に、特性情報の精度の違いを識別可能にする情報であれば、どのような情報でもよい。   In step S <b> 802, the region information generation unit 1004 generates region information as accuracy information indicating a difference in accuracy of characteristic information based on the determination result information transmitted from the image quality determination unit 1003. The area information generated in this step indicates the difference in accuracy of the characteristic information by dividing the area of the reconstructed image based on the determination result information. However, as the area information, any information may be used as long as the information can identify the difference in accuracy of the characteristic information when displaying information based on the reconstructed image generated by the reconstruction processing unit 1002.

領域情報の例としては、例えば、再構成画像内の領域を点群や、多面体の頂点の情報で示すことができる。ボリュームデータであれば、点群や多面体の頂点を示すボクセルの位置情報が相当する。また、再構成画像内の領域を区切る数式や、ボクセルの位置情報をグループ化した情報や、位置情報の規則性のような情報であってもよい。これらの情報は判定結果情報に基づいて算出された値であるため、領域情報と判定結果情報の内容が関連づけられることもできる。例えば、再構成画像内を領域情報に基づいて分割した特定の領域の各点における判定結果を参照することができる。   As an example of the area information, for example, an area in the reconstructed image can be indicated by information of a point cloud or a polyhedron vertex. In the case of volume data, voxel position information indicating the vertexes of a point cloud or polyhedron corresponds. Further, it may be information such as a mathematical expression that divides an area in the reconstructed image, information obtained by grouping position information of voxels, or regularity of position information. Since these pieces of information are values calculated based on the determination result information, the area information and the contents of the determination result information can be associated with each other. For example, the determination result at each point of a specific area obtained by dividing the reconstructed image based on the area information can be referred to.

さらに、領域情報は、必ずしも、判定結果情報と厳密に一致する情報でなくてもよい。再構成画像内の個々のボクセルの判定結果を忠実に反映させることは、必ずしも必要ない場合には、領域情報の精度は粗いものであっても構わない。例えば、再構成画像の解像度が高く、表示画像の解像度が低い場合には、ユーザーの識別の度合いは変わらないのに、表示速度が低下するため、粗い精度の領域情報が必要となる場合がある。   Furthermore, the region information does not necessarily have to be exactly the same as the determination result information. If it is not always necessary to faithfully reflect the determination result of each voxel in the reconstructed image, the accuracy of the region information may be rough. For example, when the resolution of the reconstructed image is high and the resolution of the display image is low, the degree of user identification does not change, but the display speed is reduced, so that area information with coarse accuracy may be required. .

粗い精度の領域情報を生成する方法の例としては、次のような方法がある。すなわち、判定結果情報と表示設定情報に基づいて、表示に必要程度の解像度相当の代表的な点のみを対象とする方法や、判定結果に基づいて分割された領域の境界に近似した境界線、または、境界面に関する数式などの情報で方法などである。なお、領域情報生成時に近似せずに、判定結果情報に含まれる分割された領域の境界面の情報をそのまま、領域情報としてもよい。   As an example of a method for generating region information with coarse accuracy, there is the following method. That is, based on the determination result information and display setting information, a method that targets only representative points corresponding to the resolution necessary for display, a boundary line that approximates the boundary of the region divided based on the determination result, Alternatively, the method is based on information such as a mathematical expression related to the boundary surface. In addition, it is good also as area | region information as it is, without making it approximate at the time of area | region information generation, and the information of the boundary surface of the area | region divided | segmented included in determination result information.

ここで、本発明の実施においては、領域情報の実体が、別のステップで生成された情報
をそのまま利用する場合でも領域情報として扱う。すなわち、本発明の実施時に明確に領域情報を生成するステップがなくとも、画質判定部の判定結果に基づいて再構成画像内の領域を分割した領域に基づいた表示情報を生成するための領域に関する情報であれば、本発明の領域情報といえる。
Here, in the implementation of the present invention, even if the entity of the region information uses the information generated in another step as it is, it is treated as the region information. That is, the present invention relates to a region for generating display information based on a region obtained by dividing a region in a reconstructed image based on a determination result of an image quality determination unit even if there is no step of clearly generating region information when implementing the present invention. If it is information, it can be said that it is area information of the present invention.

本実施例においては、判定結果情報と、画質のよいボクセル群の境界に近似された境界面を示す式を領域情報とする。   In the present embodiment, the determination result information and an expression indicating a boundary surface approximated to the boundary of a voxel group with good image quality are used as region information.

領域情報生成部1004は、生成した領域情報を表示情報生成部1005に送信して、本実施例における画質判定処理を終了する。   The region information generation unit 1004 transmits the generated region information to the display information generation unit 1005, and ends the image quality determination process in this embodiment.

(表示情報生成と表示手順)
図4(c)は、本実施例における表示情報生成部1005が表示情報を生成し、表示部1006が表示する表示手順を示したフローチャートである。表示情報生成部1005が領域情報を取得した時から開始される。
(Display information generation and display procedure)
FIG. 4C is a flowchart illustrating a display procedure in which the display information generation unit 1005 generates display information and the display unit 1006 displays in the present embodiment. The process starts when the display information generation unit 1005 acquires area information.

ステップS901において、表示情報生成部1005は、再構成処理部1002が生成した再構成画像と、画像判定部1003が生成した判定結果情報と、領域情報生成部1004が生成した領域情報に基づいて表示画像情報を生成する。   In step S901, the display information generation unit 1005 displays based on the reconstructed image generated by the reconstruction processing unit 1002, the determination result information generated by the image determination unit 1003, and the region information generated by the region information generation unit 1004. Generate image information.

表示画像情報の例としては、再構成画像をMPR(Multi Planner Reconstruction)で表示するような場合の、再構成画像に、画質の良否により分割された領域の境界線を重畳表示する方法がある。この方法による本発明の情報表示方法における表示部の表示の一例について図7を用いて説明する。   As an example of the display image information, there is a method of superimposing and displaying the boundary lines of regions divided according to the quality of image quality on the reconstructed image when the reconstructed image is displayed by MPR (Multi Planner Reconstruction). An example of display on the display unit in the information display method of the present invention by this method will be described with reference to FIG.

図7は、本発明の表示情報を表示の一例として、表示部に表示された3次元の再構成画像を3断面表示するウインドウの一例を示した図である。表示ウインドウ701は、表示処理を実行するOSにより生成された表示ウインドウである。Axial画像表示領域702
、Coronal画像表示領域703、Sagittal画像表示領域704はそれぞれ、再構成画像のAxial断面、Coronal断面、Sagittal断面を表示する表示ウインドウ701上の表示領域の
例である。斜線の領域として表わされたAxial画像705、Coronal画像706、Sagittal画像707は、それぞれ、被検体の再構成画像のAxial断面、Coronal断面、Sagittal断面の各画像表示の例である。
FIG. 7 is a diagram showing an example of a window for displaying three sections of a three-dimensional reconstructed image displayed on the display unit, using the display information of the present invention as an example of display. A display window 701 is a display window generated by an OS that executes display processing. Axial image display area 702
Coronal image display area 703 and Sagittal image display area 704 are examples of display areas on the display window 701 for displaying the Axial, Coronal, and Sagittal sections of the reconstructed image, respectively. An Axial image 705, a Coronal image 706, and a Sagittal image 707 represented as hatched areas are examples of image display of the Axial, Coronal, and Sagittal sections of the reconstructed image of the subject, respectively.

そして、点線で表わされた境界線708が、本発明の実施例における表示情報に基づいて表示される、画質の良否を識別可能とする境界線表示の一例である。境界線は、表示情報生成時に表示する断面画像ごとに、断面画像の位置に応じて領域情報の境界面(四角錐台の表面を表す式)との交線により算出される。また、本実施例においては、表示画像上の境界線708に囲まれた領域として、画質のよい領域709を識別することができる。   A boundary line 708 represented by a dotted line is an example of a boundary line display that is displayed on the basis of the display information in the embodiment of the present invention and that can identify whether the image quality is good or bad. The boundary line is calculated for each cross-sectional image displayed at the time of generating the display information by intersecting with the boundary surface of the region information (an expression representing the surface of the quadrangular pyramid) according to the position of the cross-sectional image. In the present embodiment, a region 709 with good image quality can be identified as a region surrounded by the boundary line 708 on the display image.

なお、3つの断面図における各画像の表示位置や表示の向き、断面画像を決定する再構成画像内の位置は任意に変更できるため、必ずしも図7の位置や向きのとおりの表示でなくても本発明の実施には支障はない。
また、同じ領域情報に基づいて、境界線や境界面ではなく、領域ごとの色や濃度、透明度を変更して断面画像を表示するように表示情報を生成する方法もある。
In addition, since the display position and display direction of each image in the three cross-sectional views and the position in the reconstructed image for determining the cross-sectional image can be arbitrarily changed, the display is not necessarily the same as the position and orientation in FIG. There is no problem in the implementation of the present invention.
There is also a method of generating display information so that a cross-sectional image is displayed by changing the color, density, and transparency of each region instead of the boundary line or boundary surface based on the same region information.

ボリュームレンダリングにより表示画像を生成した場合には、ボリュームレンダリングの表示画像に投影される各ボクセルの値に領域情報で定まる領域が識別可能となるように反映させることもできる。一例としては、画質のよい領域のボクセル値と画質の悪い領域のボクセル値の透明度に差をつける方法や、色情報や濃度を異なる値にして、領域の相違
の影響を反映させるような方法も実施できる。
When a display image is generated by volume rendering, the region determined by the region information can be reflected in the value of each voxel projected on the volume rendering display image so that the region can be identified. As an example, there is a method of differentiating the transparency of voxel values in areas with good image quality and voxel values in areas with poor image quality, or by changing the color information and density to different values to reflect the effects of area differences. Can be implemented.

さらに、3次元画像との重畳表示以外の方法で、画質の異なる領域を識別可能な表示情報として生成することもできる。例えば、再構成画像内の画質の良否に応じた領域の境界線や境界面を示す数式を表示するような表示情報としてもよい。また、再構成画像内の画質の良い領域、あるいは悪い領域、または、段階的な相違のある領域ごとに、平面や多角形の頂点の座標や点群の情報を表示することもできる。再構成画像内の特定の座標の点、または領域に対する、画質の判定結果に基づいたメッセージやテキストの情報を特性情報の精度の違いを識別可能な表示情報として生成してもよい。   Furthermore, regions having different image quality can be generated as identifiable display information by a method other than superimposed display with a three-dimensional image. For example, the display information may be a display information that displays a boundary line or a boundary surface of an area corresponding to the quality of the image quality in the reconstructed image. It is also possible to display the coordinates and point group information of the vertices of a plane or a polygon for each of the areas with good image quality, bad areas, or areas with stepwise differences in the reconstructed image. Message or text information based on the image quality determination result for a specific coordinate point or region in the reconstructed image may be generated as display information that can identify the difference in accuracy of the characteristic information.

表示情報生成部1005は、生成した表示情報を表示部1006に送信する。   The display information generation unit 1005 transmits the generated display information to the display unit 1006.

ステップS902において、表示部1006は、表示情報に基づいた表示を行う。表示情報生成部がビットマップのような画像を生成した場合は、そのまま、ディスプレイに表示する。JPEG等の圧縮、または、符号化された画像データの場合は、解凍、および複合化して表示してもよい。   In step S902, the display unit 1006 performs display based on the display information. When the display information generation unit generates an image like a bitmap, it is displayed on the display as it is. In the case of compressed or encoded image data such as JPEG, it may be displayed after being decompressed and combined.

以上の手順により、図4(c)で示した本実施例の表示手順を終了する。
以上、説明した手順を実施する本発明の情報表示装置、または、情報表示方法により、再構成画像内における画質の異なる領域を識別可能な情報を表示することができる。
With the above procedure, the display procedure of the present embodiment shown in FIG.
As described above, the information display device or the information display method of the present invention that performs the procedure described above can display information that can identify regions of different image quality in the reconstructed image.

なお、本実施例では、音響波信号計測部1100の音響波検出情報取得手順では、情報処理部1000に音響波検出情報を送信した。しかしながら、音響波検出情報を記録可能なサーバ等の他の装置に送信してもよいし、音響波信号計測部1100が記憶部を設けて記録してもよい。   In this embodiment, in the acoustic wave detection information acquisition procedure of the acoustic wave signal measurement unit 1100, the acoustic wave detection information is transmitted to the information processing unit 1000. However, the acoustic wave detection information may be transmitted to another device such as a server capable of recording, or the acoustic wave signal measurement unit 1100 may record the storage unit.

また、本実施例では、情報処理部1000において、音響波情報取得部1001が音響波信号計測部の計測後に音響波信号計測部1100から送信された音響波検出情報を取得する処理として説明した。しかしながら、音響波情報取得部1001は、音響波信号計測部以外のサーバ等の装置や、記憶されたファイルなどから音響波情報を取得しても、本発明の再構成処理以降の実施例を実施することができる。   Further, in the present embodiment, the information processing unit 1000 has been described as the process in which the acoustic wave information acquisition unit 1001 acquires the acoustic wave detection information transmitted from the acoustic wave signal measurement unit 1100 after measurement by the acoustic wave signal measurement unit. However, even if the acoustic wave information acquisition unit 1001 acquires acoustic wave information from a device such as a server other than the acoustic wave signal measurement unit or a stored file, the embodiments after the reconstruction processing of the present invention are implemented. can do.

さらに、本実施例では、再構成処理部1002が生成した再構成画像と音響波検出情報を画質判定部1003に送られる例として説明した。しかしながら、再構成画像と音響波検出情報を記憶装置に保存し、本実施例の表示手順の実施前に画質判定方法を指定して、画質の判定処理以降の処理を実施する手順で実施してもよい。この場合は、再構成処理は終了しているため、本発明の実施において、短い処理時間で、様々な画質判定方法を適用した表示情報の表示を行うことができる効果もある。   Furthermore, in the present embodiment, the reconstructed image generated by the reconstruction processing unit 1002 and the acoustic wave detection information are described as examples sent to the image quality determination unit 1003. However, the reconstructed image and the acoustic wave detection information are stored in the storage device, the image quality determination method is designated before the display procedure of the present embodiment, and the process after the image quality determination process is performed. Also good. In this case, since the reconstruction process is completed, there is also an effect that display information to which various image quality determination methods are applied can be displayed in a short processing time in the implementation of the present invention.

加えて、本実施例では、画質判定部1003が生成した判定結果情報、領域情報生成部1004が生成した領域情報を記憶装置に保存しておく方法も実施できる。あらかじめ保存されていた判定結果情報を領域情報生成部1004が取得して以降の手順を実施する手順や、あらかじめ保存されていた領域情報を表示情報生成部1005が取得して表示情報を生成する手順であっても、同様に実施することができる。本発明の画質の異なる領域を識別可能な表示情報を表示するまでの処理時間が、さらに短縮される。また、情報処理部1000の必要な機能ブロックのみを具備したソフトウェアのような簡単な構成のソフトウェアでも実施可能となる、といった効果もある。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒
体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
In addition, in this embodiment, a method of storing the determination result information generated by the image quality determination unit 1003 and the region information generated by the region information generation unit 1004 in a storage device can be implemented. A procedure for performing the subsequent procedure after the region information generation unit 1004 acquires the determination result information stored in advance, or a procedure for the display information generation unit 1005 to generate display information by acquiring the region information stored in advance. Even so, it can be similarly implemented. According to the present invention, the processing time until displaying display information that can identify regions having different image quality is further shortened. In addition, there is an effect that it is possible to implement even software having a simple configuration such as software having only necessary function blocks of the information processing unit 1000.
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer of the system or apparatus (or CPU, MPU, etc.) reads the program. To be executed.

1000:情報処理部,1001:音響波情報取得部,1002:再構成処理部,1003:画質判定部,1004:領域情報生成部,1005:表示情報生成部,1100:音響波信号計測部 1000: Information processing unit, 1001: Acoustic wave information acquisition unit, 1002: Reconstruction processing unit, 1003: Image quality determination unit, 1004: Area information generation unit, 1005: Display information generation unit, 1100: Acoustic wave signal measurement unit

Claims (23)

被検体から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、
前記音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得手段と、
前記音響波の検出に関する条件である音響波検出情報を用いて前記複数の注目点における前記特性情報の精度の違いを示す情報を生成する精度情報生成手段と、
前記複数の注目点における前記特性情報と、前記精度の違いを示す情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成し表示手段に表示させる表示情報生成手段と、
を有し、
前記特性情報取得手段は、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する
ことを特徴とする被検体情報取得装置。
A subject information acquisition device that acquires characteristic information in a subject using an acoustic wave signal obtained by detecting acoustic waves generated from the subject by a detection element ,
Using the acoustic wave signal, and the characteristic information obtaining means for obtaining characteristic information of a plurality of target points in the subject,
And accuracy information generating means for generating information indicating the difference in accuracy of the characteristic information of the plurality of target point by using the acoustic wave detection information is a condition for the detection of the acoustic wave,
Said characteristic information in said plurality of target point, and displays the generated display means capable of identifying display information accuracy difference in the characteristic information of the plurality of target point by using the information indicating the difference in the accuracy Display information generating means ;
Have
The characteristic information acquisition means acquires the characteristic information at the plurality of points of interest using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject out of the acoustic wave signals. > An object information acquiring apparatus characterized by that.
前記音響波検出情報を用いて前記特性情報の精度を判定する判定手段をさらに有し、
前記精度情報生成手段は、前記判定手段での判定結果を用いて前記特性情報の精度の違いを示す情報を生成する
ことを特徴とする請求項1に記載の被検体情報取得装置。
A determination means for determining accuracy of the characteristic information using the acoustic wave detection information;
The accuracy information generating means, object information acquiring apparatus according to claim 1, characterized in that to generate the information indicating the difference in accuracy of the characteristic information using the determination result of said determining means.
前記表示情報生成手段は、前記精度の違いを示す情報に基づいて前記複数の特性情報からなる特性情報分布を複数の領域に分割することで前記複数の特性情報の精度の違いを識別可能な表示情報を生成する
ことを特徴とする請求項1または2に記載の被検体情報取得装置。
The display information generating means divides the characteristic information distribution composed of the plurality of characteristic information into a plurality of regions based on the information indicating the difference in accuracy, and can display the difference in accuracy of the plurality of characteristic information object information acquiring apparatus according to claim 1 or 2, characterized in that to generate the information.
前記表示情報生成手段は、前記特性情報分布に前記複数の領域の境界線が重畳表示されるような前記表示情報の生成を行う
ことを特徴とする請求項に記載の被検体情報取得装置。
The object information acquisition apparatus according to claim 3 , wherein the display information generation unit generates the display information such that boundary lines of the plurality of regions are superimposed and displayed on the characteristic information distribution.
被検体から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、  A subject information acquisition device that acquires characteristic information in a subject using an acoustic wave signal obtained by detecting acoustic waves generated from the subject by a detection element,
前記音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得手段と、  Using the acoustic wave signal, characteristic information acquisition means for acquiring characteristic information at a plurality of points of interest in the subject;
前記複数の注目点における前記特性情報と、前記音響波の検出に関する条件である音響波検出情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成し表示手段に表示させる表示情報生成手段と、  Generation of display information that can identify differences in accuracy of the characteristic information at the plurality of points of interest using the characteristic information at the plurality of points of interest and acoustic wave detection information that is a condition relating to detection of the acoustic waves Display information generating means to be displayed on the display means;
を有し、Have
前記特性情報取得手段は、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  The characteristic information acquisition unit acquires the characteristic information at the plurality of points of interest using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject among the acoustic wave signals.
ことを特徴とする被検体情報取得装置。A subject information acquisition apparatus characterized by the above.
前記音響波検出情報には、前記検出素子の位置に関する情報が含まれる
ことを特徴とする請求項1から5のいずれか1項に記載の被検体情報取得装置。
Wherein the acoustic wave detection information, subject information obtaining apparatus according to claims 1, information characterized to include about the position in any one of 5 of the detecting element.
前記音響波検出情報には、前記検出素子の感度および指向性に関する情報がさらに含まれる
ことを特徴とする請求項に記載の被検体情報取得装置。
The object information acquiring apparatus according to claim 6 , wherein the acoustic wave detection information further includes information on sensitivity and directivity of the detection element.
前記特性情報取得手段は、前記音響波検出情報に基づいて、前記注目点ごとに、有効な音響波を検出しうる領域である有効音響波検出領域を算出し、当該有効音響波検出領域に含まれる検出素子の位置に関する情報を用いて前記音響波信号群を抽出する
ことを特徴とする請求項1から7のいずれか1項に記載の被検体情報取得装置。
The characteristic information acquisition unit calculates an effective acoustic wave detection area that is an area where an effective acoustic wave can be detected for each target point based on the acoustic wave detection information, and is included in the effective acoustic wave detection area. subject information obtaining apparatus according to any one of claims 1 to 7 with the information on the position of the detecting element and extracting said acoustic wave signal group.
前記音響波は、光が前記被検体に照射されることにより発生した音響波であるThe acoustic wave is an acoustic wave generated by irradiating the subject with light.
ことを特徴とする請求項1から8のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 1, wherein the object information acquiring apparatus is an object information acquiring apparatus.
前記光を発する光源をさらに有するA light source that emits the light;
ことを特徴とする請求項9に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 9.
前記光源はレーザーまたは発光ダイオードであるThe light source is a laser or a light emitting diode
ことを特徴とする請求項10に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 10.
前記音響波検出情報には、前記被検体に照射された前記光に関する情報が含まれるThe acoustic wave detection information includes information related to the light irradiated on the subject.
ことを特徴とする請求項9から11のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 9, wherein the object information acquiring apparatus is an object information acquiring apparatus.
前記音響波検出情報には、前記光の波長、前記光の照射のタイミング、前記光の波形、または、前記光の強度が含まれるThe acoustic wave detection information includes the wavelength of the light, the timing of irradiation of the light, the waveform of the light, or the intensity of the light.
ことを特徴とする請求項12に記載の被検体情報取得装置。The subject information acquiring apparatus according to claim 12.
前記音響波検出情報には、前記音響波信号群の数が含まれるThe acoustic wave detection information includes the number of acoustic wave signal groups.
ことを特徴とする請求項1から13のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 1, wherein the object information acquiring apparatus is an object information acquiring apparatus.
前記音響波検出情報を記録する記録手段をさらに有するIt further has a recording means for recording the acoustic wave detection information.
ことを特徴とする請求項1から14のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 1, wherein:
前記音響波検出情報を操作指示により入力できるように構成された入力手段をさらに有するIt further has an input means configured to be able to input the acoustic wave detection information by an operation instruction.
ことを特徴とする請求項1から15のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to claim 1, wherein the object information acquiring apparatus is an object information acquiring apparatus.
前記表示情報生成手段は、前記特性情報の精度が所定の範囲に含まれる注目点における前記特性情報を表示可能な前記表示情報を生成するThe display information generation unit generates the display information capable of displaying the characteristic information at a point of interest whose accuracy of the characteristic information is included in a predetermined range.
ことを特徴とする請求項1から16のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to any one of claims 1 to 16, wherein
前記表示情報生成手段は、前記特性情報の精度に応じて前記複数の注目点における前記特性情報の色を変更した前記表示情報を生成するThe display information generation unit generates the display information in which the color of the characteristic information at the plurality of attention points is changed according to the accuracy of the characteristic information.
ことを特徴とする請求項1から16のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to any one of claims 1 to 16, wherein
前記表示情報生成手段は、前記特性情報の精度に応じて前記複数の注目点における前記特性情報の透明度を変更した前記表示情報を生成するThe display information generation unit generates the display information in which the transparency of the characteristic information at the plurality of attention points is changed according to the accuracy of the characteristic information.
ことを特徴とする請求項1から16のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to any one of claims 1 to 16, wherein
前記表示情報生成手段は、前記複数の注目点における前記特性情報の画像と、前記特性情報の精度を識別可能なアノテーションと、を含む前記表示情報を生成するThe display information generation unit generates the display information including an image of the characteristic information at the plurality of points of interest and an annotation capable of identifying the accuracy of the characteristic information.
ことを特徴とする請求項1から16のいずれか1項に記載の被検体情報取得装置。The object information acquiring apparatus according to any one of claims 1 to 16, wherein
被検体内の特性情報を表示する表示制御方法であって、
被検体内から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得ステップと、
前記音響波の検出に関する条件である音響波検出情報を用いて前記複数の注目点における前記特性情報の精度の違いを示す情報を生成する精度情報生成ステップと、
前記複数の注目点における前記特性情報と、前記精度の違いを示す情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、
前記表示情報を表示させるステップと、
を有し、
前記特性情報取得ステップでは、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する
ことを特徴とする表示制御方法。
A display control method for displaying characteristic information in a subject,
Using an acoustic wave signal obtained by detecting the detection device an acoustic wave generated from the object, and the characteristic information obtaining step of obtaining characteristic information of a plurality of target points in the subject,
And accuracy information generating step of generating information indicating a difference in accuracy of the characteristic information of the plurality of target point by using the acoustic wave detection information is a condition for the detection of the acoustic wave,
It said characteristic information in said plurality of target point, and information indicating a difference in the accuracy, and the display information generating step of generating the characteristic identifiable display information a difference in accuracy of information in the plurality of target point using ,
Displaying the display information;
I have a,
In the characteristic information acquisition step, the characteristic information at the plurality of points of interest is acquired using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject out of the acoustic wave signals. > A display control method characterized by that.
被検体内の特性情報を表示する表示制御方法であって、  A display control method for displaying characteristic information in a subject,
被検体内から発生した音響波を検出素子が検出することにより得られた音響波信号を用いて、前記被検体内の複数の注目点における特性情報を取得する特性情報取得ステップと、  A characteristic information acquisition step of acquiring characteristic information at a plurality of points of interest in the subject using an acoustic wave signal obtained by detecting acoustic waves generated from within the subject,
前記複数の注目点における前記特性情報と、前記音響波の検出に関する条件である音響波検出情報と、を用いて前記複数の注目点における前記特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、  Generation of display information that can identify differences in accuracy of the characteristic information at the plurality of points of interest using the characteristic information at the plurality of points of interest and acoustic wave detection information that is a condition relating to detection of the acoustic waves Display information generation step to perform,
前記表示情報を表示させるステップと、  Displaying the display information;
を有し、Have
前記特性情報取得ステップでは、前記音響波信号のうち、前記被検体内の注目点からの音響波に起因する音響波信号群を用いて前記複数の注目点における前記特性情報を取得する  In the characteristic information acquisition step, among the acoustic wave signals, the characteristic information at the plurality of points of interest is acquired using an acoustic wave signal group resulting from an acoustic wave from the point of interest in the subject.
ことを特徴とする表示制御方法。A display control method characterized by the above.
請求項21または22に記載の表示制御方法の各ステップをコンピュータに実行させるためのプログラム。   A program for causing a computer to execute each step of the display control method according to claim 21 or 22.
JP2011139455A 2011-06-23 2011-06-23 Subject information acquisition apparatus, display control method, and program Expired - Fee Related JP5847454B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011139455A JP5847454B2 (en) 2011-06-23 2011-06-23 Subject information acquisition apparatus, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011139455A JP5847454B2 (en) 2011-06-23 2011-06-23 Subject information acquisition apparatus, display control method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015229944A Division JP6072206B2 (en) 2015-11-25 2015-11-25 SUBJECT INFORMATION ACQUISITION DEVICE AND DISPLAY METHOD

Publications (2)

Publication Number Publication Date
JP2013005871A JP2013005871A (en) 2013-01-10
JP5847454B2 true JP5847454B2 (en) 2016-01-20

Family

ID=47673782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011139455A Expired - Fee Related JP5847454B2 (en) 2011-06-23 2011-06-23 Subject information acquisition apparatus, display control method, and program

Country Status (1)

Country Link
JP (1) JP5847454B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984547B2 (en) * 2012-07-17 2016-09-06 キヤノン株式会社 Subject information acquisition apparatus and control method thereof
JP6192297B2 (en) * 2013-01-16 2017-09-06 キヤノン株式会社 SUBJECT INFORMATION ACQUISITION DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP6049215B2 (en) 2014-01-16 2016-12-21 富士フイルム株式会社 Photoacoustic measurement apparatus, signal processing apparatus and signal processing method used therefor
JP6454605B2 (en) 2015-06-01 2019-01-16 東芝メモリ株式会社 Substrate processing method and substrate processing apparatus
JP6739099B2 (en) * 2016-09-02 2020-08-12 国立大学法人京都大学 Photoacoustic information processing method, photoacoustic information processing program, and photoacoustic information processing apparatus
JP7039938B2 (en) * 2017-06-27 2022-03-23 ソニーグループ株式会社 Information processing equipment and methods, as well as information processing systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161674A (en) * 2006-12-04 2008-07-17 Matsushita Electric Ind Co Ltd Ultrasonic diagnostic apparatus
EP1935346A1 (en) * 2006-12-21 2008-06-25 Stichting voor de Technische Wetenschappen Imaging apparatus and method
CN101568941A (en) * 2006-12-26 2009-10-28 皇家飞利浦电子股份有限公司 Medical imaging system
JP5430203B2 (en) * 2009-03-31 2014-02-26 キヤノン株式会社 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2013005871A (en) 2013-01-10

Similar Documents

Publication Publication Date Title
JP6192297B2 (en) SUBJECT INFORMATION ACQUISITION DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
JP5917037B2 (en) Subject information acquisition apparatus and subject information acquisition method
JP5761935B2 (en) Subject information acquisition apparatus, subject information acquisition method, and subject information acquisition program
JP5496031B2 (en) Acoustic wave signal processing apparatus, control method thereof, and control program
JP5984547B2 (en) Subject information acquisition apparatus and control method thereof
JP6253323B2 (en) Subject information acquisition apparatus and control method thereof
JP6071260B2 (en) Subject information acquisition apparatus and information processing method
JP5847454B2 (en) Subject information acquisition apparatus, display control method, and program
US10064556B2 (en) Photoacoustic apparatus, signal processing method of photoacoustic apparatus, and program
JP6742734B2 (en) Object information acquisition apparatus and signal processing method
WO2018043193A1 (en) Information acquisition device and signal processing method
JP6072206B2 (en) SUBJECT INFORMATION ACQUISITION DEVICE AND DISPLAY METHOD
JP6234518B2 (en) Information processing apparatus and information processing method
JP2018192309A (en) Information processing device, information processing method, and program
JP6400068B2 (en) Information processing apparatus and information processing method
JP6645693B2 (en) Subject information acquisition device and control method therefor
JP2018012027A (en) Structure of recorded data
JP2017164222A (en) Processing device and processing method
JP6625182B2 (en) Information processing apparatus, information processing method and program
JP7077384B2 (en) Subject information acquisition device
JP6942847B2 (en) Subject information acquisition device and signal processing method
JP2022034766A (en) Image forming method, image forming program, and image forming device
JP2017086173A (en) Subject information acquisition device and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151125

R151 Written notification of patent or utility model registration

Ref document number: 5847454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees