Nothing Special   »   [go: up one dir, main page]

JP5148310B2 - Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program - Google Patents

Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program Download PDF

Info

Publication number
JP5148310B2
JP5148310B2 JP2008028027A JP2008028027A JP5148310B2 JP 5148310 B2 JP5148310 B2 JP 5148310B2 JP 2008028027 A JP2008028027 A JP 2008028027A JP 2008028027 A JP2008028027 A JP 2008028027A JP 5148310 B2 JP5148310 B2 JP 5148310B2
Authority
JP
Japan
Prior art keywords
section
cross
axis
long
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008028027A
Other languages
Japanese (ja)
Other versions
JP2009183557A (en
Inventor
俊介 佐藤
仁 山形
武博 江馬
康太 青柳
恭子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP2008028027A priority Critical patent/JP5148310B2/en
Publication of JP2009183557A publication Critical patent/JP2009183557A/en
Application granted granted Critical
Publication of JP5148310B2 publication Critical patent/JP5148310B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

この発明は、画像処理装置、超音波診断装置および断面抽出プログラムに関する。   The present invention relates to an image processing apparatus, an ultrasonic diagnostic apparatus, and a cross-section extraction program.

従来より、心臓疾患は、「がん」および「脳血管疾患(脳卒中)」とともに、日本人における三大死因の一つに挙げられている。また、近年、人口年齢構成の高齢化にともない、心臓疾患を発症する患者数は、増加傾向にある。   Traditionally, heart disease has been listed as one of the three leading causes of death in Japanese, along with “cancer” and “cerebrovascular disease (stroke)”. In recent years, with the aging of the population age structure, the number of patients who develop heart disease has been increasing.

心臓疾患は、心筋の酸素欠乏によって発症する病気であり、代表的なものとして、狭心症と心筋梗塞とがある。狭心症は、心筋に血液を送って酸素を供給する冠動脈の異常により心筋が一過性の虚血状態となり、胸痛や胸部圧迫感などの症状が起こるものであり、心筋梗塞は、冠動脈が完全に閉塞したり、冠動脈が著しく狭窄したりすることにより、心筋が壊死した状態となり、不整脈などの心機能低下が起こるものであり、心筋の梗塞範囲によっては、突然死に至る場合がある。   Heart disease is a disease that develops due to a lack of oxygen in the myocardium, and typical examples include angina pectoris and myocardial infarction. Angina is a condition in which the myocardium becomes transiently ischemic due to abnormalities in the coronary arteries that send blood to the heart muscle and supply oxygen, causing symptoms such as chest pain and chest compressions. When the blockage is completely occluded or the coronary artery is significantly narrowed, the myocardium becomes necrotic, and cardiac function such as arrhythmia is reduced. Depending on the infarct area of the myocardium, sudden death may occur.

従って、心臓疾患による死亡を予防するためには、心筋梗塞が起きているかを診断し、心筋梗塞が起きているならば、心筋の梗塞領域を正確に把握して、心筋梗塞の原因となっている冠動脈の閉塞部位や狭窄部位を特定して治療を行なうことが重要となる。   Therefore, to prevent death due to heart disease, diagnose whether myocardial infarction has occurred, and if myocardial infarction has occurred, accurately grasp the infarct area of myocardium and cause myocardial infarction. It is important to perform treatment by identifying the occlusion site or stenosis site of the coronary artery.

心筋の梗塞領域を診断する方法としては、心臓負荷試験(心ストレス試験)と超音波診断装置による撮影とを組み合わせた診断方法が知られている。ここで、心臓負荷試験は、運動や薬剤によって被検体の心臓に負荷をかけることで、心臓の動きを激しくさせるものであり、冠動脈に何らかの異常がある場合、激しくなった心臓の動きに対応した酸素供給が不十分となり、平常時には現れない心臓の変化を顕在化することができる。   As a method for diagnosing an infarct region of the myocardium, a diagnostic method combining a cardiac stress test (cardiac stress test) and imaging with an ultrasonic diagnostic apparatus is known. Here, the cardiac load test is to increase the heart movement by applying a load to the subject's heart with exercise or drugs. When there is any abnormality in the coronary artery, it responded to the heart movement that became intense. Oxygen supply is inadequate, and changes in the heart that do not appear in normal times can be manifested.

すなわち、この診断方法においては、心臓負荷試験を行なう前後で、超音波診断装置により被検体の心臓が時系列に沿ってそれぞれ撮影され、撮影された画像間で心壁の運動状態を比較および評価される。そして、心臓負荷試験後に撮影された画像において、動きが激しくなった正常な心筋と比較して動きが少ない心筋の領域が、梗塞領域として特定され、特定された梗塞領域を撮影された画像上で表示することで、梗塞領域の可視化が行なわれ、医師は、可視化された梗塞領域を参照して、診断を行なう。   That is, in this diagnostic method, the heart of the subject is photographed in time series by the ultrasonic diagnostic apparatus before and after the cardiac load test, and the motion state of the heart wall is compared and evaluated between the captured images. Is done. Then, in the image taken after the cardiac load test, the myocardial region with less movement compared to the normal myocardium with intense movement is identified as the infarct region, and the identified infarct region is displayed on the photographed image. By displaying, the infarct region is visualized, and the doctor makes a diagnosis with reference to the visualized infarct region.

このような心壁運動評価および梗塞領域可視化のための画像処理は、従来、超音波診断装置が撮影した2次元画像に対して行なわれていたが、近年、2次元超音波プローブを用いて立体的な画像(3次元画像)を時系列に沿った動画(4次元画像)として撮影する超音波診断装置(例えば、特許文献1を参照)が実用化されていることにともない、3次元画像に対してこれらの画像処理を行なうことが実用段階に入っている。   Such image processing for evaluating the cardiac wall motion and visualizing the infarct region has been conventionally performed on a two-dimensional image taken by an ultrasonic diagnostic apparatus. Recently, a three-dimensional image is obtained using a two-dimensional ultrasonic probe. As an ultrasonic diagnostic apparatus (see, for example, Patent Document 1) that captures a typical image (three-dimensional image) as a time-series moving image (four-dimensional image) has been put into practical use, the three-dimensional image On the other hand, performing such image processing is in a practical stage.

しかし、実際の診断において、梗塞領域が可視化された4次元画像がそのまま参照して使用されることはない。一般的には、医師は、梗塞領域が可視化されて表示されている4次元画像から注目する3次元画像を選択し、選択した3次元画像において、さらに注目する断面(例えば、梗塞領域が広く含まれている断面)を設定する。超音波診断装置、あるいは、画像処理装置は、時系列に沿った複数の3次元画像それぞれから、設定された断面に対応する2次元画像を抽出して、これら抽出された2次元画像を時系列に沿った動画(2次元動画像)として表示する。そして、医師は、表示された動画を参照して心筋の梗塞領域を診断する。   However, in actual diagnosis, a four-dimensional image in which an infarct region is visualized is not used as it is. In general, a doctor selects a 3D image of interest from a 4D image in which an infarct region is visualized and displayed, and the selected 3D image further includes a cross section of interest (for example, an infarct region widely included). Set cross section). The ultrasonic diagnostic apparatus or the image processing apparatus extracts a two-dimensional image corresponding to a set cross section from each of a plurality of three-dimensional images along the time series, and uses the extracted two-dimensional images as a time series. Is displayed as a moving image (two-dimensional moving image). Then, the doctor diagnoses the infarct region of the myocardium with reference to the displayed moving image.

特開2000−132664号公報JP 2000-132664 A

ところで、上記した従来の技術は、心筋梗塞の診断が正確かつ迅速に行なえないという課題があった。   By the way, the above-described conventional technique has a problem that diagnosis of myocardial infarction cannot be performed accurately and quickly.

超音波診断装置によって撮影された画像から作成された2次元動画像を用いて心臓の梗塞を観察する際に、医師が注目するのは、「梗塞領域の位置」とともに、「梗塞領域の大きさ」である。梗塞領域の位置や大きさを正確に観察するためには、診断に用いられる2次元動画像を構成する複数の2次元画像それぞれにおいて、梗塞領域が、確実に表示されていることが重要である。しかし、心臓は拍動しており、上下運動や捩れを繰り返しているため、上記のように、断面を一つの方向に設定して固定してしまうと、撮影された複数の3次元画像から抽出される2次元画像において、梗塞領域が外れてしまう場合があり、梗塞領域が外れて表示される2次元動画像を参照しても、医師は、心筋梗塞の診断を正確に行なえない。   When observing a heart infarction using a two-dimensional moving image created from an image photographed by an ultrasonic diagnostic apparatus, doctors pay attention to the “position of the infarct region” as well as “the size of the infarct region” Is. In order to accurately observe the position and size of the infarct region, it is important that the infarct region is reliably displayed in each of a plurality of two-dimensional images constituting a two-dimensional moving image used for diagnosis. . However, since the heart is beating and repeatedly moving up and down and twisting, as described above, if the cross section is set in one direction and fixed, it is extracted from a plurality of captured three-dimensional images. In some cases, the infarct region may be removed from the two-dimensional image, and the doctor cannot accurately diagnose the myocardial infarction even when referring to the two-dimensional moving image displayed outside the infarct region.

これに対処するためには、時系列に沿った3次元画像それぞれにおいて梗塞領域を広く含む断面を手動で設定して2次元画像を抽出し、これを2次元動画像として表示する必要がある。このため、梗塞領域の位置を的確に把握することができる2次元動画像を表示するために、時間がかかり、医師は、心筋梗塞の診断を迅速に行なえない。   In order to cope with this, it is necessary to manually set a cross section including an infarct region in each of the three-dimensional images along the time series, extract a two-dimensional image, and display this as a two-dimensional moving image. For this reason, it takes time to display a two-dimensional moving image that can accurately grasp the position of the infarct region, and the doctor cannot quickly diagnose myocardial infarction.

また、2次元画像それぞれに表示されている梗塞領域の大きさを測定する際には、計測機器を用いた手動による測定を行なう必要がある。このため、梗塞領域の大きさを測定するために、時間がかかり、医師は、心筋の梗塞領域を迅速に診断することができない。   Further, when measuring the size of the infarct region displayed in each two-dimensional image, it is necessary to perform manual measurement using a measuring device. For this reason, it takes time to measure the size of the infarct region, and the doctor cannot quickly diagnose the infarct region of the myocardium.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、心筋梗塞の診断を正確かつ迅速に行なうことが可能になる画像処理装置、超音波診断装置および断面抽出プログラムを提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an image processing apparatus, an ultrasonic diagnosis apparatus, and a cross-section extraction program capable of accurately and quickly diagnosing myocardial infarction. The purpose is to provide.

上述した課題を解決し、目的を達成するため、発明は、被検体の心臓に対して送信した超音波の反射波に基づいて時系列に沿って生成された複数の3次元画像それぞれから、当該被検体の心臓における梗塞領域を含む断面を抽出する画像処理装置であって、前記被検体の心臓を含む前記複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手段と、所定の表示部において、前記長軸断面抽出手段によって抽出された前記長軸断面を時系列に沿って表示するように制御する表示制御手段と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention includes, from each of a plurality of three-dimensional images generated along a time series based on reflected ultrasonic waves transmitted to the subject's heart, An image processing apparatus for extracting a cross section including an infarct region in a heart of the subject, wherein each of the plurality of three-dimensional images including the heart of the subject includes a long axis of the subject heart. From the long-axis cross-section extracting means for extracting a long-axis cross-section that is a cross-section that maximizes the area of the area intersecting with the infarct region, and the long-axis cross-section extracted by the long-axis cross-section extracting means in a predetermined display unit Display control means for controlling the display so as to be displayed in time series.

また、発明は、被検体の心臓に対して送信した超音波の反射波に基づいて、当該被検体の心臓を含む複数の3次元画像を時系列に沿って生成する超音波診断装置であって、前記複数の3次元画像それぞれに含まれる前記被検体の心臓における長軸を抽出する長軸抽出手段と、前記複数の3次元画像それぞれに含まれる前記被検体の心臓における梗塞領域を抽出する梗塞領域抽出手段と、前記複数の3次元画像それぞれにおいて、前記長軸抽出手段によって抽出された前記長軸を含む断面の中から、前記梗塞領域抽出手段によって抽出された前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手段と、所定の表示部において、前記長軸断面抽出手段によって抽出された前記長軸断面を時系列に沿って表示するように制御する表示制御手段と、を備えたことを特徴とする。 The present invention is also an ultrasonic diagnostic apparatus that generates a plurality of three-dimensional images including a heart of the subject along a time series based on an ultrasonic reflected wave transmitted to the subject's heart. A long-axis extracting unit that extracts a long axis in the subject's heart included in each of the plurality of three-dimensional images, and an infarct region in the subject's heart included in each of the plurality of three-dimensional images. In each of the plurality of three-dimensional images, an infarct region extracting unit and a region intersecting with the infarct region extracted by the infarct region extracting unit from the cross section including the long axis extracted by the long axis extracting unit. A long-axis cross-section extracting unit that extracts a long-axis cross-section that has a maximum area, and a long-term cross-section extracted by the long-axis cross-section extracting unit in a predetermined display unit in time series. And display control means for controlling to that comprising the.

また、発明は、被検体の心臓に対して送信した超音波の反射波に基づいて時系列に沿って生成された複数の3次元画像それぞれから、当該被検体の心臓における梗塞領域を含む断面を抽出する断面抽出方法をコンピュータに実行させる断面抽出プログラムであって、前記被検体の心臓を含む前記複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手順と、所定の表示部において、前記長軸断面抽出手順によって抽出された前記長軸断面を時系列に沿って表示するように制御する表示制御手順と、をコンピュータに実行させることを特徴とする。 In addition, the present invention provides a cross section including an infarct region in the subject's heart from each of a plurality of three-dimensional images generated in time series based on the reflected wave of the ultrasonic wave transmitted to the subject's heart. A cross-section extraction program for causing a computer to execute a cross-section extraction method for extracting a cross-section, wherein each of the plurality of three-dimensional images including the heart of the subject includes a cross-section including a long axis of the subject's heart. A long-axis cross-section extraction procedure for extracting a long-axis cross-section that is a cross-section that maximizes the area of the area intersecting with the infarct region, and the long-axis cross-section extracted by the long-axis cross-section extraction procedure in a predetermined display unit in time series And a display control procedure for controlling the display so as to be displayed along the screen.

発明によれば、心筋梗塞の診断を正確かつ迅速に行なうことが可能になる。 According to the present invention, diagnosis of myocardial infarction can be performed accurately and quickly.

以下に添付図面を参照して、この発明に係る画像処理装置、超音波診断装置および断面抽出プログラムの好適な実施例を詳細に説明する。なお、以下では、この発明に係る断面抽出プログラムを含んで構成される画像処理装置を実施例として説明する。   Exemplary embodiments of an image processing apparatus, an ultrasonic diagnostic apparatus, and a cross-section extraction program according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, an image processing apparatus configured to include a cross-section extraction program according to the present invention will be described as an embodiment.

まず、本実施例における画像処理装置の構成について説明する。図1は、本実施例における画像処理装置の構成を説明するための図である。図1に示すように、本実施例における画像処理装置10は、入力部11と、出力部12と、通信部13と、入出力制御I/F部14と、記憶部15と、処理部16とから構成され、さらに、超音波診断装置20と接続される。   First, the configuration of the image processing apparatus in this embodiment will be described. FIG. 1 is a diagram for explaining the configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the image processing apparatus 10 in this embodiment includes an input unit 11, an output unit 12, a communication unit 13, an input / output control I / F unit 14, a storage unit 15, and a processing unit 16. And is further connected to the ultrasonic diagnostic apparatus 20.

超音波診断装置20は、複数の超音波振動子がマトリックス(格子)状に配置された2次元超音波プローブを備え、時系列に沿った3次元画像が生成可能な装置であり、本実施例においては、超音波診断装置20は、2次元超音波プローブから被検体の心臓に対して送信された超音波の反射波に基づいて、当該被検体の心臓を含む複数の3次元画像を時系列に沿って生成する。   The ultrasonic diagnostic apparatus 20 includes a two-dimensional ultrasonic probe in which a plurality of ultrasonic transducers are arranged in a matrix (lattice), and can generate a three-dimensional image in time series. In the ultrasonic diagnostic apparatus 20, a plurality of three-dimensional images including the subject's heart are time-series based on the reflected wave of the ultrasound transmitted from the two-dimensional ultrasound probe to the subject's heart. Generate along.

なお、本実施例における超音波診断装置20は、被検体の心臓を含む3次元画像から、心筋の梗塞領域および心臓の解剖学的長軸を抽出する機能を備えている。具体的には、本実施例における超音波診断装置20は、心臓負荷試験前の平常時における心臓を撮影して、時系列に沿った複数の3次元画像を生成し、心臓負荷試験後の拍動が激しくなった心臓を撮影して、時系列に沿った複数の3次元画像を生成する。そして、心臓負荷試験前の心臓を含む複数の3次元画像と比較して、心臓負荷試験後の心臓を含む複数の3次元画像それぞれにおいて、動きが少ない心筋の領域を梗塞領域としてそれぞれ抽出する。   The ultrasonic diagnostic apparatus 20 according to the present embodiment has a function of extracting an infarct region of the myocardium and an anatomical long axis of the heart from a three-dimensional image including the heart of the subject. Specifically, the ultrasonic diagnostic apparatus 20 in the present embodiment images the heart in a normal state before the heart load test, generates a plurality of three-dimensional images along the time series, and generates a beat after the heart load test. A heart that has become intensely moving is imaged to generate a plurality of three-dimensional images along a time series. Then, compared with a plurality of three-dimensional images including the heart before the heart stress test, a myocardial region with less motion is extracted as an infarct region in each of the plurality of three-dimensional images including the heart after the heart stress test.

さらに、本実施例における超音波診断装置20は、例えば、心臓負荷試験後の心臓を含む複数の3次元画像それぞれにおいて、心壁の輪郭と左右の心臓弁とを抽出し、この左右の心臓弁それぞれの付け根を結ぶ線分の中点からの距離が最大となる心壁上の点を特定する。そののち、本実施例における超音波診断装置20は、心臓負荷試験後の心臓を含む複数の3次元画像それぞれにおいて、中点と特定された心壁上の点とを通る直線を、心臓の解剖学的な長軸(以下、「長軸」と省略して記す場合がある)として抽出する。   Furthermore, the ultrasonic diagnostic apparatus 20 according to the present embodiment extracts, for example, the contour of the heart wall and the left and right heart valves in each of a plurality of three-dimensional images including the heart after the cardiac load test. The point on the heart wall where the distance from the midpoint of the line segment connecting each root is the maximum is specified. After that, the ultrasonic diagnostic apparatus 20 according to the present embodiment uses a straight line passing through the midpoint and the identified point on the heart wall in each of a plurality of three-dimensional images including the heart after the cardiac stress test to analyze the heart. It is extracted as a scientific major axis (hereinafter sometimes abbreviated as “major axis”).

そして、本実施例における超音波診断装置20は、抽出された長軸および梗塞領域それぞれを、対応する3次元画像(ボリュームデータ)それぞれの座標空間に配置し、長軸および梗塞領域が配置された複数の3次元画像を時系列に沿って記憶する。   The ultrasonic diagnostic apparatus 20 according to the present embodiment arranges the extracted long axis and the infarct region in the coordinate space of each corresponding three-dimensional image (volume data), and the long axis and the infarct region are arranged. A plurality of three-dimensional images are stored in time series.

ここで、本実施例における画像処理装置10は、上述した超音波診断装置20が記憶する「長軸と梗塞領域とが抽出された心臓負荷試験後の心臓を含む時系列に沿った複数の3次元画像」それぞれから、被検体の心臓における梗塞領域を含む断面画像(2次元画像)を抽出することを概要とし、心筋梗塞の診断を正確かつ迅速に行なうことが可能になることに主たる特徴がある。なお、以下では、「長軸と梗塞領域とが抽出された心臓負荷試験後の心臓を含む時系列に沿った複数の3次元画像」を、「時系列に沿った複数の3次元画像」と省略して記述する場合がある。   Here, the image processing apparatus 10 according to the present embodiment stores a plurality of 3 in time series including the heart after the cardiac load test in which the long axis and the infarct region are extracted, which is stored in the ultrasonic diagnostic apparatus 20 described above. The main feature is that a cross-sectional image (two-dimensional image) including an infarct region in the subject's heart is extracted from each of the “dimensional images”, and the diagnosis of myocardial infarction can be performed accurately and quickly. is there. In the following, “a plurality of three-dimensional images along the time series including the heart after the cardiac stress test in which the long axis and the infarct region are extracted” is referred to as “a plurality of three-dimensional images along the time series”. Sometimes omitted.

この主たる特徴について、図1とともに、図2〜図9を用いて説明する。図2は、3次元画像記憶部を説明するための図であり、図3は、長軸断面抽出部の処理を説明するための図であり、図4および図5は、長軸断面抽出部によって抽出される長軸断面を説明するための図であり、図6は、梗塞サイズ算出部を説明するための図であり、図7および図8は、短軸断面抽出部によって抽出される短軸断面を説明するための図であり、図9は、短軸断面抽出部の変形例を説明するための図である。   This main feature will be described with reference to FIGS. 2 to 9 together with FIG. FIG. 2 is a diagram for explaining the three-dimensional image storage unit, FIG. 3 is a diagram for explaining processing of the long-axis cross-section extraction unit, and FIGS. 4 and 5 are long-axis cross-section extraction units. FIG. 6 is a diagram for explaining the infarct size calculation unit, and FIGS. 7 and 8 are diagrams for explaining the short axis extracted by the short axis cross-section extraction unit. FIG. 9 is a diagram for explaining the axial section, and FIG. 9 is a diagram for explaining a modification of the short-axis section extracting unit.

入力部11は、各種情報を入力し、マウスやキーボードなどを備え、特に本発明に密接に関連するものとしては、画像処理装置10の操作者(例えば、超音波診断装置20によって撮影された画像を読影して診断を行なう医師)からの断面画像表示要求を受け付けて入力する。   The input unit 11 inputs various types of information and includes a mouse, a keyboard, and the like, and particularly as closely related to the present invention, an operator of the image processing apparatus 10 (for example, an image photographed by the ultrasonic diagnostic apparatus 20). Accepts and inputs a cross-sectional image display request from a doctor who makes a diagnosis by interpreting.

出力部12は、各種情報を出力し、モニタやスピーカなどを備え、特に本発明に密接に関連するものとしては、後述する長軸断面抽出部16a、梗塞サイズ算出部16bおよび短軸断面抽出部16cによる処理結果を、後述する表示制御部16dによる制御に基づいて、モニタに表示する。   The output unit 12 outputs various types of information and includes a monitor, a speaker, and the like, and particularly those closely related to the present invention include a long-axis section extraction unit 16a, an infarct size calculation unit 16b, and a short-axis section extraction unit described later. The processing result by 16c is displayed on a monitor based on control by a display control unit 16d described later.

通信部13は、他の装置と通信を行い、特に本発明に密接に関連するものとしては、超音波診断装置20から、「時系列に沿った複数の3次元画像」を受信し、受信した「時系列に沿った複数の3次元画像」を、後述する3次元画像記憶部15aに、入出力制御I/F部14を介して転送する。   The communication unit 13 communicates with other devices, and particularly as closely related to the present invention, receives and receives “a plurality of three-dimensional images in time series” from the ultrasound diagnostic device 20. “A plurality of three-dimensional images in time series” is transferred to a three-dimensional image storage unit 15 a described later via the input / output control I / F unit 14.

入出力制御I/F部14は、入力部11、出力部12および通信部13と、記憶部15および処理部16との間におけるデータ転送を制御する。   The input / output control I / F unit 14 controls data transfer between the input unit 11, the output unit 12, the communication unit 13, the storage unit 15, and the processing unit 16.

記憶部15は、処理部16による処理に用いられるデータや、処理部16による処理結果を記憶し、特に本発明に密接に関連するものとしては、図1に示すように、3次元画像記憶部15aと、抽出断面記憶部15bと、梗塞サイズ記憶部15cとを備える。   The storage unit 15 stores data used for processing by the processing unit 16 and the processing result by the processing unit 16, and particularly as closely related to the present invention, as shown in FIG. 15a, an extracted cross-section storage unit 15b, and an infarct size storage unit 15c.

3次元画像記憶部15aは、超音波診断装置20から受信した「時系列に沿った複数の3次元画像」を記憶する。   The three-dimensional image storage unit 15 a stores “a plurality of three-dimensional images along a time series” received from the ultrasonic diagnostic apparatus 20.

例えば、図2に示すように、3次元画像記憶部15aは、「左右の心臓弁の付け根を結んだ線分」および「心壁の輪郭」に基づいて抽出された「長軸」と、心臓負荷試験前の平常時における心臓を含む複数の3次元画像と比較して抽出された「梗塞領域」とが座標空間に配置されたボリュームデータである「時系列に沿った複数の3次元画像」を記憶する。   For example, as illustrated in FIG. 2, the three-dimensional image storage unit 15 a includes a “long axis” extracted based on “the line segment connecting the roots of the left and right heart valves” and “the contour of the heart wall”, the heart “Multiple three-dimensional images along time series” is volume data in which “infarct regions” extracted in comparison with a plurality of three-dimensional images including the heart in a normal state before the load test are arranged in a coordinate space. Remember.

抽出断面記憶部15bは、後述する長軸断面抽出部16aによって抽出され生成された長軸断面のデータと、後述する短軸断面抽出部16cによって抽出され生成された短軸断面のデータとを記憶し、梗塞サイズ記憶部15cは、後述する梗塞サイズ算出部16bが算出した梗塞領域のサイズを記憶する。なお、これらについては後述する。   The extracted cross-section storage unit 15b stores long-axis cross-section data extracted and generated by a long-axis cross-section extraction unit 16a described later, and short-axis cross-section data extracted and generated by a short-axis cross-section extraction unit 16c described later. The infarct size storage unit 15c stores the size of the infarct region calculated by the infarct size calculation unit 16b described later. These will be described later.

処理部16は、OS(Operating System)などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行し、特に本発明に密接に関連するものとしては、図1に示すように、長軸断面抽出部16aと、梗塞サイズ算出部16bと、短軸断面抽出部16cと、表示制御部16dとを備える。ここで、長軸断面抽出部16aは、特許請求の範囲に記載の「長軸断面抽出手段」に対応し、梗塞サイズ算出部16bは、同じく「算出手段」に対応し、短軸断面抽出部16cは、同じく「短軸断面抽出手段」に対応し、表示制御部16dは、同じく「表示制御手段」に対応する。   The processing unit 16 includes an internal memory for storing a control program such as an OS (Operating System), a program that defines various processing procedures, and necessary data, and executes various processes using these, and in particular, the present invention. As shown in FIG. 1, the information processing apparatus includes a long-axis section extraction unit 16a, an infarct size calculation unit 16b, a short-axis section extraction unit 16c, and a display control unit 16d. Here, the long-axis cross-section extraction unit 16a corresponds to the “long-axis cross-section extraction unit” described in the claims, and the infarct size calculation unit 16b also corresponds to the “calculation unit”, and the short-axis cross-section extraction unit 16c similarly corresponds to the “short axis section extracting unit”, and the display control unit 16d similarly corresponds to the “display control unit”.

長軸断面抽出部16aは、3次元画像記憶部15aが記憶するボリュームデータを用いて、被検体の心臓を含む複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、梗塞領域と交わる領域の面積が最大となる長軸断面を抽出する。具体的には、長軸断面抽出部16aは、入力部11を介して、断面画像表示要求を受け付けると、例えば、図3に示す処理の流れに従って、3次元画像記憶部15aが記憶する複数の3次元画像それぞれにおいて長軸断面を抽出する。   The long-axis cross-section extraction unit 16a uses the volume data stored in the three-dimensional image storage unit 15a, and in each of a plurality of three-dimensional images including the subject's heart, the cross section including the long axis of the subject's heart. From this, a long-axis cross section in which the area of the region intersecting with the infarct region is maximized is extracted. Specifically, when the long-axis cross-section extraction unit 16a receives a cross-sectional image display request via the input unit 11, for example, according to the processing flow illustrated in FIG. A long-axis cross section is extracted from each three-dimensional image.

図3に示すように、長軸断面抽出部16aは、断面画像表示要求を受け付けると(ステップS301肯定)、まず、3次元画像において抽出され配置されている長軸と、3次元画像において抽出され配置されている梗塞領域において任意に設定された点とを含む断面を、探索面として決定する(ステップS302)。なお、梗塞領域において設定される点は、3次元画像における梗塞領域の重心を用いる場合であっても、画像処理装置10の操作者が、出力部12が備えるモニタにて表示されている3次元画像それぞれにおける梗塞領域を参照して、入力部11を介して指定した点を用いる場合であってもよい。   As illustrated in FIG. 3, when the long-axis cross-section extraction unit 16a receives a cross-sectional image display request (Yes in step S301), first, the long-axis cross-section extraction unit 16a is extracted from the long axis extracted and arranged in the three-dimensional image and the three-dimensional image. A cross section including a point arbitrarily set in the infarct region that is arranged is determined as a search plane (step S302). Note that the point set in the infarct region is the case where the operator of the image processing apparatus 10 is displayed on the monitor provided in the output unit 12 even when the center of gravity of the infarct region in the three-dimensional image is used. The point specified via the input unit 11 may be used with reference to the infarct region in each image.

そして、長軸断面抽出部16aは、探索面と梗塞領域との交面の面積を算出し(ステップS303)、探索面を、長軸を中心として時計周りに所定の微小角度ほど回転させ、回転させた断面を新たな探索面として決定する(ステップS304)。なお、ステップS303にて算出された交面の面積は、図1にて図示していないメモリに格納される。   Then, the long-axis section extraction unit 16a calculates the area of the intersecting surface between the search surface and the infarct region (step S303), rotates the search surface clockwise by a predetermined minute angle around the long axis, and rotates the search surface. The determined cross section is determined as a new search plane (step S304). Note that the intersection area calculated in step S303 is stored in a memory not shown in FIG.

続いて、長軸断面抽出部16aは、新たな探索面が、梗塞領域と交わっているか否かを判定し(ステップS305)、新たな探索面が、梗塞領域と交わっている場合(ステップS305肯定)、ステップS303における交面の面積算出処理と、ステップS304における新たな探索面の決定処理とを行ない、こののち、再度、ステップS305における判定処理とを行なう。   Subsequently, the long-axis cross section extraction unit 16a determines whether or not the new search plane intersects with the infarct region (step S305), and when the new search plane intersects with the infarct region (Yes in step S305) ) The intersection area calculation process in step S303 and the new search plane determination process in step S304 are performed, and then the determination process in step S305 is performed again.

これに反して、新たな探索面が、梗塞領域と交わっていない場合(ステップS305否定)、長軸断面抽出部16aは、ステップS302において最初に決定された探索面を、長軸を中心として反時計周りに所定の微小角度ほど回転させ、回転させた断面を新たな探索面として決定し(ステップS306)、新たな探索面が、梗塞領域と交わっているか否かを判定する(ステップS307)。   On the other hand, if the new search plane does not intersect with the infarct region (No at Step S305), the long-axis cross-section extraction unit 16a uses the search plane first determined at Step S302 as the center about the long axis. It is rotated clockwise by a predetermined minute angle, the rotated cross section is determined as a new search surface (step S306), and it is determined whether or not the new search surface intersects with the infarct region (step S307).

ここで、新たな探索面が、梗塞領域と交わっている場合(ステップS307肯定)、長軸断面抽出部16aは、探索面と梗塞領域との交面の面積を算出し(ステップS308)、探索面を、長軸を中心として反時計周りに所定の微小角度ほど回転させ、回転させた断面を新たな探索面として決定する(ステップS309)。こののち、再度、ステップS307における判定処理が行われる。なお、ステップS308にて算出された交面の面積は、ステップS303にて算出された交面の面積と同様に、図1にて図示していないメモリに格納される。   If the new search plane intersects with the infarct region (Yes at step S307), the long-axis cross section extraction unit 16a calculates the area of the intersection plane between the search plane and the infarct region (step S308), and searches The surface is rotated counterclockwise by a predetermined minute angle about the major axis, and the rotated cross section is determined as a new search surface (step S309). Thereafter, the determination process in step S307 is performed again. The intersection area calculated in step S308 is stored in a memory not shown in FIG. 1 in the same manner as the intersection area calculated in step S303.

これに反して、新たな探索面が、梗塞領域と交わっていない場合(ステップS307否定)、長軸断面抽出部16aは、ステップS303およびステップS308において算出され、図示しないメモリに格納されている面積が最大となる探索面を長軸断面として抽出し(ステップS310)、処理を終了する。また、図3に示す処理は、対象となる3次元画像すべてに対して行なわれる。なお、本実施例では、新たな探索面として、長軸を中心に時計回りに回転させた断面を用いた後に、長軸を中心に反時計回りに回転させた断面を用いる場合について説明したが、本発明はこれに限定されるものではなく、新たな探索面として、長軸を中心に反時計回りに回転させた断面を用いた後に、長軸を中心に時計回りに回転させた断面を用いる場合であってもよい。   On the other hand, if the new search plane does not intersect with the infarct region (No at Step S307), the long-axis cross-section extraction unit 16a is calculated at Step S303 and Step S308 and is stored in a memory (not shown). The search surface with the maximum value is extracted as the long-axis cross section (step S310), and the process is terminated. Further, the process shown in FIG. 3 is performed on all target three-dimensional images. In the present embodiment, a case has been described in which a cross section rotated clockwise around the long axis is used as a new search surface, and then a cross section rotated counterclockwise around the long axis is used. The present invention is not limited to this, and as a new search surface, after using a cross section rotated counterclockwise around the long axis, a cross section rotated clockwise around the long axis is used. It may be used.

このように、上述した処理により、長軸断面抽出部16aは、図4に示すように、複数の3次元画像それぞれにおいて梗塞領域との交面が最大となった探索面を長軸断面として抽出する。なお、図4においては、長軸断面と心壁の輪郭との交線もあわせて示している。   As described above, the long-axis cross-section extraction unit 16a extracts, as shown in FIG. 4, the search plane having the maximum intersection with the infarct region as a long-axis cross-section as shown in FIG. To do. In FIG. 4, the line of intersection between the long-axis cross section and the contour of the heart wall is also shown.

さらに、長軸断面抽出部16aは、図5に示すように、抽出された長軸断面に含まれる長軸と梗塞領域の断面との情報が、2次元座標に配置された2次元画像を生成し、その結果を、抽出断面記憶部15bに格納する。すなわち、長軸断面抽出部16aは、「時系列に沿った複数の3次元画像」に対応する「時系列に沿った複数の長軸断面としての2次元画像」を生成する。   Further, as shown in FIG. 5, the long-axis cross-section extraction unit 16a generates a two-dimensional image in which information about the long axis included in the extracted long-axis cross section and the cross section of the infarct region is arranged in two-dimensional coordinates. Then, the result is stored in the extracted section storage unit 15b. That is, the long-axis cross-section extraction unit 16a generates “two-dimensional images as a plurality of long-axis cross sections along the time series” corresponding to “a plurality of three-dimensional images along the time series”.

図1に戻って、梗塞サイズ算出部16bは、抽出断面記憶部15bが記憶する「時系列に沿った複数の長軸断面としての2次元画像」に含まれる梗塞領域の大きさをそれぞれ算出する。   Returning to FIG. 1, the infarct size calculation unit 16 b calculates the size of the infarct region included in the “two-dimensional images as a plurality of long-axis cross sections along the time series” stored in the extracted cross-section storage unit 15 b. .

具体的には、梗塞サイズ算出部16bは、まず、図6の(A)に示すように、長軸断面に含まれる梗塞領域の断面における基準点を、距離変換、重心算出などの既知の手法によって算出して決定する。   Specifically, as shown in FIG. 6A, the infarct size calculation unit 16b first uses a known method such as distance conversion, centroid calculation, and the like for a reference point in the cross section of the infarct region included in the long-axis cross section. Calculated and determined by

そして、梗塞サイズ算出部16bは、決定された基準点を用いて、長軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さを算出する。例えば、梗塞サイズ算出部16bは、図6の(B)に示すように、梗塞領域の断面内の点から、基準点から遠い順に2つの点を選択し、選択した2つの点それぞれと基準点とを結ぶ2つの線分の長さの合計値を、長手方向の長さとして算出する。   Then, the infarct size calculation unit 16b calculates the length in the longitudinal direction and the length in the short direction of the infarct region cross-section included in the long-axis cross section using the determined reference point. For example, as shown in FIG. 6B, the infarct size calculation unit 16b selects two points from the points in the cross section of the infarct region in order from the reference point, and selects each of the two selected points and the reference point. Is calculated as the length in the longitudinal direction.

また、梗塞サイズ算出部16bは、図6の(C)の上側に示すように、基準点を中心とした円を想定し、想定する円の直径を順次広げていった際に、円が、心壁の輪郭と最初に接した点Aを求める。そして、梗塞サイズ算出部16bは、図6の(C)の下側に示すように、基準点と点Aとを通る直線のうち、梗塞領域断面にある線分の長さを、短手方向の長さとして算出する。ここで、短手方向の長さは、梗塞領域の厚さとして考えることができる。   Further, as shown in the upper side of FIG. 6C, the infarct size calculation unit 16b assumes a circle centered on the reference point, and when the diameter of the assumed circle is sequentially expanded, Find the first point A that touches the contour of the heart wall. And the infarct size calculation part 16b shows the length of the line segment in an infarct area | region cross section among the straight lines which pass a control | reference point and the point A as shown to the lower side of (C) of FIG. Calculated as the length of. Here, the length in the short direction can be considered as the thickness of the infarct region.

このように、梗塞サイズ算出部16bは、複数の長軸断面に含まれる梗塞領域の大きさをそれぞれ算出し、その結果を、梗塞サイズ記憶部15cに格納する。   In this way, the infarct size calculation unit 16b calculates the size of the infarct region included in the plurality of long-axis cross sections, and stores the result in the infarct size storage unit 15c.

図1に戻って、短軸断面抽出部16cは、3次元画像記憶部15aが記憶する複数の3次元画像それぞれにおいて、梗塞サイズ算出部16bが長軸断面における梗塞領域断面の短手方向の長さを算出する際に用いた「基準点と点Aとを通る直線」を含む断面の中から、心臓の解剖学的な長軸と最も垂直に近い角度で交わる断面である短軸断面をそれぞれ抽出する。   Returning to FIG. 1, the short-axis cross-section extraction unit 16 c is configured such that, in each of the plurality of three-dimensional images stored in the three-dimensional image storage unit 15 a, the infarct size calculation unit 16 b The short-axis cross-section that intersects the anatomical long-axis of the heart at the angle closest to the vertical from the cross-section including the “straight line passing through the reference point and the point A” used when calculating the height. Extract.

具体的には、短軸断面抽出部16cは、3次元画像記憶部15aが記憶する複数の3次元画像それぞれにおいて、図7に示すように、長軸断面にて抽出された「基準点と点Aとを通る直線」を含む断面を、短軸断面を抽出するための探索面として設定する。例えば、「基準点と点Aとを通る直線」を含み、かつ、長軸断面でない断面から任意に選択した面を、最初の探索面として設定し、設定した探索面と長軸とがなす角度を算出する。角度を算出した後は、最初の探索面を「基準点と点Aとを通る直線」を中心として所定の微小角度ほど回転させ、回転させた断面を新たな探索面とし、同様に、新たな探索面と長軸とがなす角度を算出する。この処理を繰り返して実行し、算出された角度が最大、すなわち最も垂直に近い角度となる探索面を短軸断面として抽出する。   Specifically, the short-axis cross-section extraction unit 16c, in each of a plurality of three-dimensional images stored in the three-dimensional image storage unit 15a, extracts “reference points and points extracted from the long-axis cross section as shown in FIG. A cross section including “a straight line passing through A” is set as a search plane for extracting a short-axis cross section. For example, a surface that includes a “straight line passing through the reference point and the point A” and that is arbitrarily selected from a cross section that is not a long-axis cross section is set as the first search surface, and the angle formed by the set search surface and the long axis Is calculated. After calculating the angle, the first search plane is rotated by a predetermined minute angle around the “straight line passing through the reference point and the point A”, and the rotated cross section is used as a new search plane. An angle formed by the search surface and the long axis is calculated. This process is repeatedly executed, and the search surface having the maximum calculated angle, that is, the angle closest to the vertical is extracted as the short-axis cross section.

さらに、短軸断面抽出部16cは、図8に示すように、抽出された短軸断面に含まれる梗塞領域の断面の情報が、2次元座標に配置された2次元画像を生成し、その結果を、抽出断面記憶部15bに格納する。すなわち、短軸断面抽出部16cは、「時系列に沿った複数の3次元画像」に対応する「時系列に沿った複数の短軸断面としての2次元画像」を生成する。   Further, as shown in FIG. 8, the short-axis cross-section extraction unit 16c generates a two-dimensional image in which information on the cross-section of the infarct region included in the extracted short-axis cross section is arranged in two-dimensional coordinates, and as a result. Is stored in the extracted cross-section storage unit 15b. That is, the short-axis section extraction unit 16c generates “two-dimensional images as a plurality of short-axis sections along the time series” corresponding to “a plurality of three-dimensional images along the time series”.

図1に戻って、梗塞サイズ算出部16bは、抽出断面記憶部15bが記憶する「時系列に沿った複数の短軸断面としての2次元画像」に含まれる梗塞領域の大きさをそれぞれ算出する。例えば、梗塞サイズ算出部16bは、図6を用いて説明した処理を、短軸断面においても同様に行なって、短軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さの算出を行ない、その結果を、梗塞サイズ記憶部15cに格納する。   Returning to FIG. 1, the infarct size calculation unit 16 b calculates the size of the infarct region included in “two-dimensional images as a plurality of short-axis cross sections along time series” stored in the extracted cross-section storage unit 15 b. . For example, the infarct size calculation unit 16b similarly performs the processing described with reference to FIG. 6 on the short-axis cross-section, so that the length in the longitudinal direction and the length in the short-side direction of the infarct region cross-section included in the short-axis cross-section. Is calculated and the result is stored in the infarct size storage unit 15c.

なお、本実施例では、1つの短軸断面を抽出する場合について説明したが、本発明はこれに限定されるものではなく、複数の短軸断面を抽出する場合であってもよい。例えば、短軸断面抽出部16cは、図9の(A)に示すように、長軸断面に含まれる梗塞領域断面の長手方向の長さを算出する際に用いた2つの線分それぞれを等分する2つの点を求め、図9の(B)に示すように、求めた点を通り、対応する線分と直交する直線それぞれを含む断面を、短軸断面を探索するための探索面として設定し、設定された2つの探索面それぞれを起点に、新たに2つの短軸断面を抽出して、2次元画像を生成する場合であってもよい。   In addition, although the present Example demonstrated the case where one short-axis cross section was extracted, this invention is not limited to this, The case where a some short-axis cross section is extracted may be sufficient. For example, as shown in FIG. 9A, the short-axis cross-section extraction unit 16c calculates each of the two line segments used when calculating the length in the longitudinal direction of the infarct region cross-section included in the long-axis cross-section. As shown in FIG. 9B, a cross section including each straight line passing through the obtained point and orthogonal to the corresponding line segment is used as a search plane for searching for a short-axis cross section. There may be a case where a two-dimensional image is generated by extracting and newly extracting two short-axis cross sections starting from the set two search planes.

図1に戻って、表示制御部16dは、抽出断面記憶部15bが記憶する時系列に沿った複数の長軸断面および短軸断面としての2次元画像を、梗塞サイズ記憶部15cが記憶する「長軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」および「短軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」とともに、出力部12が備えるモニタにて表示するように制御する。そして、出力部12が備えるモニタにて、梗塞領域の大きさ(サイズ)とともに表示された長軸断面および短軸断面の時系列に沿った2次元画像(2次元動画像)を参照して、医師は診断を行なう。   Returning to FIG. 1, in the display control unit 16d, the infarct size storage unit 15c stores two-dimensional images as a plurality of long-axis cross-sections and short-axis cross-sections in time series stored in the extracted cross-section storage unit 15b. Along with the length in the longitudinal direction and the length in the short direction of the infarct region cross section included in the long axis cross section and the length in the long direction and the short direction in the cross section of the infarct region included in the short axis cross section, Control is performed to display on a monitor provided in the output unit 12. Then, on the monitor provided in the output unit 12, referring to the two-dimensional image (two-dimensional moving image) along the long-axis cross-section and the short-axis cross-section time series displayed together with the size (size) of the infarct region, The doctor makes a diagnosis.

次に、図10を用いて、本実施例における画像処理装置10の処理について説明する。図10は、本実施例における画像処理装置の処理を説明するための図である。   Next, processing of the image processing apparatus 10 in the present embodiment will be described with reference to FIG. FIG. 10 is a diagram for explaining processing of the image processing apparatus according to the present embodiment.

図10に示すように、本実施例における画像処理装置10は、断面画像表示要求を受け付けると(ステップS1001肯定)、長軸断面抽出部16aは、3次元画像記憶部15aが記憶する複数の3次元画像それぞれにおいて、長軸断面を抽出して、長軸断面としての2次元画像を生成する(ステップS1002)。なお、長軸断面抽出部16aは、生成した長軸断面としての2次元画像を、長軸および梗塞領域断面の情報とともに抽出断面記憶部15bに格納する。   As shown in FIG. 10, when the image processing apparatus 10 according to the present embodiment receives a cross-sectional image display request (Yes in step S1001), the long-axis cross-section extraction unit 16a stores a plurality of 3 stored in the three-dimensional image storage unit 15a. In each of the dimensional images, a long-axis cross section is extracted to generate a two-dimensional image as a long-axis cross section (step S1002). The long-axis cross-section extraction unit 16a stores the generated two-dimensional image as the long-axis cross section in the extraction cross-section storage unit 15b together with information on the long axis and the infarct region cross-section.

そして、梗塞サイズ算出部16bは、「時系列に沿った複数の長軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」をそれぞれ算出する(ステップS1003)。なお、梗塞サイズ算出部16bは、算出した「長軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」を、梗塞サイズ記憶部15cに格納する。   Then, the infarct size calculation unit 16b calculates “the length in the longitudinal direction and the length in the short direction of the infarct region cross-sections included in the plurality of long-axis cross sections along the time series” (step S1003). The infarct size calculation unit 16b stores the calculated “length in the longitudinal direction and length in the short direction of the infarct region cross section included in the long axis cross section” in the infarct size storage unit 15c.

続いて、短軸断面抽出部16cは、3次元画像記憶部15aが記憶する複数の3次元画像それぞれにおいて、短軸断面を抽出して、短軸断面としての2次元画像を生成する(ステップS1004)。なお、短軸断面抽出部16cは、生成した短軸断面としての2次元画像を、梗塞領域断面の情報とともに抽出断面記憶部15bに格納する。   Subsequently, the short-axis section extraction unit 16c extracts a short-axis section from each of the plurality of three-dimensional images stored in the three-dimensional image storage unit 15a, and generates a two-dimensional image as a short-axis section (step S1004). ). Note that the short-axis cross-section extraction unit 16c stores the generated two-dimensional image as the short-axis cross-section in the extracted cross-section storage unit 15b together with information on the infarct region cross-section.

そののち、梗塞サイズ算出部16bは、時系列に沿った複数の「短軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」をそれぞれ算出する(ステップS1005)。なお、梗塞サイズ算出部16bは、算出した「短軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」を、梗塞サイズ記憶部15cに格納する。   After that, the infarct size calculation unit 16b calculates a plurality of “length in the longitudinal direction and length in the short direction of the infarct region cross section included in the short axis cross section” along the time series (step S1005). The infarct size calculation unit 16b stores the calculated “length in the longitudinal direction and length in the short direction of the infarct region cross section included in the short axis cross section” in the infarct size storage unit 15c.

そののち、梗塞サイズ算出部16bは、抽出断面記憶部15bが記憶する複数の時系列に沿った長軸断面および短軸断面の2次元画像を、梗塞サイズ記憶部15cが記憶する「長軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」および「短軸断面に含まれる梗塞領域断面の長手方向の長さおよび短手方向の長さ」とともに、出力部12が備えるモニタにて表示するように制御し(ステップS1006)、処理を終了する。   After that, the infarct size calculation unit 16b stores, in the infarct size storage unit 15c, a “long-axis cross-section” in which two-dimensional images of the long-axis cross-section and the short-axis cross-section along a plurality of time series stored in the extracted cross-section storage unit 15b are stored. Output section 12 together with the length in the longitudinal direction and the length in the short direction of the infarct region cross section included in "the length in the longitudinal direction and the length in the short direction of the infarct region cross section included in the short axis cross section" Is controlled to be displayed on the monitor (step S1006), and the process is terminated.

上述してきたように、本実施例では、長軸断面抽出部16aは、3次元画像記憶部15aが記憶する被検体の心臓を含む時系列に沿った複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、梗塞領域と交わる領域の面積が最大となる長軸断面を抽出し、梗塞サイズ算出部16bは、長軸断面に含まれる梗塞領域の大きさを算出する。そして、短軸断面抽出部16cは、時系列に沿った複数の3次元画像それぞれにおいて、長軸断面に含まれる梗塞領域の大きさを算出する際に用いた直線を含む断面の中から、長軸と最も垂直に近い角度で交わる断面である短軸断面を抽出し、梗塞サイズ算出部16bは、短軸断面に含まれる梗塞領域の大きさを算出する。続いて、表示制御部16dは、長軸断面と当該長軸断面に含まれる梗塞領域の大きさ、および、短軸断面と当該短軸断面に含まれる梗塞領域の大きさを、時系列に沿って出力部12が備えるモニタにて表示するように制御するので、心臓の拍動に追従して3次元画像から自動的に心筋の梗塞領域を的確に含む2次元画像を抽出して動画表示することができ、上記した主たる特徴のように、心筋梗塞の診断を正確かつ迅速に行なうことが可能になる。   As described above, in the present embodiment, the long-axis cross-section extraction unit 16a includes the subject in each of a plurality of three-dimensional images along the time series including the subject's heart stored in the three-dimensional image storage unit 15a. The long-axis cross section that maximizes the area of the region intersecting with the infarct region is extracted from the cross-section including the long axis of the heart, and the infarct size calculation unit 16b calculates the size of the infarct region included in the long-axis cross section. To do. Then, the short-axis cross-section extraction unit 16c selects, from each of the plurality of three-dimensional images along the time series, the long cross-section including the straight line used when calculating the size of the infarct region included in the long-axis cross-section. A short-axis cross-section that is a cross-section that intersects the axis at an angle closest to the vertical is extracted, and the infarct size calculation unit 16b calculates the size of the infarct region included in the short-axis cross-section. Subsequently, the display control unit 16d displays the major axis cross section and the size of the infarct region included in the major axis cross section, and the minor axis cross section and the size of the infarct area included in the minor axis cross section in time series. Since the output unit 12 controls the display to display on the monitor, the 2D image automatically including the myocardial infarction region is automatically extracted from the 3D image following the heartbeat and displayed as a moving image. It is possible to accurately and quickly diagnose myocardial infarction like the main feature described above.

すなわち、長軸断面および短軸断面には、対応する3次元画像に含まれる梗塞領域を的確に捉えた断面が必ず含まれており、長軸断面の動画、および、短軸断面の動画を参照することで、医師は、「梗塞領域の位置」を把握して梗塞の原因となる冠動脈を特定して治療方針を決定することができるので、心筋梗塞の診断を正確に行なうことができる。さらに、3次元画像それぞれで梗塞領域を捉えた断面を手動設定して断面の動画を作成する必要がないので、医師は、速やかに動画を参照して読影して、心筋梗塞の診断を迅速に行なうことができる。   In other words, the long-axis cross-section and the short-axis cross-section always include a cross-section that accurately captures the infarct region included in the corresponding 3D image. Refer to the long-axis cross-section animation and the short-axis cross-section animation. By doing so, the doctor can grasp the “position of the infarct region” and identify the coronary artery causing the infarction to determine the treatment policy, so that the diagnosis of myocardial infarction can be performed accurately. In addition, since it is not necessary to manually set a cross-section that captures the infarct area in each three-dimensional image and create a video of the cross-section, the doctor can quickly refer to the video and interpret it to quickly diagnose myocardial infarction. Can be done.

また、長軸断面および短軸断面に含まれる「梗塞領域の大きさ」を自動的に算出して動画とともに表示するので、医師は、速やかに「梗塞領域の大きさ」を判断することができ、心筋梗塞の診断を迅速に行なうことができる。   In addition, the “infarct area size” included in the long-axis cross section and the short-axis cross section is automatically calculated and displayed together with the video, so the doctor can quickly determine the “infarct area size”. The diagnosis of myocardial infarction can be performed quickly.

なお、本実施例では、長軸断面と短軸断面との2つの断面を抽出して動画として表示する場合について説明したが、本発明はこれに限定されるものではなく、長軸断面、あるいは短軸断面のどちらか一方のみを抽出して動画として表示する場合であってもよい。また、本実施例では、長軸断面と短軸断面とに含まれる梗塞領域の大きさをそれぞれ算出して表示する場合について説明したが、本発明はこれに限定されるものではなく、長軸断面、あるいは短軸断面のどちらか一方のみに含まれる梗塞領域の大きさを算出して表示する場合であってもよい。   In this embodiment, the case where two cross sections, the long axis cross section and the short axis cross section, are extracted and displayed as a moving image has been described, but the present invention is not limited to this, and the long axis cross section or It may be a case where only one of the short-axis cross sections is extracted and displayed as a moving image. Further, in the present embodiment, the case of calculating and displaying the size of the infarct region included in the long-axis cross section and the short-axis cross section has been described, but the present invention is not limited to this, and the long axis The size of the infarct region included in only one of the cross section and the short-axis cross section may be calculated and displayed.

また、本実施例では、超音波診断装置が生成した3次元画像を用いて画像処理装置が断面画像を抽出して表示する場合について説明したが、本発明はこれに限定されるものではなく、超音波診断装置が、本実施例で説明した画像処理装置の機能を備え、自身が生成した3次元画像を用いて断面画像を抽出して表示する場合であってもよい。   In the present embodiment, the case where the image processing apparatus extracts and displays the cross-sectional image using the three-dimensional image generated by the ultrasonic diagnostic apparatus has been described, but the present invention is not limited to this, The ultrasonic diagnostic apparatus may be provided with the functions of the image processing apparatus described in the present embodiment, and may extract and display a cross-sectional image using a three-dimensional image generated by itself.

また、本実施例では、超音波診断装置が、自身が生成した3次元画像から長軸と梗塞領域とを抽出する機能を備える場合について説明したが、本発明はこれに限定されるものではなく、長軸の抽出機能および梗塞領域の抽出機能を備えるのは、超音波診断装置または画像処理装置のどちらであってもよく、例えば、超音波診断装置は3次元画像を生成するのみであり、画像処理装置が、長軸と梗塞領域とを抽出する機能をさらに備え、断面画像を抽出して表示する場合であってもよい。   Moreover, although the present Example demonstrated the case where an ultrasound diagnosing device was equipped with the function to extract a long axis and an infarct area | region from the three-dimensional image which self produced | generated, this invention is not limited to this. The long axis extraction function and the infarct region extraction function may be either an ultrasonic diagnostic apparatus or an image processing apparatus. For example, the ultrasonic diagnostic apparatus only generates a three-dimensional image, The image processing apparatus may further include a function of extracting the long axis and the infarct region, and may extract and display a cross-sectional image.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

以上のように、本発明に係る画像処理装置、超音波診断装置および断面抽出プログラムは、被検体の心臓に対して送信した超音波の反射波に基づいて時系列に沿って生成された複数の3次元画像それぞれから、当該被検体の心臓における梗塞領域を含む断面を抽出する場合に有用であり、特に、心筋梗塞の診断を正確かつ迅速に行なうことに適する。   As described above, the image processing apparatus, the ultrasonic diagnostic apparatus, and the cross-section extraction program according to the present invention include a plurality of time series generated based on the reflected wave of the ultrasonic wave transmitted to the subject's heart. This is useful for extracting a cross section including an infarct region in the heart of the subject from each of the three-dimensional images, and is particularly suitable for accurately and rapidly diagnosing myocardial infarction.

本実施例における画像処理装置の構成を説明するための図である。It is a figure for demonstrating the structure of the image processing apparatus in a present Example. 3次元画像記憶部を説明するための図である。It is a figure for demonstrating a three-dimensional image memory | storage part. 長軸断面抽出部の処理を説明するための図である。It is a figure for demonstrating the process of a long-axis cross-section extraction part. 長軸断面抽出部によって抽出される長軸断面を説明するための図である。It is a figure for demonstrating the long-axis cross section extracted by the long-axis cross-section extraction part. 長軸断面抽出部によって抽出される長軸断面を説明するための図である。It is a figure for demonstrating the long-axis cross section extracted by the long-axis cross-section extraction part. 梗塞サイズ算出部を説明するための図である。It is a figure for demonstrating an infarct size calculation part. 短軸断面抽出部によって抽出される短軸断面を説明するための図である。It is a figure for demonstrating the short-axis cross section extracted by the short-axis cross-section extraction part. 短軸断面抽出部によって抽出される短軸断面を説明するための図である。It is a figure for demonstrating the short-axis cross section extracted by the short-axis cross-section extraction part. 短軸断面抽出部の変形例を説明するための図である。It is a figure for demonstrating the modification of a short-axis cross-section extraction part. 本実施例における画像処理装置の処理を説明するための図である。It is a figure for demonstrating the process of the image processing apparatus in a present Example.

符号の説明Explanation of symbols

10 画像処理装置
11 入力部
12 出力部
13 通信部
14 入出力制御I/F部
15 記憶部
15a 3次元画像記憶部
15b 抽出断面記憶部
15c 梗塞サイズ記憶部
16 処理部
16a 長軸断面抽出部
16b 梗塞サイズ算出部
16c 短軸断面抽出部
16d 表示制御部
20 超音波診断装置
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 11 Input part 12 Output part 13 Communication part 14 Input / output control I / F part 15 Storage part 15a Three-dimensional image storage part 15b Extraction cross-section storage part 15c Infarct size storage part 16 Processing part 16a Long-axis cross-section extraction part 16b Infarct size calculation unit 16c Short axis section extraction unit 16d Display control unit 20 Ultrasonic diagnostic apparatus

Claims (5)

被検体の心臓に対して送信した超音波の反射波に基づいて時系列に沿って生成された複数の3次元画像それぞれから、当該被検体の心臓における梗塞領域を含む断面を抽出する画像処理装置であって、
前記被検体の心臓を含む前記複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手段と、
前記複数の3次元画像それぞれにおいて、前記長軸断面抽出手段によって抽出された前記長軸断面に含まれる梗塞領域に設定した所定の直線を含む断面の中から、前記長軸と最も垂直に近い角度で交わる断面である短軸断面を抽出する短軸断面抽出手段と、
所定の表示部において、前記短軸断面抽出手段によって抽出された前記短軸断面を、または、前記長軸断面抽出手段によって抽出された前記長軸断面および前記短軸断面抽出手段によって抽出された前記短軸断面を時系列に沿って表示するように制御する表示制御手段と、
を備えたことを特徴とする画像処理装置。
An image processing apparatus that extracts a cross section including an infarct region in the heart of the subject from each of a plurality of three-dimensional images generated in time series based on the reflected wave of the ultrasonic wave transmitted to the subject's heart Because
In each of the plurality of three-dimensional images including the subject's heart, a long-axis cross section that is a cross section in which the area of the region intersecting with the infarct region is the largest among the cross-sections including the long axis of the subject's heart. A long-axis section extracting means for extracting;
In each of the plurality of three-dimensional images, an angle closest to the major axis is selected from the sections including a predetermined straight line set in the infarct region included in the major axis section extracted by the major axis section extraction unit. Short-axis cross-section extraction means for extracting a short-axis cross-section that is a cross-section at
In the predetermined display unit, the short-axis cross-section extracted by the short-axis cross-section extraction means, or the long-axis cross-section extracted by the long-axis cross-section extraction means and the short-axis cross-section extraction means Display control means for controlling the short-axis cross section to be displayed in time series;
An image processing apparatus comprising:
前記長軸断面抽出手段によって抽出された前記長軸断面に含まれる梗塞領域の大きさを算出する算出手段をさらに備え、
前記表示制御手段は、前記所定の表示部において、前記算出手段によって算出された前記長軸断面に含まれる梗塞領域の大きさを、当該長軸断面とともに表示するように制御することを特徴とする請求項1に記載の画像処理装置。
A calculation means for calculating the size of the infarct region included in the long-axis cross section extracted by the long-axis cross-section extraction means;
The display control unit controls the predetermined display unit to display the size of the infarct region included in the long-axis cross section calculated by the calculation unit together with the long-axis cross section. The image processing apparatus according to claim 1.
前記算出手段は、前記短軸断面抽出手段によって抽出された前記短軸断面に含まれる梗塞領域の大きさをさらに算出し、
前記表示制御手段は、前記所定の表示部において、前記算出手段によって算出された前記短軸断面に含まれる梗塞領域の大きさを、当該短軸断面とともに表示するように制御することを特徴とする請求項に記載の画像処理装置。
The calculation means further calculates the size of the infarct region included in the short-axis section extracted by the short-axis section extraction means,
The display control means controls the predetermined display unit to display the size of the infarct region included in the short-axis cross section calculated by the calculation means together with the short-axis cross section. The image processing apparatus according to claim 2 .
被検体の心臓に対して送信した超音波の反射波に基づいて、当該被検体の心臓を含む複数の3次元画像を時系列に沿って生成する超音波診断装置であって、
前記複数の3次元画像それぞれに含まれる前記被検体の心臓における長軸を抽出する長軸抽出手段と、
前記複数の3次元画像それぞれに含まれる前記被検体の心臓における梗塞領域を抽出する梗塞領域抽出手段と、
前記複数の3次元画像それぞれにおいて、前記長軸抽出手段によって抽出された前記長軸を含む断面の中から、前記梗塞領域抽出手段によって抽出された前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手段と、
前記複数の3次元画像それぞれにおいて、前記長軸断面抽出手段によって抽出された前記長軸断面に含まれる梗塞領域に設定した所定の直線を含む断面の中から、前記長軸と最も垂直に近い角度で交わる断面である短軸断面を抽出する短軸断面抽出手段と、
所定の表示部において、前記短軸断面抽出手段によって抽出された前記短軸断面を、または、前記長軸断面抽出手段によって抽出された前記長軸断面および前記短軸断面抽出手段によって抽出された前記短軸断面を時系列に沿って表示するように制御する表示制御手段と、
を備えたことを特徴とする超音波診断装置。
An ultrasonic diagnostic apparatus that generates a plurality of three-dimensional images including a heart of the subject along a time series based on reflected ultrasonic waves transmitted to the heart of the subject,
A long axis extracting means for extracting a long axis in the heart of the subject included in each of the plurality of three-dimensional images;
An infarct region extracting means for extracting an infarct region in the heart of the subject included in each of the plurality of three-dimensional images;
In each of the plurality of three-dimensional images, a cross section in which the area of the region intersecting with the infarct region extracted by the infarct region extraction unit is maximized among the cross sections including the long axis extracted by the long axis extraction unit. A long-axis cross-section extracting means for extracting a long-axis cross-section,
In each of the plurality of three-dimensional images, an angle closest to the major axis is selected from the sections including a predetermined straight line set in the infarct region included in the major axis section extracted by the major axis section extraction unit. Short-axis cross-section extraction means for extracting a short-axis cross-section that is a cross-section at
In the predetermined display unit, the short-axis cross-section extracted by the short-axis cross-section extraction means, or the long-axis cross-section extracted by the long-axis cross-section extraction means and the short-axis cross-section extraction means Display control means for controlling the short-axis cross section to be displayed in time series;
An ultrasonic diagnostic apparatus comprising:
被検体の心臓に対して送信した超音波の反射波に基づいて時系列に沿って生成された複数の3次元画像それぞれから、当該被検体の心臓における梗塞領域を含む断面を抽出する断面抽出方法をコンピュータに実行させる断面抽出プログラムであって、
前記被検体の心臓を含む前記複数の3次元画像それぞれにおいて、当該被検体の心臓の長軸を含む断面の中から、前記梗塞領域と交わる領域の面積が最大となる断面である長軸断面を抽出する長軸断面抽出手順と、
前記複数の3次元画像それぞれにおいて、前記長軸断面抽出手順によって抽出された前記長軸断面に含まれる梗塞領域に設定した所定の直線を含む断面の中から、前記長軸と最も垂直に近い角度で交わる断面である短軸断面を抽出する短軸断面抽出手順と、
所定の表示部において、前記短軸断面抽出手順によって抽出された前記短軸断面を、または、前記長軸断面抽出手順によって抽出された前記長軸断面および前記短軸断面抽出手順によって抽出された前記短軸断面を時系列に沿って表示するように制御する表示制御手順と、
をコンピュータに実行させることを特徴とする断面抽出プログラム。
A cross-sectional extraction method for extracting a cross section including an infarct region in the heart of the subject from each of a plurality of three-dimensional images generated in time series based on the reflected wave of the ultrasonic wave transmitted to the subject's heart A cross-section extraction program for causing a computer to execute
In each of the plurality of three-dimensional images including the subject's heart, a long-axis cross section that is a cross section in which the area of the region intersecting with the infarct region is the largest among the cross-sections including the long axis of the subject's heart. A long-axis section extraction procedure to be extracted;
In each of the plurality of three-dimensional images, an angle closest to the major axis is selected from the sections including a predetermined straight line set in the infarct region included in the major axis section extracted by the major axis section extraction procedure. A short-axis cross-section extraction procedure for extracting a short-axis cross-section that is a cross-section at
In the predetermined display unit, the short-axis cross section extracted by the short-axis cross-section extraction procedure, or the long-axis cross-section extracted by the long-axis cross-section extraction procedure and the short-axis cross-section extraction procedure A display control procedure for controlling the short-axis cross section to be displayed in chronological order;
A cross-section extraction program for causing a computer to execute.
JP2008028027A 2008-02-07 2008-02-07 Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program Expired - Fee Related JP5148310B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008028027A JP5148310B2 (en) 2008-02-07 2008-02-07 Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008028027A JP5148310B2 (en) 2008-02-07 2008-02-07 Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program

Publications (2)

Publication Number Publication Date
JP2009183557A JP2009183557A (en) 2009-08-20
JP5148310B2 true JP5148310B2 (en) 2013-02-20

Family

ID=41067474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008028027A Expired - Fee Related JP5148310B2 (en) 2008-02-07 2008-02-07 Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program

Country Status (1)

Country Link
JP (1) JP5148310B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270762B1 (en) 2011-09-29 2013-06-03 한국원자력의학원 Apparatus and Method of Measuring the Size of Infarction in Polar Map Using Multi Gaussian Mixture Model

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4303947B2 (en) * 2002-12-11 2009-07-29 東芝医用システムエンジニアリング株式会社 X-ray CT apparatus and image processing apparatus
JP4160468B2 (en) * 2003-07-11 2008-10-01 株式会社日立メディコ Magnetic resonance imaging system
JP4843357B2 (en) * 2006-04-19 2011-12-21 株式会社東芝 Image processing device

Also Published As

Publication number Publication date
JP2009183557A (en) 2009-08-20

Similar Documents

Publication Publication Date Title
JP6930283B2 (en) Image processing device, operation method of image processing device, and image processing program
US10417517B2 (en) Medical image correlation apparatus, method and storage medium
JP6160487B2 (en) Ultrasonic diagnostic apparatus and control method thereof
JP6188297B2 (en) Image processing apparatus, image processing method, and program
JP5661453B2 (en) Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method
JP2006061581A (en) Medical motion analysis apparatus, medical motion analysis method and medical motion analysis program
JP5491747B2 (en) Medical image analysis apparatus and control program for image analysis
US8693759B2 (en) Image processing device and image processing method
JP2010500093A (en) Data set selection from 3D rendering for viewing
US20200327979A1 (en) Medical information processing apparatus and medical information processing method
KR20190032348A (en) Image-based diagnostic system
JP2021501633A (en) Methods and equipment for analyzing echocardiography
JP5062477B2 (en) Medical image display device
JP7246912B2 (en) Medical information processing device and medical information processing system
JP3801977B2 (en) Image analysis apparatus, function map creation means for image analysis apparatus, image analysis method, and image analysis program
JP5484998B2 (en) Medical image processing apparatus and control program for fat region measurement
JP5361184B2 (en) Ultrasonic diagnostic apparatus, stress echo browsing apparatus, and stress echo browsing program
JP5148310B2 (en) Image processing apparatus, ultrasonic diagnostic apparatus, and cross-section extraction program
Ding et al. Diagnostic performance of a novel automated CT-derived FFR technology in detecting hemodynamically significant coronary artery stenoses: A multicenter trial in China
EP2496144A1 (en) Quantification results in multiplane imaging
JP5414249B2 (en) Image display device
JP5518970B2 (en) Image display device
JP7106096B2 (en) Cardiac function analysis device, analysis method, program and recording medium
JP6251002B2 (en) Image processing apparatus, image processing method, and computer program
WO2023210217A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121128

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees