KR20150037497A - The method and apparatus for generating three-dimensional(3d) image of the object - Google Patents
The method and apparatus for generating three-dimensional(3d) image of the object Download PDFInfo
- Publication number
- KR20150037497A KR20150037497A KR20140085306A KR20140085306A KR20150037497A KR 20150037497 A KR20150037497 A KR 20150037497A KR 20140085306 A KR20140085306 A KR 20140085306A KR 20140085306 A KR20140085306 A KR 20140085306A KR 20150037497 A KR20150037497 A KR 20150037497A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- generating
- reflected light
- dimensional image
- characteristic information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000002604 ultrasonography Methods 0.000 claims abstract description 163
- 238000009877 rendering Methods 0.000 claims description 59
- 230000001795 light effect Effects 0.000 claims description 41
- 230000000694 effects Effects 0.000 claims description 14
- 230000000704 physical effect Effects 0.000 claims description 9
- 238000003325 tomography Methods 0.000 claims description 6
- 210000001519 tissue Anatomy 0.000 description 56
- 239000011159 matrix material Substances 0.000 description 30
- 238000010586 diagram Methods 0.000 description 14
- 239000002245 particle Substances 0.000 description 7
- 239000002244 precipitate Substances 0.000 description 7
- 210000002784 stomach Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 239000013049 sediment Substances 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8993—Three dimensional imaging systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52068—Stereoscopic displays; Three-dimensional displays; Pseudo 3D displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
본 발명은 대상체의 3차원 영상을 생성하기 위한 방법 및 장치에 관한 것으로, 더욱 특정하게는 대상체에 대한 3차원 의료 영상을 생성하기 위한 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for generating a three-dimensional image of a subject, and more particularly to a method and apparatus for generating a three-dimensional medical image for a subject.
초음파 진단 장치는 대상체의 체표로부터 체내의 소정 부위를 향하여 초음파 신호를 전달하고, 체내의 조직에서 반사된 초음파 신호의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 이미지를 얻는 것이다.The ultrasound diagnostic apparatus transmits an ultrasound signal from a body surface of a target body toward a predetermined site in the body and obtains an image of a tomographic layer or blood flow of the soft tissue using information of the ultrasound signal reflected from the tissue in the body.
이러한 초음파 진단 장치는 대상체에 대한 정보를 실시간으로 표시 가능하다는 이점이 있다. 또한, 초음파 진단 장치는, X선 등의 피폭이 없어 안정성이 높은 장점이 있어, X선 진단장치, CT(Computerized Tomography) 스캐너, MRI(Magnetic Resonance Image) 장치, 핵의학 진단장치 등의 다른 화상 진단장치와 함께 널리 이용되고 있다.Such an ultrasonic diagnostic apparatus has an advantage that information on a target object can be displayed in real time. In addition, the ultrasonic diagnostic apparatus has advantages of high stability because it does not have exposure of X-ray and the like, and it can be used for other image diagnosis such as X-ray diagnostic apparatus, CT (computerized tomography) scanner, MRI (Magnetic Resonance Image) It is widely used with devices.
본 발명의 일 실시예에 따른 대상체의 3차원 영상을 생성하기 위한 방법은 상기 대상체에 대한 초음파 데이터를 획득하는 단계; 및 상기 획득된 초음파 데이터를 통하여 상기 대상체의 3차원 영상을 생성하는 단계를 포함하고, 상기 대상체의 3차원 영상을 생성하는 단계는, 상기 획득된 초음파 데이터의 특성정보가 상이한 부분은 상기 대상체의 3차원 영상이 상이하게 표현되도록 상기 대상체의 3차원 영상을 생성할 수 있다. A method for generating a three-dimensional image of a target object according to an embodiment of the present invention includes: obtaining ultrasound data for the target object; And generating a three-dimensional image of the object through the obtained ultrasound data, wherein the step of generating a three-dimensional image of the object comprises the steps of: Dimensional image of the object so that the 3D image is differently displayed.
예를 들어, 상기 특성정보는 상기 대상체에 대한 영상 특성정보, 물성 정보 및 표면정보 중 적어도 하나를 포함 할 수 있다.For example, the characteristic information may include at least one of image characteristic information, physical property information, and surface information for the object.
예를 들어, 상기 대상체의 3차원 영상을 생성하는 단계는 상기 대상체의 경면 반사계수, 경면광 지수, 색상 중 적어도 하나를 통해서 상기 대상체의 3차원 영상을 생성할 수 있다. For example, the step of generating a three-dimensional image of the object may generate a three-dimensional image of the object through at least one of the specular reflection coefficient, the specular light index, and the hue of the object.
예를 들어, 상기 대상체의 3차원 영상을 생성하는 단계는, 상기 특성정보에 따라 상기 대상체에 대한 3차원 영상을 렌더링하는 단계를 포함할 수 있다. For example, the step of generating a three-dimensional image of the object may include rendering a three-dimensional image of the object according to the characteristic information.
예를 들어, 상기 생성된 대상체의 3차원 영상을 디스플레이하는 단계를 더 포함할 수 있다. For example, the method may further include displaying the generated three-dimensional image of the object.
예를 들어, 상기 대상체의 3차원 영상을 생성하는 단계는, 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 단계를 포함할 수 있다. For example, the step of generating a three-dimensional image of the object may include generating an image having a reflected light effect on the object.
예를 들어, 상기 반사광 효과를 갖는 영상은 복수의 광원에 의하여 생성될 수 있다. For example, the image having the reflection effect may be generated by a plurality of light sources.
본 발명의 일 실시예에 따른 대상체의 3차원 영상을 생성하기 위한 장치는, 상기 대상체에 대한 초음파 데이터를 획득하는 초음파 데이터 획득부; 및 상기 획득된 초음파 데이터를 통하여 상기 대상체의 3차원 영상을 생성하는 영상 생성부를 포함하고, 상기 대상체의 3차원 영상을 생성하는 단계는, 상기 획득된 초음파 데이터의 특성정보가 상이한 부분은 상기 대상체의 3차원 영상이 상이하게 표현되도록 상기 대상체의 3차원 영상을 생성할 수 있다. An apparatus for generating a three-dimensional image of a target object according to an embodiment of the present invention includes an ultrasound data acquisition unit for acquiring ultrasound data for the target object; And an image generator for generating a three-dimensional image of the object through the obtained ultrasound data, wherein the generating of the three-dimensional image of the object comprises the steps of: Dimensional image of the object so that the three-dimensional image is represented differently.
예를 들어, 상기 특성정보는 상기 대상체에 대한 영상 특성정보, 물성 정보 및 표면정보 중 적어도 하나를 포함할 수 있다. For example, the characteristic information may include at least one of image characteristic information, physical property information, and surface information for the object.
예를 들어, 상기 영상 생성부는 상기 대상체의 경면 반사계수, 경면광 지수, 색상 중 적어도 하나를 통해서 상기 대상체의 3차원 영상을 생성 할 수 있다.For example, the image generating unit may generate a three-dimensional image of the object through at least one of a specular reflection coefficient, a specular light index, and a hue of the object.
예를 들어, 상기 영상 생성부는 상기 특성정보에 따라 상기 대상체에 대한 3차원 영상을 렌더링하여 상기 대상체에 대한 3차원 영상을 생성 할 수 있다.For example, the image generating unit may generate a three-dimensional image of the target object by rendering a three-dimensional image of the target object according to the characteristic information.
예를 들어, 상기 생성된 3차원 영상을 디스플레이하는 디스플레이부를 더 포함 할 수 있다.For example, the display unit may further include a display unit for displaying the generated three-dimensional image.
예를 들어, 상기 영상 생성부는, 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성 할 수 있다.For example, the image generating unit may generate an image having a reflected light effect on the object.
예를 들어, 상기 반사광 효과를 갖는 영상은 복수의 광원에 의하여 생성될 수 있다. For example, the image having the reflection effect may be generated by a plurality of light sources.
본 발명의 일 실시예에 따른 대상체의 3차원 영상을 생성하기 위한 방법은 상기 대상체에 대한 의료영상 데이터를 획득하는 단계; 및 상기 획득된 의료영상 데이터에 기초하여 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 단계를 포함 할 수 있다.A method for generating a three-dimensional image of a target object according to an exemplary embodiment of the present invention includes acquiring medical image data for the target object; And generating an image having a reflected light effect on the object based on the obtained medical image data.
예를 들어, 상기 반사광 효과를 갖는 영상을 디스플레이하는 단계를 더 포함 할 수 있다.For example, the method may further include displaying the image having the reflective effect.
예를 들어, 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 단계는, 시선 벡터의 경로에 있는 복셀들 중 화면에 표시할 대표 복셀을 산출하는 단계; 표면 법선 벡터를 계산하는 단계; 상기 표면 법선 벡터를 통하여 반사광 벡터를 계산하는 단계; 상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 생성하는 단계; 상기 반사광 벡터, 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 할 수 있다.For example, the step of generating an image having a reflected light effect on the object may include: calculating a representative voxel to be displayed on a screen among the voxels in the path of the sight line vector; Calculating a surface normal vector; Calculating a reflected light vector through the surface normal vector; Generating a color of the object, a reflection coefficient for the light source, and a specular light index; Calculating a color for one point included in the image through at least one of the reflected light vector, the hue of the object, the reflection coefficient for the light source, and the specular light index.
예를 들어, 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 단계는, 대상체와 화면에 대한 깊이맵을 추출하는 단계; 깊이맵에 대하여 표면 법선 벡터를 계산하는 단계; 상기 표면 법선 벡터를 통하여 반사광 벡터를 계산하는 단계; 상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 생성하는 단계; 상기 반사광 벡터, 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 할 수 있다. For example, the step of generating an image having a reflected light effect on the object may include extracting a depth map of the object and the screen; Calculating a surface normal vector for the depth map; Calculating a reflected light vector through the surface normal vector; Generating a color of the object, a reflection coefficient for the light source, and a specular light index; Calculating a color for one point included in the image through at least one of the reflected light vector, the hue of the object, the reflection coefficient for the light source, and the specular light index.
예를 들어, 상기 반사광 효과를 갖는 영상은 반사광 렌더링을 포함하는 복수의 렌더링을 통하여 생성되는 것을 특징으로 할 수 있다. For example, the image having the reflection effect may be generated through a plurality of rendering operations including reflection light rendering.
예를 들어, 상기 반사광 효과를 갖는 영상은 복수의 광원에 의하여 생성되는 것을 특징으로 할 수 있다. For example, the image having the reflected light effect may be generated by a plurality of light sources.
예를 들어, 상기 의료영상 데이터는 초음파 진단장치, X선 진단장치, CT(Computerized Tomography) 스캐너 또는 MRI(Magnetic Resonance Image) 장치를 이용하여 획득된 대상체에 대한 영상 데이터인 것을 특징으로 할 수 있다. For example, the medical image data may be image data of a target object obtained using an ultrasound diagnostic device, an X-ray diagnostic device, a CT (Computerized Tomography) scanner, or an MRI (Magnetic Resonance Image) device.
본 발명의 일 실시예에 따른 대상체의 3차원 의료 영상을 생성하기 위한 장치는 상기 대상체에 대한 의료영상 데이터를 획득하는 초음파 데이터 획득부; 및 상기 획득된 의료영상 데이터에 기초하여 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 영상 생성부를 포함 할 수 있다.An apparatus for generating a three-dimensional medical image of a target object according to an exemplary embodiment of the present invention includes an ultrasound data acquisition unit for acquiring medical image data for the target object; And an image generating unit for generating an image having a reflected light effect on the object based on the obtained medical image data.
예를 들어, 상기 반사광 효과를 갖는 영상을 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 할 수 있다.For example, the display unit may further include a display unit for displaying an image having the reflection effect.
예를 들어, 상기 영상 생성부는 상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 장치의 외부에서 입력을 받거나 또는 내부적으로 계산하고, 상기 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 것을 특징으로 할 수 있다. For example, the image generating unit receives the color of the object, the reflection coefficient for the light source, and the specular light index from outside of the apparatus or internally calculates the color, the reflection coefficient for the light source, And a color of one point included in the image is calculated through at least one of the specular light indexes.
예를 들어, 상기 영상 생성부는 상기 대상체와 화면에 대한 깊이맵을 추출하여, 반사광 벡터를 계산하고, 상기 반사광 벡터를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 할 수 있다. For example, the image generating unit may include a step of extracting a depth map of the object and a screen, calculating a reflected light vector, and calculating a color of one point included in the image through the reflected light vector .
예를 들어, 상기 반사광 효과를 갖는 영상은 복수의 광원에 의하여 생성되는 것을 특징으로 할 수 있다. For example, the image having the reflected light effect may be generated by a plurality of light sources.
예를 들어, 상기 반사광 효과를 갖는 영상은 반사광 렌더링을 포함하는 복수의 렌더링을 통하여 생성되는 것을 특징으로 할 수 있다. For example, the image having the reflection effect may be generated through a plurality of rendering operations including reflection light rendering.
예를 들어, 상기 의료영상 데이터는 초음파 진단장치, X선 진단장치, CT(Computerized Tomography) 스캐너 또는 MRI(Magnetic Resonance Image) 장치를 이용하여 획득된 대상체에 대한 영상 데이터인 것을 특징으로 할 수 있다.
For example, the medical image data may be image data of a target object obtained using an ultrasound diagnostic device, an X-ray diagnostic device, a CT (Computerized Tomography) scanner, or an MRI (Magnetic Resonance Image) device.
도 1은 대상체에 대한 초음파 영상 및 3차원 렌더링 영상을 나타낸다.
도 2는 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따라 영상 특성정보가 공간 주파수인 것을 도시한다.
도 4는 본 발명의 일 실시예에 따라 영상 특성정보가 영상 강도인 것을 도시한다.
도 5는 본 발명의 일 실시예에 따라 영상 특성정보가 영상 히스토그램인 것을 도시한다.
도 6은 본 발명의 일 실시예에 따라 영상 특성정보가 동시발생 행렬인 것을 도시한다.
도 7은 본 발명의 일 실시예에 따라 영상 특성정보가 국부 이진 패턴인 것을 도시한다.
도 8은 본 발명의 일 실시예에 따라 영상 특성정보가 균일성인 것을 도시한다.
도 9는 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 렌더링하고, 디스플레이하는 방법을 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 방법을 나타낸 순서도이다.
도 11은 본 발명의 일 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 방법을 나타낸 순서도이다.
도 12는 본 발명의 다른 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 방법을 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 장치를 나타낸 블록도이다.
도 14는 본 발명의 일 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 장치를 나타낸 블록도이다.
도 15는 본 발명의 다른 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 장치를 나타낸 블록도이다.
도 16 및 도 17은 본 발명의 일 실시예에 따른 대상체의 특성정보 중 반사광 효과를 설명하기 위한 도면이다.
도 18은 도 16 및 도 17의 초음파 영상을 얻기 위한 방법을 설명하기 위한 도면이다.
도 19은 본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 경면광 지수에 따라서 각각 다르게 반영된 영상을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 경면광 지수에 따라서 각각 다르게 반영된 영상을 나타낸 도면이다.
도 21은 경면광 지수 및 경면 반사 계수에 따른 영상의 변화를 나타내기 위한 도면 이다.
도 22은 본 발명의 일 실시예에 따른 광원이 2개인 경우의 반사광 효과를 나타내는 초음파 영상을 나타낸 도면이다.
도 23는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다.
도 24은 법선 벡터를 통하여 반사광 벡터를 계산하는 방법을 도시하기 위한 도면이다.
도 25는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다.
도 26는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다.
도 27 내지 도 29는 대상체의 표면정보를 산출하는 방법을 설명하기 위한 도면이다. 1 shows an ultrasound image and a 3D rendering image for a target object.
2 is a flowchart illustrating a method for generating a three-dimensional image in which characteristic information of a target object is reflected according to an exemplary embodiment of the present invention.
FIG. 3 illustrates that the image characteristic information is spatial frequency according to an embodiment of the present invention.
4 illustrates that image characteristic information is image intensity according to an embodiment of the present invention.
FIG. 5 illustrates that the image characteristic information is an image histogram according to an embodiment of the present invention.
FIG. 6 illustrates that the image characteristic information is a co-occurrence matrix according to an embodiment of the present invention.
FIG. 7 illustrates that the image characteristic information is a local binary pattern according to an embodiment of the present invention.
FIG. 8 illustrates that image characteristic information is uniform according to an embodiment of the present invention.
9 is a flowchart illustrating a method of rendering and displaying a three-dimensional image in which characteristic information of a target object is reflected according to an embodiment of the present invention.
FIG. 10 is a flowchart illustrating a method for generating an image in which characteristic information of a window region of a target object is reflected according to an exemplary embodiment of the present invention. Referring to FIG.
11 is a flowchart illustrating a method of generating an image for a window region based on characteristic information generated according to an embodiment of the present invention.
12 is a flowchart illustrating a method of generating an image for a window region based on characteristic information generated according to another embodiment of the present invention.
13 is a block diagram illustrating an apparatus for generating a three-dimensional image in which characteristics information of a target object is reflected according to an embodiment of the present invention.
FIG. 14 is a block diagram illustrating an apparatus for generating an image that reflects characteristic information about a window region of a target object according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 15 is a block diagram illustrating an apparatus for generating an image in which characteristic information about a window region of a target object is reflected according to another embodiment of the present invention.
FIGS. 16 and 17 are views for explaining the effect of reflected light in characteristic information of a target object according to an embodiment of the present invention.
FIG. 18 is a view for explaining a method for obtaining the ultrasound images of FIGS. 16 and 17. FIG.
FIG. 19 is a diagram illustrating an image in which characteristic information about a window region of a target object according to an exemplary embodiment of the present invention is reflected differently according to a specular light index; FIG.
20 is a view showing an image in which characteristic information about a window region of a target object according to an embodiment of the present invention is reflected differently according to a specular light index.
FIG. 21 is a diagram showing a change in image according to a specular light index and a specular reflection coefficient.
22 is a view showing an ultrasound image showing a reflected light effect when two light sources according to an embodiment of the present invention are used.
23 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
24 is a diagram for illustrating a method of calculating a reflected light vector through a normal vector.
25 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
26 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
27 to 29 are diagrams for explaining a method of calculating surface information of a target object.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .
명세서 전체에서 "초음파 영상"이란 초음파를 이용하여 획득된 대상체에 대한 영상을 의미한다. 대상체는 신체의 일부를 의미할 수 있다. 예를 들어, 대상체에는 간이나, 심장, 자궁, 뇌, 유방, 복부 등의 장기나, 태아 등이 포함될 수 있는 것이다. The term "ultrasound image " in the entire specification refers to an image of a target object obtained by using ultrasound. An object can mean a part of the body. For example, a subject may include an organs such as liver, heart, uterus, brain, breast, abdomen, or fetus.
명세서 전체에서 "의료 영상"이란 초음파를 이용하여 획득된 대상체에 대한 영상 뿐만 아니라, X선 진단장치, CT(Computerized Tomography) 스캐너, MRI(Magnetic Resonance Image) 장치, 핵의학 진단장치를 이용하여 획득된 대상체에 대한 영상을 의미할 수 있다. The term "medical image" as used throughout the specification refers to an image obtained by using an X-ray diagnostic apparatus, a computerized tomography (CT) scanner, an MRI (Magnetic Resonance Image) apparatus, It may mean an image of the object.
명세서 전체에서 "사용자"는 의료전문가로서 의사, 간호사, 임상병리사, 의료영상 전문가 등이 될 수 있으나, 이에 한정되지 않는다.Throughout the specification, the term "user" may be, but is not limited to, a medical professional such as a doctor, nurse, clinician,
명세서 전체에서 "복셀"는 3차원 이미지 영상의 최소 단위를 의미 할 수 있으나, 이에 한정되지 않는다.Throughout the specification, the term "voxel" may refer to a minimum unit of a three-dimensional image, but is not limited thereto.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
도 1은 대상체에 대한 초음파 영상 및 3차원 렌더링 영상을 나타낸다.1 shows an ultrasound image and a 3D rendering image for a target object.
초음파 3D 기능은 최근까지 태아 진단을 위해서 사용되어 왔으나, 최근 들어 실제로 내시경을 사용하지 않고도, 내시경을 통한 소화기관 촬영과 같은 효과를 낼 수 있도록 하는 기술로 발전하고 있다.Ultrasonic 3D function has been used for fetal diagnosis until recently, but recently it has been developed as a technique for obtaining the same effect as the digestive tract imaging through the endoscope without actually using the endoscope.
예를 들어, 초음파 3D 기능을 이용하면, 위장 등을 포함하는 소화 기관의 초음파 데이터와 3차원 볼륨 렌더링 기법 등을 이용하여 소화 기관의 내부 구조를 쉽게 파악할 수 있다.For example, using the ultrasound 3D function, the internal structure of the digestive organs can be easily grasped by using the ultrasound data of the digestive organs including the stomach, and the 3D volume rendering technique.
그러나, 이와 같은 초음파 3D 기능은 대상체의 초음파 영상에 나타난 구조 정보만을 이용하여 3차원 볼륨 렌더링을 수행하므로, 대상체에 대한 특성 (예를 들어, 질감) 등을 정확히 표현할 수 없다는 문제점이 있다. However, since the ultrasound 3D function performs the 3D volume rendering using only the structure information shown in the ultrasound image of the target object, there is a problem that the characteristics (e.g., texture) of the target object can not be accurately expressed.
예를 들어, 도 1에 도시된 바와 같이, 대상체(예컨대, 환자의 위장)에 침전물(20)(예컨대, 위장에 붙은 국수 다발 등)이 있는 경우, 침전물(20)은 초음파 영상(10)에서 주변 조직들 보다 어둡거나 밝게 나타날 수 있다. 침전물(20)에 대한 정밀한 관찰을 위하여 초음파 영상(10)에서 소정의 영역(11)을 선택하고, 선택된 영역에 대하여 렌더링을 수행한다면, 대상체 내의 침전물(20)은 렌더링된 영상(30)에서 마치 용종(polyp)(31)처럼 나타날 수 있다. For example, as shown in FIG. 1, when there is a sediment 20 (e.g., a bundle of noodles stuck to the stomach) in a subject (e.g., the stomach of a patient), the
이러한 방법에 따르면 대상체의 조직, 침전물(20)의 속성을 간과한 채, 대상체의 구조 정보만을 이용하여 렌더링을 수행하므로 침전물(20)을 마치 용종처럼 렌더링하는 오류가 발생될 수 있고, 이에 따라 사용자는 잘못된 임상 판단을 내릴 수도 있다. According to this method, rendering is performed using only the structure information of the target object while overlooking the attributes of the target tissue and the precipitate 20, so that an error of rendering the
대상체의 2차원(2D) 초음파 영상에서 침전물(20) 등은 주변 조직에 비하여 상이한 밝기와 질감을 가질 수 있으므로, 본 발명의 일 실시예에 따라 침전물(20) 등이 포함된 대상체의 특성에 기초하여 3차원 볼륨 렌더링을 수행함으로써 사용자에게 대상체에 대한 특성이 반영된 3차원 영상을 제공할 수 있다.In the two-dimensional (2D) ultrasound image of the object, the precipitate 20 and the like may have different brightness and texture as compared with the surrounding tissue. Therefore, according to one embodiment of the present invention, based on the characteristics of the object including the precipitate 20 Dimensional volume rendering is performed to provide the user with a three-dimensional image reflecting characteristics of the object.
본 발명의 일 실시예에 따른 3차원 영상 생성 장치 또는 방법은 획득된 초음파 데이터를 통하여 대상체의 3차원 영상을 생성하는 경우, 획득된 초음파 데이터의 특성정보가 상이한 부분은 대상체의 3차원 영상이 상이하게 표현되도록 대상체의 3차원 영상을 생성할 수 있다. 예를 들어, 도 1에서 침전물(20)이 주변 조직과 다르게 특성정보를 가진다면, 3차원 영상에서도 침전물(20)이 주변 조직과 다르게 표현될 수 있다. In an apparatus or method for generating a three-dimensional image according to an exemplary embodiment of the present invention, when a three-dimensional image of a target object is generated through the obtained ultrasound data, a portion of the acquired characteristic information of the ultrasound data is different, Dimensional image of the object to be displayed. For example, if the precipitate 20 in FIG. 1 has characteristic information different from the surrounding tissue, the precipitate 20 may be expressed differently from the surrounding tissue even in a three-dimensional image.
본 발명의 일 실시예에 따른 3차원 영상 생성 장치 또는 방법은 초음파 데이터의 특성정보가 상이하다면, 대상체의 3차원 영상이 상이할 수 있다. 여기서 특성정보는 영상 특성 정보, 물성 정보 및 표면 정보 중 적어도 하나를 포함할 수 있다. 특성정보에 대해서는 이하에서 구체적으로 설명한다. In an apparatus or method for generating a three-dimensional image according to an embodiment of the present invention, if the characteristic information of ultrasonic data is different, a three-dimensional image of the object may be different. Here, the characteristic information may include at least one of image characteristic information, physical property information, and surface information. The characteristic information will be described in detail below.
도 2는 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 방법을 나타낸 순서도이다. 2 is a flowchart illustrating a method for generating a three-dimensional image in which characteristic information of a target object is reflected according to an exemplary embodiment of the present invention.
본 발명의 일 실시예에 따른 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 방법은, 대상체에 대한 초음파 데이터를 획득하는 단계(S10), 획득된 초음파 데이터로부터 대상체의 특성정보를 생성하는 단계(S20) 및 생성된 특성정보에 기초하여 대상체에 대한 3차원 영상을 생성하는 단계(S30)를 포함할 수 있다. A method for generating a three-dimensional image reflecting characteristic information of a target object according to an exemplary embodiment of the present invention includes acquiring ultrasound data for a target object (S10), generating characteristic information of the target object from the acquired ultrasound data (S20) and generating a three-dimensional image of the target object based on the generated characteristic information (S30).
본 발명의 일 실시예에 따른 초음파 데이터는 초음파가 조사된 대상체로부터 수신되는 초음파 응답 신호를 포함할 수 있다. 이러한 초음파 응답 신호는 아날로그 신호 및 디지털 신호 중 적어도 하나를 포함할 수 있다. The ultrasound data according to an embodiment of the present invention may include an ultrasound response signal received from an object to which the ultrasound is irradiated. The ultrasound response signal may include at least one of an analog signal and a digital signal.
예를 들어, 초음파 데이터는 복셀(voxel) 단위로 표현될 수 있는 대상체로부터 획득된 초음파 응답 신호를 포함할 수 있다. 다시 말해서, 초음파 데이터는 프로브를 통하여 대상체를 향하여 송신된 초음파가 대상체를 거쳐 다시 프로브로 되돌아 오는 응답 초음파의 진폭 및 위상 값을 포함할 수 있다. For example, the ultrasound data may include an ultrasound response signal obtained from an object that can be expressed in units of voxels. In other words, the ultrasound data may include an amplitude and a phase value of a response ultrasonic wave that is transmitted back to the probe via the object, and the ultrasonic wave transmitted toward the object through the probe.
본 발명의 일 실시예에 따른 대상체의 특성(attribute) 정보는 대상체에 대한 영상 특성정보, 대상체의 물성 정보, 대상체의 표면정보 등을 포함할 수 있다. The attribute information of the object according to an exemplary embodiment of the present invention may include image characteristic information of the object, physical property information of the object, surface information of the object, and the like.
영상 특성정보는 대상체에 대한 초음파 영상의 공간 주파수, 영상 강도(image intensity), 영상 히스토그램, 동시발생 행렬(co-occurrence matrix), 국부 이진 패턴(Local Binary Pattern), 균일성(homogeneity)과 같은 초음파 영상의 특성정보 중 적어도 하나를 포함할 수 있다. The image characteristic information includes ultrasound images such as a spatial frequency, an image intensity, an image histogram, a co-occurrence matrix, a local binary pattern, and a homogeneity of an ultrasound image with respect to a target object And characteristic information of the image.
대상체의 균일성은 대상체에 포함된 적어도 하나의 입자의 크기, 모양의 변화 정도를 의미한다. 예를 들어, 대상체에 포함된 적어도 하나의 입자(또는 조직)의 크기 또는 모양이 다양하다면, 대상체의 균일성은 없거나 매우 낮게 된다. 또한, 대상체에 포함된 적어도 하나의 입자(또는 조직)의 크기 또는 모양이 동일하다면, 대상체는 매우 높은 균일성을 갖고 있음을 의미한다.The uniformity of the object means the degree of change in the size and shape of at least one particle contained in the object. For example, if the size or shape of at least one particle (or tissue) contained in a subject varies, the uniformity of the subject is absent or very low. Also, if the size or shape of at least one particle (or tissue) contained in the object is the same, it means that the object has a very high uniformity.
대상체의 물성 정보는 강도(strength), 경도(hardness), 탄성(elasticity), 소성(plasticity), 점성(viscosity), 밀도(density), 연성(ductile), 취성(brittleness), 전성(malleablity), 강성(rigidity) 및 인성(toughness)과 같은 대상체의 물리적인 성질을 나타내는 정보를 포함할 수 있다. The physical property information of the object includes strength, hardness, elasticity, plasticity, viscosity, density, ductile, brittleness, malleablity, And may include information indicating the physical properties of the object, such as rigidity and toughness.
대상체의 표면정보는 '매끄럽다', '울퉁불퉁하다', '거칠다', '부드럽다' 등과 같이 사람의 촉감 인지 기관을 통하여 느낄 수 있는 대상체의 표면적인 성질을 나타내기 위한 정보를 포함할 수 있다. The surface information of the object may include information for indicating the surface characteristics of the object, such as 'smooth', 'bumpy', 'rough', 'smooth'
또한, 대상체의 표면정보는 밝음과 어두움의 대비', '전체 바탕과 소정의 물건 간의 분리 또는 구분' 등과 같이 사람의 시각 기관을 통하여 느낄 수 있는 대상체의 시각적 또는 입체적 성질을 나타내기 위한 정보를 포함할 수 있다. Also, the surface information of the object includes information for indicating the visual or stereoscopic property of the object, which can be felt through the visual organs of the person, such as 'contrast between light and dark', 'separation or division between a whole background and a predetermined object' can do.
대상체의 특성(attribute) 정보는 영상을 구성하는 각각의 픽셀에 대한 정보일 수 있고, 영상을 구성하는 하나 이상의 영역 각각에 대한 정보 일 수 있다. 또한, 대상체의 특성(attribute) 정보는 영상의 프레임에 대한 정보를 의미할 수 있다. The attribute information of the object may be information on each pixel constituting the image and information on each of the one or more areas constituting the image. In addition, the attribute information of the object may be information on a frame of the image.
대상체에 대한 초음파 영상은 B 모드(brightness mode) 영상, C 모드(color mode) 영상, D 모드(Doppler mode) 영상 중 적어도 하나일 수 있다. 또한, 본 발명의 일 실시예에 의하면, 초음파 영상은 대상체에 대한 2차원 영상 또는 3차원 영상일 수도 있다.The ultrasound image for the object may be at least one of a brightness mode image, a color mode image, and a D mode image. According to an embodiment of the present invention, the ultrasound image may be a two-dimensional image or a three-dimensional image of a target object.
본 발명의 일 실시예에 따라 획득된 초음파 데이터로부터 특성정보를 추출하는 단계(S20)는, 초음파 응답 신호에 따라 생성된 초음파 영상에 기초하여 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴 및 균일성 중 하나를 획득하는 단계를 포함할 수 있다. The step S20 of extracting the characteristic information from the ultrasound data obtained according to the embodiment of the present invention may include extracting characteristic information from the acquired ultrasound data based on the ultrasound image generated in accordance with the ultrasound response signal, such as spatial frequency, image intensity, image histogram, Obtaining one of a binary pattern and a uniformity.
본 발명의 일 실시예에 따라 획득된 초음파 데이터로부터 특성정보를 추출하는 단계(S20)는, 영상 특성정보를 분석하는 단계 및 분석 결과에 기초하여 대상체의 특성정보를 결정하는 단계를 포함할 수 있다. The step S20 of extracting the characteristic information from the ultrasound data acquired according to the embodiment of the present invention may include a step of analyzing the image characteristic information and a step of determining the characteristic information of the target object based on the analysis result .
영상 특성정보의 분석 및 결정과 관련해서는 이하의 도 3 내지 도 8을 참조하여 후술한다. The analysis and determination of the image characteristic information will be described later with reference to Figs. 3 to 8 below.
도 3은 본 발명의 일 실시예에 따라 영상 특성정보가 공간 주파수인 것을 도시한다. FIG. 3 illustrates that the image characteristic information is spatial frequency according to an embodiment of the present invention.
공간 주파수는 영상을 나타낸 화면 상에서 가로 또는 세로 방향으로 픽셀 값이 변화하는 비율을 나타내기 위한 개념이다. 예를 들어, 픽셀 값이 천천히 변화(또는 픽셀 값이 거의 변화 없음) 하거나 영상에 포함된 객체들의 상관도가 높을 때 공간 주파수가 낮다. 이와 반대로, 픽셀 값의 변화가 극심(또는 에지(edge)와 같이 픽셀 값의 변화가 불연속적임)하거나 영상에 포함된 객체들의 상관도가 낮을 때 공간 주파수가 높다. The spatial frequency is a concept for indicating the rate of change of the pixel value in the horizontal or vertical direction on the screen displaying the image. For example, the spatial frequency is low when the pixel value slowly changes (or the pixel value changes little) or when the correlation of the objects included in the image is high. On the other hand, the spatial frequency is high when the change in the pixel value is extreme (or the change in the pixel value such as edge is discontinuous) or when the correlation of the objects included in the image is low.
대상체의 초음파 영상(40 또는 50)은 도 3에 도시된 바와 같이 획득될 수 있다. 또한, 대상체의 초음파 영상(40 또는 50)은 도 1에서와 같이 대상체의 초음파 영상(10) 중 일부(예컨대, 소정의 선택된 영역(11)에 상응하는 부분)에 대한 초음파 영상일 수 있다. The
예를 들어, 대상체의 조직(41, 42, 43)의 크기는 각각 상이할 수 있다. 여기서, 조직은 대상체를 이루는 생체 기관의 입자 또는 침전물의 입자 등을 지칭할 수 있다. 대상체에는 가장 큰 조직(42), 중간 크기의 조직(43) 및 가장 작은 조직(41)이 포함되어 있을 수 있다. 또한, 대상체의 조직(41, 42, 43)의 모양도 각각 상이할 수 있다.For example, the sizes of the
또한, 대상체의 조직(41, 42, 43)의 밝기 값도 각각 상이할 수 있다. 예컨대, 대상체는 초음파 영상(40 또는 50)상에서 가장 밝게 나타나는 조직(43), 중간 밝기를 나타내는 조직(42) 및 가장 어둡게 나타나는 조직(41)을 포함할 수 있다. 조직의 깊이, 밀도, 탄성력 등에 따라 상이한 초음파 응답 신호가 생성될 수 있으므로, 상이한 조직은 상이한 밝기 값을 나타낼 수 있다. 예를 들면, 가장 깊은 곳에 위치한 조직(41)은 가장 어둡게 나타날 수 있다. 다시 말해서, 조직의 깊이가 깊어질수록 밝기 값이 점점 작게 나타날 수 있다.Also, the brightness values of the
제 1 초음파 영상(40)의 위로부터 k번째에 위치한 라인에 포함된 복수개의 픽셀들의 밝기 값은 도 3에서와 같이 픽셀의 진폭 값으로서 표현될 수 있다. 예를 들어, 중간 밝기를 나타내는 조직(42)은 0.5의 픽셀 진폭 값으로서 표현될 수 있다. 또한, 가장 어둡게 나타나는 조직(41)은 -1의 픽셀 진폭 값으로서 표현될 수 있다. The brightness value of the plurality of pixels included in the line located at the k-th position from the top of the
또한, 제 1 초음파 영상(40)과 상응하게 제 2 초음파 영상(50)의 위로부터 k번째에 위치한 라인에 포함된 복수개의 픽셀들의 밝기 값도 픽셀의 진폭 값으로서 표현될 수 있다. 제 2 초음파 영상(50)에는 동일한 크기, 동일한 밝기 값을 갖는 조직(51)이 포함되어 있다. 따라서, k번째 라인을 따라 밝기 값을 나타내면 도 3에 도시된 바와 같이 1의 픽셀 진폭 값을 갖도록 표현될 수 있다. Also, the brightness value of a plurality of pixels included in a line located at a k-th position from the top of the
동일한 k번째 라인을 따른 픽셀의 밝기 값은 제 1 초음파 영상(40)과 제 2 초음파 영상(50)에서 상이한 양상을 나타낸다. 다시 말해서, 제 1 초음파 영상(40)에서는 픽셀 진폭 값(또는 픽셀의 밝기 값)이 -1에서부터 0.5까지 다양하게 변화하는데 비하여, 제 2 초음파 영상(50)에서는 픽셀 진폭 값이 0에서부터 1까지 변화할 뿐이다. The brightness values of the pixels along the same kth line represent different aspects in the
전술한 예에서 제 1 초음파 영상(40)은 픽셀 진폭 값의 변화가 많으므로, 공간 주파수가 높다고 결정될 수 있다. 다시 말해서, 제 1 초음파 영상(40)에 포함된 조직(41, 42, 43)들의 상관도는 낮으며, 따라서 제 1 초음파 영상(40)의 대상체는 '울퉁불퉁'하거나 '거친' 특성을 갖는다고 결정될 수 있다. In the above example, since the first
또한, 제 1 초음파 영상(40)에 비하여 제 2 초음파 영상(50)은 픽셀 진폭 값의 변화가 거의 없으므로, 공간 주파수가 낮다고 결정될 수 있다. 다시 말해서, 제 2 초음파 영상에 포함된 객체(예컨대, 조직(51))들의 상관도는 매우 높으며, 그러므로 제 2 초음파 영상(50)의 대상체는 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다. In addition, since the second
전술한 바와 같이, 특성정보로서 초음파 영상의 공간 주파수가 추출될 수 있고, 이러한 공간 주파수에 기초하여 대상체의 특성정보가 결정(또는 획득)될 수 있다.As described above, the spatial frequency of the ultrasound image can be extracted as the characteristic information, and the characteristic information of the object can be determined (or obtained) based on the spatial frequency.
도 4는 본 발명의 일 실시예에 따라 영상 특성정보가 영상 강도인 것을 도시한다. 4 illustrates that image characteristic information is image intensity according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 강도(image intensity)는 대상체에 대한 초음파 영상의 복수개의 픽셀들의 밝기 값으로서 표현될 수 있다. The image intensity according to an exemplary embodiment of the present invention may be expressed as a brightness value of a plurality of pixels of an ultrasound image with respect to a target object.
도 4에서와 같이 상이한 범위(예컨대, 제 1 구간(401) 내지 제 3 구간(403))에 포함된 밝기 값들을 갖는 복수개의 조직들(41 내지 43)이 제 1 초음파 영상(40)에서 나타날 수 있다. 또한, 동일한 범위(예컨대, 제 3 구간(403))의 밝기 값을 갖는 조직(51)이 제 2 초음파 영상(50)에서 나타날 수 있다.A plurality of
다시 말해서, 제 1 초음파 영상(40)에서는 제 1 구간(예컨대, 어두운 구간)(401)에 포함된 밝기 값을 갖는 조직(41), 제 2 구간(예컨대, 중간 밝기 구간)(402)에 포함된 밝기 값을 갖는 조직(42) 및 제 3 구간(예컨대, 밝은 구간)(403)에 포함된 밝기 값을 갖는 조직(43)을 포함하므로, 제 1 초음파 영상(40)에 포함된 조직들(41 내지 43)은 이종의 조직들이라고 결정될 수 있다. 또한, 조직들(41 내지 43)이 동종의 조직이라고 하더라도, 조직들(41 내지 43)의 밝기 값 구간이 상이하므로, 조직들(41 내지 43)의 깊이가 각각 상이하다고 결정될 수 있다. In other words, in the
따라서, 제 1 초음파 영상(40)의 대상체는 '울퉁불퉁'하거나 '거친' 특성을 갖는다고 결정될 수 있다.Therefore, it can be determined that the object of the
이와 반면에, 제 2 초음파 영상(50)에서는 제 3 구간(예컨대, 밝은 구간)(403)에 포함된 밝기 값을 갖는 조직(51)을 포함하므로, 제 2 초음파 영상(50)은 단일 조직(51)들을 포함한다고 결정될 수 있다. On the other hand, in the
그러므로 제 2 초음파 영상(50)의 대상체는 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다.Therefore, it can be determined that the object of the
도 5는 본 발명의 일 실시예에 따라 영상 특성정보가 영상 히스토그램인 것을 도시한다.FIG. 5 illustrates that the image characteristic information is an image histogram according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 대상체에 대한 초음파 영상(40 또는 50)의 영상 히스토그램이 영상 특성정보로서 도 5에서와 같이 획득될 수 있다. An image histogram of the
초음파 영상(40 또는 50)의 영상 히스토그램은 초음파 영상의 픽셀 값(예컨대, 밝기 값 등)에 대한 픽셀 수를 나타낸다. The image histogram of the
도 5에서와 같이 상이한 밝기 값을 갖는 복수개의 조직들(41 내지 43)이 제 1 초음파 영상(40)에서 나타날 수 있다. 제 1 초음파 영상(40)의 픽셀 값에 따른 픽셀 수는 픽셀 값 0 내지 192에서 고르게 분포하게 나타날 수 있다. As shown in FIG. 5, a plurality of
도 4 및 도 5를 참조하면, 제 1 구간(401)에 포함된 밝기 값을 갖는 픽셀 수는 제 1 그래프(501)로, 제 2 구간(402)에 포함된 밝기 값을 갖는 픽셀 수는 제 2 그래프(503)로, 그리고 제 3 구간(403)에 포함된 밝기 값을 갖는 픽셀 수는 제 3 그래프(505)로 영상 히스토그램 상에서 나타날 수 있다. 4 and 5, the number of pixels having a brightness value included in the first section 401 is a
따라서, 제 1 초음파 영상(40)에 포함된 조직들(41 내지 43)은 다양한 밝기 값들을 갖는 이종의 조직들이라고 결정될 수 있다. 또한, 조직들(41 내지 43)이 동종의 조직이라고 하더라도, 조직들(41 내지 43)의 히스토그램 분포가 비교적 넓게 나타나므로, 조직들(41 내지 43)의 깊이가 각각 상이하다고 결정될 수 있다. Accordingly, the
그러므로, 제 1 초음파 영상(40)의 대상체는 '울퉁불퉁'하거나 '거친' 특성을 갖는다고 결정될 수 있다.Therefore, it can be determined that the object of the
또한, 동일하거나 유사한 밝기 값을 갖는 조직(51)이 제 2 초음파 영상(50)에서 나타날 수 있다. 도 4 및 도 5를 참조하면, 제 2 초음파 영상(50)에 대한 영상 히스토그램 상에서는 제 3 구간(403)에 포함된 밝기 값을 갖는 픽셀 수만이 제 4 그래프(502)로 나타날 수 있으므로, 제 2 초음파 영상(50)은 단일 조직(51)들을 포함한다고 결정될 수 있다. In addition, a
그러므로 제 2 초음파 영상(50)의 대상체는 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다.Therefore, it can be determined that the object of the
도 6은 본 발명의 일 실시예에 따라 영상 특성정보가 동시발생 행렬인 것을 도시한다. FIG. 6 illustrates that the image characteristic information is a co-occurrence matrix according to an embodiment of the present invention.
동시발생 행렬(co-occurrence matrix)은 픽셀 값의 반복성을 판단하기 위하여 이용될 수 있다. 예컨대, 소정의 패턴에 해당하는 값이 많을 경우, 그러한 패턴의 반복성이 높다고 판단될 수 있다. The co-occurrence matrix may be used to determine the repeatability of the pixel values. For example, when a value corresponding to a predetermined pattern is large, it can be judged that the repeatability of such a pattern is high.
설명의 편의상 도 6에서와 같이, 가장 밝은 조직(43)은 밝기 값이 3으로 표현되고, 중간 밝기 조직(42)은 밝기 값이 2로 표현되며, 가장 어두운 조직(41)은 밝기 값이 0으로 표현될 때 제 1 초음파 영상(40)은 4x4 크기의 행렬(610)로 간단히 나타낼 수 있다. 6, the
제 1 초음파 영상(40)의 픽셀 값을 나타낸 행렬(610)에 대하여 픽셀간 수평 거리 1의 단위로 해석되는 패턴을 이용하여 동시발생 행렬(630)이 획득될 수 있다. 그러나 픽셀들 사이의 패턴의 해석이 반드시 수평 방향으로만 제한되는 것은 아니고, 수직 방향, 대각선 방향 등으로 수행될 수도 있다. The
예를 들어, (1, 0)의 수평적 패턴으로 나란히 픽셀 값이 존재(611)한다면, (1, 0)의 패턴에 상응하는 행렬의 원소(element)(631)에 (1, 0)의 패턴의 개수인 3을 표시한다. 행렬의 각각의 원소(element)에 상응하는 패턴의 개수를 각각 표시함으로써 동시발생 행렬(630)이 획득될 수 있다. For example, if a pixel value exists 611 side by side in a horizontal pattern of (1, 0), the
또한, 제 2 초음파 영상(50)에 포함된 조직(51)의 밝기 값을 3으로 표현함으로써, 제 2 초음파 영상(50)도 4x4 크기의 행렬(620)로 간단히 나타낼 수 있다. 제 2 초음파 영상(50)에 대한 동시발생 행렬(640)도 제 1 초음파 영상(40)에 대한 동시발생 행렬(630) 획득과 같은 방식으로 획득될 수 있다. In addition, by expressing the brightness value of the
제 2 초음파 영상(50)에 대한 동시발생 행렬(640)에서는 행렬(640)의 특정 원소(641)에 값이 집중적으로 나타날 수 있다. 다시 말해서, 제 2 초음파 영상(50)에서는 (1,1)의 패턴이 여섯번이나 반복하여 나타나므로, (1, 1)의 패턴에 상응하는 행렬의 원소(641)는 6의 값으로서 표현될 수 있다. In the
제 1 초음파 영상(40)에 대한 동시발생 행렬(630)과 제 2 초음파 영상(50)에 대한 동시발생 행렬(640)을 비교해보면, 동시발생 행렬(640)에서는 특정 원소에 값이 집중적으로 나타남으로써 상대적으로 단조로운 행렬로서 표현되는데, 왜냐하면 제 2 초음파 영상(50)에서는 소정의 패턴(예컨대, (1,1) 또는 (3,3))의 반복성이 높게 나타나기 때문이다. The
제 2 초음파 영상(50)의 패턴의 반복성이 높기 때문에, 제 2 초음파 영상(50)의 대상체는 제 1 초음파 영상(40)의 대상체에 비하여 상대적으로 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다.It is determined that the object of the
도 7은 본 발명의 일 실시예에 따라 추출된 영상 특성정보가 국부 이진 패턴(LBP)인 것을 도시한다. FIG. 7 illustrates that the extracted image characteristic information is a local binary pattern (LBP) according to an embodiment of the present invention.
국부 이진 패턴(Local Binary Pattern)은 현재 위치의 픽셀 값과 이웃 픽셀 값 간의 차이를 0, 1의 2진 형태로 표현하여 픽셀들 간의 유사도를 판단하기 위한 기법이다. 다시 말해서, 영상의 각 픽셀에 대하여 소정 반경 내에 포함된 주변 픽셀들 간의 차이를 2진 형태의 값으로서 표현한 LBP 히스토그램을 획득하고, 각 픽셀을 기준으로 획득된 복수개의 2진 표현 값들을 상호 비교함으로써 픽셀들 간의 유사도를 판단할 수 있다. The Local Binary Pattern is a technique for determining the similarity between pixels by representing the difference between the pixel value of the current position and the neighboring pixel value in binary form of 0, 1. In other words, an LBP histogram representing the difference between neighboring pixels included in a predetermined radius for each pixel of an image as a binary value is obtained, and a plurality of binary expression values obtained based on each pixel are compared with each other The degree of similarity between the pixels can be determined.
픽셀들 간의 유사도가 크다는 것은 픽셀들이 동일한 속성(feature)을 가짐을 나타낸다. 예를 들어, 유사도가 큰 픽셀들은 동일하거나 유사한 밝기 값을 가질 수 있다. 따라서, 국부 이진 패턴 기법을 이용하여 영상의 패턴을 비교적 정확하게 추정할 수 있다. A large similarity between pixels indicates that the pixels have the same property. For example, pixels with a high degree of similarity may have the same or similar brightness values. Therefore, it is possible to estimate the image pattern relatively accurately using the local binary pattern technique.
도 7에 도시된 바와 같이, 제 1 초음파 영상(40)의 픽셀 값을 나타낸 행렬(610)에서 소정의 원소(711)를 중심으로한 3x3 행렬(710)이 선택되고, 원소(711)의 픽셀 값인 1을 기준으로 주변 픽셀이 높거나 같은 픽셀 값을 가지면 1로 나타내고, 1보다 작은 픽셀 값을 가지면 0으로 나타냄으로써 이진 표현 행렬(730)이 획득될 수 있다. 이진 표현 행렬(730)에서 원소(711)로부터 시계 방향으로 각각의 원소의 값들을 판독함으로써, 원소(711)에 상응하는 픽셀을 기준으로한 이진 값(750) '11101001'이 획득될 수 있다. 이와 같은 방식으로 원소(712)를 기준으로 하여 이진 값 '11111111'이 획득될 수 있다.7, a
또한, 제 2 초음파 영상(50)의 픽셀 값을 나타낸 행렬(620)에서 소정의 원소(721)를 중심으로한 행렬(720)에 기초하여 이진 값(760) '00111110'이 획득될 수 있다. 또한, 원소(722)를 기준으로 하여 이진 값 '00111110'이 획득될 수 있다.In addition, the binary value 760 '00111110' may be obtained based on the
제 1 초음파 영상(40)에서 획득된 이진 값들('11101001' 및 '11111111')의 변화는 급격하지만, 제 2 초음파 영상(50)에서 획득된 이진 값들('00111110' 및 '00111110')은 변화가 없다. 즉, 제 1 초음파 영상(40)에 비하여 제 2 초음파 영상(50)은 인접한 픽셀들 간의 픽셀 값의 변화가 크지 않다. The binary values '00111110' and '00111110' obtained in the
제 2 초음파 영상(50)은 인접한 픽셀들 간의 픽셀 값의 변화가 적으므로, 제 2 초음파 영상(50)의 대상체는 제 1 초음파 영상(40)의 대상체에 비하여 상대적으로 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다.The object of the
도 8은 본 발명의 일 실시예에 따라 영상 특성정보가 균일성인 것을 도시한다. FIG. 8 illustrates that image characteristic information is uniform according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 초음파 영상의 균일성은, 초음파 영상(40 또는 50)에 포함된 조직(41, 42, 43 또는 51)의 크기 또는 모양의 균일성을 의미한다. 설명의 편의상, 완전히 균일한 경우 균일성은 값 '10'으로 표현되고, 균일하지 않은 경우 균일성은 값 '1'로 표현된다고 가정한다. The uniformity of the ultrasound image according to an embodiment of the present invention means the uniformity of the size or shape of the
제 1 초음파 영상(40)에는 크기가 상이한 복수개의 조직들(41 내지 43)이 포함된다. 따라서, 제 1 초음파 영상(40)의 균일성은 낮다고 결정될 수 있다. 예를 들어, 제 1 초음파 영상(40)의 균일성은 값 '1'로 표현될 수 있고, 입자(또는 조직)이 고르지 못하다고 결정될 수 있다. 다시 말해서, 제 1 초음파 영상(40)의 대상체는 '울퉁불퉁'하거나 '거친' 특성을 갖는다고 결정될 수 있다.The
이에 비하여, 제 2 초음파 영상(50)은 크기가 동일한 조직(51)이 복수개 포함된다. 그러므로, 제 2 초음파 영상(50)의 균일성은 제 1 초음파에 비하여 상대적으로 높다고 결정될 수 있다. 예를 들어, 제 2 초음파 영상(50)의 균일성은 값 '10'으로 표현될 수 있고, 입자(또는 조직)이 고르다고 결정될 수 있다. 다시 말해서, 제 2 초음파 영상(50)의 대상체는 제 1 초음파 영상(40)의 대상체에 비하여 상대적으로 '매끄러운' 또는 '부드러운' 특성을 갖는다고 결정될 수 있다.On the other hand, the
도 9는 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 렌더링하고, 디스플레이하는 방법을 나타낸 순서도이다.9 is a flowchart illustrating a method of rendering and displaying a three-dimensional image in which characteristic information of a target object is reflected according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 생성된 특성정보에 기초하여 대상체에 대한 3차원 영상을 생성하는 단계(S30)는, 특성정보에 따라 대상체에 대한 3차원 영상을 렌더링하는 단계(S31)를 포함할 수 있다. The step of generating a three-dimensional image (S30) on the object based on the characteristic information generated according to an embodiment of the present invention includes a step (S31) of rendering a three-dimensional image of the object in accordance with the characteristic information .
예컨대, 대상체에 대하여 전술한 방법에 따라 생성된 특성정보를 이용하여 3차원 영상이 렌더링될 수 있다. 다시 말해서, 대상체에 대한 3차원 볼륨 렌더링을 수행할 때, 전술한 영상 특성정보의 분석을 통하여 획득(또는 결정)된 각각의 픽셀에 상응하는 특성(예컨대, 질감 등) 정보를 이용함으로써 대상체의 구조뿐만 아니라 대상체의 질감 등의 특성이 반영된 3차원 볼륨 영상을 획득할 수 있다. For example, a three-dimensional image can be rendered using the characteristic information generated according to the above-described method for the object. In other words, when three-dimensional volume rendering of a target object is performed, information of characteristics (e.g., texture, etc.) corresponding to each pixel acquired (or determined) through analysis of the above- In addition, the 3D volume image reflecting the characteristics of the object can be acquired.
또한, 본 발명의 일 실시예에 따른 방법은 특성정보가 반영되어 생성된 3차원 영상을 디스플레이하는 단계(S40)를 더 포함할 수 있다. In addition, the method according to an embodiment of the present invention may further include a step (S40) of displaying a generated three-dimensional image reflecting characteristic information.
도 10은 본 발명의 일 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 방법을 나타낸 순서도이다. FIG. 10 is a flowchart illustrating a method for generating an image in which characteristic information of a window region of a target object is reflected according to an exemplary embodiment of the present invention. Referring to FIG.
본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 방법은, 대상체에 대한 초음파 데이터에 기초하여 대상체에 대한 초음파 영상을 획득하는 단계(S100), 획득된 초음파 영상에서 윈도우 영역 을 설정하는 단계(S200), 초음파 데이터로부터 윈도우 영역에 대한 특성정보를 생성하는 단계(S300) 및 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 단계(S400)를 포함할 수 있다. A method for generating an image reflecting feature information of a window region of an object according to an embodiment of the present invention includes acquiring an ultrasound image of a target object based on ultrasound data of the target object (S100) (S300) of generating characteristic information for the window region from the ultrasound data, and generating an image for the window region based on the generated characteristic information (S400) can do.
본 발명의 일 실시예에 따라 획득된 초음파 영상에서 윈도우 영역 을 설정하는 단계(S200)는, 외부 입력에 기초하여 초음파 영상에서 소정의 영역을 선택하는 단계(S210)를 포함할 수 있다. The step S200 of setting the window region in the ultrasound image obtained according to the embodiment of the present invention may include a step S210 of selecting a predetermined region in the ultrasound image based on the external input.
또한, 본 발명의 일 실시예에 따른 윈도우 영역 은, 별도의 외부 입력이 인가되지 않더라도 대상체의 소정의 부분(또는 부위)이 포함되는 소정 크기의 미리 설정된 영역만큼 자동적으로 설정될 수 있다. 예를 들어, 환자의 위장의 상단부 또는 하곡면 등이 포함되도록 소정 크기로 미리 설정된 윈도우 영역이 자동으로 설정될 수 있다.In addition, the window area according to an embodiment of the present invention can be automatically set to a predetermined area of a predetermined size including a predetermined part (or a part) of the object even if no external input is applied. For example, a predetermined window area may be automatically set to a predetermined size so as to include the upper or lower curved surface of the patient's stomach.
본 발명의 일 실시예에 따른 영상 특성정보는, 대상체에 대한 초음파 영상의 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴, 균일성 중 적어도 하나를 포함할 수 있고, 특성정보는 대상체의 질감을 포함할 수 있다. The image characteristic information according to an exemplary embodiment of the present invention may include at least one of a spatial frequency, an image intensity, an image histogram, a co-occurrence matrix, a localized binary pattern, and a uniformity of an ultrasound image with respect to a target object, And may include the texture of the object.
도 11은 본 발명의 일 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 방법을 나타낸 순서도이다. 11 is a flowchart illustrating a method of generating an image for a window region based on characteristic information generated according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 단계(S400)는, 생성된 특성정보에 따라 윈도우 영역에 대한 3차원 영상을 렌더링하는 단계(S410)를 포함할 수 있다. The step S400 of generating an image for the window area based on the characteristic information generated according to the embodiment of the present invention may include rendering the 3D image of the window area according to the generated characteristic information S410 .
전술한 바와 같이, 대상체에 대한 3차원 볼륨 렌더링을 수행할 때, 특성정보의 분석을 통하여 획득(또는 결정)된 각각의 픽셀에 상응하는 특성정보를 이용함으로써 대상체의 구조뿐만 아니라 대상체의 질감 등의 특성이 반영된 3차원 볼륨 영상을 획득할 수 있다. As described above, when three-dimensional volume rendering of a target object is performed, characteristic information corresponding to each pixel acquired (or determined) through analysis of characteristic information is used, thereby not only the structure of the target object but also the texture of the target object It is possible to acquire a three-dimensional volume image reflecting characteristics.
도 12는 본 발명의 다른 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 방법을 나타낸 순서도이다.12 is a flowchart illustrating a method of generating an image for a window region based on characteristic information generated according to another embodiment of the present invention.
본 발명의 일 실시예에 따라 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 단계(S400)는, 윈도우 영역에 대한 3차원 영상이 획득되도록 렌더링하는 단계(S420) 및 렌더링된 3차원 영상에 생성된 특성정보를 부가하는 단계(S440)를 포함할 수 있다. The step S400 of generating an image for a window area based on the generated characteristic information according to an embodiment of the present invention includes rendering (S420) a 3D image of the window area to be acquired (S420) And adding the generated characteristic information to the image (S440).
윈도우 영역에 대한 3차원 볼륨 렌더링을 수행하여 3차원 영상을 획득하고 나서, 렌더링된 3차원 영상에 특성정보를 부가함으로써 특성정보가 반영된 3차원 영상을 획득할 수 있다. 3D images can be acquired by performing 3D volume rendering on the window region and then adding characteristic information to the rendered 3D image to obtain a 3D image reflecting the characteristic information.
다시 말해서, 윈도우 영역에 대한 3차원 볼륨 렌더링을 수행하여 제 1 영상을 생성하고, 윈도우 영역에 상응하게 초음파 데이터로부터 추출 및 분석되어 생성된 특성정보에 기초하여 제 2 영상을 생성하고, 제 1 영상과 제 2 영상을 중첩시킴으로써 렌더링된 3차원 영상(예컨대, 제 1 영상)에 특성정보를 부가할 수 있다. 또한, 소정의 영상 처리 필터 등을 통하여 필터링된 특성정보를 렌더링된 3차원 영상에 부가함으로써 특성정보가 반영된 3차원 영상이 획득될 수 있다. In other words, a first image is generated by performing three-dimensional volume rendering on the window region, a second image is generated based on the characteristic information generated by extracting and analyzing from the ultrasonic data corresponding to the window region, (For example, a first image) rendered by superimposing the second image on the three-dimensional image. Further, by adding the filtered characteristic information through a predetermined image processing filter or the like to the rendered three-dimensional image, a three-dimensional image reflecting the characteristic information can be obtained.
도 13은 본 발명의 일 실시예에 따라 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 장치를 나타낸 블록도이다.13 is a block diagram illustrating an apparatus for generating a three-dimensional image in which characteristics information of a target object is reflected according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 대상체의 특성정보가 반영된 3차원 영상을 생성하기 위한 장치(1300)는, 대상체에 대한 초음파 데이터를 획득하는 초음파 데이터 획득부(1310), 획득된 초음파 데이터로부터 대상체의 특성정보를 생성하는 특성정보 생성부(1350) 및 생성된 특성정보에 기초하여 대상체에 대한 3차원 영상을 생성하는 영상 생성부(1370)를 포함할 수 있다. An
또한, 본 발명의 일 실시예에 따른 장치(1300)는 생성된 3차원 영상을 디스플레이하는 디스플레이부(1390)를 더 포함할 수 있다. In addition, the
본 발명의 일 실시예에 따른 특성정보는, 상기 대상체에 대한 초음파 영상의 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴, 균일성 중 적어도 하나의 영상 특성정보를 포함할 수 있다. The characteristic information according to an embodiment of the present invention may include at least one image characteristic information of a spatial frequency, an image intensity, an image histogram, a co-occurrence matrix, a localized binary pattern, and a uniformity of an ultrasound image with respect to the target object .
본 발명의 일 실시예에 따른 특성정보는 영상 특성정보, 대상체의 물성 정보, 표현 정보 중 적어도 하나를 포함할 수 있다. The characteristic information according to an exemplary embodiment of the present invention may include at least one of image characteristic information, physical property information of a target object, and presentation information.
본 발명의 일 실시예에 따른 영상 생성부(1370)는 특성정보 생성부(1350)에 의하여 생성된 특성정보에 따라 대상체에 대한 3차원 영상을 렌더링할 수 있다.The
도 14는 본 발명의 일 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 장치를 나타낸 블록도이다. FIG. 14 is a block diagram illustrating an apparatus for generating an image that reflects characteristic information about a window region of a target object according to an exemplary embodiment of the present invention. Referring to FIG.
본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 장치(1300)는, 대상체에 대한 초음파 데이터를 획득하는 초음파 데이터 획득부(1310), 획득된 초음파 데이터에 기초하여 대상체에 대한 초음파 영상을 획득하는 초음파 영상 획득부(1320), 획득된 초음파 영상에서 윈도우 영역 을 설정하는 윈도우 영역 설정부(1360), 초음파 데이터로부터 윈도우 영역에 대한 특성정보를 생성하는 특성정보 생성부(1350) 및 생성된 특성정보에 기초하여 윈도우 영역에 대한 영상을 생성하는 영상 생성부(1370)를 포함할 수 있다. An
본 발명의 일 실시예에 따른 윈도우 영역 설정부(1360)는, 대상체의 소정의 부분(또는 부위)가 포함되는 소정 크기의 미리 설정된 영역만큼 자동적으로 윈도우 영역을 설정할 수 있다. 이러한 미리 설정된 영역은 저장부(미도시)에 미리 저장되어 있을 수 있다. 예를 들어, 환자의 위장의 상단부 또는 하곡면 등이 포함되도록 소정 크기로 미리 설정된 윈도우 영역이 자동으로 설정될 수 있다.The window
본 발명의 일 실시예에 따른 장치(1300)는, 외부 입력 수신부(1340)를 더 포함할 수 있다. The
윈도우 영역 설정부(1360)는, 외부 입력 수신부(1340)를 통하여 수신된 외부 입력에 기초하여 초음파 영상 획득부(1320)를 통하여 획득된 초음파 영상에서 소정의 영역을 선택할 수 있다. The window
본 발명의 일 실시예에 따른 영상 특성정보는, 대상체에 대한 초음파 영상의 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴, 균일성 중 적어도 하나를 포함하고, 특성정보는 대상체의 질감 및 대상체의 균일성 중 적어도 하나를 포함할 수 있다. The image characteristic information according to an embodiment of the present invention includes at least one of a spatial frequency, an image intensity, an image histogram, a coincidence matrix, a localized binary pattern, and a uniformity of an ultrasound image with respect to a target object, Texture, and uniformity of the object.
본 발명의 일 실시예에 따른 영상 생성부(1370)는, 특성정보 생성부(1350)를 통하여 생성된 특성정보에 따라 윈도우 영역에 대한 3차원 영상이 획득되도록 렌더링하는 영상 렌더링부(1371)를 포함할 수 있다. The
도 15는 본 발명의 다른 실시예에 따라 대상체의 윈도우 영역에 대한 특성정보가 반영된 영상을 생성하기 위한 장치를 나타낸 블록도이다.FIG. 15 is a block diagram illustrating an apparatus for generating an image in which characteristic information about a window region of a target object is reflected according to another embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 생성부(1370)는, 윈도우 영역에 대한 3차원 영상이 획득되도록 렌더링하는 영상 렌더링부(1371) 및 렌더링된 3차원 영상에 특성정보 생성부(1350)를 통하여 생성된 특성정보를 부가하는 특성정보 부가부(1372)를 포함할 수 있다.The
또한, 본 발명의 일 실시예에 따른 영상 생성부(1370)는 특성정보 생성부(1350)에 의하여 생성된 특성정보에 기초하여 특성정보가 표현된 특성정보 영상을 생성할 수 있다. In addition, the
다시 말해서, 윈도우 영역에 대한 3차원 볼륨 렌더링을 수행하여 3차원 영상을 획득하고, 그리고 나서 렌더링된 3차원 영상에 특성정보를 부가함으로써 특성정보가 반영된 3차원 영상이 획득될 수 있다. In other words, a three-dimensional image is obtained by performing a three-dimensional volume rendering on the window region, and then the characteristic information is added to the rendered three-dimensional image, thereby obtaining a three-dimensional image reflecting the characteristic information.
특성정보 부가부(1372)는 영상 렌더링부(1371)에 의하여 생성된 제 1 영상과 영상 생성부(1370)를 통하여 생성된 제 2 영상(예컨대, 특성정보 영상)을 중첩시킴으로써 렌더링된 3차원 영상(예컨대, 제 1 영상)에 특성정보를 부가할 수 있다. 또한, 특성정보 부가부(1372)는 소정의 영상 처리 필터 등을 포함할 수 있다. 다시 말해서, 소정의 영상 처리 필터 등을 통하여 특성정보를 필터링하여 렌더링된 3차원 영상에 부가함으로써 특성정보가 반영된 3차원 영상이 획득될 수 있다.The characteristic
도 16 및 도 17은 본 발명의 일 실시예에 따른 대상체의 특성정보 중 반사광 효과를 설명하기 위한 도면이다.FIGS. 16 and 17 are views for explaining the effect of reflected light in characteristic information of a target object according to an embodiment of the present invention.
도 16 및 도 17을 참조하면, 도 16(a)의 이미지와 도 16(b)의 이미지를 합성하여 도 16(c)와 같은 이미지를 생성할 수 있다. 도 16(b)와 같은 반사광 효과는 대상체의 재료 특성에 따라서 달라질 수 있다. Referring to FIGS. 16 and 17, an image shown in FIG. 16 (c) can be generated by combining the image of FIG. 16 (a) and the image of FIG. 16 (b). The reflection light effect as shown in FIG. 16 (b) may be varied depending on the material characteristics of the object.
예를 들어, 도 13의 장치(1300)는 도 16(a)와 같이 3차원 이미지를 획득할 수 있고, 도 16(b)의 이미지에 대응하는 특성정보를 획득할 수 있다. 또한, 예를 들어, 도 13의 장치(1300)는 도 16(a)와 같이 3차원 이미지에 도 16(b)와 같은 이미지를 부가하여 도 16(c)와 같이 이미지를 생성할 수 있다. 따라서, 도 13의 장치(1300)는 도 16(a)와 같이 3차원 이미지에 도 16(b)의 이미지에 대응하는 특성정보인 반사광 효과를 부가적으로 렌더링 할 수 있다. For example, the
도 17(a)의 이미지와 도 17(b)의 이미지를 합성하여 도 17(c)와 같은 이미지를 생성할 수 있다. 도 17(b)와 같은 반사광 효과는 대상체의 재료 특성에 따라서 달라질 수 있다.The image shown in Fig. 17 (a) can be combined with the image shown in Fig. 17 (b) to generate an image shown in Fig. 17 (c). The reflection light effect as shown in FIG. 17 (b) may be changed depending on the material characteristics of the object.
예를 들어, 도 13의 장치(1300)는 도 17(a)와 같이 3차원 이미지를 획득할 수 있고, 도 17(b)의 이미지에 대응하는 특성정보를 획득할 수 있다. 또한, 예를 들어, 도 13의 장치(1300)는 도 17(a)와 같이 3차원 이미지에 도 17(b)와 같은 이미지를 부가하여 도 17(c)와 같이 이미지를 생성할 수 있다. 따라서, 도 13의 장치(1300)는 도 17(a)와 같이 3차원 이미지에 도 17(b)의 이미지에 대응하는 특성정보인 반사광 효과를 부가적으로 렌더링 할 수 있다. For example, the
도 18은 도 16 및 도 17의 초음파 영상을 얻기 위한 방법을 설명하기 위한 도면이다. FIG. 18 is a view for explaining a method for obtaining the ultrasound images of FIGS. 16 and 17. FIG.
도 18을 참조하면, 반사광 효과는 3차원 렌더링(Rendering) 과정을 통하여 발생할 수 있다. 반사광 효과를 발생시키는 반사광 렌더링(Specular Rendering)은 광선 추적 렌더링(Ray Tracing Rendering)으로 구현될 수 있다. 광선 추적 렌더링(Ray Tracing Rendering)은 전역 조명모델을 적용한 렌더링 방식이다. 즉, 광선 추적 렌더링(Ray Tracing Rendering)은 카메라에서 광선이 발사된다고 가정하고 화면의 모든 화소에서 빛의 경로를 추적하여 빛과 표면에서 발생하는 반사, 굴절, 흡수 자체 발광에 의한 조명효과를 연산하는 방법이다. 광선 추적 렌더링(Ray Tracing Rendering)에서 광원과 물체 사이에 의해 반사에 의한 조명효과를 연산에 있어서, 지역 조명모델을 사용하는데, 지역 조명모델은 주변 광 효과(Ambient), 확산반사(Diffusive Reflection), 하이라이트반사(Specular Reflection)에 의한 조명 효과를 연산한다. 이 중 반사광 효과는 특히 표면으로부터 정반사된 빛에 의해 하이라이트 되는 조명 효과를 표현한다. 이러한 하이라이트는 카메라의 위치에 따라 강도가 변하게 된다.Referring to FIG. 18, the reflection light effect can be generated through a three-dimensional rendering process. Specular Rendering which generates a reflection light effect can be implemented by Ray Tracing Rendering. Ray Tracing Rendering is a rendering method using a global illumination model. In other words, Ray Tracing Rendering traces the path of light in every pixel on the screen, assuming that the ray is emitted from the camera, and calculates the lighting effect by reflection, refraction, Method. In the Ray Tracing Rendering, local illumination models are used to calculate the illumination effects by reflection between the light source and the object. The local illumination models are Ambient, Diffusive Reflection, Calculates the lighting effect by Specular Reflection. Among them, the reflected light effect expresses the lighting effect highlighted by the light specularly reflected from the surface. These highlights vary in intensity depending on the location of the camera.
반사광 효과는 다음과 같은 [수학식 1]을 통해서 산출할 수 있다.The reflection light effect can be calculated through the following equation (1).
[수학식 1][Equation 1]
Co : 화소의 색상Co: Color of pixel
Cp : 경면광 색상 (Specular light color)Cp: Specular light color
Ks : 경면 반사계수 (Specula reflection coefficient)Ks: specular reflection coefficient
Os : 대상체의 색상 (Object Color) Os: Object Color
R : 반사광 벡터 (Reflection light vector) R: Reflection light vector
S : 시선 벡터 (View vector) S: View vector
n : 경면광 지수 (Specular Reflection Exponent)n: Specular Reflection Exponent
경면광 색상(Cp)은 반사광 효과를 주기 위한 빛의 색상을 의미할 수 있다. 경면 반사계수(Ks)는 반사광이 반사되는 정도를 의미할 수 있다. 반사광 벡터(R)는 반사광의 방향과 세기를 동시에 나타낼 수 있다. 시선 벡터(S)는 시선의 방향에 대한 단위 벡터를 의미할 수 있다. The mirror surface color (Cp) may mean the color of the light for giving a reflection light effect. The specular reflection coefficient (Ks) may mean the degree of reflection of the reflected light. The reflected light vector R can simultaneously indicate the direction and intensity of the reflected light. The sight line vector S may mean a unit vector with respect to the direction of the line of sight.
[수학식 1]에서 반사광 벡터(R)의 방향과 시선 벡터(S)의 방향을 일치 시킨다면, [수학식 2]와 같이 표현 될 수 있다. If the direction of the reflected light vector R is matched with the direction of the sight line S in Equation (1), it can be expressed as Equation (2).
즉, 반사광 효과는 다음과 같은 [수학식 2]을 통해서도 산출할 수 있다. 광원의 위치와 방향을 변경하지 않는다고 가정한다면, 광원의 위치와 방향을 카메라 위치 및 방향과 동일하다고 간주 할 수 있다. That is, the reflection light effect can also be calculated through the following equation (2). Assuming that the position and direction of the light source are not changed, the position and direction of the light source can be regarded as the same as the camera position and direction.
[수학식 2]&Quot; (2) "
Co : 화소의 색상 Co: Color of pixel
Cp : 경면광 색상 (Specular light color)Cp: Specular light color
Ks : 경면 반사계수 (Specula reflection coefficient)Ks: specular reflection coefficient
Os : 대상체의 색상 (Object Color) Os: Object Color
Rz : 물체의 표면에서 빛이 반사하게 되는 반사벡터의 z축(View Plane원점) 값Rz: Z-axis (View Plane origin) value of the reflection vector where light is reflected from the surface of the object
N : 경면광 지수N: Mirror surface light index
또한, [수학식1] 및 [수학식 2]의 Cp (Specular light color), Ks (Specula reflection coefficient), Os (Object Color)는 도 3 내지 도 8을 통하여 설명한 초음파 데이터의 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴, 균일성과 같은 특성정보에 의하여 변경될 수 있다.The Specular light color, Specular reflection coefficient, and Os (Object Color) in [Equation 1] and [Equation 2] are the spatial frequency and the image intensity of the ultrasound data described with reference to FIG. 3 to FIG. , An image histogram, a co-occurrence matrix, a local binary pattern, and uniformity.
또한, [수학식1] 및 [수학식 2]의 Cp (Specular light color), Ks (Specula reflection coefficient), Os (Object Color)는 초음파 데이터(B,C,D,E)의 평균, 분산, 표준분포, 비대칭도(skewness), 첨도(kurtosis)와 같은 특성정보에 의하여 변경될 수 있다. The Cp (specular light color), Ks (specular reflection coefficient), and Os (object color) of the
또한, [수학식1] 및 [수학식 2]의 Cp (Specular light color), Ks (Specula reflection coefficient), Os (Object Color)는 대상체의 복셀(voxel)간의 거리에 대한 통계적인 값일 수 있다. In addition, Cp (Specular light color), Ks (specular reflection coefficient), and Os (Object Color) in [Equation 1] and [Equation 2] may be statistical values for the distance between voxels of the object.
도 19은 본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 경면광 지수에 따라서 각각 다르게 반영된 영상을 나타낸 도면이다.FIG. 19 is a diagram illustrating an image in which characteristic information about a window region of a target object according to an exemplary embodiment of the present invention is reflected differently according to a specular light index; FIG.
도 19을 참조하면, 도 19(a)는 [수학식 2]에서 경면광 지수가 10인 경우에 대한 대상체의 초음파 영상이고, 도 19(b)는 [수학식 2]에서 경면광 지수가 40인 경우에 대한 대상체의 초음파 영상이다. 도 19(a)의 초음파 영상은 도 19(b)의 초음파 영상와 대비하여, 경면광 지수가 작으므로, 초음파 영상에 하이라이트 부분이 넓게 분포되어 있다. 19 (a) is an ultrasound image of a target object when the specular light index is 10 in Equation (2), and FIG. 19 (b) The ultrasound image of the target object is obtained. The ultrasound image of FIG. 19 (a) is compared with the ultrasound image of FIG. 19 (b), and since the specular light index is small, the highlight portion is widely distributed in the ultrasound image.
도 20은 본 발명의 일 실시예에 따른 대상체의 윈도우 영역에 대한 특성정보가 경면광 지수에 따라서 각각 다르게 반영된 영상을 나타낸 도면이다.20 is a view showing an image in which characteristic information about a window region of a target object according to an embodiment of the present invention is reflected differently according to a specular light index.
도 20을 참조하면, 도 20(a)는 [수학식 2]에서 경면 반사 계수가 0.19인 경우에 대한 대상체의 초음파 영상이고, 도 20(b)는 [수학식 2]에서 경면 반사 계수가 0.5인 경우에 대한 대상체의 초음파 영상이다. 도 20(a)의 초음파 영상은 도 20(b)의 초음파 영상와 대비하여, 경면 반사 계수가 작으므로, 초음파 영상에 하이라이트 부분이 상대적으로 약하다.20 (a) is an ultrasound image of the object when the specular reflection coefficient is 0.19 in Equation (2), and FIG. 20 (b) is an ultrasound image of the object when the specular reflection coefficient is 0.5 The ultrasound image of the target object is obtained. Since the ultrasound image of FIG. 20 (a) is smaller in mirror reflection coefficient than the ultrasound image of FIG. 20 (b), the highlight portion of the ultrasound image is relatively weak.
도 21은 경면광 지수 및 경면 반사 계수에 따른 영상의 변화를 나타내기 위한 도면 이다. FIG. 21 is a diagram showing a change in image according to a specular light index and a specular reflection coefficient.
도 21을 참조하면, 경면 반사 계수가 증가할수록 반사되는 광의 크기가 증가하는 것을 볼 수 있고, 경면광 지수가 증가할수록 반사되는 부분의 크기가 좁게 분포되는 것을 볼 수 있다. Referring to FIG. 21, it can be seen that as the specular reflection coefficient increases, the magnitude of the reflected light increases, and as the specular light index increases, the magnitude of the reflected portion narrows.
도 22은 본 발명의 일 실시예에 따른 광원이 2개인 경우의 반사광 효과를 나타내는 초음파 영상을 나타낸 도면이다.22 is a view showing an ultrasound image showing a reflected light effect when two light sources according to an embodiment of the present invention are used.
도 22을 참조하면, 도 22(a)는 하나의 백색 광원만을 가정한 경우의 초음파 영상이다. 도 22(b)는 백색 광원와 붉은색 광원을 함께 가정한 경우의 초음파 영상이다. 도 22(b)의 초음파 영상은 도 22(a)의 초음파 영상과 대비하여, 하이라이트가 붉은 색인 것을 확인할 수 있다. Referring to FIG. 22, FIG. 22 (a) is an ultrasound image in which only one white light source is assumed. FIG. 22 (b) is an ultrasound image when a white light source and a red light source are assumed together. The ultrasonic image of FIG. 22 (b) can be confirmed to have a red highlight as compared with the ultrasonic image of FIG. 22 (a).
광원이 2개인 경우에 화소의 색상은 [수학식 3]과 같이 산출할 수 있다. In the case where there are two light sources, the color of the pixel can be calculated as shown in Equation (3).
[수학식 3]&Quot; (3) "
일반적으로, 대상체의 색상이 같으므로, [수학식 4]와 같이 산출할 수 있다.Generally, since the hue of the object is the same, it can be calculated as shown in Equation (4).
[수학식 4]&Quot; (4) "
Co : 화소의 색상 Co: Color of pixel
Cp1 ~ Cpj : 각각의 광원의 경면광 색상 Cp1 to Cpj: Mirror surface color of each light source
Ks1 ~ Ksj : 각각의 광원에 대한 경면 반사계수 Ks1 to Ksj: mirror reflection coefficient for each light source
Os1 ~ Osj : 대상체의 색상 (Object Color) Os1 ~ Osj: Color of Object (Object Color)
Rz1 ~ Rzj : 각각의 광원에 대한 물체의 표면에서 빛이 반사하게 되는 반사벡터의 z축 값Rz1 to Rzj: the z-axis value of the reflection vector where light is reflected from the surface of the object for each light source
n1 ~ nj : 각각의 광원에 대한 경면광 지수n1 to nj: Mirror surface light index for each light source
또한, [수학식 3]은 다양한 실시예에 따라서 응용될 수 있다. 예를 들어, [수학식 3]에서 대상체의 색상 및 광원에 대한 반사 계수가 동일한 경우, Ks1~Ksj는 동일한 값을 가질 수 있을 것이다. Equation (3) can be applied according to various embodiments. For example, in Equation (3), if the hue of the object and the reflection coefficient for the light source are the same, Ks1 to Ksj may have the same value.
도 23는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다. 23 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
도 13의 영상 생성부(1370)는 도 23의 방법으로 영상을 생성할 수 있다. 도 23를 참조하면, 영상 생성부(1370)는 화면의 한 점(P)에서 투사한 시선 벡터의 경로에 있는 복셀들 중 화면에 표시할 대표 복셀(V)을 얻을 수 있다(S2100). 영상 생성부(1370)는 복셀(V)에 대한 표면 법선 벡터를 계산할 수 있고, 법선 벡터를 통하여 반사광 벡터를 계산할 수 있다(S2200). The
영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os)을 사용자로부터 입력 받거나, 장치 내부적으로 계산할 수 있다(S2300). 예를 들어, 영상 생성부(1370)는 도 3 내지 도 8을 통하여 설명한 초음파 데이터의 공간 주파수, 영상 강도, 영상 히스토그램, 동시발생 행렬, 국부 이진 패턴, 균일성과 같은 특성정보에 의하여 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os)을 계산할 수 있다. The
영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os) 및 반사광 벡터를 이용하여 [수학식 1]을 통하여 화면 상의 한 점(P)에서의 화소의 색상(Co)를 산출할 수 있다. The
도 14의 영상 렌더링부(1371), 도 15의 영상 렌더링부(1371)는 도 23의 방법으로 영상을 생성할 수 있다.The
도 24은 법선 벡터를 통하여 반사광 벡터를 계산하는 방법을 도시하기 위한 도면이다. 24 is a diagram for illustrating a method of calculating a reflected light vector through a normal vector.
도 24을 참조하면, 영상 생성부(1370)는 반사광 벡터(Vreflect)를 [수학식 5]에 의하여 산출할 수 있다. Referring to FIG. 24, the
[수학식 5]&Quot; (5) "
영상 생성부(1370)는 [수학식 5]을 통하여 법선 벡터(Vnormal) 및 광원 벡터(Vlight)를 통해서 반사광 벡터(Vreflect)를 산출할 수 있다. The
도 25는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다. 25 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
도 13의 영상 생성부(1370)는 도 25의 방법으로 영상을 생성할 수 있다. 도 25를 참조하면, 영상 생성부(1370)는 대상체와 화면에 대한 깊이맵을 추출한다(S3100). 영상 생성부(1370)는 깊이맵에 대하여 표면 법선 벡터 및 반사 벡터를 계산할 수 있다(S3200). 영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os)을 외부에서 입력 받거나, 내부적으로 계산할 수 있다(S3300). 영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os) 및 반사광 벡터를 이용하여 [수학식 2]을 통하여 화면상의 한 점(P)에서의 화소의 색상(Co)를 산출할 수 있다. The
도 26는 본 발명의 일 실시예에 따른 3차원 반사광 효과 렌더링 방법을 설명하기 위한 순서도이다. 26 is a flowchart illustrating a method of rendering a three-dimensional reflection light effect according to an embodiment of the present invention.
도 13의 영상 생성부(1370)는 도 26의 방법으로 영상을 생성할 수 있다. 도 26를 참조하면, 영상 생성부(1370)는 대상체와 화면에 대한 깊이맵을 추출한다(S4100). 영상 생성부(1370)는 깊이맵에 대하여 표면 법선 벡터 및 반사 벡터를 계산할 수 있다(S4200). 영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os)을 외부에서 입력 받거나, 내부적으로 계산할 수 있다(S4300). 영상 생성부(1370)는 경면광 색상(Cp), 경면 반사계수(Ks), 대상체의 색상(Os) 및 반사광 벡터를 이용하여 [수학식 3] 또는 [수학식 4]를 통하여 화면상의 한 점(P)에서의 화소의 색상(Co)를 산출할 수 있다. The
한편, 도 24 내지 도 26에 의한 반사광 효과 렌더링 방법은 도 10의 단계(S500)의 일부분 일 수 있다. 도 24 내지 도 26에 의한 반사광 효과 렌더링 방법은 도 13의 영상 생성부(1370), 도 14의 영상 렌더링부(1371), 도 15의 영상 렌더링부(1371)에 의하여 구현될 수 있다.Meanwhile, the reflection light effect rendering method according to FIGS. 24 to 26 may be a part of step S500 of FIG. The reflection light effect rendering method according to FIGS. 24 to 26 may be implemented by the
또한, 도 24 내지 도 26에 의한 반사광 렌더링 방법은 그레이 스케일 렌더링(Grey Scale Rendering), 디퓨즈드 라이트 렌더링(Diffused Light Rendering)과 함께 구현될 수 있다. 또한, 도 24 내지 도 26에 의한 반사광 렌더링 방법은 그레이 스케일 렌더링(Grey Scale Rendering), 디퓨즈드 라이트 렌더링(Diffused Light Rendering) 독립적으로 구현되고, 각각의 렌더링 이미지를 합쳐서 완성된 이미지를 구현할 수 있다. In addition, the reflected light rendering method according to FIGS. 24 to 26 may be implemented with Gray Scale Rendering and Diffused Light Rendering. In addition, the reflected light rendering method according to FIGS. 24 to 26 may be implemented independently of Gray Scale Rendering and Diffused Light Rendering, and each of the rendered images may be combined to implement a completed image.
도 27 내지 도 29는 대상체의 표면정보를 산출하는 방법을 설명하기 위한 도면이다. 27 to 29 are diagrams for explaining a method of calculating surface information of a target object.
도 27을 참조하면, 대상체의 표면을 기하학적 모델로 표현하면 A 내지 H 의 파동선과 같이 다양한 방법으로 표현할 수 있다. A 내지 H 의 파동선 각각은 기준선을 가지고 있다. 기준선은 파동선으로 표현되는 파동(Wave)의 기준이 되는 선이다. 기준선은 파동선을 이용하여 스무딩 기법(Smoothing), 라인 피팅 기법(Line Fitting)을 통해서 산출될 수 있다. Referring to FIG. 27, if a surface of a target object is represented by a geometric model, it can be represented by various methods such as A to H wave lines. Each wave line of A to H has a reference line. The reference line is a reference line of a wave expressed by a wave line. The reference line can be calculated by smoothing and line fitting using a wave line.
파동선과 기준선의 교차하는 빈도가 높을 수록 표면이 거칠다고 할 수 있다. 파동선과 기준선의 교차하는 빈도가 낮을수록 표면이 매끄럽다고 할 수 있다. 따라서, A 내지 H 의 파동선에서 A 파동선에 가까운 파동선 일수록 대상체의 매끄러운 표면을 표현할 수 있고, H 파동선에 가까운 파동선 일수록 대상체의 거친 표면을 표현할 수 있다. The higher the frequency of crossing the wave line and the reference line, the rougher the surface. The lower the frequency of crossing the wave line and the reference line, the smoother the surface. Therefore, the wave line near the wave line A in the wave lines A to H can express the smooth surface of the object, and the wave line near the wave line H can represent the rough surface of the object.
도 28을 참조하면, 도 27의 파동선과 기준선의 개념을 통하여 2차원 영상(또는 3차원 초음파 볼륨 데이터의 단면)에서 대상체의 표면정보를 산출할 수 있다. 한편, 2차원 영상에서 대상체의 표면정보를 산출함에 있어서, 도 27의 파동선과 기준선이 사용되는 것이 아니고, 다양한 형태의 파동선과 기준선이 사용될 수 있다. 예를 들어, 기준선이 도 28에서 도시한 바와 같이, 굴곡이 있을 수 있다. Referring to FIG. 28, surface information of a target object can be calculated from a two-dimensional image (or a cross-section of three-dimensional ultrasound volume data) through the concept of the wave line and the reference line in FIG. On the other hand, in calculating the surface information of the object in the two-dimensional image, the wave line and the reference line in FIG. 27 are not used, and various types of wave lines and reference lines can be used. For example, as shown in Fig. 28, the baseline may have curvature.
도 29를 참조하면, 도 27의 파동선과 기준선을 3차원 초음파 볼륨으로 확장하여 파동면과 기준면을 정의할 수 있을 것이다. 도 28의 2차원 영상을 3차원으로 확장하는 경우, 도 29의 3차원 영상을 획득할 수 있다. 본 발명의 일 실시예에 따른, 대상체의 표면 정보를 산출하는 방법은 2차원 영상의 파동선과 기준선을 통해서 3차원 영상의 파동면과 기준면을 산출할 수 있다. Referring to FIG. 29, a wave surface and a reference plane may be defined by extending the wave line and the reference line in FIG. 27 to a three-dimensional ultrasonic volume. When the two-dimensional image of FIG. 28 is extended in three dimensions, the three-dimensional image of FIG. 29 can be obtained. According to an embodiment of the present invention, a method of calculating surface information of a target object can calculate a wave surface and a reference surface of a three-dimensional image through a wave line and a reference line of the two-dimensional image.
본 발명의 일 실시예에 따른 장치와 관련하여서는 전술한 방법과 관련된 내용들이 적용될 수 있다. 따라서, 장치와 관련하여, 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.In connection with the apparatus according to an embodiment of the present invention, contents related to the above-described method can be applied. Therefore, the description of the same contents as those of the above-described method with respect to the apparatus is omitted.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이러한 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed in a computer, and that operates the program using a computer-readable recording medium.
컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.The computer readable recording medium may be a magnetic storage medium (e.g., a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (e.g., a CD ROM, a DVD or the like), and a carrier wave Transmission).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (28)
상기 대상체에 대한 초음파 데이터를 획득하는 단계; 및
상기 획득된 초음파 데이터를 통하여 상기 대상체의 3차원 영상을 생성하는 단계를 포함하고,
상기 대상체의 3차원 영상을 생성하는 단계는, 상기 획득된 초음파 데이터의 특성정보가 상이한 부분은 상기 대상체의 3차원 영상이 상이하게 표현되도록 상기 대상체의 3차원 영상을 생성하는 것을 특징으로 하는 방법.A method for generating a three-dimensional image of a subject,
Obtaining ultrasound data for the object; And
And generating a three-dimensional image of the object through the obtained ultrasound data,
Wherein the generating of the three-dimensional image of the object generates a three-dimensional image of the object so that the three-dimensional image of the object is represented differently in the portion where the characteristic information of the obtained ultrasonic data is different.
상기 대상체에 대한 초음파 데이터를 획득하는 초음파 데이터 획득부; 및
상기 획득된 초음파 데이터를 통하여 상기 대상체의 3차원 영상을 생성하는 영상 생성부를 포함하고,
상기 대상체의 3차원 영상을 생성하는 단계는, 상기 획득된 초음파 데이터의 특성정보가 상이한 부분은 상기 대상체의 3차원 영상이 상이하게 표현되도록 상기 대상체의 3차원 영상을 생성하는 것을 특징으로 하는 영상 생성 장치. An apparatus for generating a three-dimensional image of a target object,
An ultrasound data acquisition unit for acquiring ultrasound data for the object; And
And an image generating unit for generating a three-dimensional image of the object through the obtained ultrasound data,
Wherein the generating of the three-dimensional image of the object generates the three-dimensional image of the object so that the three-dimensional image of the object is represented differently in the portion where the acquired characteristic information of the ultrasound data is different. Device.
상기 대상체에 대한 의료영상 데이터를 획득하는 단계; 및
상기 획득된 의료영상 데이터에 기초하여 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.A method for generating a three-dimensional image of a subject,
Obtaining medical image data for the object; And
And generating an image having a reflected light effect on the object based on the obtained medical image data.
시선 벡터의 경로에 있는 복셀들 중 화면에 표시할 대표 복셀을 산출하는 단계;
표면 법선 벡터를 계산하는 단계;
상기 표면 법선 벡터를 통하여 반사광 벡터를 계산하는 단계;
상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 생성하는 단계;
상기 반사광 벡터, 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 하는 방법. 16. The method of claim 15, wherein the step of generating an image having a reflected light effect on the object comprises:
Calculating a representative voxel to be displayed on a screen among the voxels in the path of the sight line vector;
Calculating a surface normal vector;
Calculating a reflected light vector through the surface normal vector;
Generating a color of the object, a reflection coefficient for the light source, and a specular light index;
Calculating a color for one point included in the image through at least one of the reflected light vector, the hue of the object, the reflection coefficient for the light source, and the specular light index.
대상체와 화면에 대한 깊이맵을 추출하는 단계;
깊이맵에 대하여 표면 법선 벡터를 계산하는 단계;
상기 표면 법선 벡터를 통하여 반사광 벡터를 계산하는 단계;
상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 생성하는 단계;
상기 반사광 벡터, 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 하는 방법. 16. The method of claim 15, wherein the step of generating an image having a reflected light effect on the object comprises:
Extracting a depth map for a target object and a screen;
Calculating a surface normal vector for the depth map;
Calculating a reflected light vector through the surface normal vector;
Generating a color of the object, a reflection coefficient for the light source, and a specular light index;
Calculating a color for one point included in the image through at least one of the reflected light vector, the hue of the object, the reflection coefficient for the light source, and the specular light index.
상기 대상체에 대한 의료영상 데이터를 획득하는 초음파 데이터 획득부; 및
상기 획득된 의료영상 데이터에 기초하여 상기 대상체에 대한 반사광 효과를 갖는 영상을 생성하는 영상 생성부를 포함하는 것을 특징으로 하는 장치. An apparatus for generating a three-dimensional medical image of a subject,
An ultrasound data acquisition unit for acquiring medical image data of the target object; And
And an image generating unit for generating an image having a reflected light effect on the object based on the obtained medical image data.
상기 대상체의 색상, 광원에 대한 반사 계수, 경면광 지수를 장치의 외부에서 입력을 받거나 또는 내부적으로 계산하고, 상기 상기 대상체의 색상, 상기 광원에 대한 반사 계수, 상기 경면광 지수 중 적어도 하나를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 것을 특징으로 하는 장치. 23. The apparatus of claim 22, wherein the image generator comprises:
Wherein the color of the object, the reflection coefficient of the object, and the specular light index are received from the outside of the apparatus or internally calculated, and at least one of the color of the object, the reflection coefficient of the light source, And calculates a color for one point included in the image.
상기 대상체와 화면에 대한 깊이맵을 추출하여, 반사광 벡터를 계산하고, 상기 반사광 벡터를 통하여 상기 영상에 포함된 하나의 점에 대한 색상을 계산하는 단계를 포함하는 것을 특징으로 하는 장치. 23. The apparatus of claim 22, wherein the image generator comprises:
Extracting a depth map of the object and the screen, calculating a reflected light vector, and calculating a color for one point included in the image through the reflected light vector.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20140182742 EP2863363A1 (en) | 2013-09-30 | 2014-08-29 | Method and apparatus for generating three-dimensional image of target object |
US14/500,388 US9759814B2 (en) | 2013-09-30 | 2014-09-29 | Method and apparatus for generating three-dimensional (3D) image of target object |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130116899 | 2013-09-30 | ||
KR20130116899 | 2013-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150037497A true KR20150037497A (en) | 2015-04-08 |
KR102377530B1 KR102377530B1 (en) | 2022-03-23 |
Family
ID=53033446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140085306A KR102377530B1 (en) | 2013-09-30 | 2014-07-08 | The method and apparatus for generating three-dimensional(3d) image of the object |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102377530B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020101431A1 (en) * | 2018-11-15 | 2020-05-22 | 주식회사 인트로메딕 | Method for rendering three-dimensional image, image processing device using said method, image capturing device interworking with said image processing device, method for capturing image by said image capturing device, and system for rendering three-dimensional image |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2208467A1 (en) * | 2009-01-20 | 2010-07-21 | Kabushiki Kaisha Toshiba | Ultrasound diagnosis apparatus, ultrasound image processing apparatus, image processing method, image display program, and computer program product |
EP2253273A1 (en) * | 2009-05-18 | 2010-11-24 | Medison Co., Ltd. | Ultrasound diagnostic system and method for displaying organ |
KR20120116364A (en) * | 2011-04-12 | 2012-10-22 | 삼성메디슨 주식회사 | Ultrasound system and method for providing three-dimensional ultrasound image based on three-dimensional color reference table |
US20130150719A1 (en) * | 2011-12-08 | 2013-06-13 | General Electric Company | Ultrasound imaging system and method |
US20140184600A1 (en) * | 2012-12-28 | 2014-07-03 | General Electric Company | Stereoscopic volume rendering imaging system |
-
2014
- 2014-07-08 KR KR1020140085306A patent/KR102377530B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2208467A1 (en) * | 2009-01-20 | 2010-07-21 | Kabushiki Kaisha Toshiba | Ultrasound diagnosis apparatus, ultrasound image processing apparatus, image processing method, image display program, and computer program product |
EP2253273A1 (en) * | 2009-05-18 | 2010-11-24 | Medison Co., Ltd. | Ultrasound diagnostic system and method for displaying organ |
KR20120116364A (en) * | 2011-04-12 | 2012-10-22 | 삼성메디슨 주식회사 | Ultrasound system and method for providing three-dimensional ultrasound image based on three-dimensional color reference table |
US20130150719A1 (en) * | 2011-12-08 | 2013-06-13 | General Electric Company | Ultrasound imaging system and method |
US20140184600A1 (en) * | 2012-12-28 | 2014-07-03 | General Electric Company | Stereoscopic volume rendering imaging system |
Non-Patent Citations (1)
Title |
---|
BINDER T ET AL, "Three-dimensional imaging of the heart using transesophageal echocardiography", PROCEEDINGS OF THE COMPUTERS IN CARDIOLOGY CONFERENCE. LONDON, SEPT. 5 - 8, 1993 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020101431A1 (en) * | 2018-11-15 | 2020-05-22 | 주식회사 인트로메딕 | Method for rendering three-dimensional image, image processing device using said method, image capturing device interworking with said image processing device, method for capturing image by said image capturing device, and system for rendering three-dimensional image |
Also Published As
Publication number | Publication date |
---|---|
KR102377530B1 (en) | 2022-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110125016A1 (en) | Fetal rendering in medical diagnostic ultrasound | |
US20080287796A1 (en) | Method and system for spine visualization in 3D medical images | |
KR101728044B1 (en) | Method and apparatus for displaying medical image | |
JP2012155723A (en) | Method and apparatus for automatically generating optimal two-dimensional medical image from three-dimensional medical image | |
US20180268541A1 (en) | Feedback for multi-modality auto-registration | |
US10342633B2 (en) | Medical image data processing system and method | |
US9759814B2 (en) | Method and apparatus for generating three-dimensional (3D) image of target object | |
US20240193764A1 (en) | Systems and methods for reconstruction of 3d images from ultrasound and camera images | |
CN108269292B (en) | Method and device for generating two-dimensional projection images from three-dimensional image data sets | |
CN114093464A (en) | Method and system for controlling virtual light sources for volume rendered images | |
JP2012507325A (en) | Analysis of at least three-dimensional medical images | |
CN111836584A (en) | Ultrasound contrast imaging method, ultrasound imaging apparatus, and storage medium | |
Udupa | 3D imaging: principles and approaches | |
JP6564075B2 (en) | Selection of transfer function for displaying medical images | |
US20230377246A1 (en) | Rendering of b-mode images based on tissue differentiation | |
Birkeland et al. | The ultrasound visualization pipeline | |
US8873817B2 (en) | Processing an image dataset based on clinically categorized populations | |
JP4681358B2 (en) | Ultrasonic diagnostic apparatus and volume data processing method | |
KR102377530B1 (en) | The method and apparatus for generating three-dimensional(3d) image of the object | |
Varandas et al. | VOLUS––a visualization system for 3D ultrasound data | |
US10433818B2 (en) | Color coding an image for identifying anatomy using quantitative transmission ultrasound tomography | |
TWM547954U (en) | Diagnosis system for detecting pathological change | |
US20240119705A1 (en) | Systems, methods, and apparatuses for identifying inhomogeneous liver fat | |
KR20160146487A (en) | Method of displaying a ultrasound image and apparatus thereof | |
Dusim | Three-Dimensional (3D) Reconstruction of Ultrasound Foetal Images Using Visualisation Toolkit (VTK) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right |