WO2012137947A1 - 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム - Google Patents
医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム Download PDFInfo
- Publication number
- WO2012137947A1 WO2012137947A1 PCT/JP2012/059584 JP2012059584W WO2012137947A1 WO 2012137947 A1 WO2012137947 A1 WO 2012137947A1 JP 2012059584 W JP2012059584 W JP 2012059584W WO 2012137947 A1 WO2012137947 A1 WO 2012137947A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- rendering
- unit
- stereoscopic
- parallax
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 427
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000009877 rendering Methods 0.000 claims abstract description 435
- 238000000034 method Methods 0.000 claims description 110
- 230000008569 process Effects 0.000 claims description 58
- 238000012508 change request Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 description 170
- 238000010586 diagram Methods 0.000 description 42
- 230000001360 synchronised effect Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 18
- 238000010606 normalization Methods 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000000747 cardiac effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 229920000298 Cellophane Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/022—Stereoscopic imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Definitions
- Embodiments described herein relate generally to a medical image processing system, a medical image processing apparatus, a medical image diagnostic apparatus, a medical image processing method, and a medical image processing program.
- a monitor capable of stereoscopically viewing a two-parallax image (binocular parallax image) taken from two viewpoints using dedicated equipment such as stereoscopic glasses has been put into practical use.
- monitors that can stereoscopically view multi-parallax images (for example, 9 parallax images) taken from a plurality of viewpoints using a light beam controller such as a lenticular lens have been put into practical use.
- a 2-parallax image or a 9-parallax image displayed on a stereoscopically viewable monitor may be generated by estimating the depth information of an image taken from one viewpoint and performing image processing using the estimated information. .
- volume data generated by such a medical image diagnostic apparatus is converted into a two-dimensional image (rendered image) by various image processes (rendering processes) and displayed two-dimensionally on a general-purpose monitor.
- volume data generated by a medical image diagnostic apparatus is converted into a two-dimensional image (volume rendering image) reflecting three-dimensional information by volume rendering, and is displayed two-dimensionally on a general-purpose monitor.
- the problem to be solved by the present invention is a medical image processing system, a medical image processing apparatus, a medical image diagnostic apparatus, and a medical image processing capable of stereoscopically observing a three-dimensional medical image according to a stereoscopic viewing method.
- a method and a medical image processing program are provided.
- the medical image processing system includes a determination unit, a rendering processing unit, and an output unit.
- the determination unit determines the number of parallax images of the stereoscopic image displayed on the display unit based on information on the stereoscopic function of the display unit connected to the output target device to be output.
- the rendering processing unit generates a rendering image corresponding to the number of parallax images by performing rendering processing on volume data that is a three-dimensional medical image.
- the output unit outputs a rendering image corresponding to the number of parallax images to the output target device as a stereoscopic image to be simultaneously displayed on the display unit.
- FIG. 1 is a diagram for explaining a configuration example of a medical image processing system according to the first embodiment.
- FIG. 2 is a diagram for explaining a configuration example of the medical image diagnostic apparatus according to the first embodiment.
- FIG. 3 is a diagram for explaining a configuration example of the rendering processing unit shown in FIG.
- FIG. 4A is a diagram (1) illustrating an example of a stereoscopic display device that performs stereoscopic display using two parallax images.
- FIG. 4B is a diagram (2) illustrating an example of a stereoscopic display device that performs stereoscopic display using two parallax images.
- FIG. 5 is a diagram for explaining an example of a stereoscopic display device that performs stereoscopic display with nine parallax images.
- FIG. 1 is a diagram for explaining a configuration example of a medical image processing system according to the first embodiment.
- FIG. 2 is a diagram for explaining a configuration example of the medical image diagnostic apparatus according to the first embodiment.
- FIG. 6 is a block diagram for explaining processing of the rendering processing unit, the stereoscopic image transfer unit, and the output unit according to the first embodiment.
- FIG. 7A is a diagram (1) for explaining an example of the stereoscopic attribute.
- FIG. 7B is a diagram (2) for explaining an example of the stereoscopic attribute.
- FIG. 7C is a diagram (3) for explaining an example of the stereoscopic attribute.
- FIG. 8 is a diagram for explaining an example of the operation event.
- FIG. 9 is a diagram for explaining an example of processing of the rendering processing unit and the stereoscopic image transfer unit according to the first embodiment.
- FIG. 10 is a flowchart for explaining processing for a display output target of the medical image diagnostic apparatus according to the first embodiment.
- FIG. 11 is a diagram for explaining a configuration example of a control unit according to the second embodiment.
- FIG. 12 is a sequence diagram (1) for explaining the synchronous display process executed by the medical image diagnostic apparatus according to the second embodiment.
- FIG. 13 is a sequence diagram (2) for explaining the synchronous display process executed by the medical image diagnostic apparatus according to the second embodiment.
- FIG. 14 is a diagram for explaining a configuration example of the input unit according to the third embodiment.
- FIG. 15 is a block diagram for explaining processing of a rendering processing unit, a stereoscopic image storage unit, a stereoscopic image transfer unit, and an output unit according to the third embodiment.
- FIG. 16 is a diagram for explaining the storage processing image generation unit.
- FIG. 17 is a diagram for explaining an example of an image output by the medical image diagnostic apparatus according to the third embodiment.
- FIG. 18 is a flowchart for explaining image storage processing of the medical image diagnostic apparatus according to the third embodiment.
- FIG. 19 is a flowchart for explaining output processing of the medical image diagnostic apparatus according to the third embodiment.
- FIG. 20 is a diagram for describing a configuration example of a communication unit according to the fourth embodiment.
- FIG. 21 is a block diagram for explaining processing of a rendering processing unit, a stereoscopic image storage unit, a storage output processing unit, and an output unit according to the fourth embodiment.
- FIG. 22 is a diagram for explaining a modification of the configuration of the medical image processing system according to the first to fourth embodiments.
- FIG. 1 is a diagram for explaining a configuration example of a medical image processing system according to the first embodiment.
- the medical image processing system includes a medical image diagnostic device 10, a client terminal device group 2 that can be connected to the medical image diagnostic device 10, an external device group 3, and a A portable storage device 40 and a client terminal device group 5 connectable to the external device group 3 are included.
- Each apparatus illustrated in FIG. 1 is in a state where it can communicate with each other directly or indirectly through, for example, a hospital LAN (Local Area Network) installed in a hospital.
- LAN Local Area Network
- the medical image diagnostic apparatus 10 includes an X-ray diagnostic apparatus that captures a medical image, an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, an ultrasonic diagnostic apparatus, a SPECT (Single Photon Emission Computed Tomography) apparatus, and PET. (Positron Emission computed Tomography) apparatus, SPECT-CT apparatus in which a SPECT apparatus and an X-ray CT apparatus are integrated, PET-CT apparatus in which a PET apparatus and an X-ray CT apparatus are integrated, and the like.
- the medical image diagnostic apparatus 10 according to the first embodiment is an apparatus that can generate a three-dimensional medical image.
- a three-dimensional medical image is referred to as “volume data”.
- the client terminal device group 2 is a device group that can directly access the medical image diagnostic apparatus 10 by wire or wirelessly. As shown in FIG. 1, the client terminal device group 2 includes a client terminal device 20, a client terminal device 21, a client terminal device 22, and the like. Composed.
- the client terminal device group 2 is a device group operated by a doctor or laboratory technician working in a hospital, and is a PC (Personal Computer), a tablet PC, a PDA (Personal Digital Assistant), a mobile phone, or the like.
- the client terminal device group 5 is a device group that can directly access the image storage device 31 constituting the external device group 3 to be described later by wire or wireless. As shown in FIG. A terminal device 51, a client terminal device 52, and the like are included.
- the client terminal device group 5, like the client terminal device group 2 is a device group operated by a doctor or laboratory technician working in a hospital, such as a personal computer (PC), a tablet PC, a PDA. (Personal Digital Assistant), mobile phone, etc.
- PC personal computer
- PDA Personal Digital Assistant
- the external device group 3 is a device group connected to the medical image diagnostic device 10 separately from the client terminal device group 2, and includes a workstation 30 and an image storage device 31 as shown in FIG.
- the workstation 30 is a business-use high-performance computer specialized in image processing, business processing, and the like, as compared with the client terminal device group 2 and the client terminal device group 5.
- the image storage device 31 is a PACS (Picture Archiving and Communication System) database, which is a system for managing various medical image data, or an electronic medical record system database for managing an electronic medical record with attached medical images. is there.
- PACS Picture Archiving and Communication System
- the portable storage device 40 is a computer such as a hard disk, a flexible disk, a CD-ROM (Compact Disk Read Only Memory), an MO (Magneto-Optical disk), a DVD (Digital Versatile Disk), or a Blu-ray Disc (registered trademark). It is a readable storage device and a storage device that can be taken out.
- the portable storage device 40 is a storage device connected to the medical image diagnostic apparatus 10 to store various images generated by the medical image diagnostic apparatus 10.
- the medical image diagnostic apparatus 10 according to the first embodiment is an apparatus that can generate volume data. Further, the medical image diagnostic apparatus 10 according to the first embodiment further has a function of generating a rendering image by performing various rendering processes on the volume data. Then, the medical image diagnostic apparatus 10 according to the first embodiment performs an output process of the rendering image generated from the volume data on the above-described apparatus group.
- the medical image diagnostic apparatus 10 according to the first embodiment is a rendering image output source as shown in FIG. Further, as illustrated in FIG. 1, the medical image diagnostic apparatus 10 according to the first embodiment sets the client terminal device group 2, the external device group 3, and the client terminal device group 5 as display output targets for rendering images. That is, the medical image diagnostic apparatus 10 according to the first embodiment has a monitor (display unit) connected to each device of the client terminal device group 2, the external device group 3, and the client terminal device group 5, respectively. An output target for displaying the generated rendered image is used. Although not shown in FIG. 1, the medical image diagnostic apparatus 10 according to the first embodiment displays an output target for display for displaying a rendering image generated by the own apparatus even on a monitor connected to the own apparatus. And
- the medical image diagnostic apparatus 10 uses the image storage device 31 and the portable storage device 40 of the external device group 3 as output targets for rendering image storage. That is, the medical image diagnostic apparatus 10 according to the first embodiment sets the image storage device 31 and the portable storage device 40 as output targets for storing the rendered image.
- the medical image diagnostic apparatus 10 according to the first embodiment may be a case where the workstation 30 is also an output target for storage.
- FIG. 2 is a diagram for explaining a configuration example of the medical image diagnostic apparatus according to the first embodiment.
- the medical image diagnostic apparatus 10 includes a control unit 11, an input unit 12, a display unit 13, an imaging / storing processing unit 14, an image memory 15, and an image.
- the storage unit 16, the volume data processing unit 17, and the communication unit 18 are included.
- the control unit 11 performs overall control of the medical image diagnostic apparatus 10.
- the input unit 12 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, a force sense presentation device, and the like, and accepts and controls various setting requests from an operator of the medical image diagnostic apparatus 10.
- the received various setting requests are transferred to the unit 11.
- the input unit 12 includes an operation input unit 12a and a rendering condition input unit 12b as illustrated in FIG.
- the operation input unit 12a receives from the operator information related to medical image shooting and medical image storage processing executed by the imaging / storing processing unit 14 described later.
- the rendering condition input unit 12b receives from the operator a condition setting related to a rendering process that is executed on the volume data by the volume data processing unit 17 described later.
- the display unit 13 displays a GUI (Graphical User Interface) for an operator of the medical image diagnostic apparatus 10 to input various setting requests using the input unit 12, a medical image taken by the medical image diagnostic apparatus 10, etc. Is displayed.
- GUI Graphic User Interface
- the control part 11 has the display control part 11a as shown in FIG.
- the imaging / saving processing unit 14 is a processing unit that performs imaging of medical images and storage processing of medical images, and includes an image imaging unit 14a, an image reconstruction unit 14b, and an image normalization processing unit 14c.
- the image capturing unit 14a is a device for capturing a medical image, and corresponds to, for example, a gantry such as an MRI apparatus or an X-ray CT apparatus, and collects data such as MR signals and X-ray projection data.
- the image reconstruction unit 14b reconstructs a medical image from the data collected by the image capturing unit 14a. For example, the image reconstruction unit 14b reconstructs a medical image of an axial surface of a subject that is a photographing target from the data collected by the image photographing unit 14a. In addition, the image reconstruction unit 14b reconstructs, for example, medical images on a plurality of axial surfaces along the body axis direction of the subject from the data collected by the image capturing unit 14a. By such reconstruction processing, the image reconstruction unit 14b generates a three-dimensional medical image (volume data).
- the image normalization processing unit 14c performs normalization processing on the medical image reconstructed by the image reconstruction unit 14b.
- the medical image diagnostic apparatus 10 is an MRI apparatus
- the range of MR signals collected by the image capturing unit 14a varies depending on the imaging conditions. Therefore, the range of pixel values of a plurality of reconstructed MRI images is different from each other. It depends on the image.
- the image normalization processing unit 14c generates a saved image (Y) obtained by normalizing the original image (X) to 16-bit information. Note that the image normalization processing unit 14c does not perform normalization processing when the medical image to be stored satisfies the storage condition.
- the image memory 15 is a memory that temporarily stores medical images reconstructed by the image reconstruction unit 14b and saved images generated by the image normalization processing unit 14c.
- the image storage unit 16 is a hard disk drive (HDD) that stores data stored in the image memory 15 and a stored image generated by the image normalization processing unit 14c. Note that the image normalization processing unit 14c stores the coefficients used for normalization in the image memory 15 and the image storage unit 16 in association with the stored images.
- HDD hard disk drive
- the data stored in the image memory 15 and the image storage unit 16 is subjected to image processing by a volume data processing unit 17 described later, and then displayed on the display unit 13 under the control of the control unit 11.
- data stored in the image memory 15 or the image storage unit 16 is subjected to image processing by a volume data processing unit 17 described later, and then output by a communication unit 18 described later under the control of the control unit 11.
- only the image memory 15 may be installed without installing the image storage unit 16.
- the data stored in the image memory 15 is subjected to image processing and output by a volume data processing unit 17 described later, and then deleted.
- the volume rendering process by the volume data processing unit 17 described below is executed in real time while the imaging / storing processing unit 14 captures an image.
- the volume data processing unit 17 is a processing unit that performs image processing on the volume data generated by the image reconstruction unit 14b, and includes a time phase control unit 17a, an image reading unit 17b, and a three-dimensional reconstruction unit 17c.
- the image reading unit 17b reads a stored image from the image memory 15 or the image storage unit 16.
- the three-dimensional reconstruction unit 17c reconstructs volume data from a plurality of stored images read by the image reading unit 17b. For example, the three-dimensional reconstruction unit 17c reconstructs the volume data by reconstructing the saved images of 500 axial planes read by the image reading unit 17b into three dimensions based on the pitch width of each axial plane. To construct.
- the rendering processing unit 17d performs rendering processing on the volume data reconstructed by the three-dimensional reconstruction unit 17c. Specifically, the rendering processing unit 17d reads the volume data and first performs preprocessing on the volume data. Next, the rendering processing unit 17d performs a volume rendering process on the pre-processed volume data to generate a volume rendering image. Subsequently, the rendering processing unit 17d generates a two-dimensional image in which various pieces of information (scale, patient name, examination item, etc.) are drawn, and superimposes the two-dimensional image on the volume rendering image, thereby outputting the two-dimensional image for output. Generate an image.
- the rendering processing unit 17d will be described in detail later with reference to FIG.
- the time phase control unit 17a and the image reading unit 17b and the three-dimensional reproduction unit so that each stored image is processed in accordance with the shooting time. It is a control unit that controls the construction unit 17c and the rendering processing unit 17d.
- the stereoscopic image transfer unit 17e when transferring the processing result of the rendering processing unit 17d to the output destination device via the communication unit 18 to be described later, converts the processing result into output (transfer) data. It is a processing part which performs.
- the stereoscopic image transfer unit 17e will be described in detail later.
- the communication unit 18 is a NIC (Network Interface Card) or the like, and communicates with an apparatus connected to the medical image diagnostic apparatus 10.
- the communication unit 18 according to the present embodiment includes a transfer destination operation input unit 18a, a transfer destination device stereoscopic condition input unit 18b, and an output unit 18c. The processing performed by the transfer destination operation input unit 18a, the transfer destination device stereoscopic condition input unit 18b, and the output unit 18c will be described in detail later.
- FIG. 3 is a diagram for explaining a configuration example of the rendering processing unit shown in FIG.
- the rendering processing unit 17d includes a preprocessing unit 170, a three-dimensional image processing unit 171, and a two-dimensional image processing unit 172.
- the preprocessing unit 170 is a processing unit that performs various types of preprocessing when rendering processing is performed on volume data, and includes an image normalization inverse conversion unit 1701, an image correction processing unit 1702, and a three-dimensional object fusion unit. 1703 and a three-dimensional object display area setting unit 1704.
- the image normalization inverse transform unit 1701 performs inverse transform processing of the volume data that is three-dimensionally reconstructed from a plurality of stored images by the three-dimensional reconstruction unit 17c. That is, the image normalization inverse conversion unit 1701 performs an inverse conversion process for returning the saved image to the original image using the coefficient stored in association with each saved image. For example, the image normalization inverse transform unit 1701 returns the saved image (Y) to the original image (X) using “a” and “b” stored in association with each saved image. Thus, the image normalization inverse conversion unit 1701 converts the volume data based on the saved image reconstructed by the three-dimensional reconstruction unit 17c into the volume data based on the original image (volume data generated by the image reconstruction unit 14b). Convert.
- the image correction processing unit 1702 is a processing unit that performs image correction processing when processing two types of volume data as one volume data, and as shown in FIG. 3, a distortion correction processing unit 1702a, a body motion correction processing unit. 1702b and an inter-image registration processing unit 1702c.
- the image correction processing unit 1702 performs image correction processing when processing volume data of a PET image generated by a PET-CT apparatus and volume data of an X-ray CT image as one volume data.
- the image correction processing unit 1702 performs image correction processing when processing the volume data of the T1-weighted image and the volume data of the T2-weighted image generated by the MRI apparatus as one volume data.
- the distortion correction processing unit 1702a corrects the data distortion caused by the collection conditions at the time of data collection by the image capturing unit 14a in each volume data.
- the body motion correction processing unit 1702b corrects the movement caused by the body motion of the subject at the time of collecting the data used for generating the individual volume data.
- the inter-image registration processing unit 1702c performs registration (Registration) using, for example, a cross-correlation method between the two volume data subjected to the correction processing by the distortion correction processing unit 1702a and the body motion correction processing unit 1702b. ).
- the three-dimensional object fusion unit 1703 fuses a plurality of volume data that has been aligned by the inter-image registration processing unit 1702c. Note that the processing of the image correction processing unit 1702 and the three-dimensional object fusion unit 1703 is omitted when rendering processing is performed on single volume data.
- the 3D object display area setting unit 1704 is a processing unit that sets a display area corresponding to a display target organ designated by the operator, and includes a segmentation processing unit 1704a.
- the segmentation processing unit 1704a is a processing unit that extracts organs such as the heart, lungs, and blood vessels designated by the operator by, for example, a region expansion method based on pixel values (voxel values) of volume data.
- segmentation processing unit 1704a does not perform segmentation processing when the display target organ is not designated by the operator.
- the segmentation processing unit 1704a extracts a plurality of corresponding organs when a plurality of display target organs are designated by the operator. Further, the processing of the segmentation processing unit 1704a may be executed again in response to an operator's fine adjustment request referring to the rendered image.
- the 3D image processing unit 171 performs image processing, specifically volume rendering processing, on the volume data after the preprocessing performed by the preprocessing unit 170.
- the three-dimensional image processing unit 171 includes a projection method setting unit 1711, a three-dimensional geometric transformation processing unit 1712, a three-dimensional appearance processing unit 1713, and a three-dimensional virtual space rendering unit 1714. Have.
- Projection method setting unit 1711 determines a projection method for generating a volume rendering image. For example, the projection method setting unit 1711 determines whether to execute volume rendering by a parallel projection method or a perspective projection method. The parallel projection method and the perspective projection method will be described in detail later.
- the three-dimensional geometric transformation processing unit 1712 is a processing unit that determines information for transforming volume data on which volume rendering is performed into a three-dimensional geometrical structure, and includes a parallel movement processing unit 1712a, a rotation processing unit 1712b, and an enlargement / reduction unit.
- a processing unit 1712c is included.
- the parallel movement processing unit 1712a is a processing unit that determines the amount of movement to translate the volume data when the viewpoint position when performing volume rendering is translated, and the rotation processing unit 1712b is used when performing volume rendering. This is a processing unit that determines the amount of movement to rotate the volume data when the viewpoint position of the volume is rotated.
- the enlargement / reduction processing unit 1712c is a processing unit that determines the enlargement rate or reduction rate of the volume data when enlargement or reduction of the volume rendering image is requested.
- the 3D appearance processing unit 1713 includes a 3D object color processing unit 1713a, a 3D object opacity processing unit 1713b, a 3D object material processing unit 1713c, and a 3D virtual space light source processing unit 1713d.
- the three-dimensional appearance processing unit 1713 performs a process for determining the display state of the volume rendering image to be displayed, for example, in response to a request from the operator of the display output source device.
- the three-dimensional object color processing unit 1713a is a processing unit that determines a color to be colored for each region segmented by volume data.
- the three-dimensional object opacity processing unit 1713b is a processing unit that determines “Opacity” of each voxel constituting each region segmented by volume data. It should be noted that the area behind the area whose opacity is set to “100%” in the volume data is not drawn in the volume rendering image. In addition, an area in which the opacity is set to “0%” in the volume data is not drawn in the volume rendering image.
- the three-dimensional object material processing unit 1713c is a processing unit that determines the material of each region segmented by the volume data and adjusts the texture when the region is rendered.
- the three-dimensional virtual space light source processing unit 1713d is a processing unit that determines the position of the virtual light source installed in the three-dimensional virtual space and the type of the virtual light source when volume rendering is performed on the volume data. Examples of the virtual light source include a light source that emits parallel light rays from infinity and a light source that emits radial light rays from the viewpoint.
- the three-dimensional virtual space rendering unit 1714 performs volume rendering on the volume data based on various information determined by the projection method setting unit 1711, the three-dimensional geometric transformation processing unit 1712, and the three-dimensional object appearance processing unit 1713. For example, the three-dimensional virtual space rendering unit 1714 performs volume rendering on the volume data, thereby generating nine volume rendering images with the viewpoint position shifted by a predetermined parallax angle, as will be described later.
- the 3D virtual space rendering unit 1714 has not only volume rendering but also a function of reconstructing an MPR image from volume data by performing a cross-section reconstruction method (MPR: Multi Planer Reconstruction). Note that the three-dimensional virtual space rendering unit 1714 also has a function of performing “Curved MPR” and a function of performing “Intensity Projection”.
- the volume rendering image generated from the volume data by the three-dimensional image processing unit 171 is an underlay. Then, an overlay (Overlay) on which various types of information (scale, patient name, examination item, etc.) are drawn is superimposed on the underlay, thereby obtaining a two-dimensional image for output.
- the two-dimensional image processing unit 172 is a processing unit that generates a two-dimensional image for output by performing image processing on the overlay and the underlay. As illustrated in FIG. 3, the two-dimensional image drawing unit 172 a, A two-dimensional geometric transformation processing unit 172b and a luminance adjustment unit 172c are included.
- the two-dimensional object drawing unit 172a is a processing unit that draws various types of information drawn on the overlay, and the two-dimensional geometric transformation processing unit 172b performs a parallel movement process or a rotational movement process on the position of the various types of information drawn on the overlay. Or a processing unit that performs an enlargement process or a reduction process of various types of information drawn on the overlay.
- the brightness adjustment unit 172c for example, overlays and underlays according to image processing parameters such as gradation of an output destination monitor, window width (WW: Window Width), and window level (WL: Window Level). It is a processing part which adjusts the brightness
- the processing result of the two-dimensional image processing unit 172 is displayed on the display unit 13 under the control of the display control unit 11a. Further, the processing result of the two-dimensional image processing unit 172 is transferred to an external device via the communication unit 18 after being processed by a stereoscopic image transfer unit 17e described later. Note that the processing of the two-dimensional image processing unit 172 may be performed by sharing between the output source and the output destination.
- the specifications of a monitor connected to a display output target device and a monitor connected to a device that reads and displays data from a storage output target device are output.
- the specifications of the monitor connected to the original device are not necessarily the same.
- the specification of the monitor is specifically a specification related to stereoscopic viewing.
- a general-purpose monitor that is most popular at present displays two-dimensional images in two dimensions, and cannot display two-dimensional images in three dimensions. If an observer requests stereoscopic viewing on a general-purpose monitor, an apparatus that outputs an image to the general-purpose monitor needs to display two parallax images that can be viewed stereoscopically by the observer in parallel by the parallel method or the intersection method. is there.
- an apparatus that outputs an image to a general-purpose monitor for example, uses an after-color method with an eyeglass that has a red cellophane attached to the left eye portion and a blue cellophane attached to the right eye portion. It is necessary to display a stereoscopically viewable image.
- a monitor stereoscopic display device or stereoscopic display monitor
- a monitor that allows an observer to stereoscopically view a plurality of parallax images taken from a plurality of viewpoints and having different parallax angles.
- a stereoscopic display device there is a device capable of stereoscopically viewing two parallax images (two parallax images or binocular parallax images) by using a dedicated device such as stereoscopic glasses.
- FIGS. 4A and 4B are diagrams for explaining an example of a stereoscopic display device that performs stereoscopic display with two parallax images.
- An example shown in FIGS. 4A and 4B is a stereoscopic display device that performs stereoscopic display by a shutter method, and shutter glasses are used as stereoscopic glasses worn by an observer who observes a monitor.
- Such a stereoscopic display device alternately emits two parallax images on a monitor.
- the monitor illustrated in FIG. 4A alternately emits a left-eye image and a right-eye image at 120 Hz.
- the monitor is provided with an infrared emitting unit, and the infrared emitting unit controls the emission of infrared rays in accordance with the timing at which the image is switched.
- the infrared light emitted from the infrared light emitting unit is received by the infrared light receiving unit of the shutter glasses shown in FIG. 4A.
- a shutter is attached to each of the left and right frames of the shutter glasses, and the shutter glasses alternately switch the transmission state and the light shielding state of the left and right shutters according to the timing when the infrared light receiving unit receives the infrared rays.
- the switching process between the transmission state and the light shielding state in the shutter will be described.
- each shutter has an incident-side polarizing plate and an output-side polarizing plate, and further has a liquid crystal layer between the incident-side polarizing plate and the output-side polarizing plate. Further, the incident-side polarizing plate and the outgoing-side polarizing plate are orthogonal to each other as shown in FIG. 4B.
- the light passing through the incident-side polarizing plate is rotated 90 degrees by the action of the liquid crystal layer, and the outgoing-side polarizing plate is To Penetrate. That is, a shutter to which no voltage is applied is in a transmissive state.
- the infrared emitting unit emits infrared rays while the image for the left eye is displayed on the monitor.
- the infrared light receiving unit applies a voltage to the right-eye shutter without applying a voltage to the left-eye shutter during a period of receiving the infrared light.
- the shutter for the right eye is in a light-shielding state and the shutter for the left eye is in a transmissive state, so that an image for the left eye enters the left eye of the observer.
- the infrared ray emitting unit stops emitting infrared rays while the right-eye image is displayed on the monitor.
- the infrared light receiving unit applies a voltage to the left-eye shutter without applying a voltage to the right-eye shutter during a period in which no infrared light is received. Accordingly, the left-eye shutter is in a light-shielding state and the right-eye shutter is in a transmissive state, so that an image for the right eye enters the right eye of the observer.
- the stereoscopic display device illustrated in FIGS. 4A and 4B displays an image that can be viewed stereoscopically by the observer by switching the image displayed on the monitor and the state of the shutter in conjunction with each other.
- a stereoscopic display device that has been put into practical use in recent years, by using a light controller such as a lenticular lens, for example, a viewer can stereoscopically view multi-parallax images such as nine parallax images (9 parallax images) with the naked eye.
- a light controller such as a lenticular lens
- multi-parallax images such as nine parallax images (9 parallax images) with the naked eye.
- Such a stereoscopic display device is a device that enables stereoscopic viewing based on binocular parallax, and also enables stereoscopic viewing based on motion parallax that also changes the image observed in accordance with the observer's viewpoint movement.
- FIG. 5 is a diagram for explaining an example of a stereoscopic display device that performs stereoscopic display with nine parallax images.
- a light beam controller is arranged on the front surface of a flat display surface 200 such as a liquid crystal panel.
- a vertical lenticular sheet 201 whose optical aperture extends in the vertical direction is attached to the front surface of the display surface 200 as a light beam controller.
- the vertical lenticular sheet 201 is pasted so that the convex portion of the vertical lenticular sheet 201 becomes the front surface, but the convex portion of the vertical lenticular sheet 201 is pasted so as to face the display surface 200. There may be.
- the display surface 200 has an aspect ratio of 3: 1 and pixels in which three sub-pixels of red (R), green (G), and blue (B) are arranged in the vertical direction. 202 are arranged in a matrix.
- the stereoscopic display device illustrated in FIG. 5 converts a nine-parallax image including nine images into an intermediate image arranged in a predetermined format (for example, a tile shape), and then outputs the intermediate image to the display surface 200. That is, the stereoscopic display device shown in FIG. 5 assigns and outputs nine pixels at the same position in nine parallax images to nine columns of pixels 202. As shown in FIG. 5, the nine columns of pixels 202 form a unit pixel group 203 that simultaneously displays nine images with different parallax angles.
- the nine-parallax images simultaneously output as the unit pixel group 203 on the display surface 200 are emitted as parallel light by, for example, an LED (Light Emitting Diode) backlight, and further emitted in multiple directions by the vertical lenticular sheet 201.
- an LED Light Emitting Diode
- the light incident on the right eye and the left eye of the observer changes in conjunction with the position of the observer (viewpoint position). That is, the parallax angle between the parallax image incident on the right eye and the parallax image incident on the left eye differs depending on the viewing angle of the observer.
- the observer can visually recognize the photographing object in three dimensions at each of the nine positions shown in FIG. 5, for example.
- the observer can view stereoscopically while facing the object to be photographed at the position “5” illustrated in FIG. 5 and photograph at each position other than “5” illustrated in FIG. 5. It can be visually recognized in a three-dimensional manner with the direction of the object changed.
- a general-purpose monitor that cannot be stereoscopically viewed is referred to as “a monitor without parallax”
- the stereoscopic display device described with reference to FIG. 4 is referred to as a “2-parallax monitor”
- “2-parallax monitor” and “9-parallax monitor” can be defined as follows based on the above description. That is, the “2-parallax monitor” is a display unit that displays an image for stereoscopic viewing in one observation direction. Further, the “9 parallax monitor” is a display unit that displays stereoscopic images in a plurality of observation directions, and is configured to change a stereoscopic image pair that can be seen by an observer according to the observation direction. Device.
- the rendering processing unit 17d performs volume rendering for 9 parallax in response to a request from the operator of the medical image diagnostic apparatus 10. Generate an image. Then, the control unit 11 converts the 9-parallax volume rendering image into, for example, an intermediate image arranged in a tile shape and causes the display unit 13 to display the converted image. Thereby, the operator of the medical image diagnostic apparatus 10 can stereoscopically view the captured volume data.
- the monitor connected to the client terminal device 20 is a “9 parallax monitor”.
- the client terminal device 20 receives the 9-parallax volume rendering image generated by the medical image diagnostic apparatus 10, so that the client terminal device 20 operates the medical image diagnostic apparatus 10 with respect to the operator of the client terminal device 20. It is possible to display a stereoscopic image that can be stereoscopically viewed as in the case of a person.
- the client terminal device 20 It is not possible to display a stereoscopic image that can be viewed stereoscopically, like the operator of the medical image diagnostic apparatus 10.
- the client terminal device 21 when the monitor connected to the client terminal device 21 is a “2-parallax monitor”, the client terminal device 21 cannot display a 2-parallax image even if it receives a 9-parallax image.
- the monitor connected to the client terminal device 22 when the monitor connected to the client terminal device 22 is a “monitor without parallax”, the client terminal device 22 can display these parallax images only two-dimensionally even if it receives nine parallax images.
- the display unit 13 connected to the medical image diagnostic apparatus 10 is a “2-parallax monitor” or a “no-parallax monitor”, the same problem as described above occurs.
- the medical image diagnostic apparatus 10 performs the following processing in order to stereoscopically observe a three-dimensional medical image in accordance with the stereoscopic viewing method.
- a volume rendering image (parallax image) having an arbitrary number of parallaxes can be generated at an arbitrary parallax angle. Therefore, the medical image diagnostic apparatus 10 performs the rendering process on the volume data based on the information regarding the stereoscopic function of the display unit connected to the output target apparatus that is the output target, thereby outputting the output target that is the output target.
- a rendering image that can be viewed stereoscopically is generated on a display unit connected to the apparatus.
- the medical image diagnostic apparatus 10 determines the number of parallax images (the number of parallaxes) of a stereoscopic image displayed on the display unit based on information on the stereoscopic function of the display unit connected to the output target device to be output. ) And rendering processing is performed on volume data that is a three-dimensional medical image, thereby generating a rendering image corresponding to the number of parallax images (number of parallaxes). For example, the medical image diagnostic apparatus 10 receives information related to the stereoscopic function of the display unit connected to the output target apparatus to be output.
- the medical image diagnostic apparatus 10 receives a parallax angle and a parallax number as stereoscopic attributes of a display unit connected to the client terminal device group 2 that is a display output target. Then, the medical image diagnostic apparatus 10 determines the parallax angle and the number of parallaxes based on the received information regarding the stereoscopic function, and performs rendering processing on the volume data, thereby connecting to the output target apparatus that is the output target. A rendering image that can be viewed stereoscopically is generated on the display unit. That is, the medical image diagnostic apparatus 10 generates a rendering image corresponding to the number of parallaxes of the display unit connected to the client terminal device group 2.
- the medical image diagnostic apparatus 10 determines the number of parallax images (number of parallaxes)
- an output target apparatus connected to a display unit two parallax monitor
- the number of parallax images (number of parallaxes) is changed according to the output target device connected to a display unit (9 parallax monitor) that displays images for stereoscopic viewing in a plurality of viewing directions.
- the medical image diagnostic apparatus 10 outputs a rendering image corresponding to the number of parallax images generated by the rendering process to the output target apparatus as a stereoscopic image that is simultaneously displayed on the display unit. For example, the medical image diagnostic apparatus 10 transfers the rendered image generated by the rendering process to the client terminal device 21 that is a display output target.
- the medical image diagnostic apparatus 10 stores volume data, which is a three-dimensional medical image, in the image storage unit 16 as a storage device. Then, the medical image diagnostic apparatus 10 performs rendering processing on the volume data stored in the image storage unit 16 to generate a rendering image group including stereoscopic image pairs corresponding to a plurality of observation directions.
- the medical image diagnostic apparatus 10 accepts a rendering condition change request for volume data.
- the medical image diagnostic apparatus 10 receives a rendering condition change request from an operator of the client terminal device 20 that is a display output target.
- the medical image diagnostic apparatus 10 receives a rendering condition change request from an operator of the own apparatus.
- the medical image diagnostic apparatus 10 performs re-rendering processing on the volume data based on the received change request.
- the medical image diagnostic apparatus 10 outputs the rendered image generated by the re-rendering process to the output target apparatus.
- the medical image diagnostic apparatus 10 transfers the rendered image generated by the re-rendering process to the client terminal device 20 that is a display output target.
- the above processing is performed by the rendering processing unit 17d, the stereoscopic image transfer unit 17e, and the output unit 18c. And collaborate.
- a “stereoscopic image” is a group of stereoscopic images generated by performing volume rendering processing on volume data.
- the “parallax image” is an individual image constituting the “stereoscopic image”. That is, the “stereoscopic image” is composed of a plurality of “parallax images” having different “parallax angles”.
- the “parallax number” is the number of “parallax images” necessary for stereoscopic viewing on the stereoscopic display monitor.
- the “parallax angle” is an angle determined by the interval between the positions of the viewpoints set for generating the “stereoscopic image” and the position of the volume data.
- the “9 parallax image” described below is a “stereoscopic image” composed of nine “parallax images”.
- a “two-parallax image” described below is a “stereoscopic image” composed of two “parallax images”.
- FIG. 6 is a block diagram for explaining processing of the rendering processing unit, the stereoscopic image transfer unit, and the output unit according to the first embodiment.
- the processing of the rendering processing unit 17 d, the stereoscopic image transfer unit 17 e, and the output unit 18 c is executed under the control of the control unit 11.
- the transfer destination operation input unit 18a and the transfer destination device stereoscopic condition input unit 18b included in the communication unit 18 have received from the device to be output for display. Based on the information, volume rendering processing is performed.
- the transfer destination device stereoscopic condition input unit 18b receives information (stereoscopic attribute) regarding the stereoscopic function of the display unit (monitor) connected to the display target device.
- 7A, 7B, and 7C are diagrams for explaining an example of the stereoscopic attribute.
- the transfer destination apparatus stereoscopic condition input unit 18 b indicates “9 parallax monitor” as the stereoscopic attribute of the monitor connected to the client terminal device 20, “number of parallaxes: 9 Receives "parallax”. Further, as shown in FIG. 7A, the transfer destination apparatus stereoscopic condition input unit 18b has a stereoscopic attribute indicating that the parallax angle of the nine-parallax image that is normally referred to by the operator of the client terminal device 20 is “1 degree”. Receive.
- the transfer destination apparatus stereoscopic condition input unit 18 b indicates “two-parallax monitor” as the stereoscopic attribute of the monitor connected to the client terminal device 21. Receives “parallax”. Further, as shown in FIG. 7B, the transfer destination apparatus stereoscopic condition input unit 18b has a stereoscopic attribute indicating that the parallax angle of the two-parallax image normally referred to by the operator of the client terminal device 21 is “4 degrees”. Receive.
- the transfer destination apparatus stereoscopic condition input unit 18 b displays “no parallax: parallax: parallax” as a stereoscopic attribute of the monitor connected to the client terminal device 22. "None" is received.
- the stereoscopic attribute is not limited to the case where a stereoscopic image reference request is received from a device that is a display output target when the stereoscopic attribute is received from the device.
- the medical image diagnostic apparatus 10 may store a stereoscopic attribute of a display unit of an apparatus that can be connected to the own apparatus in advance.
- the number of parallaxes of the stereoscopic attribute may be obtained automatically by receiving the monitor specifications from the apparatus that is the output target for display by the medical image diagnostic apparatus 10.
- the stereoscopic attribute of the device to be output for display is transferred to the rendering processing unit 17d via the control unit 11.
- the stereoscopic attribute used for the determination process of the number of parallax images is not limited to cases other than the case of being acquired by communication.
- the input via the storage medium or the manual input by the operator Alternatively, it may be stored in advance in the medical image diagnostic apparatus 10.
- the rendering condition input unit 12b receives a rendering condition related to volume rendering from the operator of the medical image diagnostic apparatus 10, and transfers it to the rendering processing unit 17d.
- the rendering condition input unit 12b receives the rendering condition received by the transfer destination operation input unit 18a, and transfers the received information to the rendering processing unit 17d.
- the transfer destination operation input unit 18a receives the contents of an operation event such as a rendering condition change request related to volume rendering input by the operator of the client terminal device 20.
- FIG. 8 is a diagram for explaining an example of the operation event.
- the transfer destination operation input unit 18a receives, as an operation event input by the operator of the client terminal device 20, a request for changing the viewpoint position when performing volume rendering from the client terminal device 20, as shown in FIG. To do.
- the client terminal device rotates and moves the volume rendering image using a mouse or the like while the volume rendering image from a plurality of viewpoints of the volume data is displayed on the monitor.
- it searches for the viewpoint position that it wants to refer to.
- the operator of the client terminal device 20 makes a request for rotational movement of the viewpoint position on the XY plane and a request for rotational movement of the viewpoint position on the XZ plane, as shown in FIG.
- the operation event may be a parallel movement request of the viewpoint position, a projection method change request, a parallax angle change request, or a parallax number change request.
- the rendering processing unit 17d generates a stereoscopic image that matches the stereoscopic attribute of the display unit 13 of the medical image diagnostic apparatus 10 according to the rendering condition received from the rendering condition input unit 12b or the initially set rendering condition.
- FIG. 9 is a diagram for explaining an example of processing of the rendering processing unit and the stereoscopic image transfer unit according to the first embodiment.
- the rendering processing unit 17d accepts the parallel projection method as the rendering condition, and further, the reference viewpoint position (5) and the parallax angle “1”. ”Degree”. In such a case, the rendering processing unit 17d translates the viewpoint position from (1) to (9) so that the parallax angle is every "1 degree”, and uses the parallel projection method to change the parallax angle (between the gaze directions). Nine nine-parallax images with different angles are generated by one degree.
- the rendering processing unit 17d sets a light source that emits parallel light rays from infinity along the line-of-sight direction.
- the rendering processing unit 17d accepts a perspective projection method as a rendering condition, and further, the reference viewpoint position (5) and the parallax angle “1”. ”Degree”. In such a case, the rendering processing unit 17d rotates the perspective position from (1) to (9) so that the parallax angle is “1 degree” around the center (center of gravity) of the volume data, and sees through.
- Nine nine-parallax images having different parallax angles by 1 degree are generated by the projection method.
- the rendering processing unit 17d sets a point light source and a surface light source that radiate light in a three-dimensional manner around the line-of-sight direction at each viewpoint.
- the rendering processing unit 17d may translate the viewpoints (1) to (9) according to the rendering conditions.
- the rendering processing unit 17d radiates light two-dimensionally radially around the line-of-sight direction with respect to the vertical direction of the displayed volume rendering image, and with respect to the horizontal direction of the displayed volume rendering image.
- the volume rendering process using both the parallel projection method and the perspective projection method may be performed by setting a light source that emits parallel light rays from infinity along the line-of-sight direction.
- the rendering processing unit 17d temporarily stores the nine volume rendering images, which are the generated nine-parallax images for the device itself, in the image memory 15 for display on the display unit 13.
- the rendering processing unit 17d compares the stereoscopic attribute received by the transfer destination device stereoscopic condition input unit 18b with the stereoscopic attribute in the medical image diagnostic apparatus 10. That is, the rendering processing unit 17d determines the number of parallaxes from the stereoscopic attribute received by the transfer destination device stereoscopic condition input unit 18b, and the number of parallaxes based on the determined number of parallaxes and the stereoscopic attribute in the medical image diagnostic apparatus 10 And compare.
- the rendering processing unit 17d determines the parallax angle from the stereoscopic attribute received by the transfer destination device stereoscopic condition input unit 18b, and the parallax angle based on the determined number of parallaxes and the stereoscopic attribute in the medical image diagnostic apparatus 10. And compare. Then, the rendering processing unit 17d determines whether there is a volume rendering image that matches the stereoscopic attribute received by the transfer destination apparatus stereoscopic condition input unit 18b among the generated volume rendering images. For example, when the 9-parallax image is generated at the parallax angle “1 degree”, the rendering processing unit 17d determines that the stereoscopic attribute of the client terminal device 20 matches.
- the rendering processing unit 17 d when the 9-parallax image is generated at the parallax angle “1 degree”, the rendering processing unit 17 d includes the stereoscopic attribute “parallax angle: 4 degrees” of the client terminal device 21 in the 9-parallax image. It is determined that there are two images. That is, when determining the number of parallaxes, the rendering processing unit 17d changes the number of parallaxes according to the output target device connected to the 2-parallax monitor and the output target device connected to the 9-parallax monitor.
- the rendering processing unit 17d when the rendering processing unit 17d generates a nine-parallax image with a parallax angle “1 degree”, the rendering processing unit 17d displays an image corresponding to the stereoscopic attribute “parallax angle: no parallax” of the client terminal device 22 It is determined that one parallax image should be selected.
- the rendering processing unit 17d performs volume rendering processing in real time. Try again. For example, when the parallax angle of the stereoscopic attribute of the client terminal device 20 is different from the parallax angle in the medical image diagnostic apparatus 10, the rendering processing unit 17 d regenerates the nine parallax images according to the parallax angle of the client terminal device 20. For example, if the 9-parallax image is generated at the parallax angle “1.2 degrees”, the rendering processing unit 17d regenerates the 9-parallax image at the parallax angle “1 degree”.
- the rendering processing unit 17d generates a 9-parallax image at a parallax angle of “1.2 degrees”, the image of “parallax angle: 4 degrees” received as the stereoscopic attribute of the client terminal device 21. Therefore, two 2-parallax images with a parallax angle of “4 degrees” are regenerated.
- the rendering processing unit 17d outputs the generated image or the regenerated image to the stereoscopic image transfer unit 17e. If an image that matches the stereoscopic attribute of the display output target device exists in the generated image, the rendering processing unit 17d indicates, for example, that the image is an output image. A flag is assigned and output to the stereoscopic image transfer unit 17e.
- the stereoscopic image transfer unit 17e includes a transfer image generation unit 173 and a processed image transfer unit 174 as illustrated in FIG.
- the transfer image generation unit 173 generates a transfer image (transfer image) from the volume rendering image generated by the rendering processing unit 17d.
- the stereoscopic image transfer unit 17e causes the rendering processing unit 17d to generate a volume rendering image that matches the stereoscopic attribute required by the display output target device from the plurality of parallax images generated by the rendering processing unit 17d. Select based on the given flag.
- the example shown in FIG. 9 describes a case where an image that matches the stereoscopic attribute of the display output target device is included in the generated image. That is, as illustrated in FIG. 9, the transfer image generation unit 173 gives the volume rendering image of the viewpoint (5) to the client terminal device 22 to which the general-purpose monitor (the monitor without parallax) is connected. To select an image for transfer. Alternatively, as illustrated in FIG. 9, the transfer image generation unit 173 performs the viewpoint (3) and the viewpoint (7) where the parallax angle is “4 degrees” for the client terminal device 21 to which the two-parallax monitor is connected. The volume rendering image is selected as an image for transfer with reference to the given flag. Alternatively, the transfer image generation unit 173 selects all the volume rendering images of the viewpoints (1) to (9) as transfer images as 9 parallax images for the client terminal device 20 to which the 9 parallax monitor is connected.
- the transfer image generation unit 173 performs image compression processing on the volume rendering image in addition to the selection of the transfer image.
- the image compression process performed by the transfer image generation unit 173 may be a reversible compression process or an irreversible compression process. That is, the transfer image generation unit 173 generates a transfer image by performing image compression processing so that the transfer speed is not slowed down.
- the processed image transfer unit 174 outputs the transfer image selected and generated by the transfer image generation unit 173 to the output unit 18c of the communication unit 18, and the output unit 18c displays the output target for display. To the device.
- the operator of the client terminal device 20 can perform stereoscopic viewing using binocular parallax and motion parallax on the “9 parallax monitor”. Further, for example, the operator of the client terminal device 21 can perform stereoscopic viewing with binocular parallax on the “two-parallax monitor”. Further, for example, the operator of the client terminal device 22 can refer to the volume rendering image of the reference viewpoint on the “no parallax monitor”. As described above, the image to be output and transferred to the client terminal device 22 may be only the volume rendering image of the viewpoint (5), or the volume rendering images of the viewpoints (1) to (9). There may be some cases.
- the output unit 18c gives supplementary information indicating that the volume rendering images of the viewpoints (1) to (9) are images for parallel display, and then transfers them to the client terminal device 22.
- the output unit 18c assigns additional information indicating that the volume rendering images of the viewpoints (1) to (9) are image groups that can be displayed as moving images, and then transfers them to the client terminal device 22.
- the operator of the client terminal device 22 can refer to a moving image in which volume rendering images from nine different directions are rotated.
- the transfer destination operation input unit 18a receives the rendering condition change request received from the display output apparatus as the rendering condition. Transfer to the input unit 12b. For example, as illustrated in FIG. 8, the transfer destination operation input unit 18a transfers the viewpoint position change request to the rendering condition input unit 12b. Alternatively, the transfer destination operation input unit 18a sends a projection method change request, a display attribute (appearance attribute) change request, a segmentation site change request, a parallax angle change request, and a parallax number change request to the rendering condition input unit 12b. Forward.
- the rendering processing unit 17d When the rendering condition change request is received from the rendering condition input unit 12b, the rendering processing unit 17d re-renders the volume data based on the changed rendering condition. For example, the rendering processing unit 17d generates a nine-parallax image by changing the reference viewpoint position in response to the viewpoint position change request received from the client terminal device 20. Alternatively, the rendering processing unit 17d changes the positions of the other eight viewpoints around the reference viewpoint position in response to the parallax angle change request received from the client terminal device 20, and converts the nine parallax images. Generate.
- the rendering processing unit 17d generates, for example, a two-parallax image in response to the parallax number change request received from the client terminal device 20.
- the rendering processing unit 17d generates, for example, a nine-parallax image by switching from the perspective projection method to the parallel projection method in response to the projection method change request received from the client terminal device 20.
- the rendering processing unit 17d generates, for example, a 2-parallax image with a parallax angle of “3 degrees” in response to the parallax angle change request received from the client terminal device 21.
- the rendering image regenerated by the rendering processing unit 17d based on the changed rendering condition is output to the stereoscopic image transfer unit 17e.
- the transfer image generation unit 173 performs image compression processing on the volume rendering image to generate a transfer image.
- the processed image transfer unit 174 outputs the transfer image generated by the transfer image generation unit 173 to the output unit 18c of the communication unit 18, and the output unit 18c transmits the device to the display output target device.
- the stereoscopic image transfer unit 17e selects, for example, the volume rendering image of the viewpoint (5) as a transfer image. , Can also be output to the output unit 18c.
- the rendering condition change request may be made by an operator of the medical image diagnostic apparatus 10. Even in such a case, the rendering processing unit 17d performs re-rendering processing based on the changed rendering condition and outputs the re-rendering processing to the stereoscopic image transfer unit 17e.
- the stereoscopic image generated in real time by the rendering processing unit 17d in response to an operator's request is a “one-view multi-parallax image” centered on a reference viewpoint.
- the rendering processing unit 17d according to the present embodiment selects a “one-view multi-parallax image” that matches the stereoscopic attribute or rendering condition change request of the device to be output for display in real time, Or regenerate.
- the rendering processing unit 17d of the present embodiment changes the rendering condition set in the medical image diagnostic apparatus 10 according to the user's request, thereby generating a stereoscopic image to be output to the display output target. Generate in real time.
- the device to be output for display may be not only the client terminal device group 2 described above but also the client terminal device group 5 that can be connected to the external device group 3 and the image storage device 31.
- the transfer destination operation input unit 18 a and the transfer destination device stereoscopic condition input unit 18 b change the stereoscopic attribute and the rendering condition via the image storage device 31. Accept the request.
- volume rendering image transferred to the display target device may be displayed not only on the device but also stored in a cache or the like.
- the display output target operator can perform stereoscopic viewing of the volume data to be observed at an arbitrary timing.
- the stereoscopic image transfer unit 17e and the output unit 18c are, for an output target device having a display unit that switches a stereoscopic image (stereoscopic image) at a predetermined interval, a rendering image group for the output target device. May be output by switching at the predetermined interval.
- the stereoscopic image transfer unit 17e and the output unit 18c can alternately output two parallax images according to the image switching speed of the two parallax monitor.
- the medical image diagnostic apparatus 10 determines the number of parallaxes (and the parallax angle) from the stereoscopic attribute. Then, the medical image diagnostic apparatus 10 generates a rendering image corresponding to the determined number of parallaxes (and parallax angle), and transfers a transfer image of the generated stereoscopic image. That is, in such a case, the selection process by the rendering processing unit 17d is not executed.
- FIG. 10 is a flowchart for explaining processing for a display output target of the medical image diagnostic apparatus according to the first embodiment.
- processing after the rendering processing unit 17d generates a volume rendering image for output to the medical image diagnostic apparatus 10 will be described.
- the medical image diagnostic apparatus 10 determines whether or not the transfer destination apparatus stereoscopic condition input unit 18b has received a stereoscopic attribute (step S101).
- the medical image diagnostic apparatus 10 enters a standby state.
- the rendering processing unit 17d determines whether or not a parallax image that matches the received stereoscopic attribute exists in the generated volume rendering image (Step S101). S102).
- the rendering processing unit 17d generates a parallax image based on the accepted stereoscopic attribute (step S103), and stereoscopic viewing is performed.
- the image transfer unit 17e generates a transfer image (step S104).
- the rendering processing unit 17d notifies the stereoscopic image transfer unit 17e of the parallax image that matches the received stereoscopic attribute,
- the visual image transfer unit 17e selects a transfer image based on the notified information, and generates a transfer image (step S104).
- the output unit 18c transfers the transfer image to the transfer destination device (step S105), and the transfer destination operation input unit 18a determines whether or not the change of the rendering condition is accepted (step S106).
- the rendering processing unit 17d generates a parallax image based on the changed rendering condition (Step S107), and then the medical image diagnostic apparatus 10 Then, the processing after step S104 is executed.
- Step S108 determines whether a transfer end request is accepted.
- the process returns to Step S106 to determine whether or not the change of the rendering condition is accepted.
- the medical image diagnostic apparatus 10 ends the process.
- the determination process in step S102 may be executed by the stereoscopic image transfer unit 17e.
- the present embodiment does not perform volume rendering processing according to the stereoscopic attribute of the medical image diagnostic apparatus 10, and the stereoscopic attribute of the display output target or the operator of the display output target can be changed.
- the present invention is applicable even when only the volume rendering process corresponding to the requested rendering condition change request is executed.
- the determination process in step S102 is omitted, and after the stereoscopic attribute is received in step S101, the process in step S103 is executed.
- the present embodiment is applicable even when the display unit 13 of the medical image diagnostic apparatus 10 is a “no parallax monitor” or a “two parallax monitor”.
- the image generation process and the image output process according to the stereoscopic attribute of the device that is the display output target can be executed. Therefore, the three-dimensional medical image is determined according to the stereoscopic method.
- (Volume data) can be observed three-dimensionally.
- the stereoscopic effect observed on a device directly connected to a nine-parallax monitor can be reproduced by another device, and the same observer can use the same three-dimensional image on different devices.
- the volume data can be stereoscopically viewed with a feeling. That is, in the first embodiment, the stereoscopic viewing ability of the monitor of the device to be output for display can be utilized to the maximum extent.
- volume rendering images are displayed synchronously among a plurality of devices that are display output targets.
- FIG. 11 is a diagram for explaining a configuration example of a control unit according to the second embodiment.
- the control unit 11 according to the second embodiment further includes a synchronization control unit 11b in addition to the display control unit 11a that performs display control in the display unit 13.
- the rendering processing unit 17d when there are a plurality of display output target devices, the rendering processing unit 17d is connected to a plurality of display output target devices (display) according to the control of the synchronization control unit 11b. Part) Rendering processing is performed on the volume data based on the information (stereoscopic attributes) on the respective stereoscopic functions and the rendering conditions for the volume data. That is, the rendering processing unit 17d determines the number of parallax images (the number of parallaxes) for each of the plurality of display output target devices based on information regarding the stereoscopic function of each display unit connected to the plurality of display output target devices. To do.
- the rendering processing unit 17d performs rendering processing on the volume data based on the number of parallax images (number of parallaxes) for each of the plurality of output target devices and the rendering conditions for the volume data.
- the output unit 18c outputs the rendering images for each of the plurality of display output devices generated by the rendering processing unit 17d in synchronization with each corresponding device, under the control of the synchronization control unit 11b.
- the pattern for starting the synchronous display there are various patterns as the pattern for starting the synchronous display.
- the operator of the client terminal device 20 is the main body, and it is desired to refer to the same volume data generated by the medical image diagnostic apparatus 10 with the same stereoscopic attribute at the same time as the operator of the medical image diagnostic apparatus 10. .
- the client terminal device 20 transmits a synchronous display request to the communication unit 18 together with information indicating that the synchronous display target is the medical image diagnostic apparatus 10.
- the rendering processing unit 17d notified of the synchronous display request from the communication unit 18 via the control unit 11 generates a volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree”.
- the display control unit 11 a causes the display unit 13 to display a volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree”.
- the stereoscopic image transfer unit 17e and the output unit 18c transmit the volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree” to the client terminal device 20.
- the operator of the client terminal device 21 is the main operator and it is desired to refer to the same volume data generated by the medical image diagnostic apparatus 10 with different stereoscopic attributes at the same time as the operator of the medical image diagnostic apparatus 10. .
- the client terminal device 21 transmits a synchronous display request to the communication unit 18 together with information indicating that the synchronous display target is the medical image diagnostic apparatus 10.
- the rendering processing unit 17d notified of the synchronous display request from the communication unit 18 via the control unit 11 generates a volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree”.
- the display control unit 11 a causes the display unit 13 to display a volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree”.
- the rendering processing unit 17d selects two images of “number of parallaxes: 2, parallax angle: 4 degrees” from the generated volume rendering image, and the stereoscopic image transfer unit 17e and the output unit 18c select “number of parallaxes:
- the volume rendering image of “2, parallax angle: 4 degrees” is transmitted to the client terminal device 21.
- the simultaneous display request may be executed mainly by the operator of the medical image diagnostic apparatus 10.
- the operator of the client terminal device 20 is the main operator, and at the same time as the operator of the client terminal device 21, it is desired to refer to the same volume data targeted for rendering by the medical image diagnostic apparatus 10 with different stereoscopic attributes. is there.
- the client terminal device 20 transmits a synchronous display request to the communication unit 18 together with information indicating that the synchronous display target is the client terminal device 21.
- the rendering processing unit 17d notified of the synchronous display request from the communication unit 18 via the control unit 11 generates a volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree”.
- the stereoscopic image transfer unit 17 e and the output unit 18 c transmit the volume rendering image of “the number of parallaxes: 9 and the parallax angle: 1 degree” to the client terminal device 20.
- the rendering processing unit 17d selects two images of “number of parallaxes: 2, parallax angle: 4 degrees” from the generated volume rendering image, and the stereoscopic image transfer unit 17e and the output unit 18c select “number of parallaxes: The volume rendering image of “2, parallax angle: 4 degrees” is transmitted to the client terminal device 21.
- the simultaneous display request may be executed mainly by the operator of the client terminal device 21.
- the operator who has made the synchronous display request and the operator of the device that is the target of the synchronous display are the three-dimensional images of the display unit that each uses the volume-rendered image of the same volume data from the same viewpoint position. Stereoscopic viewing is possible according to the visual specifications.
- the synchronous control unit 11b controls the rendering processing unit 17d to perform the volume rendering process based on the rendering condition requested by the operator who has requested the synchronous display.
- the operator of the client terminal device 20 that has made a synchronous display request selects a rendering condition for generating a volume rendering image that the user wants to refer to.
- the rendering condition include attribute values selected from various conditions such as viewpoint position, display attribute (appearance attribute), projection method, and segmentation site.
- the communication unit 18 that has received the rendering condition from the client terminal device 20 transfers the received rendering condition to the synchronization control unit 11b.
- the synchronization control unit 11b controls the rendering processing unit 17d to perform volume rendering processing based on the rendering conditions received from the client terminal device 20.
- the operator who made the synchronous display request and the operator of the device to be synchronized display each display unit that uses the volume rendering image obtained by processing the same volume data under the same rendering condition.
- Stereoscopic viewing can be performed according to the stereoscopic viewing specifications.
- FIGS. 12 and 13 are sequence diagrams for explaining a synchronous display process executed by the medical image diagnostic apparatus according to the second embodiment.
- FIG. 12 is a case where the operator of the client terminal device 20 is the main operator, and simultaneously refers to the same volume data rendered by the medical image diagnostic apparatus 10 at the same time as the operator of the medical image diagnostic apparatus 10. It is a sequence diagram.
- the client terminal device 20 transmits an operation event indicating an operator's synchronous display request to the synchronization control unit 11b of the medical image diagnostic apparatus 10 (step S201).
- the client terminal device 20 transmits an operation event indicating that the device that is a synchronous display target is the medical image diagnostic device 10 to the synchronization control unit 11 b.
- the synchronization control unit 11b that has received the operation event notifies the display control unit 11a of a request for display update and event reception stop performed for the medical image diagnostic apparatus 10 (step S202).
- the display update and the event for which reception is stopped are an update event of an image displayed on the display unit 13 and an operation event using the GUI displayed on the display unit 13.
- the synchronization control unit 11b notifies the display data update request corresponding to the operation event of the received synchronous display request to the volume data processing unit 17 including the rendering processing unit 17d and the stereoscopic image transfer unit 17e (Step S203).
- the display image update request corresponding to the operation event is a request for generating a volume rendering image based on the stereoscopic attribute in each device displayed synchronously and the rendering condition input by the operator of the client terminal device 20.
- the volume data processing unit 17 generates a client parallax image as a transfer image based on the nine parallax images for the client terminal device 20 (step S204). Furthermore, the volume data processing unit 17 generates a self-device parallax image that is a nine-parallax image for the client terminal device 20 (step S205).
- the volume data processing unit 17 sends a display image generation notification to the synchronization control unit 11b (step S206), and the synchronization control unit 11b transfers the parallax image for the own device to the display control unit 11a (step S207).
- the display unit 13 displays the parallax image for the device itself.
- the synchronization control unit 11b transfers the client parallax image to the client terminal device 20 via the output unit 18c (step S208).
- step S209 when an operation event for changing the rendering condition or the stereoscopic attribute is transmitted again, the medical image diagnostic apparatus 10 executes the processing of steps S202 to S208 again.
- FIG. 13 is a sequence diagram in the case where the operator of the client terminal device 20 is the main body and the medical image diagnostic apparatus 10 refers to the same volume data to be rendered synchronously simultaneously with the operator of the client terminal device 21. is there.
- the client terminal device 20 transmits an operation event indicating an operator's synchronous display request to the synchronization control unit 11b of the medical image diagnostic apparatus 10 (step S301).
- the client terminal device 20 transmits an operation event indicating that the device that is the target of synchronous display is the client terminal device 21 to the synchronization control unit 11 b.
- the synchronization control unit 11b that has received the operation event notifies the client terminal device 21 of a request for display update and event reception stop (step S302).
- the display update and event for which reception is stopped are an operation event using the GUI displayed on the monitor of the client terminal device 21 and the update of the image displayed on the monitor of the client terminal device 21. .
- the synchronization control unit 11b notifies the display data update request corresponding to the received operation event of the synchronous display request to the volume data processing unit 17 including the rendering processing unit 17d and the stereoscopic image transfer unit 17e (Step S303). .
- the volume data processing unit 17 generates a client (1) parallax image as a transfer image based on the nine parallax images for the client terminal device 20 (step S304). Further, the volume data processing unit 17 generates a parallax image for client (2) as a transfer image based on the two parallax images for the client terminal device 21 (step S305).
- the volume data processing unit 17 sends a display image generation notification to the synchronization control unit 11b (step S306).
- the synchronization control unit 11b sends the client (2) parallax image to the client terminal device 21 via the output unit 18c. (Step S307). Further, the synchronization control unit 11b transfers the client (1) parallax image to the client terminal device 20 via the output unit 18c (step S308).
- step S301 when an operation event for changing the rendering condition or the stereoscopic attribute is transmitted again, the medical image diagnostic apparatus 10 executes the processing of steps S302 to S308 again.
- the stereoscopic image can be synchronously displayed on different devices according to the stereoscopic attribute of the stereoscopic monitor of each device. Even if they are different, the stereoscopic effect can be shared among a plurality of observers. For example, in the second embodiment, even before a 9-parallax monitor is prevalent in a conference room where multiple people refer to the same screen in a medical office or an interpretation room located away from the medical image diagnostic apparatus 10. Since stereoscopic vision technology can be used in each room, it is easy to improve the efficiency of surgical planning and share patient anatomical information.
- the operator who made the synchronous display request and the operator of the device that is the target of synchronous display are stereoscopic images generated from the same volume data under the same rendering conditions, and each A case has been described in which a stereoscopic image that matches each of the stereoscopic specifications of the display unit to be used is stereoscopically viewed.
- a stereoscopic image corresponding to the stereoscopic specification of the display unit used by each person and a stereoscopic image corresponding to the rendering condition desired by each person are generated from the same volume data. It may be the case. That is, the second embodiment may be a case where two operators change the rendering conditions during synchronous display.
- the medical image diagnostic apparatus 10 stores the volume rendering image generated by the rendering processing unit 17d.
- the rendering processing unit 17d applies the volume data to the volume data based on the received information.
- the output unit 18c outputs the rendered image generated by the re-rendering process of the rendering processing unit 17d to the display output target device.
- the medical image diagnostic apparatus 10 according to the third embodiment stores the rendering image that matches the rendering condition for the volume data and the information related to the stereoscopic function received from the display output target apparatus. Select and output to the display output target device.
- FIG. 14 is a diagram for explaining a configuration example of the input unit according to the third embodiment.
- the input unit 12 further includes a processed image storage condition input unit 12c as compared with the input unit 12 shown in FIG.
- the processed image storage condition input unit 12c receives a storage condition for storing the volume rendering image generated by the rendering processing unit 17d from the operator of the medical image diagnostic apparatus 10.
- the storage conditions received by the processed image storage condition input unit 12c will be described in detail later.
- FIG. 15 is a block diagram for explaining processing of a rendering processing unit, a stereoscopic image storage unit, a stereoscopic image transfer unit, and an output unit according to the third embodiment. Although not shown in FIG. 15, the processing of each unit is executed under the control of the control unit 11.
- the rendering processing unit 17d shown in FIG. 15 performs volume rendering processing on the volume data based on the rendering conditions received by the rendering condition input unit 12b. Specifically, the rendering processing unit 17d generates a stereoscopic image based on the stereoscopic attributes of the display unit 13 received by the rendering condition input unit 12b, and various conditions such as the viewpoint position and the projection method. Note that the stereoscopic image generated by the rendering processing unit 17d is not limited to an image for the display unit 13 (for example, a 9-parallax image).
- the rendering processing unit 17d may be a case in which, for example, an image that conforms to the currently usable stereoscopic specification, such as a two-parallax image or a “parallax-free monitor” still image, may be generated.
- the rendering processing unit 17d illustrated in FIG. 15 may perform the rendering process again based on the changed rendering condition when the rendering condition input unit 12b receives a change in the rendering condition.
- the stereoscopic image storage unit 17f shown in FIG. 15 performs a storage process of the volume rendering image generated by the rendering processing unit 17d.
- the stereoscopic image storage unit 17 f includes a storage processing image generation unit 175 and a processing image storage unit 176.
- the processing image generation unit for storage 175 generates a processing image for storage by processing the volume rendering image generated by the rendering processing unit 17d based on the storage conditions received by the processing image storage condition input unit 12c.
- FIG. 16 is a diagram for explaining the storage processing image generation unit.
- the storage processing image generation unit 175 based on the storage condition received by the processed image storage condition input unit 12 c, the storage processing image generation unit 175 generates a storage processing image from the nine parallax images before storage generated by the rendering processing unit 17 d. An example in the case of generating is shown.
- the storage conditions for storing the 9 parallax images as they are for the “9 parallax monitor” output (9 parallax storage conditions), and the 9 parallax images output to the “2 parallax monitor” For example, a storage condition (2 parallax storage condition), and a storage condition (no parallax storage condition) for storing 9-parallax images for “no parallax monitor” output.
- the storage processing image generation unit 175 As the 9 parallax storage conditions, there is a condition (see FIG. 16A) for storing 9 parallax images individually as a single image.
- the storage processing image generation unit 175 When the single image still image storage condition is accepted as the nine parallax storage condition, the storage processing image generation unit 175 generates a processing image in which the nine parallax images are nine still images (FIG. 16A). See the 9 thick borders).
- the 9-parallax storage condition includes a condition (see (b) of FIG. 16) for storing a 9-parallax image as a long image (moving image) combined into one.
- the storage processing image generation unit 175 When the long image storage condition is accepted as the nine parallax storage condition, the storage processing image generation unit 175 generates a processing image in which nine parallax images are combined into one image (1 shown in FIG. 16B). Two thick borders).
- the 9 parallax image is directly converted into an intermediate image of a predetermined format (tile format) that can be output by the “9 parallax monitor” and stored (see (c) of FIG. 16).
- the storage-use processed image generation unit 175 When the intermediate image conversion condition is received as the nine-parallax storage condition, the storage-use processed image generation unit 175 generates a processed image in which nine parallax images are arranged in a tile shape (one thick image illustrated in FIG. 16C). See border).
- the intermediate image shown in FIG. 16C is generated by arranging nine parallax images on a grid of 3 rows and 3 columns.
- the 2 parallax storage condition includes a selection condition for selecting two parallax images having a designated parallax angle from 9 parallax images. For example, when “parallax angle: 2 degrees” is received as the selection condition of the two parallax storage conditions, the storage processing image generation unit 175 selects the parallax image (4) and the parallax image (6). Then, the storage processing image generation unit 175 sets the parallax image (4) and the parallax image (6) as the generation target of the storage processing image. Then, the storage processing image generation unit 175 generates a storage processing image from the parallax image (4) and the parallax image (6) according to the following storage conditions input together with the selection conditions.
- the two-parallax storage condition includes a condition for storing two two-parallax images individually as a single image (see (d) of FIG. 16).
- the storage processing image generation unit 175 When the single-image still image storage condition is received as the two-parallax storage condition, the storage processing image generation unit 175 generates a processing image using two parallax images as two still images (see (d) of FIG. 16). See the two bold borders).
- the two-parallax storage condition includes a condition for storing a two-parallax image as a combined image (see FIG. 16E).
- the storage processing image generation unit 175 When the combined image storage condition is received as the two-parallax storage condition, the storage processing image generation unit 175 generates a processing image using the parallax image (4) and the parallax image (6) as one still image (FIG. 16). (See one thick frame shown in (e)).
- the two-parallax storage condition may be a condition in which a stereoscopically viewable image is specified by a parallel method, a crossing method, a residual color method, or the like even on a monitor without parallax.
- the storage condition without parallax includes a selection condition for selecting a parallax image at one designated viewpoint position from nine nine parallax images. For example, based on the selection condition of the storage condition without parallax, the storage processing image generation unit 175 selects the parallax image (6). Then, the storage processing image generation unit 175 generates a storage processing image for the parallax image (6). In the case of the storage condition without parallax, since the target image is one, the processing image generation unit 175 for storage generates a processing image with the parallax image (6) as a still image ((( (See one thick border shown in f)).
- the storage processing image generation unit 175 When the moving image display selection condition is received as the selection condition for the no-parallax storage condition, the storage processing image generation unit 175 performs a process of storing the nine parallax images as the long image. Further, when the parallel display selection condition is received as the selection condition for the no-parallax storage condition, the storage processing image generation unit 175 performs a process of storing the nine-parallax image as the single image still image.
- the storage condition without parallax may be a condition in which a stereoscopic view image is stored by a parallel method, a crossing method, a residual color method, or the like even on a monitor without parallax.
- the saved processed image generation unit 175 stores the generated processed image in the processed image storage unit 176 shown in FIG.
- the processed image storage unit 176 is an HDD.
- the storage conditions received by the processed image storage condition input unit 12c are selected from all 9 parallax storage conditions, 2 parallax storage conditions, and no parallax storage conditions, or 9 parallax storage conditions, 2 parallax storage conditions, and no parallax storage conditions. It may be a case where two are made.
- the saved processed image generation unit 175 may store the number of parallaxes, the degree of parallax, the monitor name targeted at the time of saving, and the like as incidental information in the processed image storage unit 176 in association with the processed image. Moreover, even if the monitor name which is incidental information is one, it may be a case where it is a plurality of monitor names having the same stereoscopic attribute.
- the stereoscopic image transfer unit 17 e similarly to the first embodiment, the stereoscopic image transfer unit 17 e generates a transfer image for transfer to a display output target device (a client terminal device in the drawing).
- the transfer destination apparatus stereoscopic condition input unit 18b illustrated in FIG. 15 receives the stereoscopic attribute of the monitor of the apparatus that is the display output target, as in the first embodiment.
- the transfer destination operation input unit 18a illustrated in FIG. 15 receives a rendering condition for volume data, as in the first embodiment.
- the transfer image generation unit 173 matches the stereoscopic attribute of the monitor of the device to be output for display and the rendering condition input by the operator of the device to be output for display. It is determined whether or not a volume rendering image (processed image) to be stored is stored in the processed image storage unit 176. If stored, the transfer image generation unit 173 acquires the corresponding volume rendering image (processed image) from the process image storage unit 176 and generates a transfer image. Similar to the first embodiment, the transfer image is transferred to a display output target apparatus by the processing of the processing image transfer unit 174 and the output unit 18c.
- the transfer image generation unit 173 selects a process image that matches the stereoscopic attribute and the rendering condition from the stored process images, and then transfers the transfer image. May be generated.
- the transfer image generation unit 173 selects a two-parallax image from nine stored parallax images, generates a transfer image, selects a three-parallax image from five stored parallax images, and generates a transfer image. You may do it.
- the transfer image generation unit 173 sends a rendering processing unit 17d to the rendering processing unit 17d.
- a re-rendering process is requested.
- the rendering processing unit 17d performs volume rendering of the volume data again based on various conditions such as the number of parallaxes, the viewpoint position, the display attribute (appearance attribute), the projection method, and the like, as in the first embodiment.
- the stereoscopic volume rendering image generated again by the rendering processing unit 17d is transferred to the stereoscopic image transfer unit 17e and output from the output unit 18c.
- the stereoscopic volume rendering image generated again by the rendering processing unit 17d is transferred to the stereoscopic image storage unit 17f and stored as a processed image, and then converted into a transfer image by the stereoscopic image transfer unit 17e. , It may be output from the output unit 18c.
- the rendering processing unit 17d is based on the changed rendering condition as in the first embodiment. Performs volume rendering again.
- the output unit 18c may be attached with dedicated software (dedicated viewer) for referring to the transfer image together with the transfer image.
- the transfer destination device performs control according to the number of parallaxes of the display device of the own device when the transfer image is expanded and displayed for stereoscopic viewing by the dedicated viewer.
- the stored stereoscopic image may be stored in a state attached to a report or a document, and may be transferred for display at the request of the client terminal device 20, for example.
- FIG. 17 is a diagram for explaining an example of an image output by the medical image diagnostic apparatus according to the third embodiment. The example illustrated in FIG. 17 illustrates a case where nine parallax images that match the request of the client terminal device 20 are stored in the processed image storage unit 176 in a state attached to the cardiac examination report.
- the viewer When such a report is output to the client terminal device 20, the viewer is activated. Then, the viewer converts the 9-parallax image, which is the display content, into an intermediate image and outputs it according to the specifications of the monitor (9-parallax monitor) that the client terminal device 20 has. Thereby, the operator of the client terminal device 20 can stereoscopically view an important image in the cardiac examination report by binocular parallax and motion parallax.
- the stereoscopic image layout process in the report may be executed by the client terminal device 20 that has received the 9-parallax image.
- FIG. 18 is a flowchart for explaining image storage processing of the medical image diagnostic apparatus according to the third embodiment.
- FIG. 19 is a flowchart for explaining output processing of the medical image diagnostic apparatus according to the third embodiment.
- the medical image diagnostic apparatus 10 determines whether or not the rendering condition input unit 12b has received a stereoscopic attribute and a rendering condition (step S401).
- the medical image diagnostic apparatus 10 enters a standby state.
- the rendering processing unit 17d when the stereoscopic attribute and the rendering condition are received (Yes at Step S401), the rendering processing unit 17d generates a parallax image (volume rendering image) based on the received stereoscopic attribute and the rendering condition (Step S402). .
- the storage processing image generation unit 175 generates a storage processing image based on the storage conditions received by the processing image storage condition input unit 12c (step S403). Then, the saved processed image generation unit 175 stores the saved processed image in the processed image storage unit 176 (step S404), and ends the process.
- the medical image diagnostic apparatus 10 receives a transfer destination device stereoscopic condition input unit 18 b and a transfer destination operation input unit 18 a from a client that is a display output target device. Then, it is determined whether or not the stereoscopic attribute and the rendering condition have been received (step S501). Here, when the stereoscopic attribute and the rendering condition are not received from the client (No in step S501), the medical image diagnostic apparatus 10 according to the third embodiment enters a standby state.
- the transfer image generation unit 173 determines whether an image matching the stereoscopic attribute and the rendering condition received from the client has been stored. (Step S502). Here, if not stored (No in step S502), the rendering processing unit 17d generates a parallax image that matches the stereoscopic attribute and the rendering condition received from the client in response to a request from the transfer image generation unit 173 ( Step S503). Then, the stereoscopic image transfer unit 17e generates a transfer image (step S504).
- the transfer image generation unit 173 acquires a matching parallax image from the processed image storage unit 176, and generates a transfer image (step S504).
- the output unit 18c transfers the transfer image to the transfer destination client (step S505), and the transfer destination operation input unit 18a determines whether or not the change of the rendering condition is accepted (step S506).
- the rendering processing unit 17d generates a parallax image based on the changed rendering condition (Step S507), and then the medical image diagnostic apparatus 10 Then, the processing after step S504 is executed.
- Step S506 determines whether a transfer end request is accepted.
- Step S508 determines whether a transfer end request is accepted.
- the medical image diagnostic apparatus 10 ends the process.
- the third embodiment even if a stereoscopic image is once stored in the medical image diagnostic apparatus 10, it is stored on the access source apparatus by remote access from another apparatus.
- the stereoscopic image thus displayed can be displayed in a state that allows stereoscopic viewing with the device.
- the medical image diagnostic apparatus 10 equipped with the 9-parallax monitor is installed, the constructed in-hospital network can be continuously operated.
- the medical image diagnostic apparatus 10 stores the volume rendering image generated by the rendering processing unit 17d as in the third embodiment. Then, when a rendering image that matches the rendering attribute for the stereoscopic attribute and volume data received from the storage output target device is not stored, the rendering processing unit 17d applies the volume data based on the rendering condition. Perform re-rendering. Then, the output unit 18c outputs the rendered image generated by the re-rendering process of the rendering processing unit 17d to a storage output target device.
- FIG. 20 is a diagram for describing a configuration example of a communication unit according to the fourth embodiment.
- the communication unit 18 according to the fourth embodiment is replaced with a transfer destination operation input unit 18 a and a transfer destination device stereoscopic condition input unit 18 b as compared with the communication unit 18 illustrated in FIG. 2.
- a storage condition input unit 18d and a storage output destination stereoscopic condition input unit 18e are an input unit corresponding to the transfer destination operation input unit 18a, and receives a rendering condition from a storage output target device.
- the storage output destination stereoscopic condition input unit 18e is an input unit corresponding to the transfer destination apparatus stereoscopic condition input unit 18b, and receives a stereoscopic attribute from the storage output target apparatus.
- the medical image diagnostic apparatus 10 according to the fourth embodiment includes a stereoscopic image storage unit 17f as illustrated in FIG.
- the medical image diagnostic apparatus 10 according to the fourth embodiment includes a storage output processing unit 17g as shown in FIG. 21 instead of the stereoscopic image transfer unit 17e.
- the output processing for storage is performed by the rendering processing unit 17d, the stereoscopic image storage unit 17f, the storage output processing unit 17g, and the output unit 18c. And execute.
- FIG. 21 is a block diagram for explaining processing of a rendering processing unit, a stereoscopic image storage unit, a storage output processing unit, and an output unit according to the fourth embodiment.
- FIG. 21 shows a case where the storage output target device is the image storage device 31.
- the storage output target device may be the portable storage device 40 shown in FIG.
- the processing of each unit is executed under the control of the control unit 11.
- the rendering processing unit 17d shown in FIG. 21 performs volume rendering processing on the volume data based on the rendering conditions received by the rendering condition input unit 12b, as in the third embodiment.
- the stereoscopic image storage unit 17f illustrated in FIG. 21 uses the storage conditions received by the processing image storage condition input unit 12c for storing the volume rendering image generated by the rendering processing unit 17d. Run based on.
- the storage output processing unit 17g illustrated in FIG. 21 includes a storage output image generation unit 177 corresponding to the transfer image generation unit 173 and a storage output image output unit 178 corresponding to the processing image transfer unit 174.
- the storage output image generation unit 177 outputs a volume rendering image (processed image) that matches the stereoscopic attribute requested by the storage output target device and the rendering condition input by the operator of the storage output target device. ) Is stored in the processed image storage unit 176. If stored, the storage output image generation unit 177 obtains a corresponding volume rendering image (processed image) from the processing image storage unit 176, and generates a storage output image by image compression processing. The storage output image is transferred to an apparatus that is a storage output target by the processing of the storage output image output unit 178 and the output unit 18c, similarly to the transfer image described in the first to third embodiments. Note that, similarly to the transfer image generation unit 173 according to the third embodiment, the storage output image generation unit 177 selects a processing image that matches the stereoscopic attribute and the rendering condition from the stored processing image, and An output image for storage may be generated.
- the storage output image generation unit 177 generates the transfer image according to the third embodiment. Similarly to the unit 173, a request for re-rendering processing is made to the rendering processing unit 17d.
- the changed rendering condition is set as in the first to third embodiments. Based on this, the rendering processing unit 17d performs volume rendering again.
- the image storage process executed by the medical image diagnostic apparatus 10 according to the fourth embodiment is the same as the image storage process executed by the medical image diagnostic apparatus 10 according to the third embodiment described with reference to FIG. Since there is, description is abbreviate
- the output processing for storage executed by the medical image diagnostic apparatus 10 according to the fourth embodiment is the output for display executed by the medical image diagnostic apparatus 10 according to the third embodiment described with reference to FIG.
- the storage condition input unit 18d and the storage output destination stereoscopic condition input unit 18e receive various information, Since it is the same, description is abbreviate
- the fourth embodiment even if a stereoscopic image is once stored in the medical image diagnostic apparatus 10, by remotely accessing from another apparatus, Even on the access source apparatus, the stored stereoscopic image can be stored in a state in which the apparatus can be viewed stereoscopically.
- the fourth embodiment may be a case where a stereoscopic image corresponding to a request of a storage output target device is generated and then output to the device for storage.
- FIG. 22 is a diagram for explaining a modification of the configuration of the medical image processing system according to the first to fourth embodiments.
- a medical image diagnostic apparatus group 1 composed of various medical image diagnostic apparatuses 10 is connected to a hospital LAN, and the medical image diagnostic apparatus group 1 is a three-dimensional X-ray. Volume data such as an image, a three-dimensional X-ray CT image, and a three-dimensional MRI image are generated.
- the workstation 30 shown in FIG. 22 performs a rendering process on the volume data received directly from the medical image diagnostic apparatus group 1 or the volume data received from the medical image diagnostic apparatus group 1 via the image storage apparatus 31. Do. That is, the workstation 30 shown in FIG. 22 has the functions of the rendering processing unit 17d, the input unit 12, and the communication unit 18 described in the first to fourth embodiments.
- the workstation 30 is an output source of a rendered image as shown in FIG. Further, as illustrated in FIG. 22, the workstation 30 sets the medical image diagnosis apparatus group 1, the client terminal apparatus group 2, the image storage apparatus 31, and the client terminal apparatus group 5 as output targets for rendering image display. Further, as illustrated in FIG. 22, the workstation 30 sets the image storage device 31 and the portable storage device 40 as output targets for rendering image storage.
- the medical image processing system according to the first to fourth embodiments is a workstation instead of the medical image diagnostic apparatus 10 as a medical image processing apparatus for performing stereoscopic image processing on volume data. It can also be realized by installing 30. Further, the medical image processing systems according to the first to fourth embodiments can be applied even when the medical image processing apparatus for performing stereoscopic image processing on volume data is the client terminal device group 2. good. Furthermore, the functions of the medical image diagnostic apparatus 10 as the medical image processing apparatus described in the first to fourth embodiments are executed in a distributed manner in each apparatus illustrated in FIG. 1 and FIG. May be.
- the rendering processing unit 17d determines the number of parallaxes and the parallax angle to be output to the display unit of the output target device based on the stereoscopic attribute.
- the following determination process may be performed based on the resolution of the parallax image acquired as the stereoscopic attribute of the display unit of the output target device and the arrangement information of the parallax image. That is, the rendering processing unit 17d switches the resolution of the rendering image corresponding to the parallax image based on the resolution of the parallax image acquired as information regarding the stereoscopic function.
- the rendering processing unit 17d renders the rendering image corresponding to the parallax image. Is generated with a resolution of “512 pixels ⁇ 512 pixels”.
- the rendering processing unit 17d switches the arrangement of the parallax images output from the output unit 18c based on the arrangement information of the parallax images acquired as information regarding the stereoscopic function.
- the format of the intermediate image into which the 9 parallax image is converted when it is output to the 9 parallax monitor is not limited to a 3 ⁇ 3 tile shape.
- the format of the intermediate image is when nine parallax images are arranged in a grid of “1 row 9 columns”, “9 rows 1 column”, and “2 rows 5 columns” according to the specifications of the 9 parallax monitor. There is also. Therefore, for example, when the disposition information of the parallax image acquired as the information regarding the stereoscopic function is “2 rows and 5 columns”, the rendering processing unit 17 d arranges 9 parallax images on the grid of “2 rows and 5 columns”. An instruction is sent to the stereoscopic image transfer unit 17e so that the intermediate image is output from the output unit 18c.
- each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated.
- the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
- the transfer destination operation input unit 18a and the transfer destination device stereoscopic condition input unit 18b may be integrated.
- the determination process such as the number of parallax images (the number of parallaxes) based on the stereoscopic attribute may be executed by, for example, the control unit 11 instead of the rendering processing unit 17d.
- all or a part of each processing function performed in each device can be realized by a CPU and a program that is analyzed and executed by the CPU, or can be realized as hardware by wired logic.
- the medical image processing method described in the above embodiment can be realized by executing a medical image processing program prepared in advance on a computer such as a personal computer or a workstation.
- This medical image processing program can be distributed via a network such as the Internet.
- the program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.
- a three-dimensional medical image can be stereoscopically observed according to a stereoscopic viewing method.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
実施形態の医用画像処理装置としての医用画像診断装置(10)は、レンダリング処理部(17d)と、出力部(18c)とを備える。レンダリング処理部(17d)は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定し、3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、視差画像数に対応するレンダリング画像を生成する。出力部(18c)は、視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として出力対象装置に出力する。
Description
本発明の実施形態は、医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラムに関する。
従来、立体視用メガネ等の専用機器を用いて、2つの視点から撮影された2視差画像(両眼視差画像)を立体視可能なモニタが実用化されている。また、近年、レンチキュラーレンズ等の光線制御子を用いて、複数の視点から撮影された多視差画像(例えば、9視差画像)を裸眼にて立体視可能なモニタが実用化されている。なお、立体視可能なモニタにて表示される2視差画像や9視差画像は、1視点から撮影された画像の奥行き情報を推定し、推定した情報を用いた画像処理により生成される場合もある。
一方、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像診断装置では、3次元の医用画像(ボリュームデータ)を生成可能な装置が実用化されている。従来、かかる医用画像診断装置により生成されたボリュームデータは、種々の画像処理(レンダリング処理)により2次元画像(レンダリング画像)とされ、汎用モニタ上にて2次元表示される。例えば、医用画像診断装置により生成されたボリュームデータは、ボリュームレンダリングにより3次元の情報を反映した2次元画像(ボリュームレンダリング画像)とされ、汎用モニタ上にて2次元表示される。
しかし、ボリュームデータから生成された2次元のボリュームレンダリング画像を汎用モニタに表示させても、当該ボリュームレンダリング画像に描出される人体の複雑な構造を立体的に再現することができない。また、モニタの立体視方式に関する仕様は、医用画像診断装置及び当該医用画像診断装置に接続される装置によって異なる場合がある。
本発明が解決しようとする課題は、立体視方式に応じて3次元の医用画像を立体的に観察させることが可能となる医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラムを提供することである。
実施形態の医用画像処理システムは、決定部と、レンダリング処理部と、出力部とを備える。決定部は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する。レンダリング処理部は、3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成する。出力部は、前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する。
以下、添付図面を参照して、医用画像処理システムの実施形態を詳細に説明する。なお、以下では、医用画像処理装置としての機能を有する医用画像診断装置を含む医用画像処理システムを実施形態として説明する。
(第1の実施形態)
まず、第1の実施形態に係る医用画像処理システムの構成例について説明する。図1は、第1の実施形態に係る医用画像処理システムの構成例を説明するための図である。
まず、第1の実施形態に係る医用画像処理システムの構成例について説明する。図1は、第1の実施形態に係る医用画像処理システムの構成例を説明するための図である。
図1に示すように、第1の実施形態に係る医用画像処理システムは、医用画像診断装置10と、医用画像診断装置10に接続可能なクライアント端末機器群2と、外部装置群3と、可搬記憶装置40と、外部装置群3に接続可能なクライアント端末機器群5とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)により直接的、又は、間接的に相互に通信可能な状態となっている。
医用画像診断装置10は、医用画像を撮影するX線診断装置、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT-CT装置、PET装置とX線CT装置とが一体化されたPET-CT装置等である。具体的には、第1の実施形態に係る医用画像診断装置10は、3次元の医用画像を生成可能な装置である。以下では、3次元の医用画像を「ボリュームデータ」と記載する。
クライアント端末機器群2は、医用画像診断装置10に対して有線又は無線により直接アクセス可能な装置群であり、図1に示すように、クライアント端末機器20、クライアント端末機器21、クライアント端末機器22等から構成される。例えば、クライアント端末機器群2は、病院内に勤務する医師や検査技師により操作される装置群であり、PC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。
また、クライアント端末機器群5は、後述する外部装置群3を構成する画像保管装置31に対して有線又は無線により直接アクセス可能な装置群であり、図1に示すように、クライアント端末機器50、クライアント端末機器51、クライアント端末機器52等から構成される。例えば、クライアント端末機器群5は、クライアント端末機器群2と同様に、病院内に勤務する医師や検査技師により操作される装置群であり、パーソナルコンピュータ(PC:Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。
外部装置群3は、クライアント端末機器群2とは別に、医用画像診断装置10と接続される装置群であり、図1に示すように、ワークステーション30及び画像保管装置31等から構成される。ワークステーション30は、クライアント端末機器群2やクライアント端末機器群5と比較して、画像処理、事務処理等に特化した業務用の高性能なコンピュータである。また、画像保管装置31は、各種の医用画像のデータを管理するシステムであるPACS(Picture Archiving and Communication System)のデータベースや、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。
可搬記憶装置40は、ハードディスク、フレキシブルディスク、CD-ROM(Compact Disk Read Only Memory)、MO(Magneto-Optical disk)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)等のコンピュータで読み取り可能な記憶装置であり、運び出しが可能な記憶装置である。可搬記憶装置40は、医用画像診断装置10が生成した各種画像を記憶するために、医用画像診断装置10に接続される記憶装置である。
上述したように、第1の実施形態に係る医用画像診断装置10は、ボリュームデータを生成可能な装置である。また、第1の実施形態に係る医用画像診断装置10は、更に、ボリュームデータに対して種々のレンダリング処理を行なってレンダリング画像を生成する機能を有する。そして、第1の実施形態に係る医用画像診断装置10は、ボリュームデータから生成したレンダリング画像の出力処理を、上述した装置群に対して行なう。
すなわち、第1の実施形態に係る医用画像診断装置10は、図1に示すように、レンダリング画像の出力元となる。また、第1の実施形態に係る医用画像診断装置10は、図1に示すように、クライアント端末機器群2、外部装置群3及びクライアント端末機器群5をレンダリング画像の表示用出力対象とする。すなわち、第1の実施形態に係る医用画像診断装置10は、クライアント端末機器群2、外部装置群3及びクライアント端末機器群5の各装置に接続されるモニタ(表示部)それぞれを、自装置が生成したレンダリング画像を表示させるための出力対象とする。なお、図1には示さないが、第1の実施形態に係る医用画像診断装置10は、自装置に接続されるモニタについても、自装置が生成したレンダリング画像を表示させるための表示用出力対象とする。
また、第1の実施形態に係る医用画像診断装置10は、図1に示すように、外部装置群3の画像保管装置31及び可搬記憶装置40をレンダリング画像の保存用出力対象とする。すなわち、第1の実施形態に係る医用画像診断装置10は、画像保管装置31及び可搬記憶装置40を、レンダリング画像を保存させるための出力対象とする。なお、図1には示さないが、第1の実施形態に係る医用画像診断装置10は、ワークステーション30も保存用出力対象とする場合であっても良い。
以下、第1の実施形態に係る医用画像診断装置10の構成例について図2を用いて説明する。図2は、第1の実施形態に係る医用画像診断装置の構成例を説明するための図である。
図2に示すように、第1の実施形態に係る医用画像診断装置10は、制御部11と、入力部12と、表示部13と、撮影・保存処理部14と、画像メモリ15と、画像記憶部16と、ボリュームデータ処理部17と、通信部18とを有する。
制御部11は、医用画像診断装置10の全体制御を行なう。
入力部12は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、力覚提示装置等を有し、医用画像診断装置10の操作者からの各種設定要求を受け付け、制御部11に対して受け付けた各種設定要求を転送する。具体的には、入力部12は、図2に示すように、操作入力部12a及びレンダリング条件入力部12bを有する。操作入力部12aは、後述する撮影・保存処理部14により実行される医用画像の撮影及び医用画像の保存処理に関する情報を操作者から受け付ける。また、レンダリング条件入力部12bは、後述するボリュームデータ処理部17がボリュームデータに対して実行するレンダリング処理に関する条件設定を操作者から受け付ける。
表示部13は、医用画像診断装置10の操作者が入力部12を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、医用画像診断装置10が撮影した医用画像等を表示したりする。なお、制御部11は、表示部13における表示処理を制御するために、図2に示すように、表示制御部11aを有する。
撮影・保存処理部14は、医用画像の撮影及び医用画像の保存処理を行なう処理部であり、画像撮影部14a、画像再構成部14b及び画像正規化処理部14cを有する。画像撮影部14aは、医用画像を撮影するための装置であり、例えば、MRI装置やX線CT装置などのガントリー等に相当し、MR信号やX線投影データ等のデータを収集する。
画像再構成部14bは、画像撮影部14aにより収集されたデータから医用画像を再構成する。例えば、画像再構成部14bは、画像撮影部14aにより収集されたデータから、撮影対象である被検体のアキシャル面の医用画像を再構成する。また、画像再構成部14bは、画像撮影部14aにより収集されたデータから、例えば、被検体の体軸方向に沿った複数のアキシャル面の医用画像を再構成する。かかる再構成処理により、画像再構成部14bは、3次元の医用画像(ボリュームデータ)を生成する。
画像正規化処理部14cは、画像再構成部14bにより再構成された医用画像の正規化処理を行なう。例えば、医用画像診断装置10がMRI装置の場合、画像撮影部14aにより収集されたMR信号のレンジは、撮影条件により異なるため、再構成された複数のMRI画像の画素値のレンジは、個々の画像により異なる。しかし、医用画像の保存処理を行なう場合、医用画像のデータは、例えば、一括して16ビットに収めることが必要となる。そこで、画像正規化処理部14cは、保存条件を満たさない医用画像(原画像:X)に対して、例えば、「a」及び「b」の係数を用いて「Y=a×X+b」の正規化処理を行なう。これにより、画像正規化処理部14cは、原画像(X)を16ビットの情報に正規化した保存画像(Y)を生成する。なお、画像正規化処理部14cは、保存対象となる医用画像が保存条件を満たす場合、正規化処理を行なわない。
画像メモリ15は、画像再構成部14bにより再構成された医用画像や、画像正規化処理部14cにより生成された保存画像を一時的に記憶するメモリである。また、画像記憶部16は、画像メモリ15が記憶するデータや、画像正規化処理部14cにより生成された保存画像を記憶するハードディスクドライブ(HDD)である。なお、画像正規化処理部14cは、正規化に用いた係数を保存画像に対応付けて画像メモリ15や画像記憶部16に格納する。
画像メモリ15や画像記憶部16に記憶されたデータは、後述するボリュームデータ処理部17により画像処理された後、制御部11の制御により表示部13にて表示される。或いは、画像メモリ15や画像記憶部16に記憶されたデータは、後述するボリュームデータ処理部17により画像処理された後、制御部11の制御により後述する通信部18により出力される。
なお、本実施形態は、画像記憶部16を設置せずに画像メモリ15のみが設置される場合でも良い。かかる場合、画像メモリ15が記憶するデータは、後述するボリュームデータ処理部17により画像処理されて出力された後、削除される。なお、本実施形態では、撮影・保存処理部14による画像撮像が行なわれながら、リアルタイムで以下に説明するボリュームデータ処理部17によるボリュームレンダリング処理が実行される。
ボリュームデータ処理部17は、画像再構成部14bにより生成されたボリュームデータに対して画像処理を行なう処理部であり、時相制御部17aと、画像読込部17bと、3次元再構築部17cと、レンダリング処理部17dと、立体視画像転送部17eとを有する。
画像読込部17bは、画像メモリ15又は画像記憶部16から保存画像の読み込みを行なう。3次元再構築部17cは、画像読込部17bが読み込んだ複数の保存画像からボリュームデータを再構築する。例えば、3次元再構築部17cは、画像読込部17bが読み込んだ500枚のアキシャル面の保存画像を、各アキシャル面のピッチ幅に基づいて、3次元に再構築することで、ボリュームデータを再構築する。
レンダリング処理部17dは、3次元再構築部17cにより再構築されたボリュームデータに対してレンダリング処理を行なう。具体的には、レンダリング処理部17dは、ボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部17dは、前処理後のボリュームデータに対してボリュームレンダリング処理を行なって、ボリュームレンダリング画像を生成する。続いて、レンダリング処理部17dは、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これをボリュームレンダリング画像に対して重畳することで、出力用の2次元画像を生成する。なお、レンダリング処理部17dについては、後に図3を用いて詳細に説明する。
時相制御部17aは、処理対象となるボリュームデータが時系列に沿って複数生成されている場合、個々の保存画像が撮影時間に沿って処理されるように画像読込部17bと、3次元再構築部17cと、レンダリング処理部17dとを制御する制御部である。
立体視画像転送部17eは、後述する通信部18を介して出力先の装置にレンダリング処理部17dの処理結果を転送する際に、当該処理結果を出力用(転送用)のデータに変換する処理を行なう処理部である。なお、立体視画像転送部17eについては、後に詳述する。
通信部18は、NIC(Network Interface Card)等であり、医用画像診断装置10と接続される装置と通信を行なう。具体的には、本実施形態に係る通信部18は、転送先操作入力部18aと、転送先装置立体視条件入力部18bと、出力部18cとを有する。なお、転送先操作入力部18aと、転送先装置立体視条件入力部18bと、出力部18cとが行なう処理については、後に詳述する。
ここで、図2に示すレンダリング処理部17dについて、改めて、図3を用いて詳細に説明する。図3は、図2に示すレンダリング処理部の構成例を説明するための図である。
図3に示すように、レンダリング処理部17dは、前処理部170と、3次元画像処理部171と、2次元画像処理部172とを有する。
前処理部170は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像正規化逆変換部1701と、画像補正処理部1702と、3次元物体フュージョン部1703と、3次元物体表示領域設定部1704とを有する。
画像正規化逆変換部1701は、3次元再構築部17cが複数の保存画像から3次元再構築したボリュームデータの逆変換処理を行なう。すなわち、画像正規化逆変換部1701は、各保存画像に対応付けて記憶されている係数を用いて、保存画像を原画像に戻す逆変換処理を行なう。例えば、画像正規化逆変換部1701は、各保存画像に対応付けて記憶されている「a」及び「b」を用いて保存画像(Y)を原画像(X)に戻す。これにより、画像正規化逆変換部1701は、3次元再構築部17cが再構築した保存画像に基づくボリュームデータを、原画像に基づくボリュームデータ(画像再構成部14bが生成したボリュームデータ)に逆変換する。
画像補正処理部1702は、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図3に示すように、歪み補正処理部1702a、体動補正処理部1702b及び画像間位置合わせ処理部1702cを有する。例えば、画像補正処理部1702は、PET-CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1702は、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
まず、歪み補正処理部1702aは、個々のボリュームデータにおいて、画像撮影部14aによるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1702bは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1702cは、歪み補正処理部1702a及び体動補正処理部1702bによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
3次元物体フュージョン部1703は、画像間位置合わせ処理部1702cにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1702及び3次元物体フュージョン部1703の処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
3次元物体表示領域設定部1704は、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1704aを有する。セグメンテーション処理部1704aは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
なお、セグメンテーション処理部1704aは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1704aは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1704aの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
3次元画像処理部171は、前処理部170が処理を行なった前処理後のボリュームデータに対して、画像処理、具体的には、ボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部171は、投影方法設定部1711と、3次元幾何変換処理部1712と、3次元アピアランス処理部1713と、3次元仮想空間レンダリング部1714とを有する。
投影方法設定部1711は、ボリュームレンダリング画像を生成するための投影方法を決定する。例えば、投影方法設定部1711は、ボリュームレンダリングを平行投影法により実行するか、透視投影法により実行するかを決定する。なお、平行投影法及び透視投影法については、後に詳述する。
3次元幾何変換処理部1712は、ボリュームレンダリングが実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1712a、回転処理部1712b及び拡大縮小処理部1712cを有する。平行移動処理部1712aは、ボリュームレンダリングを行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1712bは、ボリュームレンダリングを行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1712cは、ボリュームレンダリング画像の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
3次元アピアランス処理部1713は、3次元物体色彩処理部1713a、3次元物体不透明度処理部1713b、3次元物体材質処理部1713c及び3次元仮想空間光源処理部1713dを有する。3次元アピアランス処理部1713は、これらの処理部により、例えば、表示用出力元の装置の操作者の要求に応じて、表示されるボリュームレンダリング画像の表示状態を決定する処理を行なう。
3次元物体色彩処理部1713aは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1713bは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの「Opacity」を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、ボリュームレンダリング画像において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、ボリュームレンダリング画像において描出されないこととなる。
3次元物体材質処理部1713cは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、当該領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1713dは、ボリュームデータをボリュームレンダリングする際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
3次元仮想空間レンダリング部1714は、投影方法設定部1711、3次元幾何変換処理部1712、3次元物体アピアランス処理部1713により決定された各種情報に基づいて、ボリュームデータに対してボリュームレンダリングを行なう。例えば、3次元仮想空間レンダリング部1714は、ボリュームデータに対してボリュームレンダリングを行なうことで、後述するように、所定の視差角で視点位置をずらした9つのボリュームレンダリング画像を生成する。
なお、3次元仮想空間レンダリング部1714は、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1714は、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
3次元画像処理部171がボリュームデータから生成したボリュームレンダリング画像は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部172は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図3に示すように、2次元物体描画部172a、2次元幾何変換処理部172b及び輝度調整部172cを有する。
2次元物体描画部172aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部172bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
また、輝度調整部172cは、例えば、出力先のモニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
そして、2次元画像処理部172の処理結果は、表示制御部11aの制御により、表示部13にて表示される。さらに、2次元画像処理部172の処理結果は、後述する立体視画像転送部17eの処理が行なわれた後に、通信部18を介して外部の装置に転送される。なお、2次元画像処理部172の処理は、出力元と出力先とで分担して行なわれる場合であっても良い。
ところで、図1に示す医用画像処理システムにおいて、表示用出力対象の装置に接続されるモニタや、保存用出力対象となる装置からデータを読み込んで表示させる装置に接続されるモニタの仕様は、出力元となる装置に接続されるモニタの仕様と必ずしも同一ではない。ここで、モニタの仕様とは、具体的には、立体視に関する仕様である。
すなわち、現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
一方、複数の視点から撮影された視差角の異なる複数の視差画像を観察者が立体視可能なモニタ(立体表示装置、又は、立体表示モニタ)が知られている。かかる立体表示装置としては、立体視用メガネ等の専用機器を用いることで、2つの視差画像(2視差画像、又は両眼視差画像)を立体視可能とする装置がある。
図4A及び図4Bは、2視差画像により立体表示を行なう立体表示装置の一例を説明するための図である。図4A及び図4Bに示す一例は、シャッター方式により立体表示を行なう立体表示装置であり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示装置は、モニタにて2視差画像を交互に出射する。例えば、図4Aに示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図4Aに示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
また、赤外線出射部から出射された赤外線は、図4Aに示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
各シャッターは、図4Bに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図4Bに示すように、互いに直交している。ここで、図4Bに示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
一方、図4Bに示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図4Aに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図4A及び図4Bに示す立体表示装置は、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。
更に、近年実用化された立体表示装置としては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9つの視差画像(9視差画像)等の多視差画像を観察者が裸眼にて立体視可能とする装置がある。かかる立体表示装置は、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする装置である。
図5は、9視差画像により立体表示を行なう立体表示装置の一例を説明するための図である。図5に示す立体表示装置には、液晶パネルなどの平面状の表示面200の前面に、光線制御子が配置される。例えば、図5に示す立体表示装置には、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図5に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
表示面200には、図5に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図5に示す立体表示装置は、9つの画像により構成される9視差画像を、所定フォーマット(例えばタイル状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図5に示す立体表示装置は、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、図5に示すように、視差角の異なる9つの画像を同時に表示する単位画素群203となる。
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図5に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図5に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図5に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。
以下、立体視不可の汎用モニタを「視差なしモニタ」と記載し、図4を用いて説明した立体表示装置を「2視差モニタ」と記載し、図5を用いて説明した立体表示装置を「9視差モニタ」と記載する場合がある。ここで、「2視差モニタ」と「9視差モニタ」は、上記の説明に基づいて、以下のように定義することができる。すなわち、「2視差モニタ」は、1つの観察方向の立体視用の画像を表示する表示部である。また、「9視差モニタ」は、複数の観察方向の立体視用の画像を表示する表示部であり、観察方向に応じて観察者に見える立体視用の画像対が変更されるように構成された装置である。
ところで、医用画像診断装置10に接続される表示部13が「9視差モニタ」である場合、レンダリング処理部17dは、医用画像診断装置10の操作者の要求に応じて、9視差用のボリュームレンダリング画像を生成する。そして、制御部11は、9視差用のボリュームレンダリング画像を、例えば、タイル状に配置した中間画像に変換して表示部13に表示させる。これにより、医用画像診断装置10の操作者は、撮影したボリュームデータを立体視することができる。
一方、クライアント端末機器20に接続されるモニタが「9視差モニタ」であるとする。かかる場合、医用画像診断装置10にて生成された9視差用のボリュームレンダリング画像を受信することで、クライアント端末機器20は、クライアント端末機器20の操作者に対して、医用画像診断装置10の操作者と同様に立体視可能な立体視画像を表示することができる。しかし、例えば、クライアント端末機器20の操作者が立体視できる最適な視差角と、医用画像診断装置10の操作者が立体視できる最適な視差角とが異なる場合、クライアント端末機器20は、自装置の操作者に対して、医用画像診断装置10の操作者と同様に立体視可能な立体視画像を表示することができない。
また、例えば、クライアント端末機器21に接続されるモニタが「2視差モニタ」である場合、クライアント端末機器21は、9視差画像を受信しても、2視差画像を表示できない。また、例えば、クライアント端末機器22に接続されるモニタが「視差なしモニタ」である場合、クライアント端末機器22は、9視差画像を受信しても、これらの視差画像を2次元でしか表示できない。また、ワークステーション30や画像保管装置31に接続されるモニタの立体視方式によっても、上記と同様の課題が発生する。また、医用画像診断装置10に接続される表示部13が、「2視差モニタ」や「視差なしモニタ」である場合でも、上記と同様の課題が発生する。
そこで、第1の実施形態に係る医用画像診断装置10は、立体視方式に応じて3次元の医用画像を立体的に観察させるために、以下の処理を行なう。
すなわち、医用画像診断装置10により生成されたボリュームデータからは、任意の視差角にて任意の視差数のボリュームレンダリング画像(視差画像)を生成することができる。そこで、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、ボリュームデータに対してレンダリング処理を行なうことで、出力対象となる出力対象装置に接続される表示部にて立体視可能なレンダリング画像を生成する。すなわち、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数(視差数)を決定し、3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、視差画像数(視差数)に対応するレンダリング画像を生成する。一例を挙げると、医用画像診断装置10は、出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報を受け付ける。例えば、医用画像診断装置10は、表示用出力対象となるクライアント端末機器群2に接続される表示部の立体視属性として視差角及び視差数を受け付ける。そして、医用画像診断装置10は、受け付けた立体視機能に関する情報に基づいて、視差角及び視差数を決定し、ボリュームデータに対してレンダリング処理を行なうことで、出力対象となる出力対象装置に接続される表示部にて立体視可能なレンダリング画像を生成する。すなわち、医用画像診断装置10は、クライアント端末機器群2に接続される表示部の視差数に対応するレンダリング画像を生成する。例えば、医用画像診断装置10は、視差画像数(視差数)を決定する際、1つの観察方向の立体視用の画像を表示する表示部(2視差モニタ)に接続される出力対象装置と、複数の観察方向の立体視用の画像を表示する表示部(9視差モニタ)に接続される出力対象装置とに応じて、視差画像数(視差数)を変更する。
そして、医用画像診断装置10は、レンダリング処理により生成された視差画像数に対応するレンダリング画像を、表示部で同時に表示させる立体視用の画像として出力対象装置に出力する。例えば、医用画像診断装置10は、レンダリング処理により生成されたレンダリング画像を、表示用出力対象のクライアント端末機器21に転送する。
換言すると、医用画像診断装置10は、3次元の医用画像であるボリュームデータを記憶装置としての画像記憶部16に記憶する。そして、医用画像診断装置10は、画像記憶部16が記憶するボリュームデータに対してレンダリング処理を行なうことで、複数の観察方向に対応する立体視用の画像対を含むレンダリング画像群を生成する。そして、医用画像診断装置10の表示部13や、出力対象となる出力対象装置に接続される表示部は、レンダリング画像群に基づき、複数の観察方向に対応する立体視用の画像対を同時に表示する。
更に、医用画像診断装置10は、ボリュームデータに対するレンダリング条件の変更要求を受け付ける。例えば、医用画像診断装置10は、表示用出力対象となるクライアント端末機器20の操作者からレンダリング条件の変更要求を受け付ける。或いは、医用画像診断装置10は、自装置の操作者からレンダリング条件の変更要求を受け付ける。そして、医用画像診断装置10は、受け付けた変更要求に基づく再レンダリング処理をボリュームデータに対して行なう。
そして、医用画像診断装置10は、再レンダリング処理により生成されたレンダリング画像を出力対象装置に出力する。例えば、医用画像診断装置10は、再レンダリング処理により生成されたレンダリング画像を、表示用出力対象となるクライアント端末機器20に転送する。
本実施形態では、転送先操作入力部18a及び転送先装置立体視条件入力部18bが受け付けた情報に基づいて、上記の処理をレンダリング処理部17dと、立体視画像転送部17eと、出力部18cとが協働して行なう。
なお、以下で用いる用語について、改めて説明すると、「立体視画像」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群のことである。また、「視差画像」とは、「立体視画像」を構成する個々の画像のことである。すなわち、「立体視画像」は、「視差角」が異なる複数の「視差画像」から構成される。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、「視差角」とは、「立体視画像」を生成するために設定された各視点の位置の間隔とボリュームデータの位置とにより定まる角度のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「立体視画像」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「立体視画像」のことである。
図6は、第1の実施形態に係るレンダリング処理部、立体視画像転送部及び出力部の処理を説明するためのブロック図である。なお、図6には示さないが、レンダリング処理部17dと、立体視画像転送部17eと、出力部18cとの処理は、制御部11の制御により、実行される。
図6に示す第1の実施形態に係るレンダリング処理部17dは、通信部18が有する転送先操作入力部18a及び転送先装置立体視条件入力部18bが、表示用出力対象となる装置から受信した情報に基づいて、ボリュームレンダリング処理を行なう。
転送先装置立体視条件入力部18bは、表示用出力対象となる装置に接続される表示部(モニタ)の立体視機能に関する情報(立体視属性)を受け付ける。図7A、図7B及び図7Cは、立体視属性の一例を説明するための図である。
例えば、転送先装置立体視条件入力部18bは、図7Aに示すように、クライアント端末機器20に接続されるモニタの立体視属性として、「9視差モニタ」であることを示す「視差数:9視差」を受信する。更に、転送先装置立体視条件入力部18bは、図7Aに示すように、クライアント端末機器20の操作者が通常参照する9視差画像の視差角が「1度」であることを示す立体視属性を受信する。
或いは、転送先装置立体視条件入力部18bは、図7Bに示すように、クライアント端末機器21に接続されるモニタの立体視属性として、「2視差モニタ」であることを示す「視差数:2視差」を受信する。更に、転送先装置立体視条件入力部18bは、図7Bに示すように、クライアント端末機器21の操作者が通常参照する2視差画像の視差角が「4度」であることを示す立体視属性を受信する。
或いは、転送先装置立体視条件入力部18bは、図7Cに示すように、クライアント端末機器22に接続されるモニタの立体視属性として、「視差なしモニタ」であることを示す「視差数:視差なし」を受信する。
なお、立体視属性は、表示用出力対象となる装置からの立体視画像参照要求受信時に、当該装置から受信する場合に限定されるものではない。例えば、医用画像診断装置10は、自装置に接続可能な装置の表示部の立体視属性を予め記憶している場合であっても良い。また、立体視属性の視差数は、医用画像診断装置10が表示用出力対象である装置から、モニタの仕様(スペック)を受信することで、自動的に取得する場合であっても良い。いずれの場合でも、表示用出力対象となる装置の立体視属性は、制御部11を介して、レンダリング処理部17dに転送される。また、視差画像数(視差数)の決定処理に用いられる立体視属性は、通信により取得される場合以外に限定されるものではなく、例えば、記憶媒体を介した入力や操作者の手入力により、医用画像診断装置10に予め格納される場合であっても良い。
図6に戻って、レンダリング条件入力部12bは、医用画像診断装置10の操作者からボリュームレンダリングに関するレンダリング条件を受け付けて、レンダリング処理部17dに転送する。また、レンダリング条件入力部12bは、転送先操作入力部18aが受け付けたレンダリング条件を受け付け、受け付けた情報をレンダリング処理部17dに転送する。転送先操作入力部18aは、具体的には、クライアント端末機器20の操作者が入力したボリュームレンダリングに関するレンダリング条件の変更要求等の操作イベントの内容を受信する。図8は、操作イベントの一例を説明するための図である。
例えば、転送先操作入力部18aは、クライアント端末機器20の操作者が入力した操作イベントとして、図8に示すように、ボリュームレンダリングを行なう際の視点の位置の変更要求をクライアント端末機器20から受信する。ここで、図8に示す一例では、クライアント端末機器がボリュームデータの複数視点からのボリュームレンダリング画像をモニタに表示させた状態で、操作者がマウス等を用いて、ボリュームレンダリング画像を回転移動することで、自身が参照したい視点位置を探索している。かかる探索により、クライアント端末機器20の操作者は、図8に示すように、XY平面における視点位置の回転移動要求や、XZ平面における視点位置の回転移動要求を行なう。なお、操作イベントとしては、視点位置の平行移動要求や、投影方法の変更要求、視差角の変更要求や、視差数の変更要求である場合もある。
まず、レンダリング処理部17dは、レンダリング条件入力部12bから受け付けたレンダリング条件、又は、初期設定されたレンダリング条件により、医用画像診断装置10の表示部13の立体視属性に合致した立体視画像を生成する。図9は、第1の実施形態に係るレンダリング処理部及び立体視画像転送部の処理の一例を説明するための図である。
例えば、レンダリング処理部17dが、図9の「9視差画図生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部17dは、視差角が「1度」おきとなるように、視点の位置を(1)~(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの9視差画像を生成する。なお、平行投影法を行なう場合、レンダリング処理部17dは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
或いは、レンダリング処理部17dが、図9の「9視差画図生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部17dは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)~(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの9視差画像を生成する。なお、透視投影法を行なう場合、レンダリング処理部17dは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング処理部17dは、レンダリング条件に応じて、視点(1)~(9)を平行移動する場合であっても良い。
なお、レンダリング処理部17dは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なっても良い。
ここで、レンダリング処理部17dは、生成した自装置用の9視差画像である9つのボリュームレンダリング画像を、表示部13にて表示するために、一時的に画像メモリ15に格納する。
そして、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性と、医用画像診断装置10における立体視属性とを比較する。すなわち、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性から、視差数を決定し、決定した視差数と、医用画像診断装置10における立体視属性に基づく視差数とを比較する。また、レンダリング処理部17dは、転送先装置立体視条件入力部18bが受信した立体視属性から、視差角を決定し、決定した視差数と、医用画像診断装置10における立体視属性に基づく視差角とを比較する。そして、レンダリング処理部17dは、生成済みのボリュームレンダリング画像の中で、転送先装置立体視条件入力部18bが受信した立体視属性に合致するボリュームレンダリング画像が存在するか否かを判定する。例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、クライアント端末機器20の立体視属性と合致していると判定する。また、例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、9視差画像の中に、クライアント端末機器21の立体視属性「視差角:4度」となる2つの画像が存在すると判定する。すなわち、レンダリング処理部17dは、視差数を決定する際、2視差モニタに接続される出力対象装置と、9視差モニタに接続される出力対象装置とに応じて、視差数を変更する。また、例えば、レンダリング処理部17dは、視差角「1度」にて9視差画像を生成している場合、クライアント端末機器22の立体視属性「視差角:視差なし」に該当する画像を、9視差画像から1つ選択すれば良いと判定する。
一方、レンダリング処理部17dは、生成済みのボリュームレンダリング画像の中で、転送先装置立体視条件入力部18bが受信した立体視属性に合致するボリュームレンダリング画像が存在しない場合、リアルタイムでボリュームレンダリング処理を再度実行する。例えば、レンダリング処理部17dは、クライアント端末機器20の立体視属性の視差角が医用画像診断装置10における視差角と異なる場合、9視差画像をクライアント端末機器20の視差角に合わせて再生成する。例えば、レンダリング処理部17dは、仮に、視差角「1.2度」にて9視差画像を生成している場合、視差角「1度」にて9視差画像を再生成する。
また、レンダリング処理部17dは、仮に、視差角「1.2度」にて9視差画像を生成している場合、クライアント端末機器21の立体視属性として受信した「視差角:4度」の画像が存在しないため、視差角が「4度」となる2つの2視差画像を再生成する。
そして、レンダリング処理部17dは、生成済みの画像、又は、再生成した画像を立体視画像転送部17eに出力する。なお、生成済みの画像の中に、表示用出力対象装置の立体視属性に合致する画像が存在する場合、レンダリング処理部17dは、該当する画像に、例えば、出力用の画像であることを示すフラグを付与して立体視画像転送部17eに出力する。
立体視画像転送部17eは、図6に示すように、転送画像生成部173及び処理画像転送部174を有する。転送画像生成部173は、レンダリング処理部17dが生成したボリュームレンダリング画像から転送用の画像(転送画像)を生成する。例えば、立体視画像転送部17eは、レンダリング処理部17dが生成した複数の視差画像から、表示用出力対象の装置にて要求される立体視属性に合致するボリュームレンダリング画像を、レンダリング処理部17dが付与したフラグに基づいて選択する。
図9に示す一例は、表示用出力対象装置の立体視属性に合致する画像が、生成済みの画像に含まれている場合を説明している。すなわち、転送画像生成部173は、図9に示すように、汎用モニタ(視差なしモニタ)が接続されるクライアント端末機器22に対しては、視点(5)のボリュームレンダリング画像を、付与されたフラグを参照して転送用の画像として選択する。或いは、転送画像生成部173は、図9に示すように、2視差モニタが接続されるクライアント端末機器21に対しては、視差角が「4度」となる視点(3)及び視点(7)のボリュームレンダリング画像を、付与されたフラグを参照して転送用の画像として選択する。或いは、転送画像生成部173は、9視差モニタが接続されるクライアント端末機器20用の9視差画像として、視点(1)~(9)のボリュームレンダリング画像全てを転送用の画像として選択する。
そして、転送画像生成部173は、転送用画像の選択の他に、ボリュームレンダリング画像に対して画像圧縮処理を行なう。なお、転送画像生成部173が行なう画像圧縮処理は、可逆圧縮処理であっても、非可逆圧縮処理であっても良い。すなわち、転送画像生成部173は、転送速度が遅くならないように、画像圧縮処理を行なうことで、転送画像を生成する。そして、処理画像転送部174は、図9に示すように、転送画像生成部173により選択生成された転送画像を、通信部18の出力部18cに出力し、出力部18cは、表示用出力対象の装置に送信する。
これにより、例えば、クライアント端末機器20の操作者は、「9視差モニタ」にて、両眼視差及び運動視差による立体視が可能となる。また、例えば、クライアント端末機器21の操作者は、「2視差モニタ」にて、両眼視差による立体視が可能となる。また、例えば、クライアント端末機器22の操作者は、「視差なしモニタ」にて、基準となる視点のボリュームレンダリング画像を参照することが可能となる。なお、クライアント端末機器22に出力転送する画像は、上述したように、視点(5)のボリュームレンダリング画像のみである場合であっても良いし、視点(1)~(9)のボリュームレンダリング画像である場合であっても良い。かかる場合、出力部18cは、視点(1)~(9)のボリュームレンダリング画像が並列表示用の画像群であることを示す付帯情報を付与したうえで、クライアント端末機器22に転送する。或いは、出力部18cは、視点(1)~(9)のボリュームレンダリング画像が動画にて表示可能である画像群であることを示す付帯情報を付与したうえで、クライアント端末機器22に転送する。この場合、クライアント端末機器22の操作者は、異なる9方向からのボリュームレンダリング画像が回転する動画を参照することができる。
ここで、表示用出力対象である装置の操作者がレンダリング条件の変更要求を行なった場合、転送先操作入力部18aは、表示用出力対象である装置から受信したレンダリング条件の変更要求をレンダリング条件入力部12bに転送する。例えば、転送先操作入力部18aは、図8に例示したように、視点位置の変更要求をレンダリング条件入力部12bに転送する。或いは、転送先操作入力部18aは、投影方法の変更要求、表示属性(アピアランス属性)の変更要求、セグメンテーション部位の変更要求、視差角の変更要求、視差数の変更要求をレンダリング条件入力部12bに転送する。
レンダリング条件入力部12bからレンダリング条件の変更要求を受け付けた場合、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、ボリュームデータの再レンダリングを行なう。例えば、レンダリング処理部17dは、クライアント端末機器20から受け付けた視点位置の変更要求に応じて、基準となる視点の位置を変更して、9視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた視差角の変更要求に応じて、基準となる視点の位置を中心とした他の8つの視点の位置を変更して、9視差画像を生成する。
或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた視差数の変更要求に応じて、例えば、2視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器20から受け付けた投影法の変更要求に応じて、例えば、透視投影法から平行投影法に切り替えて、9視差画像を生成する。或いは、レンダリング処理部17dは、クライアント端末機器21から受け付けた視差角の変更要求に応じて、例えば、視差角が「3度」となる2視差画像を生成する。
このように、変更されたレンダリング条件に基づいてレンダリング処理部17dにより再生成されたレンダリング画像は、立体視画像転送部17eに出力される。そして、転送画像生成部173は、ボリュームレンダリング画像に対して画像圧縮処理を行なって、転送画像を生成する。そして、処理画像転送部174は、転送画像生成部173により生成された転送画像を、通信部18の出力部18cに出力し、出力部18cは、表示用出力対象の装置に送信する。なお、クライアント端末機器20の操作者により、立体視をしないとする要求を受け付けた場合、立体視画像転送部17eは、例えば、視点(5)のボリュームレンダリング画像を転送用の画像として選択して、出力部18cに出力することもできる。また、レンダリング条件の変更要求は、医用画像診断装置10の操作者により行なわれる場合であっても良い。かかる場合においても、レンダリング処理部17dは、変更されたレンダリング条件に基づいて再レンダリング処理を行なって、立体視画像転送部17eに出力する。
以上、上述したことをまとめると、レンダリング処理部17dが操作者の要求に応じてリアルタイムで生成する立体視画像は、基準となる視点を中心とする「1視点の多視差画像」である。そして、本実施形態に係るレンダリング処理部17dは、表示用出力対象となる装置の立体視属性やレンダリング条件の変更要求に合致した「1視点の多視差画像」を、リアルタイムで選択したり、リアルタイムで再生成したりする。換言すると、本実施形態のレンダリング処理部17dは、医用画像診断装置10において設定されたレンダリング条件を、ユーザの要求に合わせて変更することで、表示用出力対象に出力する立体視用の画像をリアルタイムで生成する。
なお、表示用出力対象となる装置は、上述したクライアント端末機器群2だけでなく、外部装置群3や画像保管装置31に接続可能なクライアント端末機器群5である場合であっても良い。例えば、クライアント端末機器群5が表示用出力対象である場合、転送先操作入力部18a及び転送先装置立体視条件入力部18bは、画像保管装置31を介して、立体視属性やレンダリング条件の変更要求を受け付ける。
また、表示用出力対象となる装置に転送されたボリュームレンダリング画像は、当該装置にて表示されるだけでなく、キャッシュ等に記憶される場合であっても良い。ボリュームレンダリング画像を記憶しておくことで、表示用出力対象の操作者は、任意のタイミングで、観察対象となるボリュームデータの立体視を行なうことができる。
また、立体視画像転送部17e及び出力部18cは、立体視用の画像(立体視画像)を所定間隔で切り替える表示部を有する出力対象装置に対しては、当該出力対象装置用のレンダリング画像群を当該所定間隔で切り替えて出力する場合であっても良い。例えば、2視差画像を転送する際、立体視画像転送部17e及び出力部18cは、2視差モニタの画像切り替え速度に応じて、2つの視差画像を交互に出力させることも可能である。
なお、本実施形態は、医用画像診断装置10の表示部13の立体視属性及び医用画像診断装置10の操作者が入力したレンダリング条件に基づく立体視画像の生成処理が実行されない場合であっても良い。かかる場合、医用画像診断装置10は、表示用出力対象の装置の立体視属性を受け付けた場合に、当該立体視属性から視差数(及び視差角)を決定する。そして、医用画像診断装置10は、決定した視差数(及び視差角)に対応するレンダリング画像を生成し、生成した立体視画像の転送画像を転送することとなる。すなわち、かかる場合、レンダリング処理部17dによる選択処理は、実行されない。
次に、図10を用いて、第1の実施形態に係る医用画像診断装置10の表示用出力対象に対する処理について説明する。図10は、第1の実施形態に係る医用画像診断装置の表示用出力対象に対する処理を説明するためのフローチャートである。なお、以下では、レンダリング処理部17dが医用画像診断装置10に出力するためのボリュームレンダリング画像を生成した後の処理について説明する。
図10に示すように、第1の実施形態に係る医用画像診断装置10は、転送先装置立体視条件入力部18bが立体視属性を受け付けたか否かを判定する(ステップS101)。ここで、立体視属性を受け付けない場合(ステップS101否定)、第1の実施形態に係る医用画像診断装置10は、待機状態となる。
一方、立体視属性を受け付けた場合(ステップS101肯定)、レンダリング処理部17dは、受け付けた立体視属性に合致する視差画像が、生成済みのボリュームレンダリング画像に存在するか否かを判定する(ステップS102)。ここで、受け付けた立体視属性に合致する視差画像が存在しない場合(ステップS102否定)、レンダリング処理部17dは、受け付けた立体視属性に基づいて、視差画像を生成し(ステップS103)、立体視画像転送部17eは、転送画像を生成する(ステップS104)。
一方、受け付けた立体視属性に合致する視差画像が存在する場合(ステップS102肯定)、レンダリング処理部17dは、受け付けた立体視属性に合致する視差画像を立体視画像転送部17eに通知し、立体視画像転送部17eは、通知された情報に基づいて、転送用の画像を選択したうえで、転送画像を生成する(ステップS104)。
そして、出力部18cは、転送画像を転送先の装置に転送し(ステップS105)、転送先操作入力部18aは、レンダリング条件の変更を受け付けたか否かを判定する(ステップS106)。ここで、レンダリング条件の変更を受け付けた場合(ステップS106肯定)、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、視差画像を生成し(ステップS107)、その後、医用画像診断装置10は、ステップS104以降の処理を実行する。
一方、レンダリング条件の変更を受け付けない場合(ステップS106否定)、制御部11は、転送終了要求を受け付けたか否かを判定する(ステップS108)。ここで、転送終了要求を受け付けない場合(ステップS108否定)、ステップS106に戻って、レンダリング条件の変更を受け付けたか否かを判定する。
一方、転送終了要求を受け付けた場合(ステップS108肯定)、第1の実施形態に係る医用画像診断装置10は、処理を終了する。
なお、本実施形態は、ステップS102の判定処理が立体視画像転送部17eにより実行される場合であっても良い。また、本実施形態は、上述したように、医用画像診断装置10の立体視属性に応じたボリュームレンダリング処理を行なわずに、表示用出力対象の立体視属性や、表示用出力対象の操作者が要求したレンダリング条件の変更要求に応じたボリュームレンダリング処理のみが実行される場合であっても適用可能である。かかる場合、本実施形態では、ステップS102の判定処理が省略され、ステップS101にて立体視属性を受け付けた後、ステップS103の処理が実行される。また、本実施形態は、医用画像診断装置10の表示部13が「視差なしモニタ」や「2視差モニタ」である場合であっても適用可能である。
上述してきたように、第1の実施形態では、表示用出力対象となる装置の立体視属性に応じた画像生成処理及び画像出力処理を実行できるので、立体視方式に応じて3次元の医用画像(ボリュームデータ)を立体的に観察させることが可能となる。例えば、第1の実施形態では、9視差モニタに直接接続された装置上で観察される立体感を、他の装置にて再現することができ、同一の観察者が、異なる装置にて同じ立体感でボリュームデータを立体視することが可能となる。すなわち、第1の実施形態では、表示用出力対象となる装置のモニタの立体視能力を最大限に活用することができる。
(第2の実施形態)
第2の実施形態では、表示用出力対象となる複数の装置間でボリュームレンダリング画像が同期して表示される場合について説明する。
第2の実施形態では、表示用出力対象となる複数の装置間でボリュームレンダリング画像が同期して表示される場合について説明する。
図11は、第2の実施形態に係る制御部の構成例を説明するための図である。第2の実施形態に係る制御部11は、表示部13における表示制御を行なう表示制御部11aに加えて、同期制御部11bを更に有する。
すなわち、第2の実施形態では、表示用出力対象の装置が複数である場合、レンダリング処理部17dは、同期制御部11bの制御に従って、複数の表示用出力対象の装置に接続されるモニタ(表示部)それぞれの立体視機能に関する情報(立体視属性)及びボリュームデータに対するレンダリング条件に基づいて、ボリュームデータに対してレンダリング処理を行なう。すなわち、レンダリング処理部17dは、複数の表示用出力対象装置に接続される表示部それぞれの立体視機能に関する情報に基づいて、複数の表示用出力対象装置ごとの視差画像数(視差数)を決定する。そして、レンダリング処理部17dは、複数の出力対象装置ごとの視差画像数(視差数)及びボリュームデータに対するレンダリング条件に基づいて、ボリュームデータに対してレンダリング処理を行なう。そして、出力部18cは、同期制御部11bの制御に従って、レンダリング処理部17dにより生成された複数の表示用出力対象の装置ごとのレンダリング画像を該当する装置それぞれに対して同期して出力する。
ここで、同期表示が開始されるパターンは、様々なパターンが挙げられる。例えば、クライアント端末機器20の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10が生成した同一のボリュームデータを、同一の立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器20は、同期表示対象が医用画像診断装置10を示す情報とともに同期表示要求を通信部18に対して送信する。
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。表示制御部11aは、「視差数:9、視差角:1度」のボリュームレンダリング画像を表示部13に表示させる。また、立体視画像転送部17e及び出力部18cは、「視差数:9、視差角:1度」のボリュームレンダリング画像をクライアント端末機器20に送信する。
或いは、クライアント端末機器21の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10が生成した同一のボリュームデータを、互いに異なる立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器21は、同期表示対象が医用画像診断装置10を示す情報とともに同期表示要求を通信部18に対して送信する。
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。表示制御部11aは、「視差数:9、視差角:1度」のボリュームレンダリング画像を表示部13に表示させる。また、レンダリング処理部17dは、生成したボリュームレンダリング画像から「視差数:2、視差角:4度」の2つの画像を選択し、立体視画像転送部17e及び出力部18cは、「視差数:2、視差角:4度」のボリュームレンダリング画像をクライアント端末機器21に送信する。なお、上記の2つのパターンにおいて、同時表示要求は、医用画像診断装置10の操作者が主体となって実行される場合であっても良い。
或いは、クライアント端末機器20の操作者が主体となり、クライアント端末機器21の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを、互いに異なる立体視属性にて参照したい場合がある。かかる場合、クライアント端末機器20は、同期表示対象がクライアント端末機器21を示す情報とともに同期表示要求を通信部18に対して送信する。
通信部18から制御部11を介して同期表示要求が通知されたレンダリング処理部17dは、「視差数:9、視差角:1度」のボリュームレンダリング画像を生成する。立体視画像転送部17e及び出力部18cは、「視差数:9、視差角:1度」のボリュームレンダリング画像をクライアント端末機器20に送信する。また、レンダリング処理部17dは、生成したボリュームレンダリング画像から「視差数:2、視差角:4度」の2つの画像を選択し、立体視画像転送部17e及び出力部18cは、「視差数:2、視差角:4度」のボリュームレンダリング画像をクライアント端末機器21に送信する。なお、上記のパターンにおいて、同時表示要求は、クライアント端末機器21の操作者が主体となって実行される場合であっても良い。
上記の処理により、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とは、同一のボリュームデータを同一の視点位置からボリュームレンダリングした画像を、各自が使用する表示部の立体視仕様に応じて、立体視することができる。
また、同期表示が行なわれる際には、同期制御部11bは、同期表示要求を行なった操作者が要求したレンダリング条件に基づいて、レンダリング処理部17dがボリュームレンダリング処理を行なうように制御する。例えば、同期表示要求を行なったクライアント端末機器20の操作者は、自身が参照したいボリュームレンダリング画像を生成するためのレンダリング条件を選択する。レンダリング条件としては、視点位置、表示属性(アピアランス属性)、投影法、セグメンテーション部位等の各種条件から選択した属性値が挙げられる。
クライアント端末機器20からレンダリング条件を受信した通信部18は、受信したレンダリング条件を同期制御部11bに転送する。同期制御部11bは、クライアント端末機器20から受信したレンダリング条件に基づいて、レンダリング処理部17dがボリュームレンダリング処理を行なうように制御する。
上記の処理により、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とは、同一のボリュームデータを同一のレンダリング条件にて処理したボリュームレンダリング画像を、各自が使用する表示部の立体視仕様に応じて、立体視することができる。
かかる同期表示処理の一例について、図12及び図13を用いて説明する。図12及び図13は、第2の実施形態に係る医用画像診断装置により実行される同期表示処理を説明するためのシーケンス図である。なお、図12は、クライアント端末機器20の操作者が主体となり、医用画像診断装置10の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを同期して参照する場合のシーケンス図である。
まず、図12に示すように、クライアント端末機器20は、操作者の同期表示要求を示す操作イベントを医用画像診断装置10の同期制御部11bに送信する(ステップS201)。図12に示す例では、クライアント端末機器20は、同期表示対象である装置が医用画像診断装置10であることを示す操作イベントを同期制御部11bに送信する。
操作イベントを受信した同期制御部11bは、医用画像診断装置10に対して行なわれる表示更新及びイベント受信停止の要求を表示制御部11aに通知する(ステップS202)。なお、受信が停止される表示更新及びイベントとは、表示部13にて表示される画像の更新及び表示部13にて表示されるGUIを用いた操作イベントのことである。
そして、同期制御部11bは、受信した同期表示要求の操作イベントに応じた表示画像更新要求を、レンダリング処理部17d及び立体視画像転送部17eを有するボリュームデータ処理部17に通知する(ステップS203)。ここで、操作イベントに応じた表示画像更新要求とは、同期表示される各装置における立体視属性及びクライアント端末機器20の操作者が入力したレンダリング条件に基づくボリュームレンダリング画像の生成要求である。
そして、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像に基づく転送画像として、クライアント用視差画像を生成する(ステップS204)。更に、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像である自装置用視差画像を生成する(ステップS205)。
そして、ボリュームデータ処理部17は、表示画像生成通知を同期制御部11bに行ない(ステップS206)、同期制御部11bは、自装置用視差画像を表示制御部11aに転送する(ステップS207)。表示制御部11aの制御により、表示部13は、自装置用視差画像を表示する。そして、同期制御部11bは、出力部18cを介して、クライアント用視差画像をクライアント端末機器20に転送する(ステップS208)。
そして、同期制御部11bは、表示更新及びイベントの受信再開を表示制御部11aに通知する(ステップS209)。なお、ステップS201において、再度、レンダリング条件や立体視属性を変更する操作イベントが送信された場合、医用画像診断装置10は、ステップS202~ステップS208の処理を再度実行する。
図13は、クライアント端末機器20の操作者が主体となり、クライアント端末機器21の操作者と同時に、医用画像診断装置10がレンダリング対象にした同一のボリュームデータを同期して参照する場合のシーケンス図である。
まず、図13に示すように、クライアント端末機器20は、操作者の同期表示要求を示す操作イベントを医用画像診断装置10の同期制御部11bに送信する(ステップS301)。図13に示す例では、クライアント端末機器20は、同期表示対象である装置がクライアント端末機器21であることを示す操作イベントを同期制御部11bに送信する。
操作イベントを受信した同期制御部11bは、クライアント端末機器21に対して、表示更新及びイベント受信停止の要求を通知する(ステップS302)。なお、受信が停止される表示更新及びイベントとは、クライアント端末機器21のモニタにて表示される画像の更新及びクライアント端末機器21のモニタにて表示されるGUIを用いた操作イベントのことである。
そして、同期制御部11bは、受信した同期表示要求の操作イベントに応じた表示画像更新要求を、レンダリング処理部17d及び立体視画像転送部17eを有するボリュームデータ処理部17に通知する(ステップS303)。
そして、ボリュームデータ処理部17は、クライアント端末機器20用の9視差画像に基づく転送画像として、クライアント(1)用視差画像を生成する(ステップS304)。更に、ボリュームデータ処理部17は、クライアント端末機器21用の2視差画像に基づく転送画像として、クライアント(2)用視差画像を生成する(ステップS305)。
そして、ボリュームデータ処理部17は、表示画像生成通知を同期制御部11bに行ない(ステップS306)、同期制御部11bは、出力部18cを介して、クライアント(2)用視差画像をクライアント端末機器21に転送する(ステップS307)。更に、同期制御部11bは、出力部18cを介して、クライアント(1)用視差画像をクライアント端末機器20に転送する(ステップS308)。
そして、同期制御部11bは、表示更新及びイベントの受信再開をクライアント端末機器21に通知する(ステップS309)。なお、ステップS301において、再度、レンダリング条件や立体視属性を変更する操作イベントが送信された場合、医用画像診断装置10は、ステップS302~ステップS308の処理を再度実行する。
上述してきたように、第2の実施形態では、各装置の立体視モニタの立体視属性に応じて、立体視画像を異なる装置にて同期表示を行なうことができるので、装置ごとに観察者が異なる場合も、複数の観察者間で立体感を共有することができる。例えば、第2の実施形態では、医用画像診断装置10から離れた場所にある医局や読影室にて、複数人が同一画面を参照するカンファレンスルームに、9視差モニタが普及する前であっても、各部屋で立体視技術を利用できるため、手術計画の効率化や患者の解剖学的情報の共有が容易となる。なお、上記では、同期表示要求を行なった操作者と同期表示対象となる装置の操作者とが、同一のボリュームデータから同一のレンダリング条件にて生成された立体視画像であり、かつ、各自が使用する表示部の立体視仕様それぞれに合致した立体視画像を立体視する場合について説明した。しかし、第2の実施形態は、各自が使用する表示部の立体視仕様に応じた立体視画像であり、かつ、各自が要望するレンダリング条件に応じた立体視画像を、同一のボリュームデータから生成する場合であっても良い。すなわち、第2の実施形態は、同期表示中に、2人の操作者それぞれがレンダリング条件を変更する場合であっても良い。
(第3の実施形態)
第3の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、表示用出力対象の装置の要求に応じた立体視画像が出力される場合について説明する。
第3の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、表示用出力対象の装置の要求に応じた立体視画像が出力される場合について説明する。
すなわち、第3の実施形態に係る医用画像診断装置10は、レンダリング処理部17dにより生成されたボリュームレンダリング画像を記憶する。そして、レンダリング処理部17dは、表示用出力対象の装置から受け付けた立体視属性及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が格納されていない場合、当該受け付けた情報に基づいて、ボリュームデータに対して再レンダリング処理を行なう。そして、出力部18cは、レンダリング処理部17dの再レンダリング処理により生成されたレンダリング画像を表示用出力対象の装置に出力する。また、第3の実施形態に係る医用画像診断装置10は表示用出力対象装置から受け付けた立体視機能に関する情報及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が記憶されている場合、当該レンダリング画像を選択し、表示用出力対象装置に出力する。
上記の処理を行なうため、第3の実施形態に係る入力部12は、図14に示すように構成される。図14は、第3の実施形態に係る入力部の構成例を説明するための図である。
図14に示すように、第3の実施形態に係る入力部12は、図2に示す入力部12と比較して、処理画像保存条件入力部12cを更に有する。処理画像保存条件入力部12cは、レンダリング処理部17dにより生成されたボリュームレンダリング画像を保存する際の保存条件を医用画像診断装置10の操作者から受け付ける。なお、処理画像保存条件入力部12cが受け付ける保存条件については、後に詳述する。
更に、上記の処理を行なうため、第3の実施形態では、図15に示すように、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、ボリュームレンダリング処理が行なわれたボリュームレンダリング画像を保存する立体視画像保存部17fが追加される。図15は、第3の実施形態に係るレンダリング処理部、立体視画像保存部、立体視画像転送部及び出力部の処理を説明するためのブロック図である。なお、図15には示さないが、各部の処理は、制御部11の制御により、実行される。
図15に示すレンダリング処理部17dは、レンダリング条件入力部12bが受け付けたレンダリング条件に基づいて、ボリュームデータに対してボリュームレンダリング処理を行なう。具体的には、レンダリング処理部17dは、レンダリング条件入力部12bが受け付けた表示部13の立体視属性や、視点位置、投影法等の各種条件に基づいて、立体視画像を生成する。なお、レンダリング処理部17dが生成する立体視画像は、表示部13用の画像(例えば、9視差画像)に限定されるものではない。すなわち、レンダリング処理部17dは、例えば、2視差画像や「視差なしモニタ」用の静止画等、現状使用可能な立体視仕様に合致した画像を網羅して生成する場合であっても良い。
なお、図15に示すレンダリング処理部17dは、レンダリング条件入力部12bがレンダリング条件の変更を受け付けた場合、変更されたレンダリング条件に基づいて、再度、レンダリング処理を行なっても良い。
そして、図15に示す立体視画像保存部17fは、レンダリング処理部17dが生成したボリュームレンダリング画像の保存処理を行なう。立体視画像保存部17fは、図15に示すように、保存用処理画像生成部175と処理画像記憶部176とを有する。保存用処理画像生成部175は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、レンダリング処理部17dが生成したボリュームレンダリング画像を処理することで、保存用の処理画像を生成する。
図16は、保存用処理画像生成部を説明するための図である。図16は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、保存用処理画像生成部175が、レンダリング処理部17dにより生成された保存前の9視差画像から保存用の処理画像を生成する場合の一例を示している。
処理画像保存条件入力部12cが受け付ける保存条件としては、9視差画像をそのまま「9視差モニタ」出力用に保存するための保存条件(9視差保存条件)、9視差画像を「2視差モニタ」出力用に保存するための保存条件(2視差保存条件)、9視差画像を「視差なしモニタ」出力用に保存するための保存条件(視差なし保存条件)が挙げられる。
以下、9視差保存条件、2視差保存条件及び視差なし保存条件の具体例について、順に説明する。
9視差保存条件としては、9視差画像を個々に単一画像として静止画保存する条件(図16の(a)を参照)がある。9視差保存条件として単一画像静止画保存条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像を9つの静止画とした処理画像を生成する(図16の(a)に示す9つの太い枠線を参照)。また、9視差保存条件としては、9視差画像を1つに結合した長尺画像(動画)として保存する条件(図16の(b)を参照)がある。9視差保存条件として長尺画像保存条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像を1つの画像に結合した処理画像を生成する(図16の(b)に示す1つの太い枠線を参照)。
また、9視差保存条件としては、9視差画像をそのまま「9視差モニタ」にて出力可能な所定フォーマット(タイル形式)の中間画像に変換して保存する条件(図16の(c)を参照)がある。9視差保存条件として中間画像変換条件を受け付けた場合、保存用処理画像生成部175は、9つの視差画像をタイル状に配置した処理画像を生成する(図16の(c)に示す1つの太い枠線を参照)。ここで、図16の(c)に示す中間画像は、9つの視差画像を3行3列のグリッドに配置することで生成される。
また、2視差保存条件としては、9視差画像から、指定された視差角を有する2つの視差画像を選択するための選択条件が挙げられる。例えば、2視差保存条件の選択条件として、「視差角:2度」を受け付けた場合、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を選択する。そして、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を保存用の処理画像の生成対象とする。そして、保存用処理画像生成部175は、選択条件とともに入力された以下の保存条件により、視差画像(4)及び視差画像(6)から保存用の処理画像を生成する。
すなわち、2視差保存条件としては、2つの2視差画像を個々に単一画像として静止画保存する条件(図16の(d)を参照)がある。2視差保存条件として単一画像静止画保存条件を受け付けた場合、保存用処理画像生成部175は、2つの視差画像を2つの静止画とした処理画像を生成する(図16の(d)に示す2つの太い枠線を参照)。また、2視差保存条件としては、2視差画像を1つに結合した結合画像として保存する条件(図16の(e)を参照)がある。2視差保存条件として結合画像保存条件を受け付けた場合、保存用処理画像生成部175は、視差画像(4)及び視差画像(6)を1つの静止画とした処理画像を生成する(図16の(e)に示す1つの太い枠線を参照)。なお、2視差保存条件としては、視差なしモニタでも平行法、交差法、余色法等により立体視可能な画像が保存される条件が指定される場合であっても良い。
また、視差なし保存条件としては、9つの9視差画像から、指定された1つの視点位置の視差画像を選択するための選択条件が挙げられる。例えば、視差なし保存条件の選択条件に基づいて、保存用処理画像生成部175は、視差画像(6)を選択する。そして、保存用処理画像生成部175は、視差画像(6)を対象として保存用の処理画像を生成する。なお、視差なし保存条件の場合、対象となる画像が1つであることから、保存用処理画像生成部175は、視差画像(6)を静止画とした処理画像を生成する(図16の(f)に示す1つの太い枠線を参照)。なお、視差なし保存条件の選択条件として、動画表示選択条件を受け付けた場合、保存用処理画像生成部175は、9視差画像を上記の長尺画像として保存する処理を行なう。また、視差なし保存条件の選択条件として、並列表示選択条件を受け付けた場合、保存用処理画像生成部175は、9視差画像を上記の単一画像静止画として保存する処理を行なう。なお、視差なし保存条件としては、視差なしモニタでも平行法、交差法、余色法等により立体視可能な画像が保存される条件が指定される場合であっても良い。
そして、保存用処理画像生成部175は、生成した処理画像を、図15に示す処理画像記憶部176に格納する。ここで、処理画像記憶部176は、画像記憶部16と同様に、HDDである。なお、処理画像保存条件入力部12cが受け付ける保存条件は、9視差保存条件、2視差保存条件及び視差なし保存条件の全て、又は、9視差保存条件、2視差保存条件及び視差なし保存条件から選択された2つである場合であっても良い。
なお、保存用処理画像生成部175は、処理画像に対応付けて、視差数や視差度、保存時に対象としたモニタ名等を付帯情報として、処理画像記憶部176に格納しても良い。また、付帯情報であるモニタ名は、1つである場合であっても、同一の立体視属性を有する複数のモニタ名である場合であっても良い。
図15に戻って、立体視画像転送部17eは、第1の実施形態と同様に、表示用出力対象となる装置(図中では、クライアント端末機器)に転送するための転送画像を生成する転送画像生成部173と、転送画像を出力部18cに出力する処理画像転送部174とを有する。また、図15に示す転送先装置立体視条件入力部18bは、第1の実施形態と同様に、表示用出力対象となる装置のモニタの立体視属性を受け付ける。また、図15に示す転送先操作入力部18aは、第1の実施形態と同様に、ボリュームデータに対するレンダリング条件を受け付ける。
ここで、第3の実施形態に係る転送画像生成部173は、表示用出力対象となる装置のモニタの立体視属性と、表示用出力対象となる装置の操作者が入力したレンダリング条件とに合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されているか否かを判定する。格納されている場合、転送画像生成部173は、該当するボリュームレンダリング画像(処理画像)を処理画像記憶部176から取得して転送画像を生成する。転送画像は、第1の実施形態と同様に、処理画像転送部174及び出力部18cの処理により表示用出力対象となる装置に転送される。なお、第3の実施形態に係る転送画像生成部173は、第1の実施形態と同様に、格納済みの処理画像から立体視属性及びレンダリング条件に合致する処理画像を選択したうえで、転送画像を生成しても良い。例えば、転送画像生成部173は、格納済みの9視差画像から2視差画像を選択し、転送画像を生成したり、格納済みの5視差画像から3視差画像を選択し、転送画像を生成したりしても良い。
一方、立体視属性及びレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されていない場合、第3の実施形態に係る転送画像生成部173は、レンダリング処理部17dに対して、再レンダリング処理の要求を行なう。
すなわち、レンダリング処理部17dは、第1の実施形態と同様に、視差数、視点位置、表示属性(アピアランス属性)、投影法等の各種条件に基づいて、ボリュームデータを再度、ボリュームレンダリングする。レンダリング処理部17dにより再度生成された立体視用のボリュームレンダリング画像は、立体視画像転送部17eにて転送画像とされ、出力部18cから出力される。なお、レンダリング処理部17dにより再度生成された立体視用のボリュームレンダリング画像は、立体視画像保存部17fに転送されて処理画像として保存された後に、立体視画像転送部17eにて転送画像とされ、出力部18cから出力される場合であっても良い。また、出力部18cから出力された転送画像を参照した出力先装置の操作者がレンダリング条件を変更した場合、第1の実施形態と同様に、変更されたレンダリング条件に基づいて、レンダリング処理部17dは、再度、ボリュームレンダリングを行なう。
なお、出力部18cは、転送画像とともに、転送画像を参照するための専用のソフトウェア(専用ビューア)を添付しても良い。ただし、転送先の装置は、専用ビューアにより転送画像を立体視用に展開して表示させる際、自装置の表示デバイスの視差数に応じた制御を行なう。
ここで、保存済みの立体視用の画像は、レポートや文書に添付された状態で保存され、例えば、クライアント端末機器20の要求により表示用に転送される場合であっても良い。図17は、第3の実施形態に係る医用画像診断装置により出力される画像の一例を説明するための図である。図17に示す一例は、クライアント端末機器20の要求に合致する9視差画像が、処理画像記憶部176において心臓検査報告書に添付された状態で格納されている場合を示している。
すなわち、図17に示す一例では、「心臓検査報告書」のレポートとして、心臓検査報告書や、検査のオーダ番号、患者情報、画像所見、計測情報といった文字情報、超音波2D画像(1)、超音波2D画像(2)及び超音波2D画像(3)等の2次元画像データ、超音波走査が行なわれた撮影部位を簡単に描画したデータがレイアウトされている。そして、「心臓検査報告書」のレイアウトの一部には、ビューアが貼り付けられる。かかるビューアには、図17に示すように、表示用コンテンツとして9視差画像が付与される。
かかるレポートがクライアント端末機器20に対して出力されると、ビューアが起動する。そして、ビューアは、クライアント端末機器20が有するモニタ(9視差モニタ)の仕様に応じて、表示用コンテンツである9視差画像を中間画像に変換して出力する。これにより、クライアント端末機器20の操作者は、心臓検査報告書において、重要となる画像については、両眼視差及び運動視差により立体視することができる。
なお、レポート内の立体視画像のレイアウト処理は、9視差画像を受信したクライアント端末機器20において実行される場合であっても良い。
次に、図18及び図19を用いて、第3の実施形態に係る医用画像診断装置10の処理について説明する。図18は、第3の実施形態に係る医用画像診断装置の画像保存処理を説明するためのフローチャートである。また、図19は、第3の実施形態に係る医用画像診断装置の出力処理を説明するためのフローチャートである。
図18に示すように、第3の実施形態に係る医用画像診断装置10は、レンダリング条件入力部12bが立体視属性及びレンダリング条件を受け付けたか否かを判定する(ステップS401)。ここで、立体視属性及びレンダリング条件を受け付けない場合(ステップS401否定)、第3の実施形態に係る医用画像診断装置10は、待機状態となる。
一方、立体視属性及びレンダリング条件を受け付けた場合(ステップS401肯定)、レンダリング処理部17dは、受け付けた立体視属性及びレンダリング条件に基づいて、視差画像(ボリュームレンダリング画像)を生成する(ステップS402)。
そして、保存用処理画像生成部175は、処理画像保存条件入力部12cが受け付けた保存条件に基づいて、保存用処理画像を生成する(ステップS403)。そして、保存用処理画像生成部175は、処理画像記憶部176に保存用処理画像を格納し(ステップS404)、処理を終了する。
そして、図19に示すように、第3の実施形態に係る医用画像診断装置10は、表示用出力対象装置であるクライアントから、転送先装置立体視条件入力部18b及び転送先操作入力部18aを介して、立体視属性及びレンダリング条件を受け付けたか否かを判定する(ステップS501)。ここで、クライアントから立体視属性及びレンダリング条件を受け付けない場合(ステップS501否定)、第3の実施形態に係る医用画像診断装置10は、待機状態となる。
一方、クライアントから立体視属性及びレンダリング条件を受け付けた場合(ステップS501肯定)、転送画像生成部173は、クライアントから受け付けた立体視属性及びレンダリング条件に合致する画像が格納済みか否かを判定する(ステップS502)。ここで、格納されていない場合(ステップS502否定)、転送画像生成部173の要求に応じて、レンダリング処理部17dは、クライアントから受け付けた立体視属性及びレンダリング条件に合致する視差画像を生成する(ステップS503)。そして、立体視画像転送部17eは、転送画像を生成する(ステップS504)。
一方、格納されている場合(ステップS502肯定)、転送画像生成部173は、合致する視差画像を処理画像記憶部176から取得して、転送画像を生成する(ステップS504)。
そして、出力部18cは、転送画像を転送先のクライアントに転送し(ステップS505)、転送先操作入力部18aは、レンダリング条件の変更を受け付けたか否かを判定する(ステップS506)。ここで、レンダリング条件の変更を受け付けた場合(ステップS506肯定)、レンダリング処理部17dは、変更されたレンダリング条件に基づいて、視差画像を生成し(ステップS507)、その後、医用画像診断装置10は、ステップS504以降の処理を実行する。
一方、レンダリング条件の変更を受け付けない場合(ステップS506否定)、制御部11は、転送終了要求を受け付けたか否かを判定する(ステップS508)。ここで、転送終了要求を受け付けない場合(ステップS108否定)、ステップS506に戻って、レンダリング条件の変更を受け付けたか否かを判定する。
一方、転送終了要求を受け付けた場合(ステップS508肯定)、第3の実施形態に係る医用画像診断装置10は、処理を終了する。
上述してきたように、第3の実施形態では、医用画像診断装置10内に立体視画像が一旦保存されたとしても、他の装置からリモートアクセスすることによって、アクセス元の装置上でも、保存された立体視画像を当該装置にて立体視可能な状態で表示させることができる。その結果、9視差モニタを搭載した医用画像診断装置10が設置される場合でも、構築済みの院内ネットワークを継続して運用することができる。
(第4の実施形態)
第4の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、保存用出力対象の装置の要求に応じた立体視画像等が保存用に出力される場合について説明する。
第4の実施形態では、医用画像診断装置10において立体視用のボリュームレンダリング画像が記憶されている状態で、保存用出力対象の装置の要求に応じた立体視画像等が保存用に出力される場合について説明する。
すなわち、第4の実施形態に係る医用画像診断装置10は、第3の実施形態と同様に、レンダリング処理部17dにより生成されたボリュームレンダリング画像を記憶する。そして、レンダリング処理部17dは、保存用出力対象の装置から受け付けた立体視属性及びボリュームデータに対するレンダリング条件に合致するレンダリング画像が格納されていない場合、当該レンダリング条件に基づいて、ボリュームデータに対して再レンダリング処理を行なう。そして、出力部18cは、レンダリング処理部17dの再レンダリング処理により生成されたレンダリング画像を保存用出力対象の装置に出力する。
上記の処理を行なうため、第4の実施形態に係る通信部18は、図20に示すように構成される。図20は、第4の実施形態に係る通信部の構成例を説明するための図である。
図20に示すように、第4の実施形態の係る通信部18は、図2に示す通信部18と比較して、転送先操作入力部18a及び転送先装置立体視条件入力部18bに替わって、保存用条件入力部18d及び保存用出力先立体視条件入力部18eを有する。保存用条件入力部18dは、転送先操作入力部18aに該当する入力部であり、保存用出力対象の装置からレンダリング条件を受け付ける。また、保存用出力先立体視条件入力部18eは、転送先装置立体視条件入力部18bに該当する入力部であり、保存用出力対象の装置から立体視属性を受け付ける。
第4の実施形態に係る医用画像診断装置10は、第3の実施形態と同様、図21に示すように、立体視画像保存部17fを有する。そして、第4の実施形態に係る医用画像診断装置10は、立体視画像転送部17eに替わり、図21に示すように、保存用出力処理部17gを有する。そして、第4の実施形態に係る医用画像診断装置10は、上記の保存用出力処理を、レンダリング処理部17d、立体視画像保存部17f、保存用出力処理部17g及び出力部18cが協働して実行する。
図21は、第4の実施形態に係るレンダリング処理部、立体視画像保存部、保存用出力処理部及び出力部の処理を説明するためのブロック図である。図21では、保存用出力対象の装置が画像保管装置31である場合を示している。なお、保存用出力対象の装置は、図1に示す可搬記憶装置40である場合であっても良い。また、図21には示さないが、各部の処理は、制御部11の制御により、実行される。
図21に示すレンダリング処理部17dは、第3の実施形態と同様に、レンダリング条件入力部12bが受け付けたレンダリング条件に基づいて、ボリュームデータに対してボリュームレンダリング処理を行なう。
そして、図21に示す立体視画像保存部17fは、第3の実施形態と同様に、レンダリング処理部17dが生成したボリュームレンダリング画像の保存処理を処理画像保存条件入力部12cが受け付けた保存条件に基づいて実行する。
そして、図21に示す保存用出力処理部17gは、転送画像生成部173に該当する保存用出力画像生成部177と、処理画像転送部174に該当する保存用出力画像出力部178とを有する。
すなわち、保存用出力画像生成部177は、保存用出力対象となる装置が要求する立体視属性と、保存用出力対象となる装置の操作者が入力したレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されているか否かを判定する。格納されている場合、保存用出力画像生成部177は、該当するボリュームレンダリング画像(処理画像)を処理画像記憶部176から取得して、画像圧縮処理により、保存用出力画像を生成する。保存用出力画像は、第1~第3の実施形態で説明した転送画像と同様に、保存用出力画像出力部178及び出力部18cの処理により保存用出力対象となる装置に転送される。なお、保存用出力画像生成部177は、第3の実施形態に係る転送画像生成部173と同様に、格納済みの処理画像から立体視属性及びレンダリング条件に合致する処理画像を選択したうえで、保存用出力画像を生成しても良い。
一方、立体視属性及びレンダリング条件に合致するボリュームレンダリング画像(処理画像)が処理画像記憶部176に格納されていない場合、保存用出力画像生成部177は、第3の実施形態に係る転送画像生成部173と同様に、レンダリング処理部17dに対して、再レンダリング処理の要求を行なう。
また、出力部18cから出力された保存用出力画像を参照した保存用出力先装置の操作者がレンダリング条件を変更した場合、第1~第3の実施形態と同様に、変更されたレンダリング条件に基づいて、レンダリング処理部17dは、再度、ボリュームレンダリングを行なう。
なお、第4の実施形態に係る医用画像診断装置10が実行する画像保存処理は、図18を用いて説明した第3の実施形態に係る医用画像診断装置10が実行する画像保存処理と同じであるので説明を省略する。また、第4の実施形態に係る医用画像診断装置10が実行する保存用の出力処理は、図19を用いて説明した第3の実施形態に係る医用画像診断装置10が実行する表示用の出力処理と比較して、転送先操作入力部18a及び転送先装置立体視条件入力部18bに替わって、保存用条件入力部18d及び保存用出力先立体視条件入力部18eが各種情報を受け付ける以外、同じであるので説明を省略する。
上述してきたように、第4の実施形態では、第3の実施形態と同様に、医用画像診断装置10内に立体視画像が一旦保存されたとしても、他の装置からリモートアクセスすることによって、アクセス元の装置上でも、保存された立体視画像を当該装置にて立体視可能な状態で保存させることができる。なお、第4の実施形態は、保存用出力対象の装置の要求に応じた立体視画像を生成した後、当該装置に保存用に出力する場合であっても良い。
ここで、上記の第1~第4の本実施形態では、医用画像診断装置10がボリュームデータに対してレンダリング処理を行なう場合について説明したが、画像処理機能を有するワークステーション30がボリュームデータに対してレンダリング処理を行なう場合であっても適用可能である。図22は、第1~第4の本実施形態に係る医用画像処理システムの構成の変形例を説明するための図である。
例えば、本変形例では、図22に示すように、各種の医用画像診断装置10から構成される医用画像診断装置群1が院内LANに接続され、医用画像診断装置群1は、3次元X線画像、3次元X線CT画像、3次元MRI画像等のボリュームデータを生成する。そして、図22に示すワークステーション30は、医用画像診断装置群1から直接受信したボリュームデータ、又は、医用画像診断装置群1から画像保管装置31を介して受信したボリュームデータに対してレンダリング処理を行なう。すなわち、図22に示すワークステーション30は、第1~第4の実施形態で説明したレンダリング処理部17dや、入力部12及び通信部18の機能を有する。
かかる構成の場合、ワークステーション30は、図22に示すように、レンダリング画像の出力元となる。また、ワークステーション30は、図22に示すように、医用画像診断装置群1、クライアント端末機器群2、画像保管装置31及びクライアント端末機器群5をレンダリング画像の表示用出力対象とする。また、ワークステーション30は、図22に示すように、画像保管装置31及び可搬記憶装置40をレンダリング画像の保存用出力対象とする。
すなわち、第1~第4の実施形態に係る医用画像処理システムは、ボリュームデータに対して立体視用の画像処理を行なうための医用画像処理装置として、医用画像診断装置10の替わりに、ワークステーション30を設置することによっても実現可能である。また、第1~第4の実施形態に係る医用画像処理システムは、ボリュームデータに対して立体視用の画像処理を行なうための医用画像処理装置がクライアント端末機器群2である場合であっても良い。更に、第1~第4の実施形態にて説明した医用画像処理装置としての医用画像診断装置10の機能は、図1や図22に例示した各装置にて分散して実行される場合であっても良い。
なお、上記の実施形態では、レンダリング処理部17dが立体視属性に基づいて、出力対象装置の表示部に出力するための視差数や視差角を決定する場合について説明した。しかし、上記の実施形態は、出力対象装置の表示部の立体視属性として取得した視差画像の解像度や、視差画像の配置情報に基づいて、以下の決定処理を行なっても良い。すなわち、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の解像度に基づいて、視差画像に対応するレンダリング画像の解像度を切り替える。例えば、クライアント端末機器20の9視差モニタに表示される9視差画像の解像度「512画素×512画素」を立体視属性として取得している場合、レンダリング処理部17dは、視差画像に対応するレンダリング画像を「512画素×512画素」の解像度で生成すると決定する。
また、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の配置情報に基づいて、出力部18cから出力される視差画像の配置を切り替える。上記の実施形態では、9視差モニタに出力される際、9つの視差画像が3行3列のタイル状に配置した中間画像に変換される場合について説明した。しかし、9視差モニタに出力される際に9視差画像が変換される中間画像のフォーマットは、3行3列のタイル状に限定されるものではない。例えば、中間画像のフォーマットは、9視差モニタの仕様に応じて、「1行9列」や「9行1列」、「2行5列」のグリッドに9枚の視差画像が配置される場合もある。そこで、例えば、レンダリング処理部17dは、立体視機能に関する情報として取得した視差画像の配置情報が「2行5列」である場合、9視差画像を「2行5列」のグリッドに配置された中間画像が、出力部18cから出力されるように、立体視画像転送部17eに指示を送出する。
なお、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、転送先操作入力部18aと転送先装置立体視条件入力部18bとは、統合しても良い。また、立体視属性に基づく視差画像数(視差数)等の決定処理は、レンダリング処理部17dではなく、例えば、制御部11により実行される場合であっても良い。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施形態で説明した医用画像処理方法は、あらかじめ用意された医用画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上、説明したとおり、第1の実施形態~第4の実施形態によれば、立体視方式に応じて3次元の医用画像を立体的に観察させることが可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
Claims (15)
- 出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する決定部と、
3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成するレンダリング処理部と、
前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する出力部と、
を備える、医用画像処理システム。 - 前記表示部は、観察方向に応じて観察者に見える立体視用の画像対が変更されるように構成された装置である、請求項1に記載の医用画像処理システム。
- 前記決定部は、1つの観察方向の立体視用の画像を表示する表示部に接続される出力対象装置と、複数の観察方向の立体視用の画像を表示する表示部に接続される出力対象装置とに応じて、前記視差画像数を変更する、請求項1に記載の医用画像処理システム。
- 前記出力対象装置に接続される表示部の立体視機能に関する情報を受け付ける入力部、
を更に備え、
前記決定部は、前記入力部が受け付けた前記立体視機能に関する情報に基づいて前記視差画像数を決定する、請求項1に記載の医用画像処理システム。 - 前記入力部は、更に、前記ボリュームデータに対するレンダリング条件の変更要求を受け付け、
前記レンダリング処理部は、前記入力部が受け付けた前記変更要求に基づく再レンダリング処理を前記ボリュームデータに対して行ない、
前記出力部は、前記レンダリング処理部の再レンダリング処理により生成されたレンダリング画像を前記出力対象装置に出力する、請求項4に記載の医用画像処理システム。 - 前記出力対象装置が複数である場合であって、
前記決定部は、前記入力部が受け付けた複数の出力対象装置に接続される表示部それぞれの立体視機能に関する情報に基づいて、前記複数の出力対象装置ごとの視差画像数を決定し、
前記レンダリング処理部は、前記複数の出力対象装置ごとの視差画像数及び前記入力部が受け付けた前記ボリュームデータに対するレンダリング条件に基づいて、前記ボリュームデータに対してレンダリング処理を行ない、
前記出力部は、前記レンダリング処理部により生成された前記複数の出力対象装置ごとのレンダリング画像を該当する出力対象装置それぞれに対して同期して出力する、請求項4に記載の医用画像処理システム。 - 前記出力部は、立体視用の画像を所定間隔で切り替える表示部を有する出力対象装置に対しては、当該出力対象装置用のレンダリング画像群を当該所定間隔で切り替えて出力する、請求項1に記載の医用画像処理システム。
- 前記レンダリング処理部により生成されたレンダリング画像を記憶する記憶部と、
前記入力部が前記出力対象装置から受け付けた前記立体視機能に関する情報及び前記ボリュームデータに対するレンダリング条件に合致するレンダリング画像を前記記憶部が記憶するレンダリング画像から選択する選択部と、
を更に備え、
前記レンダリング処理部は、前記入力部が前記出力対象装置から受け付けた前記立体視機能に関する情報及び前記ボリュームデータに対するレンダリング条件に合致するレンダリング画像が前記記憶部に格納されていない場合、当該受け付けた情報に基づいて、前記ボリュームデータに対して再レンダリング処理を行ない、
前記出力部は、前記選択部が選択したレンダリング画像、又は、前記レンダリング処理部の再レンダリング処理により生成されたレンダリング画像を前記出力対象装置に出力する、請求項4に記載の医用画像処理システム。 - 前記決定部は、前記立体視機能に関する情報として取得した視差画像の解像度に基づいて、前記視差画像に対応するレンダリング画像の解像度を切り替える、請求項1に記載の医用画像処理システム。
- 前記決定部は、前記立体視機能に関する情報として取得した視差画像の配置情報に基づいて、前記出力部から出力される視差画像の配置を切り替える、請求項1に記載の医用画像処理システム。
- 3次元の医用画像であるボリュームデータを記憶する記憶装置と、
前記記憶装置が記憶するボリュームデータに対してレンダリング処理を行なうことで、複数の観察方向に対応する立体視用の画像対を含むレンダリング画像群を生成するレンダリング処理部と、
前記レンダリング処理部が生成した前記レンダリング画像群に基づき、複数の観察方向に対応する立体視用の画像対を同時に表示する表示部と、
を備える、医用画像処理システム。 - 出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する決定部と、
3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成するレンダリング処理部と、
前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する出力部と、
を備える、医用画像処理装置。 - 3次元の医用画像であるボリュームデータを生成する生成部と、
出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する決定部と、
前記ボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成するレンダリング処理部と、
前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する出力部と、
を備える、医用画像診断装置。 - 出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する決定ステップと、
3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成するレンダリング処理ステップと、
前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する出力ステップと、
を含む、医用画像処理方法。 - 出力対象となる出力対象装置に接続される表示部の立体視機能に関する情報に基づいて、当該表示部で表示する立体視用の画像の視差画像数を決定する決定手順と、
3次元の医用画像であるボリュームデータに対してレンダリング処理を行なうことで、前記視差画像数に対応するレンダリング画像を生成するレンダリング処理手順と、
前記視差画像数に対応するレンダリング画像を、前記表示部で同時に表示させる立体視用の画像として前記出力対象装置に出力する出力手順と、
をコンピュータに実行させる、医用画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12768352.2A EP2695579B1 (en) | 2011-04-08 | 2012-04-06 | Medical image processing system, medical image processing method and medical image processing program |
CN2012800004425A CN102821694A (zh) | 2011-04-08 | 2012-04-06 | 医用图像处理系统、医用图像处理装置、医用图像诊断装置、医用图像处理方法以及医用图像处理程序 |
US14/048,904 US10140752B2 (en) | 2011-04-08 | 2013-10-08 | Medical image processing system, medical image processing apparatus, medical image diagnosis apparatus, and medical image processing method, related to a stereoscopic medical image process |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-086636 | 2011-04-08 | ||
JP2011086636A JP5666967B2 (ja) | 2011-04-08 | 2011-04-08 | 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/048,904 Continuation US10140752B2 (en) | 2011-04-08 | 2013-10-08 | Medical image processing system, medical image processing apparatus, medical image diagnosis apparatus, and medical image processing method, related to a stereoscopic medical image process |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012137947A1 true WO2012137947A1 (ja) | 2012-10-11 |
Family
ID=46969335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/059584 WO2012137947A1 (ja) | 2011-04-08 | 2012-04-06 | 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10140752B2 (ja) |
EP (1) | EP2695579B1 (ja) |
JP (1) | JP5666967B2 (ja) |
CN (2) | CN107233095A (ja) |
WO (1) | WO2012137947A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2732769A1 (en) * | 2012-11-20 | 2014-05-21 | Samsung Medison Co., Ltd. | Method and apparatus for displaying medical image |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103065A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社日立製作所 | 医用画像処理装置および画像処理方法 |
US9468420B2 (en) * | 2013-05-02 | 2016-10-18 | Toshiba Medical Systems Corporation | Medical imaging data processing apparatus and method |
WO2014192829A1 (ja) | 2013-05-28 | 2014-12-04 | 株式会社東芝 | 医用画像処理装置 |
RU2571510C2 (ru) | 2013-12-25 | 2015-12-20 | Общество с ограниченной ответственностью "Аби Девелопмент" | Метод и устройство, использующие увеличение изображения для подавления визуально заметных дефектов на изображении |
US9225876B2 (en) * | 2013-09-25 | 2015-12-29 | Abbyy Development Llc | Method and apparatus for using an enlargement operation to reduce visually detected defects in an image |
CN105519107B (zh) * | 2013-10-18 | 2018-06-19 | 奥林巴斯株式会社 | 图像信号输出装置以及图像信号收发系统 |
CN104622500A (zh) * | 2013-11-07 | 2015-05-20 | 深圳迈瑞生物医疗电子股份有限公司 | 一种医学图像快捷分享装置及方法 |
WO2015134248A1 (en) * | 2014-03-06 | 2015-09-11 | Boston Scientific Scimed, Inc. | Medical devices for mapping cardiac tissue and methods for displaying mapping data |
US20160337353A1 (en) * | 2015-05-11 | 2016-11-17 | Interactive Intelligence Group, Inc. | System and method for multi-factor authentication |
US10621790B2 (en) | 2015-09-26 | 2020-04-14 | Boston Scientific Scimed Inc. | Systems and methods for anatomical shell editing |
DE102017203702A1 (de) * | 2017-03-07 | 2018-09-13 | Siemens Healthcare Gmbh | Verfahren und Vorrichtung zum Erzeugen eines Ausgabebildes aus einem Volumendatensatz |
WO2020137162A1 (ja) * | 2018-12-28 | 2020-07-02 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
NL2024482B1 (en) * | 2019-12-17 | 2021-09-07 | Univ Maastricht | Method of training a machine learning data processing model, method of determining a hypoxia status of a neoplasm in a human or animal body, and system therefore. |
WO2021125950A1 (en) * | 2019-12-17 | 2021-06-24 | Universiteit Maastricht | Image data processing method, method of training a machine learning data processing model and image processing system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11306326A (ja) * | 1998-04-24 | 1999-11-05 | Shimadzu Corp | 放射線撮像装置 |
JP2005086414A (ja) | 2003-09-08 | 2005-03-31 | Toshiba Corp | 立体表示装置および画像表示方法 |
JP2005136594A (ja) * | 2003-10-29 | 2005-05-26 | Canon Inc | 画像処理装置及びその制御方法 |
JP2005349127A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 立体画像生成システムおよびその制御方法 |
JP2006212056A (ja) * | 2005-02-01 | 2006-08-17 | Canon Inc | 撮影装置及び立体画像生成装置 |
JP2009273672A (ja) * | 2008-05-15 | 2009-11-26 | Konica Minolta Medical & Graphic Inc | X線撮影装置及びx線画像システム |
JP2011234788A (ja) * | 2010-05-06 | 2011-11-24 | Toshiba Corp | 超音波診断装置、超音波画像処理方法及び超音波画像処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4125252B2 (ja) | 2004-03-02 | 2008-07-30 | 株式会社東芝 | 画像生成装置、画像生成方法、及び画像生成プログラム |
JP3944188B2 (ja) | 2004-05-21 | 2007-07-11 | 株式会社東芝 | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 |
JP2006101329A (ja) * | 2004-09-30 | 2006-04-13 | Kddi Corp | 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体 |
US7440540B2 (en) * | 2006-10-05 | 2008-10-21 | Bassel Kano | Stereoscopic x-ray system and method |
JP2009049751A (ja) * | 2007-08-21 | 2009-03-05 | Toshiba Corp | 立体画像表示装置 |
US20110227910A1 (en) * | 2008-03-27 | 2011-09-22 | Analogic Corporation | Method of and system for three-dimensional workstation for security and medical applications |
JP5419148B2 (ja) * | 2009-08-31 | 2014-02-19 | Necカシオモバイルコミュニケーションズ株式会社 | 撮像装置及びプログラム |
JP5572437B2 (ja) * | 2010-03-29 | 2014-08-13 | 富士フイルム株式会社 | 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム |
CN101984670B (zh) * | 2010-11-16 | 2013-01-23 | 深圳超多维光电子有限公司 | 一种立体显示方法、跟踪式立体显示器及图像处理装置 |
KR101287383B1 (ko) * | 2012-04-27 | 2013-07-19 | 주식회사 인피니트헬스케어 | 의료영상 저장 전송 시스템의 영상 처리, 생성, 저장, 디스플레이 장치 및 방법 |
-
2011
- 2011-04-08 JP JP2011086636A patent/JP5666967B2/ja not_active Expired - Fee Related
-
2012
- 2012-04-06 EP EP12768352.2A patent/EP2695579B1/en active Active
- 2012-04-06 CN CN201710420595.XA patent/CN107233095A/zh active Pending
- 2012-04-06 CN CN2012800004425A patent/CN102821694A/zh active Pending
- 2012-04-06 WO PCT/JP2012/059584 patent/WO2012137947A1/ja active Application Filing
-
2013
- 2013-10-08 US US14/048,904 patent/US10140752B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11306326A (ja) * | 1998-04-24 | 1999-11-05 | Shimadzu Corp | 放射線撮像装置 |
JP2005086414A (ja) | 2003-09-08 | 2005-03-31 | Toshiba Corp | 立体表示装置および画像表示方法 |
JP2005136594A (ja) * | 2003-10-29 | 2005-05-26 | Canon Inc | 画像処理装置及びその制御方法 |
JP2005349127A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 立体画像生成システムおよびその制御方法 |
JP2006212056A (ja) * | 2005-02-01 | 2006-08-17 | Canon Inc | 撮影装置及び立体画像生成装置 |
JP2009273672A (ja) * | 2008-05-15 | 2009-11-26 | Konica Minolta Medical & Graphic Inc | X線撮影装置及びx線画像システム |
JP2011234788A (ja) * | 2010-05-06 | 2011-11-24 | Toshiba Corp | 超音波診断装置、超音波画像処理方法及び超音波画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
MASAHIRO SEKINE: "Rittaibutsu o Tegaru ni Satsuei Dekiru Scan-gata 3D Satsuei System", TOSHIBA REVIEW, vol. 64, no. 5, 2009, pages 62 - 63, XP055136259 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2732769A1 (en) * | 2012-11-20 | 2014-05-21 | Samsung Medison Co., Ltd. | Method and apparatus for displaying medical image |
US9460548B2 (en) | 2012-11-20 | 2016-10-04 | Samsung Medison Co., Ltd. | Method and apparatus for displaying medical image |
Also Published As
Publication number | Publication date |
---|---|
EP2695579A1 (en) | 2014-02-12 |
JP5666967B2 (ja) | 2015-02-12 |
US20140035910A1 (en) | 2014-02-06 |
CN107233095A (zh) | 2017-10-10 |
US10140752B2 (en) | 2018-11-27 |
CN102821694A (zh) | 2012-12-12 |
EP2695579A4 (en) | 2014-12-24 |
JP2012217633A (ja) | 2012-11-12 |
EP2695579B1 (en) | 2023-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5666967B2 (ja) | 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム | |
JP5909055B2 (ja) | 画像処理システム、装置、方法及びプログラム | |
US9542771B2 (en) | Image processing system, image processing apparatus, and image processing method | |
JP5818531B2 (ja) | 画像処理システム、装置及び方法 | |
JP6005905B2 (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
JP5972533B2 (ja) | 画像処理システム及び方法 | |
JP6430149B2 (ja) | 医用画像処理装置 | |
JP6147464B2 (ja) | 画像処理システム、端末装置及び方法 | |
WO2012137821A1 (ja) | 画像処理システム、装置、方法及びプログラム | |
JP2013078141A (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP5797485B2 (ja) | 画像処理装置、画像処理方法及び医用画像診断装置 | |
JP5784379B2 (ja) | 画像処理システム、装置及び方法 | |
WO2012147664A1 (ja) | 画像処理システム及び方法 | |
JP6058301B2 (ja) | 画像処理装置、画像処理方法及び医用画像診断装置 | |
JP5846791B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP6017124B2 (ja) | 画像処理システム、画像処理装置、医用画像診断装置、画像処理方法及び画像処理プログラム | |
JP2012244420A (ja) | 画像処理システム、装置及び方法 | |
JP5813986B2 (ja) | 画像処理システム、装置、方法及びプログラム | |
JP5974235B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置 | |
JP6087618B2 (ja) | 画像処理システムおよび画像処理方法 | |
JP5868051B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置 | |
JP5835980B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP2013013552A (ja) | 医用画像診断装置、医用画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201280000442.5 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12768352 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012768352 Country of ref document: EP |