WO2017168984A1 - 撮像装置、撮像方法 - Google Patents
撮像装置、撮像方法 Download PDFInfo
- Publication number
- WO2017168984A1 WO2017168984A1 PCT/JP2017/001858 JP2017001858W WO2017168984A1 WO 2017168984 A1 WO2017168984 A1 WO 2017168984A1 JP 2017001858 W JP2017001858 W JP 2017001858W WO 2017168984 A1 WO2017168984 A1 WO 2017168984A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- light
- illumination
- unit
- spot
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 393
- 238000005286 illumination Methods 0.000 claims abstract description 235
- 238000001514 detection method Methods 0.000 claims abstract description 117
- 230000001427 coherent effect Effects 0.000 claims abstract description 88
- 230000000644 propagated effect Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 91
- 230000003287 optical effect Effects 0.000 claims description 89
- 239000002131 composite material Substances 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000001902 propagating effect Effects 0.000 claims description 10
- 239000012530 fluid Substances 0.000 abstract description 86
- 230000035945 sensitivity Effects 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 81
- 238000004458 analytical method Methods 0.000 description 41
- 238000005259 measurement Methods 0.000 description 18
- 210000004204 blood vessel Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 238000000149 argon plasma sintering Methods 0.000 description 4
- CPBQJMYROZQQJC-UHFFFAOYSA-N helium neon Chemical compound [He].[Ne] CPBQJMYROZQQJC-UHFFFAOYSA-N 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- LFEUVBZXUFMACD-UHFFFAOYSA-H lead(2+);trioxido(oxo)-$l^{5}-arsane Chemical compound [Pb+2].[Pb+2].[Pb+2].[O-][As]([O-])([O-])=O.[O-][As]([O-])([O-])=O LFEUVBZXUFMACD-UHFFFAOYSA-H 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- XKRFYHLGVUSROY-UHFFFAOYSA-N argon Substances [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- -1 argon ion Chemical class 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 229910052743 krypton Inorganic materials 0.000 description 2
- DNNSSWSSYDEUBZ-UHFFFAOYSA-N krypton atom Chemical compound [Kr] DNNSSWSSYDEUBZ-UHFFFAOYSA-N 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4788—Diffraction
- G01N2021/479—Speckle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Definitions
- the present technology relates to an imaging apparatus and an imaging method. More specifically, the present invention relates to an imaging apparatus and an imaging method that use speckles generated by illumination of light on an imaging target.
- an imaging apparatus and an imaging method using an optical method have been developed.
- an imaging device the one disclosed in Patent Document 1 is known.
- an optical sensor is illuminated from an illumination system including a plurality of light source modules (light illuminators) that illuminates a subject (pseudo living body), and the illumination system. And a detection system for detecting light propagated in the subject.
- Each of the plurality of light source modules illuminates a plurality of non-parallel lights at the same position of the subject. In this case, it is possible to obtain high resolution without deteriorating the mounting property to the subject.
- Speckle is a phenomenon in which a speckled and swinging pattern appears on the illumination surface according to the uneven shape of the illumination surface.
- a technique has been developed for a method of imaging a flow path such as a blood vessel using speckle, which is one of noises.
- speckle is a random interference / diffraction pattern due to scattering in the optical path.
- the magnitude of speckle is represented by an index called speckle contrast, which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution.
- the speckle pattern changes every moment due to changes in the fine shape caused by the flow.
- an imaging device is installed on the image plane and the fluid is imaged with an exposure time sufficiently longer than the change in the speckle pattern, the speckle contrast of the blood flowing part, that is, the blood vessel part is time-averaged. It decreases by.
- Angiography can be performed by utilizing such a change in speckle contrast.
- Non-Patent Document 1 As an imaging technique using such speckles, a technique disclosed in Non-Patent Document 1 is known (see Non-Patent Document 1).
- laser light is illuminated at one point on an imaging target including fluid, and blood flow information brought about by speckle is obtained from information on an image of an object around the object. It has gained.
- Patent Document 1 the imaging technique described in Patent Document 1 is limited to observation in the vicinity of the surface of the imaging target, and cannot detect blood vessels, blood, and the like located at a certain depth in the imaging target.
- the imaging technique described in Non-Patent Document 1 only one point to be imaged is illuminated with laser light. Therefore, when contrast is to be performed, a light source that emits laser light or the laser light is detected. There is a problem that it is difficult to display speckles in real time.
- the main purpose is to provide an imaging technique capable of performing the above.
- the present technology includes a light illumination unit that spot-illuminates coherent light at a plurality of locations of an imaging target, a light detection unit that detects light that is illuminated by the light illumination unit and propagates through the imaging target, and the light detection unit.
- An imaging device comprising: an imaging unit that captures a speckle image obtained from the detected scattered light of the imaging target.
- the light illumination unit may be configured to spot-illuminate a plurality of locations to be imaged at a predetermined interval.
- the optical path of the light propagated through the imaging target may be expressed by the following formula 1.
- the imaging apparatus may further include an image processing unit that determines presence / absence of light detection by the light detection unit based on imaging information by the imaging unit. Further, the imaging apparatus according to the present technology further includes a distance calculation unit that calculates a distance between the spot illumination position by the light illumination unit and the detection position of the light propagated in the imaging target based on the mathematical formula 1. It may be. Furthermore, the imaging apparatus according to the present technology may further include an illumination switching unit that switches the illumination method by the light illumination unit from spot illumination to uniform illumination. The imaging device according to the present technology may further include a composite image creation unit that creates a composite image based on a plurality of pieces of light information detected by the light detection unit.
- the present technology includes a light illumination step of spot-illuminating coherent light at a plurality of locations of an imaging target, a light detection step of detecting light propagated through the spot-illuminated imaging target, and the imaging detected by the light detection step
- an imaging method including an imaging step of imaging a speckle image obtained from scattered light of an object.
- coherent light may be emitted to a plurality of locations to be imaged at predetermined intervals.
- the optical path of the light propagated through the imaging target may be expressed by the following formula 2.
- the imaging method according to the present technology may further include an image processing step of determining the presence or absence of light detection by the light detection step based on the imaging information obtained by the imaging step.
- the imaging method according to the present technology may further include a distance calculation step of calculating a distance between the spot illumination position in the light illumination step and the light detection position in the light detection step based on the mathematical formula 2. Good.
- the imaging method according to the present technology may further include an illumination switching step of switching the illumination method of the coherent light from spot illumination to uniform illumination.
- the imaging method according to the present technology may further include a composite image creation step of creating a composite image based on a plurality of pieces of light information detected by the light detection step.
- a fluid located at a certain depth in an imaging target can be imaged with high sensitivity and accuracy.
- fluid information can be obtained accurately.
- the effect described here is not necessarily limited, and may be any effect described in the present technology.
- Imaging device according to first embodiment (1) Light illumination unit (2) Light detection unit (3) Speckle image imaging unit (4) Composite image creation unit (5) Analysis unit (6) Storage unit (7) Display unit (8) Imaging target 2. Imaging device according to second embodiment (1) Illumination switching unit 3. Imaging device according to third embodiment (1) Image processing unit 4. Imaging device according to fourth embodiment (1) Distance calculation unit Imaging method according to the first embodiment (1) Light illumination step (2) Light detection step (3) Speckle image imaging step (4) Composite image creation step (5) Analysis step (6) Storage step (7) Display step 6). 6. Imaging method according to second embodiment (1) Depth measurement step (2) Illumination switching step Imaging method according to the third embodiment (1) Image processing step 8. Imaging Method According to Fourth Embodiment (1) Distance Calculation Step
- the imaging device 1 illustrated in FIGS. 1 and 2 includes at least a light illumination unit 11, a light detection unit 12, and a speckle image imaging unit 13.
- the imaging device 1 can further include a composite image creation unit 14, an analysis unit 15, a storage unit 16, a display unit 17, and the like as necessary.
- a composite image creation unit 14 an analysis unit 15
- storage unit 16 a display unit 17, and the like as necessary.
- the light illumination unit 11 illuminates the imaging target O with coherent light.
- the coherent light means that the phase relationship of the light wave at any two points in the light beam is constant and constant in time. This refers to light that exhibits high coherence.
- Laser light is preferable as the coherent light.
- the light source that emits the laser light include an argon ion (Ar) laser, a helium-neon (He-Ne) laser, a die laser, a krypton (Cr) laser, a distributed feedback type (Distributed Feed: DFB), and the like.
- a grating feedback type semiconductor laser or the like can be used.
- the number of wavelengths of the coherent light is not particularly limited, and can be appropriately changed according to the configuration and type of the imaging object O and / or the fluid contained therein.
- the fluid is blood flowing in a blood vessel, it is preferably red light with a coherent light wavelength range of 600 to 1550 nm and a low light absorption rate.
- the light illumination unit 11 spot-illuminates coherent light at a plurality of locations of the imaging target O.
- the coherent light is detected by the light detection unit 12 after propagating through the imaging target O.
- coherent light propagates in the imaging object O in a substantially arc shape. That is, when coherent light is detected at one point different from the illumination position, the most probable optical path that reaches the detection position is expressed by Equation 3 below.
- Equation 3 “r” represents the distance from the illumination position to the detection position, “ ⁇ a” represents the equivalent absorption coefficient, “ ⁇ s” represents the equivalent scattering coefficient, and G represents the illegality coefficient.
- the depth at which the coherent light enters the deepest in the optical path shown in the equation 3 is expressed by the following equation 4.
- the depth at which the coherent light enters also increases and decreases in proportion to the increase and decrease of the distance from the illumination position to the detection position.
- the coherent light when the coherent light is detected at one point different from the illumination position, the coherent light always propagates along the optical path expressed by the mathematical formula 3. Therefore, as shown in FIG. 4, for example, when coherent light does not propagate through the fluid included in the imaging target O (optical path A), when coherent light propagates through the fluid (optical path B and optical path C), imaging is performed.
- a case where the coherent light propagates deeper than the fluid in the object O (optical path D) is mentioned. In such a case, naturally, based on the coherent light propagating through the optical path A, optical information about the fluid cannot be obtained.
- an optical signal from a portion other than the fluid in the imaging target O may be detected as noise, which is not preferable.
- the optical path of the coherent light is the optical path B or C in which an optical signal from a portion other than the fluid is less likely to be detected as noise.
- the coherent light propagating through the optical path is spot-illuminated at a plurality of locations on the imaging target O.
- the number of spot illumination locations may not be a configuration in which the light illumination unit 11 spot-lights only one point of the imaging target O, and may be at least two or more.
- the adjacent spot illumination location should just be arrange
- the “predetermined interval” may be such that the optical information obtained by the adjacent spot illumination does not appear as noise with respect to the optical information for acquiring an image between the adjacent spot illumination locations.
- the pattern of a spot illumination location may be, for example, a state where a plurality of spot illumination locations are regularly arranged with respect to the imaging target O, or a state where the spot illumination locations are arranged in spots.
- a well-known method is employable. For example, first, a single spot illumination location is created for the imaging target O. With this spot illumination, the optical path of Equation 3 detects blood flow and blood vessels, calculates speckle contrast locally, and creates a two-dimensional speckle contrast map within the reach of diffused light. Further, the position where the decrease in speckle contrast is minimized is extracted from this map, and the distance r from the spot center to the minimum point is calculated. Two times the distance r is set as an illumination spot interval when actually illuminating.
- the method for creating the pattern of the spot illumination location is not particularly limited. An example of this pattern creation method will be described with reference to FIGS. Examples of the creation method include a method of projecting a pattern using lens imaging (see FIG. 5).
- 5A is a schematic diagram of a pattern creation method
- FIG. 5B is an example of a display / projection pattern to be created
- FIG. 5C is a coherent with respect to the imaging target O in the method shown in FIG.
- An example of the pattern in the case of illuminating light uniformly is shown.
- a method of displaying a pattern to be projected on a transmissive display device such as a light valve, and displaying an illumination spot pattern on the imaging target O using imaging of a projection lens can be considered.
- the light valve is illuminated with coherent light from the back side, and the arrangement relationship of the imaging target O on which the light valve and the projection lens, and the projection lens and the pattern are projected is expressed by the following Equation 5 with respect to the optical axis.
- the imaging relationship shown is maintained.
- S 0 and S 1 indicate the distance from the light valve to the projection lens, the distance from the projection lens to the imaging object O, and f indicates the focal length of the projection lens.
- a transmissive light valve is used.
- a spot pattern can also be created using a reflective light valve. In such a case, coherent light is emitted from the front of the display device. Illuminate.
- FIG. 6A is a schematic diagram of a pattern creation method
- FIG. 6B is an example of a display / projection pattern to be created
- FIG. 6C is a coherent to the imaging target O in the method shown in FIG.
- An example of the pattern in the case of illuminating light uniformly is shown.
- the spatial light modulator is illuminated with coherent light such as a plane wave from the back surface or the front surface.
- coherent light such as a plane wave from the back surface or the front surface.
- a diffraction pattern of the hologram spatially phase- or intensity-modulated by the spatial light modulator is formed in a spot shape on the imaging object O (see the right side of FIG. 6B).
- a hologram pattern output to the spatial light modulator is calculated using Fourier transform or Fresnel transform according to the projection distance. It is preferable to do.
- the hologram pattern is calculated as a complex amplitude, but the spatial light modulator can modulate only one of the phase and the intensity. For this reason, it is preferable to calculate the hologram pattern by which the Fourier transform or Fresnel transform is iteratively calculated while changing various parameters so as to obtain a desired pattern, thereby obtaining a desired pattern.
- FIG. 7A is a schematic diagram of a pattern creation method
- FIG. 7B is an example of a display / projection pattern to be created
- FIG. 7C is a coherent with respect to the imaging target O in the method shown in FIG.
- An example of the pattern in the case of illuminating light uniformly is shown.
- a desired pattern to be projected or a pattern having a period of 2 ⁇ n times is created on the intensity modulation type spatial light modulator, and the distance from the spatial light modulator to the imaging object O is determined. Illuminate coherent light at a distance that satisfies the imaging conditions. Thereby, a spot array-like illumination pattern can be formed (see the right side of FIG. 7B).
- the coherent light emitted from the light illumination unit 11 according to the present technology and propagating through the imaging target O as described above is detected by the light detection unit 12.
- the imaging device 1 includes a light detection unit 12 that detects coherent light emitted from the light illumination unit 11.
- the light detection unit 12 is configured to convert an optical signal based on scattered light and reflected light emitted from the imaging target O by illumination of coherent light into an electrical signal.
- the configuration of the light detection unit 12 is not particularly limited, and a known configuration can be adopted.
- the reflected light detection unit that detects only reflected light emitted from the imaging target O or the imaging target O emits light.
- a configuration including a scattered light detector that detects only the scattered light that is generated can be considered.
- speckle Image Imaging Unit 13 specs appearing on the surface of the imaging target O based on the scattered light obtained from the imaging target O illuminated with the coherent light of each light illumination unit 11. The image is captured. Specifically, in the imaging apparatus 1 according to the present technology, a plurality of speckle images resulting from each spot illumination location are captured based on an electrical signal generated from a detection location corresponding to each spot illumination location. Yes.
- the speckle image capturing unit 13 includes, for example, an imaging optical system that forms an image of scattered light obtained from the imaging target O, and an imaging system that receives light imaged by the imaging optical system.
- the imaging optical system includes an imaging element such as a CCD sensor or a CMOS sensor, and an imaging lens.
- CMOS sensor a global shutter method and a rolling shutter method are known, and the imaging device 1 according to the present technology can employ either method.
- the imaging method performed by the speckle image imaging unit 13 is not particularly limited as long as the effect of the present technology is not impaired, and one or more known imaging methods can be selected and used in any combination. .
- the imaging method using the said image pick-up element can be mentioned.
- the speckle image capturing unit 13 for example, an image in which a pseudo blood vessel in which pseudo blood flows is mapped based on speckle is generated.
- speckle is a random interference / diffraction pattern. Therefore, when light scattering fluid such as blood moves or changes with time, the speckle also changes with time. For this reason, the boundary between the fluid and the other part can be observed.
- the speckle image capturing unit 13 has a configuration in which, for example, leveling is performed using a plurality of speckle images so as to reduce speckle image unevenness in order to clarify a portion where speckles are generated. It may be.
- the speckle image capturing unit 13 may include a filter that blocks external light so that scattered light from the imaging target O can be positively captured.
- the imaging device 1 preferably includes a composite image creation unit 14 that synthesizes a plurality of speckle images created by the speckle image imaging unit 13.
- the method for synthesizing a plurality of speckle images performed by the composite image creation unit 14 is not particularly limited, and for example, image information of each speckle image (for example, the number of pixels, the color tone of pixels, etc.) is matched, There are various methods such as a method of creating a single speckle composite image, or a method of simply superimposing the speckle images.
- the synthesized image created by the synthesized image creating unit 14 needs to be created to such an extent that the state of the imaging target O can be analyzed. For this reason, in the composite image creation unit 14, for example, a method of correcting the brightness value of the speckle composite image so that the brightness distribution in the speckle composite image is uniform based on the brightness value of each speckle image. Etc. may be executed.
- the imaging apparatus 1 is configured to detect the state of the imaging target O based on the speckle image captured by the speckle image imaging unit 13 or the synthesized image created by the synthesized image creating unit 14.
- the analysis part 15 which analyzes can be provided.
- the analysis unit 15 measures the intensity distribution of speckle using a luminance meter or the like.
- speckle contrast which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution, is measured.
- speckles fluctuate with time
- the blood flow velocity can also be analyzed.
- the speckle intensity distribution and the speckle contrast measurement method are not particularly limited as long as the effects of the present technology are not impaired, and one or more known measurement methods are selected and used in any combination. be able to.
- the imaging device 1 may include a speckle image captured by the speckle image imaging unit 13, a composite image generated by the composite image generation unit 14, and an analysis unit, as necessary.
- 15 may further include a storage unit 16 that stores the speckle contrast measured at 15 and the analysis result of the analysis unit 15.
- the storage unit 16 is not essential in the imaging device 1 according to the present technology.
- an external storage device can be connected to store a speckle image or the like.
- the imaging apparatus 1 includes a speckle image captured by the speckle image imaging unit 13, a synthesized image created by the synthesized image creating unit 14, an analysis result by the analyzing unit 15, and the like.
- the display part 17 which displays can be further provided.
- the display unit 17 is not essential in the imaging device 1 according to the present technology, and for example, an external monitor or the like can be used.
- Imaging target O The imaging apparatus 1 according to the present technology can be used for various imaging targets, and for example, can be suitably used for imaging using an imaging target that includes a fluid. Due to the nature of speckles, speckles are unlikely to be generated from the fluid. Therefore, when imaging is performed using the imaging apparatus 1 according to the present technology and includes a fluid, the boundary between the fluid and other portions, the flow velocity of the fluid, and the like can be obtained.
- the imaging object O can be a biological sample, and the fluid can be blood.
- the imaging apparatus 1 according to the present technology is mounted on a surgical microscope, a surgical endoscope, or the like, it is possible to perform a surgery while confirming the position of a blood vessel. Therefore, safer and more accurate surgery can be performed, which can contribute to further development of medical technology.
- the coherent light propagates through the specific optical path in the imaging target O by the spot illumination of the light illumination unit 11, and the coherent light propagates through the optical path. Is detected by the light detection unit 12. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since the light illumination unit 11 illuminates a plurality of locations of the imaging object O and creates a speckle image based on the optical information emitted from each detection location, speckles can be generated in real time. Therefore, information (speed, etc.) regarding the fluid in the deep part can be obtained with higher sensitivity and accuracy than normal uniform illumination.
- Imaging Device According to Second Embodiment>
- a second embodiment of the imaging device according to the present technology will be described with reference to FIGS.
- the imaging device 2 according to the second embodiment is different from the imaging device 1 according to the first embodiment in that an illumination switching unit 21 is provided.
- symbol is attached
- the imaging device 2 includes an illumination switching unit 21 that switches an illumination method of coherent light by the light illumination unit 11. Specifically, as shown in FIG. 8, in the imaging target O, the position of the target to be analyzed using speckle (hereinafter also referred to as “analysis target”), that is, the analysis target from the surface of the imaging target O.
- analysis target the position of the target to be analyzed using speckle
- the illumination method by the light illumination unit 11 is switched from spot illumination to a method of illuminating the surface of the imaging target O in a planar shape (hereinafter also referred to as “uniform illumination”).
- FIG. 9 shows speckle contrast by spot illumination and uniform illumination when the analysis object exists at a depth of 6 mm from the surface of the imaging object O.
- the vertical axis indicates speckle contrast
- the horizontal axis indicates the distance from the illumination position to the detection position.
- the alternate long and short dash line indicates speckle contrast in uniform illumination
- the plot indicates speckle contrast in spot illumination.
- the speckle contrast value by spot illumination is higher than the speckle contrast value by uniform illumination. For this reason, when the distance from the surface of the imaging target O to the analysis target is 6 mm, it can be confirmed that the spot illumination is more suitable for capturing a speckle image.
- FIG. 10 shows speckle contrast by spot illumination and uniform illumination when the analysis object exists at a depth of 2 mm from the surface of the imaging object O
- the vertical axis shows speckle contrast.
- the horizontal axis indicates the distance from the illumination position to the detection position.
- the alternate long and short dash line indicates speckle contrast in uniform illumination
- the plot indicates speckle contrast in spot illumination.
- the speckle contrast value by uniform illumination shows a higher value than the speckle contrast value by spot illumination. For this reason, when the distance from the surface of the imaging object O to the analysis object is 2 mm, it can be confirmed that the uniform illumination is more suitable for imaging the speckle image.
- uniform illumination is more suitable when the depth from the surface of the imaging object O to the analysis object is shallow, and spot illumination is more suitable when the depth is deep. Yes.
- the illumination switching unit 21 when the analysis target is present at a deep position in the imaging target O, the illumination method of the light illumination unit 11 is left as spot illumination, and the analysis target is a shallow position in the imaging target O. If it exists in the above, processing for switching to uniform illumination is performed.
- the switching method by the illumination switching unit 21 is not particularly limited, and a known method can be employed, for example, a method of projecting a light valve such as a liquid crystal.
- the imaging device 2 like the imaging device 1, the coherent light propagates through the specific optical path in the imaging target O by the spot illumination of the light illumination unit 11, and The light detection unit 12 detects the coherent light propagated through the optical path. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since the light illumination unit 11 illuminates a plurality of locations of the imaging object O and creates a speckle image based on the optical information emitted from each detection location, speckles can be generated in real time. Therefore, information (speed, etc.) regarding the fluid in the deep part can be obtained with higher sensitivity and accuracy than normal uniform illumination.
- the illumination switching unit 21 can switch the illumination method according to the position of the fluid in the imaging target O, and obtains information (speed, etc.) on the deep fluid with high sensitivity and accuracy regardless of the position of the fluid. Can be adaptable.
- Imaging Device According to Third Embodiment>
- a third embodiment of the imaging device according to the present technology will be described with reference to FIG.
- the imaging device 3 according to the third embodiment is different from the imaging device 1 according to the first embodiment in that an image processing unit 31 is provided.
- symbol is attached
- Image processing unit In the imaging device according to the present technology, a plurality of speckle images resulting from each spot illumination are captured based on an electrical signal generated from each detection location corresponding to each spot illumination location. Yes. For this reason, depending on the location illuminated by the light illumination unit 11, there is no fluid on the optical path of coherent light, and the light detection unit 12 does not detect optical information, or the speckle image capturing unit 13 performs speckle imaging. The image may not be created. Therefore, the imaging device 3 according to the present technology includes the image processing unit 31 that determines whether or not the light detection unit 12 detects light.
- the detection result by the light detection unit 12 or the image information created based on each detection location by the speckle image imaging unit 13 is input to the image processing unit 31. Based on the above, information on a detected portion where speckle does not occur is selected / extracted. Then, the extracted detection information is output to the composite image creation unit 14 (see FIG. 11).
- the selection method and extraction method of the detection information in the image processing unit 31 are not particularly limited, and a known method can be used.
- the composite image creation unit 14 creates a speckle composite image based on the detection information selected and extracted by the image processing unit 31.
- the image processing unit 31 selects and extracts the composite image creation unit 14. Based on the obtained information, deletion of an image inappropriate for analysis is performed.
- the coherent light propagates through a specific optical path in the imaging target O by the spot illumination of the light illumination unit 11, and
- the light detection unit 12 detects the coherent light propagated through the optical path. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since the light illumination unit 11 illuminates a plurality of locations of the imaging object O and creates a speckle image based on the optical information emitted from each detection location, speckles can be generated in real time.
- the imaging device 3 according to the present technology illustrated in FIG. 11 does not include the illumination switching unit 21 included in the imaging device 2 according to the second embodiment, but the imaging device 3 may perform the illumination switching as necessary.
- the part 21 may be provided.
- Imaging Device According to Fourth Embodiment>
- a fourth embodiment of the imaging device according to the present technology will be described with reference to FIG.
- the imaging device 4 according to the fourth embodiment is different from the imaging device 1 according to the first embodiment in that a distance calculation unit 41 is provided.
- symbol is attached
- the coherent light emitted from the light illumination unit 11 propagates through the optical path represented by the mathematical formula 3 in the imaging target O. Then, the optical information of the imaging target O and / or the fluid contained therein is converted into an electrical signal by detecting the coherent light propagating through the optical path by the light detection unit 12. In other words, based on the optical signal detected by the light detection unit 12, whether or not there is a fluid to be analyzed on the optical path, and based on the information according to Equation 3, the detected location from the illumination location. Distance r can be calculated. Then, the calculated distance r is output to the light illumination unit 11 and / or the light detection unit 12.
- the detection information acquired by the light detection unit 12 is input to the distance calculation unit 41, and the distance calculation unit 41 determines the state of the imaging target O and / or the fluid contained therein based on the detection information.
- the distance r suitable for analyzing can be calculated.
- the distance from the surface of the imaging target O to the fluid can be calculated using Formula 3 and Formula 4.
- the coherent light propagates through a specific optical path in the imaging target O by the spot illumination of the light illumination unit 11, and
- the light detection unit 12 detects the coherent light propagated through the optical path. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since the light illumination unit 11 illuminates a plurality of locations of the imaging object O and creates a speckle image based on the optical information emitted from each detection location, speckles can be generated in real time.
- the distance calculation unit 41 since the distance calculation unit 41 is provided, the illumination position by the light illumination unit 11 and the detection position by the light detection unit 12 that are suitable for analysis of the imaging object O and / or the fluid contained therein are calculated. be able to. For this reason, information (speed etc.) about the fluid of the deep part can be obtained with higher sensitivity and accuracy.
- the imaging device 4 according to the present technology illustrated in FIG. 12 does not include the illumination switching unit 21 included in the imaging device 2 according to the second embodiment and the image processing unit 31 according to the third embodiment.
- the apparatus 4 may include the illumination switching unit 21 and the image processing unit 31 as necessary.
- This technology also provides an imaging method.
- an imaging method according to the present technology will be described with reference to FIGS.
- the imaging method according to the first embodiment includes at least a light illumination step S1, a light detection step S2, and a speckle image imaging step S3, and if necessary, a composite image creation step S4, an analysis step S5, a storage step S6, Display step S7 may be included. Each step will be described below.
- the imaging method includes a step of illuminating coherent light from a light source onto the imaging target O.
- light sources used in the light illumination step S1 include, for example, an argon ion (Ar) laser, a helium-neon (He-Ne) laser, a die (dye) laser, a krypton (Cr) laser, and a distributed feedback type (Distributed).
- Feedback: DFB) or a grating feedback type semiconductor laser can be used.
- the number of wavelengths of the coherent light illuminated in the light illumination step S1 is not particularly limited, and can be appropriately changed according to the type of the imaging object O and / or the fluid contained therein.
- the fluid is a blood cell flowing in a blood vessel, it is preferably red light having a wavelength of coherent light in the range of 600 to 1550 nm and low light absorption.
- spot illumination is performed with coherent light on a plurality of locations of the imaging target O.
- the coherent light is detected at one point different from the illumination position, the most probable optical path reaching the detection position is expressed by Equation 7 below.
- Equation 7 “r” represents the distance from the illumination position to the detection position, “ ⁇ a” represents the equivalent absorption coefficient, “ ⁇ s” represents the equivalent scattering coefficient, and G represents the illegality coefficient. Then, the depth at which the coherent light enters the deepest in the optical path shown in Equation 7 is expressed by Equation 8 below.
- the optical path of the coherent light illuminated on the imaging object O by the light illumination step S1 is expressed by the mathematical formula 7, and the deepest part of the optical path through which the coherent light propagates is the optical path applied to the fluid. .
- the light illumination step S1 as a pattern by a plurality of spot illumination locations, for example, a state in which a plurality of spot illumination locations are regularly arranged with respect to the imaging target O, or a state in which the spots are arranged in spots. Also good.
- a method of creating this pattern a method of projecting a pattern using the imaging of the lens described above (see FIG. 5), a method of projecting a pattern using holography (see FIG. 6), or using the Talbot effect.
- a method of projecting a pattern see FIG. 7) and the like can be mentioned.
- the light detection process S2 is performed after the light illumination process S1. Specifically, an optical signal based on scattered light emitted from the imaging target O is detected by coherent light propagating through the imaging target O, and is converted into an electrical signal.
- the method for converting the optical signal into an electric signal is not particularly limited, and a known method can be used.
- the imaging method according to the present technology includes a speckle image imaging step S3 that images a speckle image based on the scattered light obtained by the light illumination step S1. Specifically, a plurality of speckle images resulting from each spot illumination location are captured based on an electrical signal generated from a detection location corresponding to each spot illumination location.
- the imaging method in the speckle image imaging step S3 is not particularly limited, and one or more known imaging methods can be selected and used in any combination. For example, an imaging method using an imaging device such as a charge coupled device (CCD), a global shutter type CMOS sensor, or a rolling shutter type CMOS sensor can be given.
- CCD charge coupled device
- CMOS global shutter type CMOS sensor
- a rolling shutter type CMOS sensor can be given.
- the imaging method according to the present technology may include a composite image creation step S4 as necessary.
- this composite image creation step S4 for example, a method for creating a single speckle composite image by matching the image information of each speckle image (for example, the number of pixels, the color tone of the pixel, etc.)
- a plurality of speckle images are synthesized by a known method such as a method of superimposing the image images.
- the composite image created in the composite image creation step S4 needs to be created to such an extent that the state of the imaging target O can be analyzed. Therefore, in the composite image creation step S4, for example, a method of correcting the luminance value of the speckle composite image so that the luminance distribution in the speckle composite image is uniform based on the luminance value of each speckle image, etc. May be executed.
- the imaging method according to the present technology may include an analysis process S5 as necessary.
- this analysis step S5 for example, in the speckle image captured in the speckle image capturing step S3 or the composite image created in the composite image creation step S4, the intensity distribution of the speckle is calculated using a luminance meter or the like. taking measurement.
- speckle contrast which is a value obtained by dividing the standard deviation of the intensity distribution by the average of the intensity distribution.
- the imaging method according to the present technology may include a storage step S6 as necessary.
- this storage step S6 the speckle image captured in the speckle image imaging step S3, the composite image created in the composite image creation step S4, the speckle contrast measured in the analysis step S5, and the analysis step The analysis result by S5 is stored.
- the imaging method according to the present technology may include a display process S7 as necessary.
- this display step S7 the speckle image captured in the speckle image capturing step S3, the composite image created in the composite image creation step S4, the analysis result in the analysis step S5, etc. are displayed on, for example, a monitor. .
- the coherent light propagates through a specific optical path in the imaging target O by the spot illumination in the light illumination step S1, and the coherent light propagated through the optical path is detected. It is supposed to be. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since a plurality of locations of the imaging object O are illuminated by the light illumination step S1 and speckle images are created based on optical information emitted from each detection location, speckles are displayed in real time. Therefore, it is possible to obtain information (speed, etc.) on the fluid in the deep part with higher sensitivity and accuracy than normal uniform illumination.
- the imaging method according to the second embodiment includes at least a light illumination step S1, a light detection step S2, and a speckle image imaging step S3, and if necessary, creates a composite image.
- Step S4 analysis step S5, storage step S6, and display step S7 may be included.
- the imaging method according to the second embodiment differs from the imaging method according to the first embodiment in that it includes a depth measurement step S21 and an illumination switching step S22.
- the depth measurement step S21 and the illumination switching step S22 which are different from the imaging method according to the first embodiment, will be described, and common steps will be denoted by the same reference numerals and description thereof will be omitted.
- the imaging method according to the second embodiment includes a depth measurement process S21.
- a distance (depth) from the surface of the imaging object O to an object to be analyzed using speckle (hereinafter also referred to as “analysis object”) is measured.
- the measurement method in the depth measurement step S21 is not particularly limited, and a known method can be adopted.
- the imaging object O is visually observed and the depth is measured, or the optical path of Formula 7 is propagated in advance. And a method of measuring the depth based on the result of detecting the detected coherent light.
- Illumination switching step S22 In the imaging method of the present technology illustrated in FIG. 14, after the depth to be analyzed is measured in the depth measurement step S ⁇ b> 21, the illumination method of coherent light is switched based on the measurement result ( Illumination switching step S22).
- uniform illumination is more suitable when the depth from the surface of the imaging object O to the analysis object is shallow, and spot illumination is more suitable when the depth is deep.
- the illumination switching step S22 when the depth measurement step S21 determines that the depth of the analysis target is equal to or greater than the predetermined depth, in the light illumination step S1, the imaging target O To perform spot lighting.
- the depth measurement step S21 determines that the depth of the analysis target is smaller than a predetermined depth
- uniform illumination is performed on the imaging target O in the light illumination step S1.
- the switching method by illumination switching process S22 is not specifically limited, A well-known method is employable, For example, the method of projecting light valves, such as a liquid crystal, etc. are mentioned.
- coherent light propagates through a specific optical path in the imaging target O by the spot illumination in the light illumination step S1, and the coherent light propagates through the optical path. Is supposed to be detected. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since a plurality of locations of the imaging object O are illuminated by the light illumination step S1 and speckle images are created based on optical information emitted from each detection location, speckles are displayed in real time.
- the illumination switching step S22 can switch the illumination method according to the position of the fluid in the imaging object O, and information (speed, etc.) on the deep fluid with high sensitivity and accuracy regardless of the position of the fluid. And adaptability has been improved.
- the imaging method according to the third embodiment includes at least a light illumination step S1, a light detection step S2, and a speckle image imaging step S3. If necessary, a composite image is created. Step S4, analysis step S5, storage step S6, and display step S7 may be included.
- the imaging method according to the third embodiment is different from the imaging method according to the first embodiment in that it includes an image processing step S31.
- the image processing step S31 which is different from the imaging method according to the first embodiment, will be described, and common steps will be denoted by the same reference numerals and description thereof will be omitted.
- the imaging method according to the present technology illustrated in FIG. 15 in the speckle image imaging step S3, the spec attributed to each spot illumination based on the electrical signal generated from the detection location corresponding to each spot illumination location. Plural images are captured. For this reason, depending on the illumination location by the light illumination step S1, there is no fluid on the optical path of coherent light, and no optical information is detected in the light detection step S2, or speckle image capturing step S3 The image may not be created. Therefore, the imaging method according to the third embodiment includes an image processing step S31 for determining whether or not light detection is performed in the light detection step S2.
- image processing step S31 image information created based on each detection location in the speckle image imaging step S3 or information based on a detection location where no speckle occurs is selected based on the detected optical information.
- the information selection / extraction method in the image processing step S31 is not particularly limited, and a known method can be used.
- a speckle composite image is created in the composite image creation step S4 based on the detection information selected / extracted in the image processing step S31.
- the composite image creation step S4 is not provided, which is not an essential configuration, deletion of an image inappropriate for analysis is performed based on the detection information selected and extracted in the image processing step S31. .
- coherent light propagates through a specific optical path in the imaging target O by the spot illumination in the light illumination step S1, and the coherent light propagates through the optical path. Is supposed to be detected. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since a plurality of locations of the imaging object O are illuminated by the light illumination step S1 and speckle images are created based on optical information emitted from each detection location, speckles are displayed in real time.
- the image processing step S31 since the image processing step S31 is included, the quality of the speckle image can be improved, and information (velocity, etc.) relating to the deep fluid can be obtained with high sensitivity and accuracy.
- the imaging method according to the present technology illustrated in FIG. 15 does not include the depth measurement step S21 and the illumination switching step S22 included in the imaging method according to the second embodiment.
- the depth measurement step S21 and the illumination switching step S22 may be included as necessary.
- the imaging method according to the fourth embodiment includes at least a light illumination step S1, a light detection step S2, and a speckle image imaging step S3.
- Step S4, analysis step S5, storage step S6, and display step S7 may be included.
- the imaging method according to the fourth embodiment differs from the imaging method according to the first embodiment in that it includes a distance calculation step S41.
- the distance calculation step S41 which is different from the imaging method according to the first embodiment, will be described, and the common steps are denoted by the same reference numerals and description thereof will be omitted.
- the illuminated coherent light propagates through the optical path shown in the mathematical expression 7. Then, based on the coherent light propagated through the optical path, the optical characteristics of the imaging object O and / or the fluid contained therein are converted into electrical signals. In other words, based on the information detected by the light detection unit 12, whether or not there is a fluid to be analyzed on the optical path, and consequently, is detected from the illumination location based on the information according to Equation 7. The distance r to the location can be calculated.
- the distance r suitable for analyzing the state of the imaging object O and / or the fluid contained therein is calculated based on the detection result of the light detection step S2. Can do. In other words, it is possible to calculate an appropriate position of the detection location relative to the illumination position of the coherent light and an appropriate illumination position of the coherent light relative to the detection position. Note that, according to the imaging method according to the present technology, the distance from the surface of the imaging target O to the fluid can be calculated using the characteristics of the detection signal and the mathematical expressions 7 and 8.
- the imaging method according to the fourth embodiment includes the storage step S6 and the display step S7, the distance from the illumination position to the detection position calculated by the distance calculation step S41 is stored and displayed. You may make it do.
- the coherent light propagates through the specific optical path in the imaging target O by the spot illumination in the light illumination step S1, and the coherent light propagated through the optical path is detected. It has become. For this reason, even when the fluid contained in the imaging target O exists in a deep place of the imaging target O, the fluid can be appropriately contrasted using speckles, and the state of the fluid can be accurately determined. Can be analyzed. Furthermore, since a plurality of locations of the imaging object O are illuminated by the light illumination step S1 and speckle images are created based on optical information emitted from each detection location, speckles are displayed in real time.
- the imaging method according to the present technology illustrated in FIG. 16 includes a depth measurement step S21 included in the imaging method according to the second embodiment, an illumination switching step S22, and an image processing step S31 included in the imaging method according to the third embodiment.
- the imaging method according to the fourth embodiment may include a depth measurement step S21, an illumination switching step S22, and an image processing step S31 as necessary.
- the imaging apparatus may also have the following configuration.
- a light illumination unit that spot-illuminates coherent light at a plurality of locations to be imaged; and A light detection unit that detects light that is illuminated by the light illumination unit and propagates through the imaging target;
- An imaging unit that captures a speckle image obtained from the scattered light of the imaging target detected by the light detection unit;
- An imaging apparatus comprising: (2) The imaging device according to (1), wherein the light illumination unit spot-illuminates a plurality of locations to be imaged at a predetermined interval.
- the imaging apparatus according to any one of (1) to (3), further including an image processing unit that determines presence or absence of light detection by the light detection unit based on imaging information by the imaging unit. (5) (3) or (4), further comprising a distance calculation unit that calculates a distance between a spot illumination position by the light illumination unit and a detection position of light propagated through the imaging target based on the formula 9. Imaging device. (6) Further, an illumination switching unit that switches the illumination method by the light illumination unit from spot illumination to uniform illumination, and The imaging apparatus according to any one of (1) to (5), comprising: (7) The imaging apparatus according to any one of (1) to (6), further including a composite image creation unit that creates a composite image based on a plurality of pieces of optical information detected by the light detection unit.
- the imaging method according to the present technology can also have the following configuration.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Hematology (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
このような撮像装置等としては、特許文献1に開示されたものが知られている。この特許文献1に開示された撮像装置等は、光学センサが、被検体(擬似生体)に光を照明する、複数の光源モジュール(光照明器)を含む照明系と、該照明系から照明され被検体内を伝播した光を検出する検出系と、を備えている。そして、複数の光源モジュールそれぞれは、非平行の複数の光を被検体の同一位置に照明する。この場合、被検体への装着性を低下させず、かつ高分解能を得ることができるようになっている。
この非特許文献1に開示された技術では、流体を含む撮像対象に対して、レーザ光を一つの点で照明し、その周囲の物体の像の情報から、スペックルによってもたらされる血流情報を得ている。
また、非特許文献1に記載された撮像技術では、撮像対象の一点のみをレーザ光で照明しているため、造影を行おうとした場合、レーザ光を出射する光源や前記レーザ光を検出するための検出系を走査する必要があり、スペックルをリアルタイムで表示することが困難であるとの課題があった。
本技術に係る撮像装置において、前記光照明部は、所定の間隔をおいて撮像対象の複数個所をスポット照明する構成であってもよい。
また、本技術に係る撮像装置において、前記撮像対象内を伝播した光の光路が下記数式1で示されるようになっていてもよい。
また、本技術に係る撮像装置において、前記数式1に基づいて、前記光照明部によるスポット照明位置と前記撮像対象内を伝播した光の検出位置との距離を算出する、距離算出部を更に備えていてもよい。
更に、本技術に係る撮像装置において、更に、前記光照明部による照明方法をスポット照明から一様照明に切り替える、照明切替部と、を備えていてもよい。
また、本技術に係る撮像装置において、更に、前記光検出部により検出された複数の光情報に基づいて合成画像を作成する合成画像作成部を備えていてもよい。
本技術に係る撮像方法において、前記光照明工程では、所定の間隔をおいて撮像対象の複数個所に対してコヒーレント光を出射するようにしてもよい。
また、本技術に係る撮像方法において、前記撮像対象内を伝播した光の光路が下記数式2で示されるようになっていてもよい。
また、本技術に係る撮像方法において、前記数式2に基づいて、前記光照明工程におけるスポット照明位置と前記光検出工程における光検出位置との距離を算出する、距離算出工程を更に含んでいてもよい。
更に、本技術に係る撮像方法において、更に、前記コヒーレント光の照明方法をスポット照明から一様照明に切り替える、照明切替工程と、を含んでいてもよい。
また、本技術に係る撮像方法において、更に、前記光検出工程により検出された複数の光情報に基づいて合成画像を作成する合成画像作成工程を含んでいてもよい。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
1.第一実施形態に係る撮像装置
(1)光照明部
(2)光検出部
(3)スペックル画像撮像部
(4)合成画像作成部
(5)解析部
(6)記憶部
(7)表示部
(8)撮像対象
2.第二実施形態に係る撮像装置
(1)照明切替部
3.第三実施形態に係る撮像装置
(1)画像処理部
4.第四実施形態に係る撮像装置
(1)距離算出部
5.第一実施形態に係る撮像方法
(1)光照明工程
(2)光検出工程
(3)スペックル画像撮像工程
(4)合成画像作成工程
(5)解析工程
(6)記憶工程
(7)表示工程
6.第二実施形態に係る撮像方法
(1)深度測定工程
(2)照明切替工程
7.第三実施形態に係る撮像方法
(1)画像処理工程
8.第四実施形態に係る撮像方法
(1)距離算出工程
図1~7を用いて、本技術に係る撮像装置の第一実施形態について説明する。
図1及び2に示す撮像装置1は、光照明部11と、光検出部12と、スペックル画像撮像部13と、を少なくとも備える。また、当該撮像装置1は、必要に応じて、合成画像作成部14、解析部15、記憶部16、表示部17などを更に備えることも可能である。以下、各部について詳細に説明する。
光照明部11は、撮像対象Oに対してコヒーレント光を照明する。当該コヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。
ここで、撮像対象Oに対してコヒーレント光をスポット照明すると、該コヒーレント光は撮像対象O内を伝播した後、前記光検出部12によって検出される。
この場合、図3に示すように、コヒーレント光は、前記撮像対象O内を略円弧状に伝播する。
すなわち、照明位置と異なる一点でコヒーレント光を検出する場合、検出位置に到達する最も確からしい光路は、下記数式3に示される。
そして、前記数式3に示される光路において、コヒーレント光が最も深く侵入する時の深さは、下記数式4で示される。
但し、照明位置と異なる一点でコヒーレント光を検出する場合、必ず前記数式3にて示す光路をコヒーレント光が伝播する。
このため図4に示すように、例えば、コヒーレント光が撮像対象Oに含まれる流体内を伝播しない場合(光路A)、前記流体内をコヒーレント光が伝播する場合(光路B及び光路C)、撮像対象Oにおいて前記流体よりコヒーレント光が深い場所を伝播する場合(光路D)が挙げられる。
こうような場合、光路Aを伝播するコヒーレント光に基づいては当然に流体に関する光学情報を得られない。また、光路Dを伝播するコヒーレント光に基づいては、撮像対象Oにおける前記流体以外の部分からの光学信号がノイズとして検出されてしまう可能性があるため、好ましくない。
その一方で、コヒーレント光の光路としては、前記流体以外の部分からの光学信号がノイズとして検出される可能性が低い、光路B又はCであることが好ましい。
そして、各スポット照明箇所同士の間隔を算出する方法としては特に限定されず、公知の方法を採用することができる。例えば、先ず、撮像対象Oに対して単一のスポット照明箇所を作成する。このスポット照明により、前記数式3の光路が血流・血管を検出し、局所的にスペックルコントラストを算出して拡散光の届く範囲で二次元のスペックルコントラストマップを作成する。
更に、このマップ内でスペックルコントラストの減少が最も小さくなる位置を抽出し、スポット中心からその極小点までの距離rを算出する。その距離rの2倍を実際に照明する場合の照明スポット間隔とする。
前記作成方法としては、例えば、レンズの結像を用いてパターンを投影する方法が挙げられる(図5参照)。尚、図5中(a)はパターン作成方法の概要図であり、(b)は作成される表示・投影パターンの一例、(c)は(a)に示す方法において撮像対象Oに対してコヒーレント光を一様に照明する場合のパターンの一例を示す。
この方法では、ライトバルブなどの透過型の表示デバイスに、投影するパターンを表示し、投影レンズの結像を用いて、撮像対象Oに照明スポットパターンを表示する方法が考えられる。
このとき、ライトバルブは裏面からコヒーレント光により照明されており、前記ライトバルブと前記投影レンズ、投影レンズとパターンが投影される撮像対象Oの配置関係としては、光軸に対して下記数式5に示される結像関係が保たれるようになっている。
尚、図5に示す方法では、透過型のライトバルブを用いているが、反射型のライトバルブを用いてスポットパターンを作成することもでき、かかる場合には、表示デバイスの正面からコヒーレント光を照明する。
具体的には、図6中(a)に示されるように、空間光変調器に平面波などのコヒーレント光を裏面または正面から照明する。これにより、空間光変調器で空間的に位相または強度変調されたホログラムの回折パターンが撮像対象O上でスポット状に形成される(図6中(b)の右側参照)。
この場合、所望の強度を備えるスポットパターンが撮像対象O上に形成されるようにするため、投影距離に応じてフーリエ変換あるいはフレネル変換を用いて、空間光変調器に出力されるホログラムパターンを算出することが好ましい。
ここで一般に、ホログラムパターンは複素振幅として計算上は求まるが、空間光変調器は位相あるいは強度のどちらか一方しか変調できない。このため、前記フーリエ変換あるいはフレネル変換を、所望のパターンが得られるように各種パラメーターを変えながら逐次反復計算し、所望のパターンが得られるホログラムパターンを算出することが好ましい。
本技術に係る撮像装置1は、前記光照明部11から発せられるコヒーレント光を検出する光検出部12を備える。
具体的には、光検出部12は、コヒーレント光の照明によって撮像対象Oから発せられた散乱光や反射光に基づいた光学信号を電気信号に変換する構成をなしている。この光検出部12の構成態様としては特に限定されず、公知の構成を採用することができ、例えば、撮像対象Oから発せられる反射光のみを検出する反射光検出部や、撮像対象Oから発せられる散乱光のみを検出する散乱光検出器を備える構成などが考えられる。
スペックル画像撮像部13では、各光照明部11のコヒーレント光が照明された前記撮像対象Oから得られる散乱光に基づいて、前記撮像対象Oの表面に現れるスペックルの撮像が行われる。
具体的には、本技術に係る撮像装置1では、各スポット照明箇所に対応する検出箇所から生じる電気信号に基づいて、各スポット照明箇所に起因したスペックル画像が複数撮像されるようになっている。
尚、前記スペックル画像撮像部13では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
また、前記スペックル画像撮像部13では、前記撮像対象Oからの散乱光を積極的に取り込むことができるよう、外部の光を遮断するフィルタを備えていてもよい。
本技術に係る撮像装置1は、前記スペックル画像撮像部13により作成された複数のスペックル画像を合成する合成画像作成部14を備えていることが好ましい。
当該合成画像作成部14が行う、複数のスペックル画像を合成する方法としては特に限定されず、例えば、各スペックル画像の画像情報(例えば、ピクセルの数やピクセルの色調など)を合致させ、単一のスペックル合成画像を作成する方法や、単に、各スペックル画像同士を重畳させる方法など多種多様に考えられる。
尚、合成画像作成部14により作成される合成画像は、撮像対象Oの状態を解析可能な程度に作成されている必要がある。このため、前記合成画像作成部14では、例えば、各スペックル画像の輝度値に基づいて、スペックル合成画像における輝度分布が一様になるように、スペックル合成画像の輝度値を補正する方法等を実行するようにしてもよい。
本技術に係る撮像装置1は、前記スペックル画像撮像部13によって撮像されたスペックル画像あるいは前記合成画像作成部14によって作成された合成画像に基づいて、撮像対象Oの状態を解析する解析部15を備えることができる。
この解析部15では、例えば、前記スペックル画像撮像部13により撮像されたスペックル画像において、輝度計等を用いてスペックルの強度分布を測定する。
この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
本技術に係る撮像装置1は、必要に応じて、前記スペックル画像撮像部13によって撮像されたスペックル画像、前記合成画像作成部14にて作成された合成画像、解析部15で計測されたスペックルコントラスト、前記解析部15による解析結果などを記憶する記憶部16を更に備えることができる。
この記憶部16は、本技術に係る撮像装置1においては必須ではなく、例えば、外部の記憶装置を接続して、スペックル画像等を記憶することも可能である。
本技術に係る撮像装置1は、スペックル画像撮像部13によって撮像されたスペックル画像、前記合成画像作成部14にて作成された合成画像、前記解析部15による解析結果などを表示する表示部17を更に備えることができる。この表示部17は、本技術に係る撮像装置1においては必須ではなく、例えば、外部のモニター等を用いることも可能である。
本技術に係る撮像装置1は、様々なものを撮像対象とすることができるが、例えば、流体を含むものを撮像対象とするイメージングに、好適に用いることができる。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本技術に係る撮像装置1を用いて流体を含むものをイメージングとすると、流体とそれ以外の部分の境界や流体の流速等を、求めることができる。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、前記光照明部11により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
次に、図8~10を用いて、本技術に係る撮像装置の第二実施形態について説明する。
この第二実施形態に係る撮像装置2は、照明切替部21を備えている点が第一実施形態に係る撮像装置1とは異なる。一方で、その他の構成については、第一実施形態に係る撮像装置1と同一であるため、同一の符号を付してそれらの説明を省略する。
本技術に係る撮像装置2は、前記光照明部11によるコヒーレント光の照明方法を切り替える照明切替部21を備える。
具体的には、図8に示すように、撮像対象Oにおいて、スペックルを用いて解析が行われる対象(以下、「解析対象」ともいう)の位置、すなわち、撮像対象Oの表面から解析対象までの深さに応じて、前記光照明部11による照明方法をスポット照明から、撮像対象Oの表面を面状に照明する方法(以下、「一様照明」ともいう)に切り替える。
この図9に示されるように、一様照明によるスペックルコントラストの数値に比べ、スポット照明によるスペックルコントラストの数値の方が高い値を示している。
このため、撮像対象Oの表面から解析対象までの距離が6mmである場合には、スポット照明の方がスペックル画像の撮像には適していることが確認できる。
この図10に示されるように、スポット照明によるスペックルコントラストの数値に比べ、一様照明によるスペックルコントラストの数値の方が高い値を示している。
このため、撮像対象Oの表面から解析対象までの距離が2mmである場合には、一様照明の方がスペックル画像の撮像には適していることが確認できる。
このため、前記照明切替部21では、撮像対象Oにおいて解析対象が深い位置に存在する場合には、前記光照明部11の照明方法をスポット照明のままとし、撮像対象Oにおいて解析対象が浅い位置に存在する場合には、一様照明に切り替える処理を行う。
尚、前記照明切替部21による切り替え方法は特に限定されず、公知の方法を採用することができ、例えば、液晶などライトバルブを投影する方法などが挙げられる。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、前記光照明部11により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
次に、図11を用いて、本技術に係る撮像装置の第三実施形態について説明する。
この第三実施形態に係る撮像装置3は、画像処理部31を備えている点が第一実施形態に係る撮像装置1とは異なる。一方で、その他の構成については、第一実施形態に係る撮像装置1と同一であるため、同一の符号を付してそれらの説明を省略する。
本技術に係る撮像装置では、各スポット照明箇所に対応する各検出箇所から生じる電気信号に基づいて、各スポット照明に起因したスペックル画像が複数撮像されるようになっている。
このため、光照明部11による照明箇所によっては、コヒーレント光の前記光路上に流体が存在せず、前記光検出部12が光学情報を検出しない、或いは、前記スペックル画像撮像部13によりスペックル画像が作成されない可能性もある。
従って、本技術に係る撮像装置3では、前記光検出部12による光検出の有無を判断する画像処理部31を備える。
そして、抽出された検出情報を前記合成画像作成部14に出力する(図11参照)。
ここで、この画像処理部31における前記検出情報の選択方法・抽出方法は特に限定されず、公知の方法を用いることができる。
更には、前記光照明部11により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
更に言えば、前記画像処理部31を備えているため、スペックル画像の質を向上させることができ、やはり高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
次に、図12を用いて、本技術に係る撮像装置の第四実施形態について説明する。
この第四実施形態に係る撮像装置4は、距離算出部41を備えている点が第一実施形態に係る撮像装置1とは異なる。一方で、その他の構成については、第一実施形態に係る撮像装置1と同一であるため、同一の符号を付してそれらの説明を省略する。
前述の如く、前記光照明部11から出射されるコヒーレント光は、撮像対象Oにおいて、前記数式3に示す光路を伝播する。そして、当該光路を伝播したコヒーレント光が前記光検出部12により検出されることで、撮像対象O及び/又はこれに含まれる流体の光学情報が電気信号に変換される。
換言すれば、前記光検出部12により検出された光学信号により、前記光路上に解析対象である流体が存在するか否か、ひいては、前記数式3による情報に基づいて、前記照明箇所から検出箇所までの距離rを算出することができる。
そして、算出された距離rは、前記光照明部11及び/又は光検出部12に出力される。
換言すると、コヒーレント光の照明位置に対する検出箇所の適切な位置や、検出位置に対するコヒーレント光の適切な照明位置を算出することができる。
尚、本技術に係る撮像装置4によれば、前記数式3及び数式4を用いて、撮像対象Oの表面から流体までの距離を算出することもできる。
更には、前記光照明部11により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
また、前記距離算出部41を備えているため、撮像対象O及び/又はこれに含まれる流体の解析に適した、前記光照明部11による照明位置、前記光検出部12による検出位置を算出することができる。このため、より高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
第一実施形態に係る撮像方法は、光照明工程S1、光検出工程S2、スペックル画像撮像工程S3、を少なくとも含み、必要に応じて、合成画像作成工程S4、解析工程S5、記憶工程S6、表示工程S7を含んでいてもよい。各工程について、以下に説明する。
第一実施形態に係る撮像方法は、光源から前記撮像対象Oに対してコヒーレント光を照明する工程を含む。
この光照明工程S1にて用いる光源の例としては、例えば、アルゴンイオン(Ar)レーザ、ヘリウム-ネオン(He-Ne)レーザ、ダイ(dye)レーザ、クリプトン(Cr)レーザ、分布帰還型(Distributed Feedback : DFB)やグレーティングフィードバック型の半導体レーザ等を用いることができる。
ここで、照明位置と異なる一点でコヒーレント光を検出する場合、検出位置に到達する最も確からしい光路は、下記数式7で示される。
そして、前記数式7に示される光路において、コヒーレント光が最も深く侵入する時の深さは、下記数式8で示される。
従って、当該光照明工程S1により撮像対象Oに照明されるコヒーレント光の光路は、前記数式7に示され、且つ、コヒーレント光が伝播する光路の最深部が前記流体にかかる光路であることが好ましい。
このパターンを作成する方法としては、前述のレンズの結像を用いてパターンを投影する方法(図5参照)、ホログラフィを用いてパターンを投影する方法(図6参照)や、Talbot効果を用いてパターンを投影する方法(図7参照)などが挙げられる。
本技術に係る撮像方法では、前記光照明工程S1が行われた後、光検出工程S2が行われる。
具体的には、撮像対象O内を伝播したコヒーレント光によって当該撮像対象Oから発せられた散乱光に基づいた光学信号を検出し、それを電気信号に変換する。
尚、前記光学信号を電気信号に変換する方法は特に限定されず、公知の方法を用いることができる。
本技術に係る撮像方法では、前記光照明工程S1により得られた散乱光に基づいてスペックル画像を撮像するスペックル画像撮像工程S3を含む。
具体的には、各スポット照明箇所に対応する検出箇所から生じる電気信号に基づいて、各スポット照明箇所に起因したスペックル画像を複数撮像する。
このスペックル画像撮像工程S3における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)や、グローバルシャッタ方式のCMOSセンサや、ローリングシャッタ方式のCMOSセンサ等の撮像素子を用いた撮像方法を挙げることができる。
本技術に係る撮像方法は、必要に応じて、合成画像作成工程S4を含んでいてもよい。
この合成画像作成工程S4では、例えば、各スペックル画像の画像情報(例えば、ピクセルの数やピクセルの色調など)を合致させ、単一のスペックル合成画像を作成する方法や、単に、各スペックル画像同士を重畳させる方法など、公知の方法により複数のスペックル画像の合成が行われる。
尚、合成画像作成工程S4により作成される合成画像は、撮像対象Oの状態を解析可能な程度に作成されている必要がある。このため、合成画像作成工程S4では、例えば、各スペックル画像の輝度値に基づいて、スペックル合成画像における輝度分布が一様になるように、スペックル合成画像の輝度値を補正する方法等を実行するようにしてもよい。
本技術に係る撮像方法は、必要に応じて、解析工程S5を含んでいてもよい。
この解析工程S5では、例えば、前記スペックル画像撮像工程S3により撮像されたスペックル画像や、合成画像作成工程S4により作成された合成画像において、輝度計等を用いて、スペックルの強度分布を測定する。この測定結果を用いて、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを測定する。
このようにスペックルコントラストを測定することにより、撮像対象Oを光散乱流体である血管とした場合、スペックルコントラストの変化を利用することで、血管造影を行うことができる。更には、スペックルは時間的に変動するため、血流の速度を解析することもできる。
尚、斯かる場合、スペックルの強度分布やスペックルコントラストの測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の測定方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
本技術に係る撮像方法は、必要に応じて、記憶工程S6を含んでいてもよい。
この記憶工程S6では、前記スペックル画像撮像工程S3にて撮像されたスペックル画像、前記合成画像作成工程S4により作成された合成画像、前記解析工程S5により測定されたスペックルコントラストや前記解析工程S5による解析結果等を記憶する。
本技術に係る撮像方法は、必要に応じて、表示工程S7を含んでいてもよい。この表示工程S7では、前記スペックル画像撮像工程S3にて撮像されたスペックル画像、前記合成画像作成工程S4により作成された合成画像、前記解析工程S5による解析結果等を例えばモニター等に表示する。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、光照明工程S1により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
次に、図14を用いて、本技術に係る撮像方法の第二実施形態について説明する。
第二実施形態に係る撮像方法は、第一実施形態に係る撮像方法と同様、光照明工程S1、光検出工程S2、スペックル画像撮像工程S3、を少なくとも含み、必要に応じて、合成画像作成工程S4、解析工程S5、記憶工程S6、表示工程S7を含んでいてもよい。
一方、第二実施形態に係る撮像方法は、深度測定工程S21、照明切替工程S22を含む点が第一実施形態に係る撮像方法と異なる。
以下では、第一実施形態に係る撮像方法と異なる、深度測定工程S21、照明切替工程S22について説明し、共通する工程に関しては同一の符号を付してその説明を省略する。
第二実施形態に係る撮像方法は、深度測定工程S21を含む。この深度測定工程S21では、撮像対象Oの表面からスペックルを用いて解析が行われる対象(以下、「解析対象」ともいう)までの距離(深度)を測定する。
この深度測定工程S21における測定方法は特に限定されず、公知の方法を採用することができ、例えば、撮像対象Oを目視し、前記深度を測定する方法や、予め、前記数式7の光路を伝播したコヒーレント光を検出した結果に基づいて前記深度を測定する方法などが挙げられる。
図14に示す本技術の撮像方法では、前記深度測定工程S21により解析対象の深度が測定された後、その測定結果に基づいて、コヒーレント光の照明方法の切り替えを行う(照明切替工程S22)。
ここで前述の如く、撮像対象Oの表面から解析対象までの深度が浅い場合には一様照明の方が適しており、深い場合にはスポット照明の方が適している。
このため、照明切替工程S22では、深度測定工程S21により前記解析対象の深度が所定の深度と同等或いは所定の深度よりも大きいと測定された場合には、前記光照明工程S1において、撮像対象Oに対してスポット照明を実行させるようにする。
一方、深度測定工程S21により前記解析対象の深度が所定の深度よりも小さいと測定された場合には、前記光照明工程S1において、撮像対象Oに対して一様照明を実行させるようにする。
尚、照明切替工程S22による切り替え方法は特に限定されず、公知の方法を採用することができ、例えば、液晶などライトバルブを投影する方法などが挙げられる。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、光照明工程S1により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
更に言えば、前記照明切替工程S22により、撮像対象Oにおける流体の位置に応じて照明方法を切り替えることができ、流体の位置に関係なく、高い感度・精度で深部の流体に関する情報(速度等)を得ることができ、適応性が向上されている。
次に、図15を用いて、本技術に係る撮像方法の第三実施形態について説明する。第三実施形態に係る撮像方法は、第一実施形態に係る撮像方法と同様、光照明工程S1、光検出工程S2、スペックル画像撮像工程S3、を少なくとも含み、必要に応じて、合成画像作成工程S4、解析工程S5、記憶工程S6、表示工程S7を含んでいてもよい。
一方、第三実施形態に係る撮像方法は、画像処理工程S31を含む点が第一実施形態に係る撮像方法と異なる。
以下では、第一実施形態に係る撮像方法と異なる、画像処理工程S31について説明し、共通する工程に関しては同一の符号を付してその説明を省略する。
図15に示す本技術に係る撮像方法では、スペックル画像撮像工程S3において、各スポット照明箇所に対応する検出箇所から生じる電気信号に基づいて、各スポット照明に起因したスペックル画像が複数撮像されるようになっている。
このため、光照明工程S1による照明箇所によっては、コヒーレント光の前記光路上に流体が存在せず、前記光検出工程S2において光学情報が検出されない、或いは、前記スペックル画像撮像工程S3によりスペックル画像が作成されない可能性もある。
従って、第三実施形態に係る撮像方法では、前記光検出工程S2による光検出の有無を判断する画像処理工程S31を備える。
尚、この画像処理工程S31における情報の選択方法・抽出方法は特に限定されず、公知の方法を用いることができる。
あるいは、必須の構成ではない、前記合成画像作成工程S4を備えていない場合には、画像処理工程S31により選択・抽出された検出情報に基づいて、解析に不適切な画像の削除等が行われる。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、光照明工程S1により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
更に言えば、前記画像処理工程S31を含んでいるため、スペックル画像の質を向上させることができ、やはり高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
次に、図16を用いて、本技術に係る撮像方法の第四実施形態について説明する。
第四実施形態に係る撮像方法は、第一実施形態に係る撮像方法と同様、光照明工程S1、光検出工程S2、スペックル画像撮像工程S3、を少なくとも含み、必要に応じて、合成画像作成工程S4、解析工程S5、記憶工程S6、表示工程S7を含んでいてもよい。
一方、第四実施形態に係る撮像方法は、距離算出工程S41を含む点が第一実施形態に係る撮像方法と異なる。
以下では、第一実施形態に係る撮像方法と異なる、距離算出工程S41について説明し、共通する工程に関しては同一の符号を付してその説明を省略する。
本技術に係る撮像方法では、照明されたコヒーレント光は、前記数式7に示す光路を伝播する。そして、当該光路を伝播したコヒーレント光に基づいて、撮像対象O及び/又はこれに含まれる流体の光学的特性が電気信号に変換される。
換言すれば、前記光検出部12により検出された情報に基づいて、前記光路上に解析対象である流体が存在するか否か、ひいては、前記数式7による情報に基づいて、前記照明箇所から検出箇所までの距離rを算出することができる。
換言すると、コヒーレント光の照明位置に対する検出箇所の適切な位置や、検出位置に対するコヒーレント光の適切な照明位置を算出することができる。
尚、本技術に係る撮像方法によれば、検出信号の特徴や前記数式7及び数式8を用いて、撮像対象Oの表面から流体までの距離を算出することもできる。
このため、前記撮像対象Oに含まれる流体が当該撮像対象Oの深いところに存在する場合であっても、スペックルを用いて流体を適切に造影することができ、当該流体の状態を的確に解析することができる。
更には、光照明工程S1により撮像対象Oの複数個所を照明し、且つ、各検出箇所から発せられる光学情報に基づいてスペックル画像を作成するようになっているため、スペックルをリアルタイムで表示することができ、もって通常の一様照明よりも高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
また、距離算出工程S41を含むため、撮像対象O及び/又はこれに含まれる流体の解析に適した、前記光照明工程S1による照明位置、前記光検出工程S2による検出位置を算出することができる。このため、より高い感度・精度で深部の流体に関する情報(速度等)を得ることができる。
(1)
撮像対象の複数箇所にコヒーレント光をスポット照明する光照明部と、
前記光照明部により照明され、前記撮像対象内を伝播した光を検出する光検出部と、
前記光検出部により検出された前記撮像対象の散乱光から得られるスペックル画像を撮像する撮像部と、
を備える、撮像装置。
(2)
前記光照明部は、所定の間隔をおいて撮像対象の複数個所をスポット照明する、(1)記載の撮像装置。
(3)
前記撮像対象内を伝播した光の光路が下記数式9で示される、(1)又は(2)に記載の撮像装置。
前記撮像部による撮像情報に基づいて、前記光検出部による光検出の有無を判断する画像処理部を更に備える、(1)から(3)のいずれか一つに記載の撮像装置。
(5)
前記数式9に基づいて、前記光照明部によるスポット照明位置と前記撮像対象内を伝播した光の検出位置との距離を算出する、距離算出部を更に備える、(3)又は(4)に記載の撮像装置。
(6)
更に、前記光照明部による照明方法をスポット照明から一様照明に切り替える、照明切替部と、
を備える、(1)から(5)のいずれか一つに記載の撮像装置。
(7)
更に、前記光検出部により検出された複数の光情報に基づいて合成画像を作成する合成画像作成部を備える、(1)から(6)のいずれか一つに記載の撮像装置。
撮像対象の複数箇所にコヒーレント光をスポット照明する光照明工程と、
スポット照明された撮像対象内を伝播した光を検出する光検出工程と、
前記光検出工程により検出された前記撮像対象の散乱光から得られるスペックル画像を撮像する撮像工程と、
を含む、撮像方法。
(9)
前記光照明工程では、所定の間隔をおいて撮像対象の複数個所に対してコヒーレント光を出射する、(8)記載の撮像方法。
(10)
前記撮像対象内を伝播した光の光路が下記数式10で示される、(8)又は(9)に記載の撮像方法。
前記撮像工程により得られた撮像情報に基づいて、前記光検出工程による光検出の有無を判断する画像処理工程を更に含む、(8)から(10)のいずれか一つに記載の撮像方法。
(12)
前記数式10に基づいて、前記光照明工程におけるスポット照明位置と前記光検出工程における光検出位置との距離を算出する、距離算出工程を更に含む、(10)又は(11)に記載の撮像方法。
(13)
更に、前記コヒーレント光の照明方法をスポット照明から一様照明に切り替える、照明切替工程と、
を含む、(8)から(12)のいずれか一つに記載の撮像方法。
(14)
更に、前記光検出工程により検出された複数の光情報に基づいて合成画像を作成する合成画像作成工程を含む、(8)から(13)のいずれか一つに記載の撮像方法。
11 光照明部
12 光検出部
13 スペックル画像撮像部
14 合成画像作成部
15 解析部
16 記憶部
17 表示部
O 撮像対象
Claims (14)
- 撮像対象の複数箇所にコヒーレント光をスポット照明する光照明部と、
前記光照明部により照明され、前記撮像対象内を伝播した光を検出する光検出部と、
前記光検出部により検出された前記撮像対象の散乱光から得られるスペックル画像を撮像する撮像部と、
を備える、撮像装置。 - 前記光照明部は、所定の間隔をおいて撮像対象の複数個所をスポット照明する、請求項1記載の撮像装置。
- 前記撮像部による撮像情報に基づいて、前記光検出部による光検出の有無を判断する画像処理部を更に備える、請求項3記載の撮像装置。
- 前記数式1に基づいて、前記光照明部によるスポット照明位置と前記撮像対象内を伝播した光の検出位置との距離を算出する、距離算出部を更に備える、請求項4記載の撮像装置。
- 更に、前記光照明部による照明方法をスポット照明から一様照明に切り替える、照明切替部と、
を備える、請求項5記載の撮像装置。 - 更に、前記光検出部により検出された複数の光情報に基づいて合成画像を作成する合成画像作成部を備える、請求項6記載の撮像装置。
- 撮像対象の複数箇所にコヒーレント光をスポット照明する光照明工程と、
スポット照明された撮像対象内を伝播した光を検出する光検出工程と、
前記光検出工程により検出された前記撮像対象の散乱光から得られるスペックル画像を撮像する撮像工程と、
を含む、撮像方法。 - 前記光照明工程では、所定の間隔をおいて撮像対象の複数個所に対してコヒーレント光を出射する、請求項8記載の撮像方法。
- 前記撮像工程により得られた撮像情報に基づいて、前記光検出工程による光検出の有無を判断する画像処理工程を更に含む、請求項10記載の撮像方法。
- 前記数式2に基づいて、前記光照明工程におけるスポット照明位置と前記光検出工程における光検出位置との距離を算出する、距離算出工程を更に含む、請求項11記載の撮像方法。
- 更に、前記コヒーレント光の照明方法をスポット照明から一様照明に切り替える、照明切替工程と、
を含む、請求項12記載の撮像方法。 - 更に、前記光検出工程により検出された複数の光情報に基づいて合成画像を作成する合成画像作成工程を含む、請求項13記載の撮像方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17773534.7A EP3438646A1 (en) | 2016-03-28 | 2017-01-20 | Imaging device, imaging method |
JP2018508432A JPWO2017168984A1 (ja) | 2016-03-28 | 2017-01-20 | 撮像装置、撮像方法 |
CN201780018745.2A CN108780035A (zh) | 2016-03-28 | 2017-01-20 | 成像装置以及成像方法 |
US16/086,135 US20190293554A1 (en) | 2016-03-28 | 2017-01-20 | Imaging apparatus and imaging method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016063744 | 2016-03-28 | ||
JP2016-063744 | 2016-03-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017168984A1 true WO2017168984A1 (ja) | 2017-10-05 |
Family
ID=59964113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/001858 WO2017168984A1 (ja) | 2016-03-28 | 2017-01-20 | 撮像装置、撮像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190293554A1 (ja) |
EP (1) | EP3438646A1 (ja) |
JP (1) | JPWO2017168984A1 (ja) |
CN (1) | CN108780035A (ja) |
WO (1) | WO2017168984A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108919573A (zh) * | 2018-07-13 | 2018-11-30 | 京东方科技集团股份有限公司 | 显示面板、显示装置、成像方法和深度距离的检测方法 |
US11304692B2 (en) * | 2018-07-16 | 2022-04-19 | Cilag Gmbh International | Singular EMR source emitter assembly |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11085753B2 (en) * | 2017-02-15 | 2021-08-10 | ContinUse Biometrics Ltd. | System and method for use in remote sensing |
JP7435450B2 (ja) * | 2018-12-21 | 2024-02-21 | ソニーグループ株式会社 | 粒子確認方法、粒子捕捉用チップ、及び粒子分析システム |
US12002571B2 (en) | 2019-12-30 | 2024-06-04 | Cilag Gmbh International | Dynamic surgical visualization systems |
US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
US12053223B2 (en) | 2019-12-30 | 2024-08-06 | Cilag Gmbh International | Adaptive surgical system control according to surgical smoke particulate characteristics |
US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
US11744667B2 (en) | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
NL2026505B1 (en) * | 2020-09-18 | 2022-05-23 | Limis Dev B V | Motion-compensated laser speckle contrast imaging |
CN113705408B (zh) * | 2021-08-21 | 2022-08-05 | 深圳市迪威泰实业有限公司 | 一种人脸活体检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005515818A (ja) * | 2002-02-01 | 2005-06-02 | スティヒティング・フォール・デ・テヘニッセ・ヴェーテンサッペン | 複数のビームを用いるレーザドップラー灌流イメージング |
JP2010503475A (ja) * | 2006-09-12 | 2010-02-04 | ザ ジェネラル ホスピタル コーポレイション | 解剖学的構造における深度の評価を提供する装置、プローブ、および方法 |
WO2014116483A1 (en) * | 2013-01-23 | 2014-07-31 | Nanyang Technological University | Deep tissue flowmetry using diffuse speckle contrast analysis |
JP2015527096A (ja) * | 2012-06-13 | 2015-09-17 | コーニンクレッカ フィリップス エヌ ヴェ | 表面波の伝播速度の決定 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5796056B2 (ja) * | 2013-06-26 | 2015-10-21 | 韓国科学技術院Korea Advanced Institute Of Science And Technology | 光の散乱を用いた近接場制御装置及び方法 |
JP6394367B2 (ja) * | 2014-05-30 | 2018-09-26 | ソニー株式会社 | 流体分析装置、流体分析方法、プログラム及び流体分析システム |
JP2016150081A (ja) * | 2015-02-17 | 2016-08-22 | ソニー株式会社 | 光学ユニット、測定システムおよび測定方法 |
JP2016151524A (ja) * | 2015-02-18 | 2016-08-22 | ソニー株式会社 | スペックルイメージング装置、スペックルイメージングシステム及びスペックルイメージング方法 |
JP6733663B2 (ja) * | 2015-03-31 | 2020-08-05 | ソニー株式会社 | 照明光伝送装置及び照明光伝送方法 |
CN108601505B (zh) * | 2016-02-18 | 2021-01-29 | 索尼公司 | 成像设备、成像方法和成像系统 |
-
2017
- 2017-01-20 CN CN201780018745.2A patent/CN108780035A/zh not_active Withdrawn
- 2017-01-20 JP JP2018508432A patent/JPWO2017168984A1/ja not_active Abandoned
- 2017-01-20 WO PCT/JP2017/001858 patent/WO2017168984A1/ja active Application Filing
- 2017-01-20 EP EP17773534.7A patent/EP3438646A1/en not_active Withdrawn
- 2017-01-20 US US16/086,135 patent/US20190293554A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005515818A (ja) * | 2002-02-01 | 2005-06-02 | スティヒティング・フォール・デ・テヘニッセ・ヴェーテンサッペン | 複数のビームを用いるレーザドップラー灌流イメージング |
JP2010503475A (ja) * | 2006-09-12 | 2010-02-04 | ザ ジェネラル ホスピタル コーポレイション | 解剖学的構造における深度の評価を提供する装置、プローブ、および方法 |
JP2015527096A (ja) * | 2012-06-13 | 2015-09-17 | コーニンクレッカ フィリップス エヌ ヴェ | 表面波の伝播速度の決定 |
WO2014116483A1 (en) * | 2013-01-23 | 2014-07-31 | Nanyang Technological University | Deep tissue flowmetry using diffuse speckle contrast analysis |
Non-Patent Citations (1)
Title |
---|
See also references of EP3438646A4 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108919573A (zh) * | 2018-07-13 | 2018-11-30 | 京东方科技集团股份有限公司 | 显示面板、显示装置、成像方法和深度距离的检测方法 |
CN108919573B (zh) * | 2018-07-13 | 2019-12-20 | 京东方科技集团股份有限公司 | 显示面板、显示装置、成像方法和深度距离的检测方法 |
US11304692B2 (en) * | 2018-07-16 | 2022-04-19 | Cilag Gmbh International | Singular EMR source emitter assembly |
Also Published As
Publication number | Publication date |
---|---|
CN108780035A (zh) | 2018-11-09 |
EP3438646A4 (en) | 2019-02-06 |
EP3438646A1 (en) | 2019-02-06 |
JPWO2017168984A1 (ja) | 2019-01-31 |
US20190293554A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017168984A1 (ja) | 撮像装置、撮像方法 | |
US10724960B2 (en) | Inspection system and inspection method | |
US10739272B2 (en) | Inspection system and inspection method | |
US9568304B2 (en) | Image sequence and evaluation method and system for structured illumination microscopy | |
JP6798511B2 (ja) | 撮像装置及び撮像システム | |
WO2017163542A1 (ja) | 画像解析装置、画像解析方法 | |
US11025812B2 (en) | Imaging apparatus, imaging method, and imaging system | |
JP5753277B2 (ja) | 光干渉断層撮影のための装置及び方法 | |
JP2016006397A (ja) | 動的光散乱測定装置及び動的光散乱測定方法 | |
JP6227449B2 (ja) | 光断層観察装置 | |
JP2009098215A (ja) | 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。 | |
TWI597042B (zh) | Endoscopic with distance measuring function and distance measuring method | |
JP2016024305A (ja) | 流路撮像装置及び流路撮像方法 | |
WO2017159387A1 (ja) | 観察装置および観察方法 | |
Ek et al. | High-speed videography of transparent media using illumination-based multiplexed schlieren | |
WO2019098005A1 (ja) | 光測定装置及び光測定方法 | |
WO2017134907A1 (ja) | 撮像システム、撮像装置、撮像方法 | |
US20170237885A1 (en) | Method and Apparatus for High Contrast Imaging | |
TW201918703A (zh) | 微分相位對比顯微系統與方法 | |
JP2014092525A (ja) | 動的光散乱測定装置および動的光散乱測定方法 | |
JP2015040825A (ja) | 計測装置 | |
KR20050057223A (ko) | 무영 3d/2d 측정장치 및 방법 | |
JP2015200835A (ja) | 撮像装置および位相推定方法 | |
US9080861B2 (en) | Observation device, and observation method | |
JP2016193066A (ja) | スペックルイメージング装置、スペックルイメージング方法及びスペックルイメージングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2018508432 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2017773534 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2017773534 Country of ref document: EP Effective date: 20181029 |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17773534 Country of ref document: EP Kind code of ref document: A1 |