WO2018025457A1 - 制御装置、制御システム、および制御方法 - Google Patents
制御装置、制御システム、および制御方法 Download PDFInfo
- Publication number
- WO2018025457A1 WO2018025457A1 PCT/JP2017/016205 JP2017016205W WO2018025457A1 WO 2018025457 A1 WO2018025457 A1 WO 2018025457A1 JP 2017016205 W JP2017016205 W JP 2017016205W WO 2018025457 A1 WO2018025457 A1 WO 2018025457A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light source
- light
- unit
- control device
- synchronization signal
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B39/00—Circuit arrangements or apparatus for operating incandescent light sources
- H05B39/04—Controlling
- H05B39/041—Controlling the light-intensity of the source
- H05B39/044—Controlling the light-intensity of the source continuously
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/16—Controlling the light source by timing means
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/17—Operational modes, e.g. switching from manual to automatic mode or prohibiting specific operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Definitions
- the present disclosure relates to a control device, a control system, and a control method.
- LEDs Light Emitting Diodes
- fluorescent lamps Conventionally, various lighting devices such as LEDs (Light Emitting Diodes) and fluorescent lamps have been developed.
- Patent Document 1 various techniques for acquiring data from a measurement target using a measuring device such as a microscope device have been proposed (see, for example, Patent Document 1 below).
- the brightness of light emitted from a single light source can change over time. For this reason, for example, in a scene where imaging is performed while light is emitted from one light source, the brightness of the captured image changes depending on the imaging timing.
- the present disclosure proposes a new and improved control device, control system, and control method capable of causing another light source to emit light adaptively in accordance with the change timing of light emitted from one light source.
- a control device in order to synchronize timing between the profile of light emitted from the first light source and the first light source and the second light source for irradiating the surgical site with light.
- a control device includes a light source control unit that controls light emission to the second light source based on the synchronization signal.
- a control system including an imaging control unit that controls imaging with respect to the imaging unit.
- the timing of the light profile emitted from the first light source and the timing between the first light source and the second light source for irradiating the surgical site with light are synchronized.
- a control method including: a processor performing light emission control on the second light source based on a synchronization signal for causing the second light source to emit light.
- a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
- a plurality of configurations having substantially the same functional configuration are distinguished as necessary, such as the control device 10-1a and the control device 10-1b.
- the same reference numerals are given.
- the control device 10-1a and the control device 10-1b they are simply referred to as the control device 10-1.
- control device 10-1 the control device 10-2, and the control device 10-3 according to each embodiment described later may be collectively referred to as the control device 10.
- First Embodiment >> ⁇ 1-1. Configuration of control system> First, the first embodiment will be described. In the first embodiment, a description will be given centering on a scene where a doctor performs a craniotomy while using an observation device 20 described later in an operating room. Note that the first embodiment is not limited to craniotomy and can be applied to scenes where open surgery such as laparotomy or thoracotomy is performed.
- FIG. 1 is an explanatory diagram showing a configuration example of a control system according to the first embodiment.
- the control system according to the first embodiment includes an observation system 2 and an external light source 30.
- the observation system 2 includes a control device 10-1, an observation device 20, and a display device 32.
- FIG. 1 shows a situation where the surgeon 4 is performing an operation on the patient 8 on the patient bed 6 using the control system.
- “user” means any medical staff who uses the control system, such as an operator and an assistant.
- the observation device 20 includes an observation unit 22 for observing an observation target (a patient's surgical site), an arm unit 26 that supports the observation unit 22 at a distal end, a base unit 28 that supports a base end of the arm unit 26, Have
- the observation unit 22 is provided in a substantially cylindrical tubular portion 24, an imaging unit 200 (not shown in FIG. 1) provided inside the tubular portion 24, and a partial region on the outer periphery of the tubular portion 24. And an operation unit (not shown).
- the observation unit 22 is a microscope unit, for example.
- the observation unit 22 is an electronic imaging microscope unit (so-called video microscope unit) that captures a captured image electronically by the imaging unit 200.
- a cover glass that protects the internal imaging unit 200 is provided on the opening surface at the lower end of the cylindrical part 24.
- Light from the observation target (hereinafter also referred to as observation light) passes through the cover glass and enters the imaging unit 200 inside the cylindrical portion 24.
- a light source unit 202 may be provided inside the cylindrical unit 24. And at the time of imaging, light can be irradiated with respect to an observation object from the light source part 202 through the said cover glass.
- the light source unit 202 is an example of a second light source in the present disclosure.
- the light source unit 202 may be a semiconductor light source such as an LED or a semiconductor laser.
- the light source unit 202 can appropriately adjust the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
- the light source unit 202 can irradiate visible light and infrared light.
- the imaging unit 200 includes an optical system that collects observation light and an image sensor that receives the observation light collected by the optical system.
- the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and the optical characteristics thereof are adjusted so that the observation light is imaged on the light receiving surface of the image sensor.
- the imaging element receives the observation light and photoelectrically converts it to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
- an element having a Bayer array capable of color photography is used.
- the image sensor may be various known image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
- the image signal generated by the image sensor is transmitted as RAW data to the control device 10-1 described later.
- the transmission of the image signal may be preferably performed by optical communication.
- the surgeon performs the operation while observing the state of the affected area with the captured image.
- the moving image of the surgical site should be displayed in real time as much as possible. Because it is.
- a captured image can be displayed with low latency.
- the imaging unit 200 may have a drive mechanism that moves the zoom lens and focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the drive mechanism, the enlargement magnification of the captured image and the focal length at the time of imaging can be adjusted.
- the imaging unit 200 may be equipped with various functions that can be generally provided in an electronic imaging microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
- the imaging unit 200 may be configured as a so-called single-plate imaging unit 200 having one imaging element, or may be configured as a so-called multi-plate imaging unit 200 having a plurality of imaging elements.
- image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
- the imaging unit 200 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to stereoscopic vision (3D display). By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue in the surgical site.
- a plurality of optical systems can be provided corresponding to each imaging element.
- the operation unit is configured by, for example, a cross lever or a switch, and is an input unit that receives a user operation input.
- the user can input an instruction to change the magnification of the observation image and the focal distance to the observation target via the operation unit.
- the drive mechanism of the imaging unit 200 appropriately moves the zoom lens and the focus lens according to the instruction, so that the enlargement magnification and the focal length can be adjusted.
- the user can input an instruction to switch the operation mode (all-free mode and fixed mode described later) of the arm unit 26 via the operation unit.
- the operation unit is provided at a position where the user can easily operate with a finger while holding the tubular part 24 so that the user can operate the tubular part 24 while moving. .
- the arm portion 26 is configured by a plurality of links being connected to each other by a plurality of joint portions so as to be rotatable.
- Control device 10-1 controls the operation of the observation system 2 by controlling the operations of the observation device 20 and the display device 32.
- the control device 10-1 controls the drive of the arm unit 26 by operating the actuator of each joint unit in the arm unit 26 according to a predetermined control method.
- the control device 10-1 performs various kinds of signal processing on the image signal acquired by the imaging unit 200 of the observation device 20, thereby generating display image data and displaying the image data on the display device. 32.
- the signal processing for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (that is, Various known signal processing such as electronic zoom processing may be performed.
- the communication between the control device 10-1 and the observation unit 22 and the communication between the control device 10-1 and each joint in the arm unit 26 may be wired communication or wireless communication.
- wired communication communication using electrical signals may be performed, or optical communication may be performed.
- a transmission cable used for wired communication can be configured as an electric signal cable, an optical fiber, or a composite cable thereof depending on the communication method.
- wireless communication there is no need to lay a transmission cable in the operating room, so that the situation where the transmission cable prevents the medical staff from moving in the operating room can be eliminated.
- the control device 10-1 may include a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), or a microcomputer or a control board in which a processor and a storage element such as a memory are mixedly mounted.
- a processor such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit)
- a microcomputer or a control board in which a processor and a storage element such as a memory are mixedly mounted.
- the various functions described above can be realized by the processor of the control device 10-1 operating according to a predetermined program.
- the control device 10-1 may include a programmable logic device such as an FPGA (field-programmable gate array) instead of or together with the processor.
- FPGA field-programmable gate array
- control device 10-1 is provided as a separate device from the observation device 20.
- the control device 10-1 is installed inside the base portion 28 of the observation device 20, and the observation device 20 may be integrated.
- the control device 10-1 may be configured by a plurality of devices.
- a microcomputer, a control board, and the like are arranged at each of the joints in the observation unit 22 and the arm unit 26, and these are connected so as to communicate with each other, thereby realizing the same function as the control device 10-1. May be.
- Display device 32 The display device 32 is provided in the operating room, and displays an image corresponding to the image data generated by the control device 10-1 under the control of the control device 10-1. That is, the display device 32 displays an image of the surgical part taken by the observation unit 22.
- the display device 32 may display various types of information related to the operation, such as information about the patient's physical information and the surgical technique, for example, instead of or together with the image of the operation site. In this case, the display on the display device 32 may be appropriately switched by a user operation.
- a plurality of display devices 32 may be provided, and each of the plurality of display devices 32 may display an image of the surgical site and various types of information related to surgery.
- various known display devices such as a liquid crystal display device or an EL (Electro Luminescence) display device may be applied.
- an image of the surgical part taken by the observation device 20 is enlarged and displayed on the display device 32 installed on the wall surface of the operating room, for example.
- the display device 32 is installed at a position facing the surgeon 4, and the surgeon 4 observes the state of the surgical site with images projected on the display device 32, for example, the surgical site such as excision of the affected site.
- Various treatments are performed on
- the display device 32 is not limited to the example installed on the wall surface of the operating room, and may be installed suspended from the ceiling of the operating room or may be arranged on a desk in the operating room.
- the display device 32 may be a mobile device having a display function, or may be configured integrally with the control device 10-1 or the observation device 20.
- the external light source 30 is an example of a first light source in the present disclosure.
- the external light source 30 is a light source installed in the operating room.
- the external light source 30 is provided on the ceiling of the operating room and irradiates at least the operator's hand.
- the external light source 30 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
- the brightness of light emission can periodically change, such as blinking according to the commercial power supply frequency (for example, 50 Hz or more).
- This external light source 30 can be a surgical light. Moreover, the external light source 30 may be comprised by LED.
- the configuration of the control system according to the first embodiment is not limited to the above-described example.
- the observation device 20 can function as a support arm device that supports another observation device such as an endoscope instead of the observation unit 22 at the tip thereof. That is, the control system (or observation system 2) can be applied to a microscope surgery system and an endoscopic surgery system.
- the other observation device includes an imaging unit 200.
- the other observation device may further include the light source unit 202 or may not include the light source unit 202. In the latter case, the light source unit 202 can be supported by the support arm device separately from the other observation devices.
- ICG indocyanine green
- the control device 10-1 identifies the profile of light emitted from the external light source 30 (hereinafter referred to as an external light source profile) and the synchronization specified based on the light emitted from the external light source 30. Based on the signal, the light emission of the light source unit 202 is controlled. Thereby, the light source unit 202 can be made to emit light adaptively to the timing of the change in brightness of the light emitted from the external light source 30. For example, it is possible to cause the light source unit 202 to emit infrared light when the external light source 30 is not emitting light, or to cause the light source unit 202 to emit visible light so as to compensate for the insufficient light amount of the external light source 30.
- FIG. 2 is a functional block diagram showing a configuration example of the control device 10-1 according to the first embodiment.
- the control device 10-1 includes an external light source profile analysis unit 100, a self light source profile generation unit 102, a synchronization signal analysis unit 104, a synchronization control unit 106, and a light source control unit 108.
- the external light source profile analysis unit 100 is an example of a profile specifying unit in the present disclosure.
- the external light source profile analysis unit 100 analyzes the external light source profile based on the image of the subject that is imaged by the imaging unit 200 and irradiated with the light from the external light source 30.
- the external light source profile may include information related to regularity of changes in brightness of light emitted from the external light source 30.
- the external light source profile includes a modulation pattern of light emitted from the external light source 30, a light emission frequency, and an illumination color.
- the external light source profile analysis unit 100 first determines the length of a period during which a relatively bright image is captured (that is, a period during which the emission intensity of the external light source 30 is relatively large) based on the imaging by the imaging unit 200, The length of a period during which a relatively dark image is captured (that is, a period during which the emission intensity of the external light source 30 is relatively small) is specified. For example, when the external light source 30 is LED illumination, the external light source profile analysis unit 100 determines the length of the period during which the external light source 30 is turned on and the external light source 30 is turned off based on the imaging by the imaging unit 200. Identify the length of the period.
- the external light source profile analysis unit 100 analyzes the light emission period of the external light source 30 based on the relationship between the lengths of these periods. Thereby, the waveform 50 of the light emission intensity of the external light source 30 as in the graph (a) shown in FIG. 3 can be specified.
- the external light source profile analysis unit 100 can also analyze the external light source profile based on the still image captured by the imaging unit 200, or based on the captured moving image, that is, a series of images. It is also possible to analyze the external light source profile. Further, the external light source profile analysis unit 100 basically analyzes the external light source profile in real time (for example, during surgery). However, the present invention is not limited to this example, and the external light source profile analysis unit 100 may analyze the external light source profile in advance, for example, before surgery.
- all or a part of the information included in the external light source profile can be preset in the control device 10-1 or another device that can communicate with the control device 10-1.
- the external light source profile analysis unit 100 can also acquire the external light source profile by acquiring preset information from the corresponding device.
- the self light source profile generation unit 102 generates a self light source profile based on the external light source profile analyzed by the external light source profile analysis unit 100.
- the self light source profile generation unit 102 can further generate a self light source profile based on the observation mode specified by the user.
- the observation mode includes, for example, a visible light / infrared light time-division imaging mode and an assist mode.
- the visible light / infrared light time-division imaging mode visible light emission by the external light source 30 and infrared light emission by the light source unit 202 are alternately performed, and one by the imaging unit 200 at each light emission timing.
- images are taken sequentially frame by frame.
- visible light is an example of the first light in the present disclosure
- infrared light is an example of the second light in the present disclosure.
- the assist mode is a mode in which the light source unit 202 emits visible light so as to compensate for the insufficient light quantity of the external light source 30.
- the assist mode is a mode in which the light emission amount of visible light by the light source unit 202 is sequentially adjusted so that the sum of the light emission amount of the external light source 30 and the light emission amount of the light source unit 202 is substantially constant.
- the light source unit 202 may be controlled to emit visible light having substantially the same illumination color as that of the external light source 30.
- FIG. 4 is an explanatory diagram showing an example of generating a self-light source profile when the visible light / infrared light time-division imaging mode is designated as the observation mode.
- the self-light source profile generation unit 102 does not emit light during the period when the external light source 30 does not emit light (eg, between time t2 and time t3).
- the light source unit 202 in order to control the light source unit 202 to emit infrared light with a light emission intensity of 100%, and to prevent the light source unit 202 from emitting light during a period during which the external light source 30 emits light (eg, between time t3 and time t4).
- a self-light source profile is generated.
- FIG. 5 is an explanatory diagram showing an example of generating a self light source profile when the assist mode is designated as the observation mode.
- the self-light source profile generation unit 102 does not emit light during the period when the external light source 30 does not emit light (eg, between time t2 and time t3).
- the visible light is emitted from the light source unit 202 at a light emission intensity of “100%” and the light emission unit 202 emits light at a predetermined light emission intensity of less than “100%” during a period of time during which the external light source 30 emits light (eg, between time t3 and time t4).
- the predetermined light emission intensity may be the light emission intensity of the light source unit 202 equal to the difference between the light emission intensity of “100%” of the light source unit 202 and the light emission intensity of “100%” of the external light source 30.
- the setting information of the observation mode can be stored in the control device 10-1.
- the observation mode can be changed as needed based on, for example, a user operation on the operation unit (not shown).
- This operation unit may be the operation unit of the observation device 20 described above, may be installed in the control device 10-1, or may be separately provided in the operating room.
- the own light source profile generation unit 102 transmits the generated own light source profile to the light source control unit 108.
- the synchronization signal analysis unit 104 is an example of a synchronization signal specifying unit in the present disclosure.
- the synchronization signal analysis unit 104 analyzes the synchronization signal in real time by analyzing the period and timing to be synchronized based on the image captured by the imaging unit 200. For example, in the example illustrated in FIG. 3, the synchronization signal analysis unit 104 performs synchronization as illustrated in the graph (b) illustrated in FIG. 3 based on the brightness change timing of the image 40 captured by the imaging unit 200.
- the signal 52 is analyzed.
- the synchronization signal analysis unit 104 analyzes the timing at which the external light source 30 starts emitting light from the state where the external light source 30 is not emitting light as the output timing of the synchronization signal.
- the synchronization signal analysis unit 104 transmits the analyzed synchronization signal to the synchronization control unit 106.
- the synchronization control unit 106 is an example of an imaging control unit in the present disclosure.
- the synchronization control unit 106 generates the imaging unit synchronization signal and the own light source synchronization signal based on the synchronization signal analyzed by the synchronization signal analysis unit 104.
- the synchronization control unit 106 adjusts the synchronization frequency and the synchronization phase based on the synchronization signal analyzed by the synchronization signal analysis unit 104 to generate the imaging unit synchronization signal and the own light source synchronization signal.
- the synchronization control unit 106 transmits the generated synchronization signal for own light source to the light source control unit 108.
- the synchronization control unit 106 can control the imaging of the imaging unit 200 based on the generated imaging unit synchronization signal. For example, the synchronization control unit 106 controls the imaging unit 200 to start imaging a new frame in synchronization with the output timing of the imaging unit synchronization signal. Alternatively, the synchronization control unit 106 can also provide the imaging unit 200 with the generated imaging unit synchronization signal (self). In this case, the imaging unit 200 performs imaging based on the received imaging unit synchronization signal.
- FIG. 6 is a graph (a) showing a waveform of the light emission intensity of the external light source 30, a graph (b) showing a time change in light emission control for the light source unit 202, and a graph showing a time change in image pickup control for the image pickup unit 200 ( It is the figure which showed c) side by side.
- FIG. 6 shows an example when the visible light / infrared light time-division imaging mode is designated as the observation mode.
- the synchronization control unit 106 controls the imaging unit 200 to start imaging a new frame at each timing when the light emission state of the external light source 30 is switched between ON and OFF.
- the light source control unit 108 controls light emission to the light source unit 202 based on the own light source profile generated by the own light source profile generation unit 102 and the own light source synchronization signal generated by the synchronization control unit 106.
- the light source control unit 108 controls the light source unit so that the light emission state of the light source unit 202 changes from OFF to ON at the timing when the light emission state of the external light source 30 switches from ON to OFF (for example, time t2).
- the light emission of 202 is controlled.
- the light source unit 202 can be a semiconductor light source, light can be irradiated with high reactivity with respect to control by the light source control unit 108.
- control device 10-1 is not limited to the above-described example.
- any one or more of the external light source profile analysis unit 100, the own light source profile generation unit 102, the synchronization signal analysis unit 104, the synchronization control unit 106, and the light source control unit 108 are replaced with the control device 10-1. It may be provided in the observation apparatus 20.
- FIG. 7 is a flowchart showing an operation example according to the first embodiment.
- the control device 10-1 acquires a captured image of a subject that is imaged by the imaging unit 200 and irradiated with light from the external light source 30 from the imaging unit 200 (S101).
- the external light source profile analysis unit 100 analyzes the external light source profile based on the acquired image.
- the synchronization signal analysis unit 104 analyzes the synchronization signal based on the acquired image (S103).
- the own light source profile generation unit 102 specifies an observation mode specified by the user, which is stored in the control device 10-1, for example (S105). Then, the self light source profile generation unit 102 generates a self light source profile based on the external light source profile analyzed in S103 and the observation mode specified in S105 (S107).
- the synchronization control unit 106 generates the imaging unit synchronization signal and the own light source synchronization signal based on the synchronization signal analyzed in S103. Then, the light source control unit 108 causes the light source unit 202 to emit light based on the generated synchronization signal for own light source and the own light source profile generated in S107. At the same time, the synchronization control unit 106 causes the imaging unit 200 to capture an image based on the generated imaging unit synchronization signal (S109).
- control device 10-1 displays the image captured in S109 on the display device 32 (S111). Then, when the observation end operation is performed by the user (S113: Yes), this operation ends. On the other hand, when the observation end operation has not been performed (S113: No), the control device 10-1 repeats the processes after S109 again.
- the control device 10-1 includes the external light source profile identified based on the captured image of the subject irradiated with the light emitted from the external light source 30, and the imaging Based on the synchronization signal specified based on the image, the light emission of the light source unit 202 is controlled. Thereby, it is possible to cause the light source unit 202 to emit light adaptively to the change timing of the brightness of the light emitted from the external light source 30.
- the control device 10-1 emits infrared light to the light source unit 202 only during a period when the external light source 30 does not emit light. Let For this reason, at the time of open surgery, without turning off the external light source 30 (that is, without darkening the operating room), visible light observation and infrared excitation fluorescence observation using ICG can be performed simultaneously, Convenience during surgery can be improved.
- the control device 10-1 uses the light source unit so that the sum of the light emission amount of the external light source 30 and the light emission amount of the light source unit 202 is substantially constant.
- the amount of visible light emitted by 202 is sequentially adjusted. Thereby, it is possible to prevent occurrence of artifacts caused by the external light source 30, such as banding and flicker, in an image captured by the imaging unit 200. Further, the shortage of the light amount of the external light source 30 can be compensated. Therefore, a clearer surgical part image can be captured and displayed on the display device 32, so that the operation can be performed more safely and reliably.
- the control device 10-1 causes the imaging unit 200 to capture an image at a frequency corresponding to the emission frequency of the external light source 30. For this reason, if the external light source 30 blinks at a very high frequency such as 1000 Hz, the length of the exposure time per frame becomes very small. Therefore, a sufficient exposure amount cannot be obtained for each frame, and a dark image can be captured.
- the control device 10-1 generates a display image based on the number of frame images corresponding to the emission frequency of the external light source 30 captured by the imaging unit 200. It is also possible.
- FIG. 8 is an explanatory diagram showing a generation example of a display image (display image 564) in the visible light / infrared light time-division imaging mode.
- FIG. 8 shows an example of generating the display image 564 related to the frame image 560 captured when visible light is emitted (that is, when the external light source 30 emits light), but the light source unit 202 emits infrared light.
- the display image related to the frame image 562 captured at the time is also generated by the same method.
- the control device 10-1 captures each frame image 560 of the number of images (16 in the example illustrated in FIG. 8) according to the emission frequency of the external light source 30 captured by the imaging unit 200.
- the display image 564 is generated by adding the corresponding number of frame images 560.
- the control device 10-1 generates the display image 564 by adding the pixel values of the pixels in the plurality of frame images 560 for each pixel. This makes it possible to display a bright image even when the external light source 30 is blinking at a high frequency, and is particularly effective in the visible light / infrared light time-division imaging mode.
- control device 10-1 specifies the external light source profile based on the captured image of the subject irradiated with the light emitted from the external light source 30.
- control device 10-2 can specify the external light source profile based on the measurement result of the light emitted from the external light source 30.
- FIG. 9 is an explanatory diagram showing a configuration example of a control system according to the second embodiment.
- the control system according to the second embodiment further includes an external light sensor 34 as compared with the first embodiment, and includes a control device 10-2 instead of the control device 10-1.
- the external light source 30 is a light source of a type that does not have a rectangular waveform of emission intensity, such as a fluorescent lamp 30b. In the following description, only contents different from those of the first embodiment will be described, and description of overlapping contents will be omitted.
- the external light sensor 34 is a sensor that detects the energy of ambient light.
- the ambient light sensor 34 can be a photoconductive or photovoltaic sensor.
- the external light sensor 34 measures the amount of light emitted from the external light source 30.
- the external light sensor 34 can communicate with the control device 10-2 by wired communication or wireless communication.
- FIG. 10 is a functional block diagram illustrating a configuration example of the control device 10-2 according to the second embodiment.
- the control device 10-2 further includes a synchronization signal detection unit 110 and does not include the synchronization signal analysis unit 104, as compared with the control device 10-1 illustrated in FIG.
- a synchronization signal detection unit 110 As illustrated in FIG. 10, the control device 10-2 further includes a synchronization signal detection unit 110 and does not include the synchronization signal analysis unit 104, as compared with the control device 10-1 illustrated in FIG.
- the control device 10-2 further includes a synchronization signal detection unit 110 and does not include the synchronization signal analysis unit 104, as compared with the control device 10-1 illustrated in FIG.
- only components having functions different from those of the first embodiment will be described.
- the external light source profile analysis unit 100 analyzes the external light source profile based on the measurement result of the light emitted from the external light source 30 by the external light sensor 34. For example, the external light source profile analysis unit 100 analyzes the external light source profile based on the time series of the measurement result of the light emission amount from the external light source 30.
- the self light source profile generation unit 102 generates a self light source profile based on a comparison between the external light source profile analyzed by the external light source profile analysis unit 100 and a preset target light amount.
- the target light amount can be stored in the control device 10-2. Further, the target light amount can be changed as needed based on, for example, a user operation on the operation unit.
- FIG. 11 is an explanatory view showing a generation example of a self light source profile according to the second embodiment.
- the waveform 50 (of the light emission amount of the external light source 30) shown in FIG. 11 shows an example of the temporal change in the light emission amount corresponding to the analyzed external light source profile.
- the self light source profile generation unit 102 sequentially adjusts the light emission amount of the visible light by the light source unit 202 so as to be equal to the difference between the target light amount and the light emission amount of the external light source 30.
- a self-light source profile is generated.
- the synchronization signal detection unit 110 is an example of a synchronization signal specifying unit in the present disclosure.
- the synchronization signal detection unit 110 detects the synchronization signal by specifying the period and timing to be synchronized based on the measurement result of the light emitted from the external light source 30 by the external light sensor 34. For example, as illustrated in FIG. 12, the synchronization signal detection unit 110 detects the timing at which the light emission amount from the external light source 30 changes from decrease to increase (for example, time t2 or time t3) as the output timing of the synchronization signal. To do.
- the synchronization signal detection unit 110 transmits the detected synchronization signal to the synchronization control unit 106.
- Synchronization control unit 106 The synchronization control unit 106 according to the second embodiment transmits the synchronization signal detected by the synchronization signal detection unit 110 to the light source control unit 108.
- the sum of the light emission amount by the external light source 30 and the light emission amount by the light source unit 202 is substantially constant, so that the light emission by the light source unit 202 and the image pickup by the imaging unit 200 are assumed. Even if they are not synchronized with each other, the generation of artifacts can be greatly suppressed.
- the synchronization control unit 106 causes the imaging unit 200 to capture an image based on the synchronization signal detected by the synchronization signal detection unit 110. Thereby, the ratio of the light emission amount of the external light source 30 and the light emission amount of the light source unit 202 for each frame can be made substantially constant, and the hue for each frame can be stabilized.
- FIG. 13 is a flowchart showing an operation example according to the second embodiment.
- the control device 10-2 acquires the measurement result of the light emitted from the external light source 30 by the external light sensor 34 from the external light sensor 34 (S201).
- the external light source profile analysis unit 100 analyzes the external light source profile based on the acquired measurement result.
- the synchronization signal detector 110 detects a synchronization signal based on the acquired measurement result (S203).
- the own light source profile generation unit 102 specifies the set target light amount stored in the control device 10-1, for example (S205). Then, the self light source profile generation unit 102 generates a self light source profile based on the comparison between the external light source profile analyzed in S203 and the target light amount specified in S205 (S207).
- the light source control unit 108 controls the light emission to the light source unit 202 based on the synchronization signal detected in S203 and the own light source profile generated in S207.
- the synchronization control unit 106 controls imaging of the imaging unit 200 based on the synchronization signal detected in S203 (S209).
- the control device 10-2 specifies the external light source profile and the synchronization signal based on the measurement result of the light emitted from the external light source 30, and the external light source Based on the comparison between the profile and the target light amount and the synchronization signal, the light emission of the light source unit 202 is controlled.
- the light source unit 202 can emit light so that the sum of the light emission amount by the external light source 30 and the light emission amount by the light source unit 202 becomes substantially constant. Therefore, it is possible to prevent an artifact caused by the external light source 30 from occurring in an image captured by the imaging unit 200.
- the control device 10 can control light emission with respect to the external light source 30.
- the control device 10-3 controls light emission to the light source unit 202 and the external light source 30 based on a synchronization signal specified based on the light emitted from the external light source 30. It is possible.
- FIG. 14 is a functional block diagram illustrating a configuration example of the control device 10-3 and the external light source 30 according to the third embodiment. As shown in FIG. 14, the control device 10-3 further includes an external light source profile generation unit 112 and an external light source profile analysis unit 100, as compared with the control device 10-1 shown in FIG. do not do.
- the control device 10-3 further includes an external light source profile generation unit 112 and an external light source profile analysis unit 100, as compared with the control device 10-1 shown in FIG. do not do.
- only components having functions different from those of the first embodiment will be described.
- the external light source profile generation unit 112 generates an external light source profile based on predetermined information.
- the predetermined information may include setting information related to the cooperative operation between the external light source 30 and the light source unit 202, or may include information on specifications of the external light source 30. Further, the external light source profile generation unit 112 provides the generated external light source profile to the external light source 30.
- the self light source profile generation unit 102 generates a self light source profile based on the observation mode specified by the user.
- the self-light source profile generation unit 102 has the same emission frequency as the external light source profile generated by the external light source profile generation unit 112, and the phase difference is an angle corresponding to the designated observation mode (for example, 180 degrees or A self light source profile such as 0 degrees is generated.
- the synchronization control unit 106 further generates an external light source synchronization signal based on the synchronization signal analyzed by the synchronization signal analysis unit 104, and sends the generated external light source synchronization signal to the external light source 30. provide.
- the synchronization control unit 106 may provide the external light source 30 with the synchronization signal itself analyzed by the synchronization signal analysis unit 104.
- the external light source 30 includes a light source control unit 300 and a light source unit 302.
- the light source control unit 300 is an example of a light source control unit in the present disclosure.
- the light source control unit 300 emits light to the light source unit 302 based on the external light source profile provided from the control device 10-3 and the external light source synchronization signal (or synchronization signal) provided from the control device 10-3. Take control.
- the light source unit 302 may be a semiconductor light source such as an LED or a fluorescent lamp.
- the light source unit 302 emits light according to the control of the light source control unit 300.
- the control device 10-3 is based on the synchronization signal specified based on the light emitted from the external light source 30 and the observation mode specified by the user.
- the light emission control for the light source unit 202 and the external light source 30 is performed. In this way, by making the external light source 30 and the light source unit 202 operate in cooperation, it is possible to emit light more suitable for the observation mode specified by the user. As a result, the image quality of the captured image can be further improved.
- the present invention is not limited to this example, and a plurality of one or more types of external light sources 30 are installed in the operating room. May be.
- the control device 10-1 or the control device 10-2 determines the external light source profile based on the captured image of the subject irradiated with the light emitted from all the external light sources 30 or the measurement result by the external light sensor 34.
- the synchronization signal may be specified.
- the control apparatus 10 can control the light emission with respect to the light source part 202 based on the specified external light source profile and the specified synchronizing signal.
- each step in the operation of each embodiment described above does not necessarily have to be processed in the order described.
- the steps may be processed by changing the order as appropriate.
- Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
- control apparatus 10 by each embodiment mentioned above. It is also possible to provide a computer program for exhibiting the same function as each configuration. A recording medium on which the computer program is recorded is also provided.
- a light source control unit for controlling light emission to the second light source A control device comprising: (2) The control device according to (1), wherein the profile includes information related to regularity of a change in brightness of light emitted from the first light source. (3) The control device according to (2), wherein the profile includes a modulation pattern of a light emitted from the first light source, a light emission frequency, or an illumination color of the light.
- control device further including a profile specifying unit that specifies the profile by analyzing a captured image of a subject irradiated with light emitted from the first light source.
- Control device (5)
- the light source control unit changes the light emission intensity of the second light source in accordance with a change in intensity of light emitted from the first light source indicated by the profile, any of (2) to (5)
- a control device according to claim 1.
- the light source control unit causes the second light source to emit light during a period when light is not emitted from the first light source, and causes the second light source to emit light during a period when light is emitted from the first light source.
- the control device according to (6) which does not emit light.
- the first light source emits a first light;
- the light source control unit controls the light emission to the second light source so that the light emission intensity of the second light source increases as the intensity of light emitted from the first light source decreases. ).
- the light source control unit determines the light emission amount of the second light source based on a comparison between a light amount of light emitted from the first light source and a target light amount, according to (6) or (9).
- Control device (11) The control device according to (9) or (10), wherein the first light source and the second light source emit the same type of light.
- the control device further includes a synchronization signal specifying unit that specifies the synchronization signal by analyzing a captured image of a subject irradiated with light emitted from the first light source. The control device according to any one of the above.
- control device (14) The control device according to any one of (2) to (12), further including a synchronization signal specifying unit that specifies the synchronization signal based on a measurement result of light emitted from the first light source.
- Control device (15) The control device according to any one of (1) to (14), wherein the control device further includes an imaging control unit that controls imaging with respect to the imaging unit based on the synchronization signal. (16) The control device according to (15), wherein the imaging control unit causes the imaging unit to perform imaging in synchronization with the synchronization signal. (17) The control apparatus according to any one of (1) to (16), wherein the light source control unit further controls light emission to the first light source based on the profile and the synchronization signal.
- the control device according to any one of (1) to (17), wherein the second light source is a semiconductor light source.
- a light source control unit for performing An imaging control unit that controls imaging of the imaging unit based on the synchronization signal
- a control system comprising: (20) Based on the profile of the light emitted from the first light source and the synchronization signal for synchronizing the timing between the first light source and the second light source for irradiating the surgical site with light.
- the processor controls the emission of light to the second light source; Including a control method.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mechanical Engineering (AREA)
- Endoscopes (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Microscoopes, Condenser (AREA)
- Non-Portable Lighting Devices Or Systems Thereof (AREA)
- Studio Devices (AREA)
Abstract
【課題】一つの光源から発せられる光の変化のタイミングに適応的に別の光源に発光させることが可能な、制御装置、制御システム、および制御方法を提案する。 【解決手段】第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、を備える、制御装置。
Description
本開示は、制御装置、制御システム、および制御方法に関する。
従来、例えばLED(Light Emitting Diode)や蛍光灯などの照明機器が各種開発されている。
また、例えば顕微鏡装置などの測定装置を用いて、測定対象からデータを取得するための技術が各種提案されている(例えば、下記特許文献1参照)。
ところで、一つの光源から発せられる光の明るさは時間の経過に応じて変化し得る。このため、例えば、一つの光源による発光中に撮像を行う場面では、撮像タイミングによって、撮像される画像の明るさが変化してしまう。
そこで、本開示では、一つの光源から発せられる光の変化のタイミングに適応的に別の光源に発光させることが可能な、新規かつ改良された制御装置、制御システム、および制御方法を提案する。
本開示によれば、第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、を備える、制御装置が提供される。
また、本開示によれば、第1の光源と、術部に対して光を照射するための第2の光源と、撮像部と、前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、を備える、制御システムが提供される。
また、本開示によれば、第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、を含む、制御方法が提供される。
以上説明したように本開示によれば、一つの光源から発せられる光の変化のタイミングに適応的に別の光源に発光させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて制御装置10‐1aおよび制御装置10‐1bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、制御装置10‐1aおよび制御装置10‐1bを特に区別する必要が無い場合には、単に制御装置10‐1と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.変形例
1.第1の実施形態
2.第2の実施形態
3.第3の実施形態
4.変形例
なお、本明細書及び図面において、後述する各実施形態による制御装置10‐1、制御装置10‐2、および、制御装置10‐3を総称して、制御装置10と称する場合がある。
<<1.第1の実施形態>>
<1-1.制御システムの構成>
まず、第1の実施形態について説明する。第1の実施形態では、手術室において医師が、後述する観察装置20を利用しながら、開頭手術を行う場面を中心として説明を行う。なお、開頭手術に限定されず、開腹手術や開胸手術などのオープン手術を行う場面にも第1の実施形態は適用可能である。
<1-1.制御システムの構成>
まず、第1の実施形態について説明する。第1の実施形態では、手術室において医師が、後述する観察装置20を利用しながら、開頭手術を行う場面を中心として説明を行う。なお、開頭手術に限定されず、開腹手術や開胸手術などのオープン手術を行う場面にも第1の実施形態は適用可能である。
図1は、第1の実施形態による制御システムの構成例を示した説明図である。図1に示すように、第1の実施形態による制御システムは、観察システム2、および、外部光源30を含む。また、観察システム2は、制御装置10‐1、観察装置20、および、表示装置32を含む。なお、図1では、術者4が、当該制御システムを用いて、患者ベッド6上の患者8に対して手術を行っている様子を示している。また、以下の制御システムについての説明において、「ユーザ」とは、術者及び助手等、制御システムを使用する任意の医療スタッフのことを意味する。
{1-1-1.観察装置20}
観察装置20は、観察対象(患者の術部)を観察するための観察部22と、観察部22を先端で支持するアーム部26と、アーム部26の基端を支持するベース部28と、を有する。
観察装置20は、観察対象(患者の術部)を観察するための観察部22と、観察部22を先端で支持するアーム部26と、アーム部26の基端を支持するベース部28と、を有する。
観察部22は、略円筒形状の筒状部24と、当該筒状部24の内部に設けられる撮像部200(図1では不図示)と、筒状部24の外周の一部領域に設けられる操作部(図示せず)と、から構成される。観察部22は、例えば顕微鏡部である。一例として、観察部22は、撮像部200によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部(いわゆるビデオ式の顕微鏡部)である。
筒状部24の下端の開口面には、内部の撮像部200を保護するカバーガラスが設けられる。観察対象からの光(以下、観察光ともいう)は、当該カバーガラスを通過して、筒状部24の内部の撮像部200に入射する。また、筒状部24の内部には光源部202が設けられ得る。そして、撮像時には、当該カバーガラスを介して、光源部202から観察対象に対して光が照射され得る。
光源部202は、本開示における第2の光源の一例である。光源部202は、例えばLEDや半導体レーザなどの半導体光源であり得る。光源部202は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能である。例えば、光源部202は、可視光および赤外光を照射可能である。
撮像部200は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばBayer配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、RAWデータとして、後述する制御装置10‐1に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
なお、撮像部200は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部200には、AE(Auto Exposure)機能やAF(Auto Focus)機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
また、撮像部200は、1つの撮像素子を有するいわゆる単板式の撮像部200として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部200として構成されてもよい。撮像部200が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部200は、立体視(3D表示)に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部200が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
操作部は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部200の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部を介して、アーム部26の動作モード(後述するオールフリーモード及び固定モード)を切り替える旨の指示を入力することができる。なお、ユーザが観察部22を移動させようとする場合には、当該ユーザは筒状部24を握るように把持した状態で当該観察部22を移動させる様態が想定される。従って、操作部は、ユーザが筒状部24を移動させている間でも操作可能なように、ユーザが筒状部24を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
アーム部26は、複数のリンクが、複数の関節部によって互いに回動可能に連結されることによって構成される。
{1-1-2.制御装置10‐1}
制御装置10‐1は、観察装置20及び表示装置32の動作を制御することにより、観察システム2の動作を統括的に制御する。例えば、制御装置10‐1は、所定の制御方式に従ってアーム部26内の各関節部のアクチュエータを動作させることにより、アーム部26の駆動を制御する。また、例えば、制御装置10‐1は、観察装置20の撮像部200によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置32に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
制御装置10‐1は、観察装置20及び表示装置32の動作を制御することにより、観察システム2の動作を統括的に制御する。例えば、制御装置10‐1は、所定の制御方式に従ってアーム部26内の各関節部のアクチュエータを動作させることにより、アーム部26の駆動を制御する。また、例えば、制御装置10‐1は、観察装置20の撮像部200によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置32に表示させる。当該信号処理では、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)及び/又は拡大処理(すなわち、電子ズーム処理)等、各種の公知の信号処理が行われてよい。
なお、制御装置10‐1と観察部22との通信、及び制御装置10‐1とアーム部26内の各関節部との通信は、有線通信であってもよいし、無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
制御装置10‐1は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等を含み得る。制御装置10‐1のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。または、制御装置10‐1は、プロセッサの代わりに、または、プロセッサとともに、FPGA(field-programmable gate array)等のプログラマブルロジックデバイスを含み得る。この場合、制御装置10‐1のFPGAが、ハードウェア記述言語などを用いてユーザが指定した構成に従って動作することにより、上述した各種の機能が実現され得る。
なお、図示する例では、制御装置10‐1は、観察装置20と別個の装置として設けられているが、制御装置10‐1は、観察装置20のベース部28の内部に設置され、観察装置20と一体的に構成されてもよい。あるいは、制御装置10‐1は、複数の装置によって構成されてもよい。例えば、観察部22や、アーム部26内の各関節部にそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置10‐1と同様の機能が実現されてもよい。
{1-1-3.表示装置32}
表示装置32は、手術室内に設けられ、制御装置10‐1からの制御により、当該制御装置10‐1によって生成された画像データに対応する画像を表示する。つまり、表示装置32には、観察部22によって撮影された術部の画像が表示される。なお、表示装置32は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置32の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置32は複数設けられてもよく、複数の表示装置32のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置32としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
表示装置32は、手術室内に設けられ、制御装置10‐1からの制御により、当該制御装置10‐1によって生成された画像データに対応する画像を表示する。つまり、表示装置32には、観察部22によって撮影された術部の画像が表示される。なお、表示装置32は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置32の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置32は複数設けられてもよく、複数の表示装置32のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置32としては、液晶ディスプレイ装置又はEL(Electro Luminescence)ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
例えば、図1に示したように、手術時には、観察装置20によって撮影された術部の画像が、例えば手術室の壁面に設置される表示装置32に拡大表示される。表示装置32は、術者4と対向する位置に設置されており、術者4は、表示装置32に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
なお、表示装置32は、手術室の壁面に設置される例に限定されず、手術室の天井から吊り下げられて設置されてもよいし、手術室内の机上に配置されてもよい。または、表示装置32は、表示機能を有するモバイル機器であってもよいし、または、制御装置10‐1または観察装置20と一体的に構成されてもよい。
{1-1-4.外部光源30}
外部光源30は、本開示における第1の光源の一例である。外部光源30は、手術室内に設置されている光源である。例えば、外部光源30は、手術室の天井に設けられ、少なくとも術者の手元を照射する。外部光源30は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。この外部光源30では、商用電源周波数(例えば50Hz以上)に応じて点滅するなど、発光の明るさが周期的に変化し得る。
外部光源30は、本開示における第1の光源の一例である。外部光源30は、手術室内に設置されている光源である。例えば、外部光源30は、手術室の天井に設けられ、少なくとも術者の手元を照射する。外部光源30は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。この外部光源30では、商用電源周波数(例えば50Hz以上)に応じて点滅するなど、発光の明るさが周期的に変化し得る。
この外部光源30は、無影灯であり得る。また、外部光源30は、LEDにより構成され得る。
なお、第1の実施形態による制御システムの構成は、上述した例に限定されない。例えば、観察装置20は、その先端に観察部22に代えて、例えば内視鏡などの他の観察装置を支持する、支持アーム装置としても機能し得る。すなわち、当該制御システム(または観察システム2)は、顕微鏡手術システムおよび内視鏡手術システムに適用可能である。ここで、当該他の観察装置は、撮像部200を含む。また、当該他の観察装置は、光源部202をさらに含んでもよいし、光源部202を含まなくてもよい。後者の場合、光源部202は、当該他の観察装置とは別に、当該支持アーム装置に支持され得る。これらの観察装置(および光源部202)を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。
{1-1-5.課題の整理}
以上、第1の実施形態による制御システムの構成について説明した。ところで、従来、インドシアニングリーン(ICG)を用いた赤外励起蛍光観察、つまり、ICGを体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を観察することが行われている。しかしながら、オープン手術の際に、ICGを用いた赤外励起蛍光観察を行うためには、手術室内を暗くする必要があった。
以上、第1の実施形態による制御システムの構成について説明した。ところで、従来、インドシアニングリーン(ICG)を用いた赤外励起蛍光観察、つまり、ICGを体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を観察することが行われている。しかしながら、オープン手術の際に、ICGを用いた赤外励起蛍光観察を行うためには、手術室内を暗くする必要があった。
また、別の課題として、外部光源30は観察システム2と同期・同調していないので、明るい箇所や暗い箇所が現れるバンディングや、フリッカなどのアーティファクトが、撮像部200により撮像される画像内に発生し得る。
そこで、上記事情を一着眼点にして、第1の実施形態による制御装置10‐1を創作するに至った。第1の実施形態によれば、制御装置10‐1は、外部光源30から発せられる光のプロファイル(以下、外部光源プロファイルと称する)と、外部光源30から発せられる光に基づいて特定される同期信号とに基づいて、光源部202に対する発光の制御を行う。これにより、外部光源30から発せられる光の明るさの変化のタイミングに適応的に光源部202に発光させることができる。例えば、外部光源30が発光していない際に光源部202に赤外光を発光させたり、または、外部光源30の光量不足を補うように光源部202に可視光を発光させることができる。
<1-2.構成>
次に、第1の実施形態による制御装置10‐1の構成について詳細に説明する。図2は、第1の実施形態による制御装置10‐1の構成例を示した機能ブロック図である。図2に示すように、制御装置10‐1は、外部光源プロファイル解析部100、自光源プロファイル生成部102、同期信号解析部104、同期制御部106、および、光源制御部108を有する。
次に、第1の実施形態による制御装置10‐1の構成について詳細に説明する。図2は、第1の実施形態による制御装置10‐1の構成例を示した機能ブロック図である。図2に示すように、制御装置10‐1は、外部光源プロファイル解析部100、自光源プロファイル生成部102、同期信号解析部104、同期制御部106、および、光源制御部108を有する。
{1-2-1.外部光源プロファイル解析部100}
外部光源プロファイル解析部100は、本開示におけるプロファイル特定部の一例である。外部光源プロファイル解析部100は、撮像部200により撮像される、外部光源30からの光が照射される被写体の画像に基づいて、外部光源プロファイルを解析する。ここで、外部光源プロファイルは、外部光源30から発せられる光の明るさの変化の規則性に関する情報を含み得る。例えば、外部光源プロファイルは、外部光源30から発せられる光の変調パターン、発光周波数、および、照明色を含む。
外部光源プロファイル解析部100は、本開示におけるプロファイル特定部の一例である。外部光源プロファイル解析部100は、撮像部200により撮像される、外部光源30からの光が照射される被写体の画像に基づいて、外部光源プロファイルを解析する。ここで、外部光源プロファイルは、外部光源30から発せられる光の明るさの変化の規則性に関する情報を含み得る。例えば、外部光源プロファイルは、外部光源30から発せられる光の変調パターン、発光周波数、および、照明色を含む。
例えば、外部光源プロファイル解析部100は、まず、撮像部200による撮像に基づいて、相対的に明るい画像が撮像される期間(つまり外部光源30の発光強度が相対的に大きい期間)の長さと、相対的に暗い画像が撮像される期間(つまり外部光源30の発光強度が相対的に小さい期間)の長さとを特定する。例えば、外部光源30がLED照明である場合には、外部光源プロファイル解析部100は、撮像部200による撮像に基づいて、外部光源30が点灯している期間の長さと、外部光源30が消灯している期間の長さとを特定する。
そして、外部光源プロファイル解析部100は、これらの期間の長さの関係性に基づいて、外部光源30の発光の周期などを解析する。これにより、図3に示したグラフ(a)のような、外部光源30の発光強度の波形50が特定され得る。
なお、外部光源プロファイル解析部100は、撮像部200により撮像された静止画像に基づいて外部光源プロファイルを解析することも可能であるし、または、撮像された動画像、つまり一連の画像に基づいて外部光源プロファイルを解析することも可能である。また、外部光源プロファイル解析部100は、基本的には外部光源プロファイルを(例えば手術時などに)リアルタイムに解析する。但し、かかる例に限定されず、外部光源プロファイル解析部100は、外部光源プロファイルを例えば手術前など、事前に解析しておいてもよい。
(1-2-1-1.変形例)
なお、変形例として、外部光源プロファイルに含まれる全部または一部の情報は、制御装置10‐1、または、制御装置10‐1と通信可能な他の装置にプリセットされ得る。この場合、外部光源プロファイル解析部100は、プリセットされている情報を該当の装置から取得することにより、外部光源プロファイルを取得することも可能である。
なお、変形例として、外部光源プロファイルに含まれる全部または一部の情報は、制御装置10‐1、または、制御装置10‐1と通信可能な他の装置にプリセットされ得る。この場合、外部光源プロファイル解析部100は、プリセットされている情報を該当の装置から取得することにより、外部光源プロファイルを取得することも可能である。
{1-2-2.自光源プロファイル生成部102}
自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルに基づいて、自光源プロファイルを生成する。また、自光源プロファイル生成部102は、さらに、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成することが可能である。
自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルに基づいて、自光源プロファイルを生成する。また、自光源プロファイル生成部102は、さらに、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成することが可能である。
ここで、観察モードは、例えば、可視光/赤外光時分割撮像モードおよびアシストモードを含む。可視光/赤外光時分割撮像モードは、外部光源30による可視光の発光と、光源部202による赤外光の発光とが交互になされ、かつ、それぞれの発光タイミングごとに撮像部200により一フレームずつ順次撮像されるモードである。ここで、可視光は、本開示における第1の光の一例であり、また、赤外光は、本開示における第2の光の一例である。また、アシストモードは、外部光源30の光量不足を補うように、光源部202に可視光を発光させるモードである。例えば、アシストモードは、外部光源30の発光量と光源部202の発光量との合計が略一定になるように、光源部202による可視光の発光量を逐次調整するモードである。なお、アシストモードでは、さらに、外部光源30と略同一の照明色の可視光を光源部202に発光させるように制御してもよい。
図4は、観察モードとして可視光/赤外光時分割撮像モードが指定された場合における自光源プロファイルの生成例を示した説明図である。この場合、図4に示した(光源部202の発光強度の)波形54aのように、自光源プロファイル生成部102は、外部光源30が発光しない期間(時刻t2~時刻t3の間など)には例えば100%の発光強度で赤外光を光源部202に発光させ、かつ、外部光源30が発光する期間(時刻t3~時刻t4の間など)には光源部202に発光させないように制御するための自光源プロファイルを生成する。
また、図5は、観察モードとしてアシストモードが指定された場合における自光源プロファイルの生成例を示した説明図である。この場合、図5に示した(光源部202の発光強度の)波形54bのように、自光源プロファイル生成部102は、外部光源30が発光しない期間(時刻t2~時刻t3の間など)には「100%」の発光強度で可視光を光源部202に発光させ、かつ、外部光源30が発光する期間(時刻t3~時刻t4の間など)には「100%」未満の所定の発光強度で可視光を光源部202に発光させるように制御するための自光源プロファイルを生成する。ここで、所定の発光強度は、光源部202の「100%」の発光強度と外部光源30の「100%」の発光強度との差に等しい、光源部202の発光強度であり得る。
なお、観察モードの設定情報は、制御装置10‐1内に記憶され得る。また、観察モードは、例えば操作部(図示省略)に対するユーザの操作に基づいて随時変更され得る。この操作部は、上述した観察装置20の操作部であってもよいし、制御装置10‐1に設置されていてもよいし、または、手術室内に別途設けられてもよい。
また、自光源プロファイル生成部102は、生成した自光源プロファイルを光源制御部108へ伝達する。
{1-2-3.同期信号解析部104}
同期信号解析部104は、本開示における同期信号特定部の一例である。同期信号解析部104は、撮像部200による撮像画像に基づいて、同期すべき周期およびタイミングを解析することにより、同期信号をリアルタイムに解析する。例えば、図3に示した例では、同期信号解析部104は、撮像部200により撮像される画像40の明るさの変化のタイミングに基づいて、図3に示したグラフ(b)のように同期信号52を解析する。一例として、同期信号解析部104は、外部光源30が発光していない状態から外部光源30が発光を開始するタイミングを、同期信号の出力タイミングとして解析する。
同期信号解析部104は、本開示における同期信号特定部の一例である。同期信号解析部104は、撮像部200による撮像画像に基づいて、同期すべき周期およびタイミングを解析することにより、同期信号をリアルタイムに解析する。例えば、図3に示した例では、同期信号解析部104は、撮像部200により撮像される画像40の明るさの変化のタイミングに基づいて、図3に示したグラフ(b)のように同期信号52を解析する。一例として、同期信号解析部104は、外部光源30が発光していない状態から外部光源30が発光を開始するタイミングを、同期信号の出力タイミングとして解析する。
また、同期信号解析部104は、解析した同期信号を同期制御部106へ伝達する。
{1-2-4.同期制御部106}
同期制御部106は、本開示における撮像制御部の一例である。同期制御部106は、同期信号解析部104により解析された同期信号に基づいて、撮像部用同期信号および自光源用同期信号を生成する。例えば、同期制御部106は、同期信号解析部104により解析された同期信号に基づいて同期周波数および同期位相を調整することにより、撮像部用同期信号および自光源用同期信号を生成する。また、同期制御部106は、生成した自光源用同期信号を光源制御部108へ伝達する。
同期制御部106は、本開示における撮像制御部の一例である。同期制御部106は、同期信号解析部104により解析された同期信号に基づいて、撮像部用同期信号および自光源用同期信号を生成する。例えば、同期制御部106は、同期信号解析部104により解析された同期信号に基づいて同期周波数および同期位相を調整することにより、撮像部用同期信号および自光源用同期信号を生成する。また、同期制御部106は、生成した自光源用同期信号を光源制御部108へ伝達する。
また、同期制御部106は、生成した撮像部用同期信号に基づいて、撮像部200に対する撮像の制御を行うことが可能である。例えば、同期制御部106は、撮像部用同期信号の出力タイミングに同期して、新たなフレームの撮像を撮像部200に開始させるように制御する。あるいは、同期制御部106は、生成した撮像部用同期信号(自体)を撮像部200に提供することも可能である。この場合、撮像部200は、受信される撮像部用同期信号に基づいて撮像を行う。
図6は、外部光源30の発光強度の波形を示すグラフ(a)、光源部202に対する発光制御の時間変化を示すグラフ(b)、および、撮像部200に対する撮像制御の時間変化を示すグラフ(c)を並べて示した図である。なお、図6では、観察モードとして可視光/赤外光時分割撮像モードが指定された場合の例を示している。図6に示したように、同期制御部106は、外部光源30の発光状態がONとOFFとの間で切り替わるタイミングごとに、新たなフレームの撮像を開始させるように撮像部200を制御する。これにより、外部光源30の点滅の度に、外部光源30による可視光の発光期間と、光源部202による赤外光の発光期間とでそれぞれ一フレームずつ撮像される。そして、外部光源30の発光時に撮像されたフレーム画像560と、フレーム画像560の直後の赤外光の発光時に撮像されたフレーム画像562とを重畳した鮮明な画像を表示装置32に表示させることができる。
{1-2-5.光源制御部108}
光源制御部108は、自光源プロファイル生成部102により生成された自光源プロファイルと、同期制御部106により生成された自光源用同期信号とに基づいて、光源部202に対する発光の制御を行う。図6に示した例では、光源制御部108は、外部光源30の発光状態がONからOFFに切り替わるタイミング(例えば時刻t2)に光源部202の発光状態がOFFからONになるように、光源部202の発光を制御する。なお、上述したように、光源部202は半導体光源であり得るので、光源制御部108による制御に対して反応性良く光を照射することができる。
光源制御部108は、自光源プロファイル生成部102により生成された自光源プロファイルと、同期制御部106により生成された自光源用同期信号とに基づいて、光源部202に対する発光の制御を行う。図6に示した例では、光源制御部108は、外部光源30の発光状態がONからOFFに切り替わるタイミング(例えば時刻t2)に光源部202の発光状態がOFFからONになるように、光源部202の発光を制御する。なお、上述したように、光源部202は半導体光源であり得るので、光源制御部108による制御に対して反応性良く光を照射することができる。
なお、第1の実施形態による制御装置10‐1の構成は上述した例に限定されない。例えば、外部光源プロファイル解析部100、自光源プロファイル生成部102、同期信号解析部104、同期制御部106、および、光源制御部108のうちいずれか一以上は、制御装置10‐1の代わりに、観察装置20内に設けられてもよい。
<1-3.動作>
以上、第1の実施形態による構成について説明した。次に、第1の実施形態による動作について、図7を参照して説明する。図7は、第1の実施形態による動作例を示したフローチャートである。
以上、第1の実施形態による構成について説明した。次に、第1の実施形態による動作について、図7を参照して説明する。図7は、第1の実施形態による動作例を示したフローチャートである。
図7に示したように、まず、制御装置10‐1は、撮像部200により撮像された、外部光源30からの光が照射される被写体の撮像画像を撮像部200から取得する(S101)。
続いて、外部光源プロファイル解析部100は、取得された画像に基づいて外部光源プロファイルを解析する。同時に、同期信号解析部104は、取得された画像に基づいて同期信号を解析する(S103)。
続いて、自光源プロファイル生成部102は、例えば制御装置10‐1内に記憶されている、ユーザにより指定された観察モードを特定する(S105)。そして、自光源プロファイル生成部102は、S103で解析された外部光源プロファイル、および、S105で特定された観察モードに基づいて、自光源プロファイルを生成する(S107)。
続いて、同期制御部106は、S103で解析された同期信号に基づいて、撮像部用同期信号および自光源用同期信号を生成する。そして、光源制御部108は、生成された自光源用同期信号と、S107で生成された自光源プロファイルとに基づいて、光源部202に発光させる。同時に、同期制御部106は、生成した撮像部用同期信号に基づいて、撮像部200に撮像させる(S109)。
その後、制御装置10‐1は、S109で撮像された画像を表示装置32に表示させる(S111)。そして、観察の終了操作がユーザによりなされた場合には(S113:Yes)、本動作は終了する。一方、観察の終了操作がなされていない場合には(S113:No)、制御装置10‐1は、再びS109以降の処理を繰り返す。
<1-4.効果>
以上説明したように、第1の実施形態によれば、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて特定される外部光源プロファイルと、当該撮像画像に基づいて特定される同期信号とに基づいて、光源部202に対する発光の制御を行う。これにより、外部光源30から発せられる光の明るさの変化のタイミングに適応的に、光源部202に発光させることができる。
以上説明したように、第1の実施形態によれば、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて特定される外部光源プロファイルと、当該撮像画像に基づいて特定される同期信号とに基づいて、光源部202に対する発光の制御を行う。これにより、外部光源30から発せられる光の明るさの変化のタイミングに適応的に、光源部202に発光させることができる。
例えば、観察モードとして可視光/赤外光時分割撮像モードがユーザにより指定される場合には、制御装置10‐1は、外部光源30が発光しない期間にのみ光源部202に赤外光を発光させる。このため、オープン手術の際に、外部光源30を消灯せずに(つまり手術室内を暗くせずに)、可視光観察、および、ICGを用いた赤外励起蛍光観察を同時に行うことができ、手術時の利便性を向上させることができる。
また、観察モードとしてアシストモードがユーザにより指定される場合には、制御装置10‐1は、外部光源30の発光量と光源部202の発光量との合計が略一定になるように、光源部202による可視光の発光量を逐次調整する。これにより、撮像部200により撮像される画像において、例えばバンディングやフリッカなどの、外部光源30起因のアーティファクトの発生を防止することができる。また、外部光源30の光量不足を補うことができる。従って、より鮮明な術部画像を撮像し、表示装置32に表示することができるので、手術をより安全にかつより確実に行うことが可能になる。
<1-5.応用例>
以上、第1の実施形態について説明した。上述したように、制御装置10‐1は、外部光源30の発光周波数に応じた周波数で撮像部200に撮像させる。このため、仮に1000Hzなどの非常に高い周波数で外部光源30が点滅している場合には、1フレーム当たりの露光時間の長さが非常に小さくなる。従って、個々のフレームに関して十分な露光量が得られず、暗い画像が撮像され得る。
以上、第1の実施形態について説明した。上述したように、制御装置10‐1は、外部光源30の発光周波数に応じた周波数で撮像部200に撮像させる。このため、仮に1000Hzなどの非常に高い周波数で外部光源30が点滅している場合には、1フレーム当たりの露光時間の長さが非常に小さくなる。従って、個々のフレームに関して十分な露光量が得られず、暗い画像が撮像され得る。
そこで、第1の実施形態の応用例として、制御装置10‐1は、撮像部200により撮像された、外部光源30の発光周波数に応じた枚数のフレーム画像に基づいて、表示用画像を生成することも可能である。ここで、図8を参照して、上記の機能についてより詳細に説明する。図8では、可視光/赤外光時分割撮像モード時における表示用画像(表示用画像564)の生成例を示した説明図である。なお、図8では、可視光の発光時(つまり外部光源30の発光時)において撮像されるフレーム画像560に関する表示用画像564の生成例を示しているが、光源部202による赤外光の発光時において撮像されるフレーム画像562に関する表示用画像に関しても同様の方法により生成される。
図8に示したように、制御装置10‐1は、撮像部200により撮像された、外部光源30の発光周波数に応じた枚数(図8に示した例では16枚)のフレーム画像560ごとに、該当の枚数のフレーム画像560を加算処理することにより、表示用画像564を生成する。例えば、制御装置10‐1は、画素ごとに、当該複数のフレーム画像560内の当該画素の画素値を加算することにより、表示用画像564を生成する。これにより、外部光源30が高い周波数で点滅している場合であっても、明るい画像を表示することが可能となるので、特に可視光/赤外光時分割撮像モード時において有効である。
<<2.第2の実施形態>>
以上、第1の実施形態について説明した。上述したように、第1の実施形態では、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて外部光源プロファイルを特定する。
以上、第1の実施形態について説明した。上述したように、第1の実施形態では、制御装置10‐1は、外部光源30から発せられる光が照射される被写体の撮像画像に基づいて外部光源プロファイルを特定する。
次に、第2の実施形態について説明する。後述するように、第2の実施形態による制御装置10‐2は、外部光源30から発せられる光の測定結果に基づいて外部光源プロファイルを特定することが可能である。
<2-1.制御システムの構成>
図9は、第2の実施形態による制御システムの構成例を示した説明図である。図9に示すように、第2の実施形態による制御システムは、第1の実施形態と比較して外光センサ34をさらに含み、かつ、制御装置10‐1の代わりに制御装置10‐2を含む。また、図9に示したように、第2の実施形態では、外部光源30が例えば蛍光灯30bなど、発光強度の波形が矩形波にならないような種類の光源であることを想定する。なお、以下では第1の実施形態と異なる内容についてのみ説明を行うこととし、重複する内容については説明を省略する。
図9は、第2の実施形態による制御システムの構成例を示した説明図である。図9に示すように、第2の実施形態による制御システムは、第1の実施形態と比較して外光センサ34をさらに含み、かつ、制御装置10‐1の代わりに制御装置10‐2を含む。また、図9に示したように、第2の実施形態では、外部光源30が例えば蛍光灯30bなど、発光強度の波形が矩形波にならないような種類の光源であることを想定する。なお、以下では第1の実施形態と異なる内容についてのみ説明を行うこととし、重複する内容については説明を省略する。
{2-1-1.外光センサ34}
外光センサ34は、周囲の光のエネルギーを検出するセンサである。外光センサ34は、光伝導型または光起電型のセンサであり得る。例えば、外光センサ34は、外部光源30から発せられる光量を測定する。また、外光センサ34は、有線通信または無線通信により制御装置10‐2との間で通信を行うことが可能である。
外光センサ34は、周囲の光のエネルギーを検出するセンサである。外光センサ34は、光伝導型または光起電型のセンサであり得る。例えば、外光センサ34は、外部光源30から発せられる光量を測定する。また、外光センサ34は、有線通信または無線通信により制御装置10‐2との間で通信を行うことが可能である。
<2-2.構成>
次に、第2の実施形態による制御装置10‐2の構成について詳細に説明する。図10は、第2の実施形態による制御装置10‐2の構成例を示した機能ブロック図である。図10に示すように、制御装置10‐2は、図2に示した制御装置10‐1と比較して、同期信号検出部110をさらに有し、かつ、同期信号解析部104を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
次に、第2の実施形態による制御装置10‐2の構成について詳細に説明する。図10は、第2の実施形態による制御装置10‐2の構成例を示した機能ブロック図である。図10に示すように、制御装置10‐2は、図2に示した制御装置10‐1と比較して、同期信号検出部110をさらに有し、かつ、同期信号解析部104を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
{2-2-1.外部光源プロファイル解析部100}
第2の実施形態による外部光源プロファイル解析部100は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、外部光源プロファイルを解析する。例えば、外部光源プロファイル解析部100は、外部光源30からの発光量の測定結果の時系列に基づいて、外部光源プロファイルを解析する。
第2の実施形態による外部光源プロファイル解析部100は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、外部光源プロファイルを解析する。例えば、外部光源プロファイル解析部100は、外部光源30からの発光量の測定結果の時系列に基づいて、外部光源プロファイルを解析する。
{2-2-2.自光源プロファイル生成部102}
第2の実施形態による自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルと、予め設定された目標光量との比較に基づいて、自光源プロファイルを生成する。なお、目標光量は、制御装置10‐2内に記憶され得る。また、目標光量は、例えば操作部に対するユーザの操作に基づいて随時変更され得る。
第2の実施形態による自光源プロファイル生成部102は、外部光源プロファイル解析部100により解析された外部光源プロファイルと、予め設定された目標光量との比較に基づいて、自光源プロファイルを生成する。なお、目標光量は、制御装置10‐2内に記憶され得る。また、目標光量は、例えば操作部に対するユーザの操作に基づいて随時変更され得る。
図11は、第2の実施形態による自光源プロファイルの生成例を示した説明図である。なお、図11に示した(外部光源30の発光量の)波形50は、解析された外部光源プロファイルに対応する、発光量の時間変化の例を示している。図11に示した領域54のように、自光源プロファイル生成部102は、目標光量と外部光源30の発光量との差分と等しくなるように、光源部202による可視光の発光量を逐次調整するための自光源プロファイルを生成する。
{2-2-3.同期信号検出部110}
同期信号検出部110は、本開示における同期信号特定部の一例である。同期信号検出部110は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、同期すべき周期およびタイミングを特定することにより、同期信号を検出する。例えば、図12に示したように、同期信号検出部110は、外部光源30からの発光量が減少から増加に変わるタイミング(例えば、時刻t2や時刻t3など)を、同期信号の出力タイミングとして検出する。また、同期信号検出部110は、検出した同期信号を同期制御部106へ伝達する。
同期信号検出部110は、本開示における同期信号特定部の一例である。同期信号検出部110は、外光センサ34による、外部光源30から発せられる光の測定結果に基づいて、同期すべき周期およびタイミングを特定することにより、同期信号を検出する。例えば、図12に示したように、同期信号検出部110は、外部光源30からの発光量が減少から増加に変わるタイミング(例えば、時刻t2や時刻t3など)を、同期信号の出力タイミングとして検出する。また、同期信号検出部110は、検出した同期信号を同期制御部106へ伝達する。
{2-2-4.同期制御部106}
第2の実施形態による同期制御部106は、同期信号検出部110により検出された同期信号を光源制御部108へ伝達する。
第2の実施形態による同期制御部106は、同期信号検出部110により検出された同期信号を光源制御部108へ伝達する。
なお、第2の実施形態では、上述したように、外部光源30による発光量と、光源部202による発光量との合計が略一定となるので、仮に光源部202による発光と撮像部200による撮像とが同期されていなくても、アーティファクトの発生を大きく抑制することができる。だが、さらに画質を向上させるために、同期制御部106は、同期信号検出部110により検出された同期信号に基づいて撮像部200に撮像させることが望ましい。これにより、フレームごとの、外部光源30の発光量と光源部202の発光量との比を略一定にすることが可能であり、フレームごとの色合いを安定化することができる。
<2-3.動作>
以上、第2の実施形態による構成について説明した。次に、第2の実施形態による動作について、図13を参照して説明する。図13は、第2の実施形態による動作例を示したフローチャートである。
以上、第2の実施形態による構成について説明した。次に、第2の実施形態による動作について、図13を参照して説明する。図13は、第2の実施形態による動作例を示したフローチャートである。
図13に示したように、まず、制御装置10‐2は、外光センサ34による、外部光源30から発せられる光の測定結果を外光センサ34から取得する(S201)。
続いて、外部光源プロファイル解析部100は、取得された測定結果に基づいて外部光源プロファイルを解析する。同時に、同期信号検出部110は、取得された測定結果に基づいて同期信号を検出する(S203)。
続いて、自光源プロファイル生成部102は、例えば制御装置10‐1内に記憶されている、設定された目標光量を特定する(S205)。そして、自光源プロファイル生成部102は、S203で解析された外部光源プロファイルと、S205で特定された目標光量との比較に基づいて自光源プロファイルを生成する(S207)。
続いて、光源制御部108は、S203で検出された同期信号と、S207で生成された自光源プロファイルとに基づいて、光源部202に対する発光の制御を行う。同時に、同期制御部106は、S203で検出された同期信号に基づいて、撮像部200に対する撮像の制御を行う(S209)。
なお、図13に示したS211~S213の処理は、第1の実施形態によるS111~S113と同様である。
<2-4.効果>
以上説明したように、第2の実施形態によれば、制御装置10‐2は、外部光源30から発せられる光の測定結果に基づいて外部光源プロファイルおよび同期信号を特定し、そして、当該外部光源プロファイルと目標光量との比較、および、当該同期信号に基づいて、光源部202に対する発光の制御を行う。これにより、例えば、外部光源30による発光量と、光源部202による発光量との合計が略一定となるように光源部202に発光させることができる。従って、撮像部200により撮像される画像において外部光源30起因のアーティファクトが発生することを防止することができる。
以上説明したように、第2の実施形態によれば、制御装置10‐2は、外部光源30から発せられる光の測定結果に基づいて外部光源プロファイルおよび同期信号を特定し、そして、当該外部光源プロファイルと目標光量との比較、および、当該同期信号に基づいて、光源部202に対する発光の制御を行う。これにより、例えば、外部光源30による発光量と、光源部202による発光量との合計が略一定となるように光源部202に発光させることができる。従って、撮像部200により撮像される画像において外部光源30起因のアーティファクトが発生することを防止することができる。
<<3.第3の実施形態>>
以上、第2の実施形態について説明した。上述したように、第1の実施形態および第2の実施形態では、制御装置10が外部光源30に対して制御できない場面を想定した。
以上、第2の実施形態について説明した。上述したように、第1の実施形態および第2の実施形態では、制御装置10が外部光源30に対して制御できない場面を想定した。
次に、第3の実施形態について説明する。第3の実施形態では、制御装置10が外部光源30に対する発光の制御が可能である場面を想定する。後述するように、第3の実施形態による制御装置10‐3は、外部光源30から発せられる光に基づいて特定される同期信号に基づいて、光源部202および外部光源30に対する発光の制御を行うことが可能である。
<3-1.構成>
{3-1-1.制御装置10‐3}
まず、第3の実施形態による構成について詳細に説明する。図14は、第3の実施形態による制御装置10‐3および外部光源30の構成例を示した機能ブロック図である。図14に示すように、制御装置10‐3は、図2に示した制御装置10‐1と比較して、外部光源プロファイル生成部112をさらに有し、かつ、外部光源プロファイル解析部100を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
{3-1-1.制御装置10‐3}
まず、第3の実施形態による構成について詳細に説明する。図14は、第3の実施形態による制御装置10‐3および外部光源30の構成例を示した機能ブロック図である。図14に示すように、制御装置10‐3は、図2に示した制御装置10‐1と比較して、外部光源プロファイル生成部112をさらに有し、かつ、外部光源プロファイル解析部100を有しない。なお、以下では、第1の実施形態と異なる機能を有する構成要素についてのみ説明を行う。
(3-1-1-1.外部光源プロファイル生成部112)
外部光源プロファイル生成部112は、所定の情報に基づいて、外部光源プロファイルを生成する。ここで、所定の情報は、外部光源30と光源部202との協調動作に関する設定情報を含んでもよいし、または、外部光源30の仕様の情報を含んでもよい。また、外部光源プロファイル生成部112は、生成した外部光源プロファイルを外部光源30へ提供する。
外部光源プロファイル生成部112は、所定の情報に基づいて、外部光源プロファイルを生成する。ここで、所定の情報は、外部光源30と光源部202との協調動作に関する設定情報を含んでもよいし、または、外部光源30の仕様の情報を含んでもよい。また、外部光源プロファイル生成部112は、生成した外部光源プロファイルを外部光源30へ提供する。
(3-1-1-2.自光源プロファイル生成部102)
第3の実施形態による自光源プロファイル生成部102は、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成する。例えば、自光源プロファイル生成部102は、外部光源プロファイル生成部112により生成される外部光源プロファイルと発光周波数が同じで、かつ、位相差が、指定された観察モードに応じた角度(例えば180度や0度など)であるような自光源プロファイルを生成する。
第3の実施形態による自光源プロファイル生成部102は、ユーザにより指定される観察モードに基づいて、自光源プロファイルを生成する。例えば、自光源プロファイル生成部102は、外部光源プロファイル生成部112により生成される外部光源プロファイルと発光周波数が同じで、かつ、位相差が、指定された観察モードに応じた角度(例えば180度や0度など)であるような自光源プロファイルを生成する。
(3-1-1-3.同期制御部106)
第3の実施形態による同期制御部106は、同期信号解析部104により解析された同期信号に基づいて外部光源用同期信号をさらに生成し、そして、生成した外部光源用同期信号を外部光源30へ提供する。あるいは、同期制御部106は、同期信号解析部104により解析された同期信号自体を外部光源30へ提供してもよい。
第3の実施形態による同期制御部106は、同期信号解析部104により解析された同期信号に基づいて外部光源用同期信号をさらに生成し、そして、生成した外部光源用同期信号を外部光源30へ提供する。あるいは、同期制御部106は、同期信号解析部104により解析された同期信号自体を外部光源30へ提供してもよい。
{3-1-2.外部光源30}
外部光源30は、図14に示すように、光源制御部300、および、光源部302を有する。
外部光源30は、図14に示すように、光源制御部300、および、光源部302を有する。
(3-1-2-1.光源制御部300)
光源制御部300は、本開示における光源制御部の一例である。光源制御部300は、制御装置10‐3から提供される外部光源プロファイルと、制御装置10‐3から提供される外部光源用同期信号(または同期信号)とに基づいて、光源部302に対する発光の制御を行う。
光源制御部300は、本開示における光源制御部の一例である。光源制御部300は、制御装置10‐3から提供される外部光源プロファイルと、制御装置10‐3から提供される外部光源用同期信号(または同期信号)とに基づいて、光源部302に対する発光の制御を行う。
(3-1-2-2.光源部302)
光源部302は、LEDなどの半導体光源や蛍光灯などであり得る。光源部302は、光源制御部300の制御に従って発光する。
光源部302は、LEDなどの半導体光源や蛍光灯などであり得る。光源部302は、光源制御部300の制御に従って発光する。
<3-2.効果>
以上説明したように、第3の実施形態によれば、制御装置10‐3は、外部光源30から発せられる光に基づいて特定される同期信号と、ユーザにより指定される観察モードとに基づいて、光源部202および外部光源30に対する発光の制御を行う。このように、外部光源30と光源部202とを協調動作させることにより、ユーザにより指定される観察モードにさらに適した発光を行うことができる。その結果、撮像画像の画質をさらに向上させることができる。
以上説明したように、第3の実施形態によれば、制御装置10‐3は、外部光源30から発せられる光に基づいて特定される同期信号と、ユーザにより指定される観察モードとに基づいて、光源部202および外部光源30に対する発光の制御を行う。このように、外部光源30と光源部202とを協調動作させることにより、ユーザにより指定される観察モードにさらに適した発光を行うことができる。その結果、撮像画像の画質をさらに向上させることができる。
<<4.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、図1および図9では、外部光源30を一個(または一セット)だけ記載しているが、かかる例に限定されず、手術室内には、一以上の種類の外部光源30が複数個設置されてもよい。この場合、制御装置10‐1または制御装置10‐2は、全ての外部光源30から発せられる光が照射される被写体の撮像画像、または、外光センサ34による測定結果に基づいて、外部光源プロファイルおよび同期信号を特定してもよい。そして、制御装置10は、特定した外部光源プロファイルと、特定した同期信号とに基づいて、光源部202に対する発光の制御を行うことが可能である。
また、上述した各実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、上述した各実施形態によれば、CPUやGPU等のプロセッサ、メモリ等の記憶素子、および/または、FPGA等のプログラマブルロジックデバイスなどのハードウェアを、上述した各実施形態による制御装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、
を備える、制御装置。
(2)
前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、前記(1)に記載の制御装置。
(3)
前記プロファイルは、前記第1の光源から発せられる光の変調パターン、発光周波数、または、当該光の照明色を含む、前記(2)に記載の制御装置。
(4)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(5)
前記制御装置は、前記第1の光源から発せられる光の測定結果を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(6)
前記光源制御部は、前記プロファイルが示す、前記第1の光源から発せられる光の強度の変化に応じて、前記第2の光源の発光強度を変化させる、前記(2)~(5)のいずれか一項に記載の制御装置。
(7)
前記光源制御部は、前記第1の光源から光が発せられない期間には前記第2の光源に発光させ、かつ、前記第1の光源から光が発せられる期間には前記第2の光源に発光させない、前記(6)に記載の制御装置。
(8)
前記第1の光源は、第1の光を発し、
前記第2の光源は、前記第1の光とは異なる種類の第2の光を発する、前記(7)に記載の制御装置。
(9)
前記光源制御部は、前記第1の光源から発せられる光の強度が小さくなるほど、前記第2の光源の発光強度が大きくなるように、前記第2の光源に対する発光の制御を行う、前記(6)に記載の制御装置。
(10)
前記光源制御部は、前記第1の光源から発せられる光の光量と、目標光量との比較に基づいて、前記第2の光源の発光量を決定する、前記(6)または(9)に記載の制御装置。
(11)
前記第1の光源および前記第2の光源は、同じ種類の光を発する、前記(9)または(10)に記載の制御装置。
(12)
前記光源制御部は、さらに、ユーザにより指定される観察モードに基づいて、前記第2の光源に対する発光の制御を行う、前記(6)~(11)のいずれか一項に記載の制御装置。
(13)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(14)
前記制御装置は、前記第1の光源から発せられる光の測定結果に基づいて、前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(15)
前記制御装置は、前記同期信号に基づいて、撮像部に対する撮像の制御を行う撮像制御部をさらに備える、前記(1)~(14)のいずれか一項に記載の制御装置。
(16)
前記撮像制御部は、前記撮像部に、前記同期信号に同期して撮像させる、前記(15)に記載の制御装置。
(17)
前記光源制御部は、さらに、前記プロファイルと前記同期信号とに基づいて、前記第1の光源に対する発光の制御を行う、前記(1)~(16)のいずれか一項に記載の制御装置。
(18)
前記第2の光源は、半導体光源である、前記(1)~(17)のいずれか一項に記載の制御装置。
(19)
第1の光源と、
術部に対して光を照射するための第2の光源と、
撮像部と、
前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、
を備える、制御システム。
(20)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、
を含む、制御方法。
(1)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、
を備える、制御装置。
(2)
前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、前記(1)に記載の制御装置。
(3)
前記プロファイルは、前記第1の光源から発せられる光の変調パターン、発光周波数、または、当該光の照明色を含む、前記(2)に記載の制御装置。
(4)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(5)
前記制御装置は、前記第1の光源から発せられる光の測定結果を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、前記(2)または(3)に記載の制御装置。
(6)
前記光源制御部は、前記プロファイルが示す、前記第1の光源から発せられる光の強度の変化に応じて、前記第2の光源の発光強度を変化させる、前記(2)~(5)のいずれか一項に記載の制御装置。
(7)
前記光源制御部は、前記第1の光源から光が発せられない期間には前記第2の光源に発光させ、かつ、前記第1の光源から光が発せられる期間には前記第2の光源に発光させない、前記(6)に記載の制御装置。
(8)
前記第1の光源は、第1の光を発し、
前記第2の光源は、前記第1の光とは異なる種類の第2の光を発する、前記(7)に記載の制御装置。
(9)
前記光源制御部は、前記第1の光源から発せられる光の強度が小さくなるほど、前記第2の光源の発光強度が大きくなるように、前記第2の光源に対する発光の制御を行う、前記(6)に記載の制御装置。
(10)
前記光源制御部は、前記第1の光源から発せられる光の光量と、目標光量との比較に基づいて、前記第2の光源の発光量を決定する、前記(6)または(9)に記載の制御装置。
(11)
前記第1の光源および前記第2の光源は、同じ種類の光を発する、前記(9)または(10)に記載の制御装置。
(12)
前記光源制御部は、さらに、ユーザにより指定される観察モードに基づいて、前記第2の光源に対する発光の制御を行う、前記(6)~(11)のいずれか一項に記載の制御装置。
(13)
前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(14)
前記制御装置は、前記第1の光源から発せられる光の測定結果に基づいて、前記同期信号を特定する同期信号特定部をさらに備える、前記(2)~(12)のいずれか一項に記載の制御装置。
(15)
前記制御装置は、前記同期信号に基づいて、撮像部に対する撮像の制御を行う撮像制御部をさらに備える、前記(1)~(14)のいずれか一項に記載の制御装置。
(16)
前記撮像制御部は、前記撮像部に、前記同期信号に同期して撮像させる、前記(15)に記載の制御装置。
(17)
前記光源制御部は、さらに、前記プロファイルと前記同期信号とに基づいて、前記第1の光源に対する発光の制御を行う、前記(1)~(16)のいずれか一項に記載の制御装置。
(18)
前記第2の光源は、半導体光源である、前記(1)~(17)のいずれか一項に記載の制御装置。
(19)
第1の光源と、
術部に対して光を照射するための第2の光源と、
撮像部と、
前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、
を備える、制御システム。
(20)
第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、
を含む、制御方法。
10‐1、10‐2、10‐3 制御装置
20 観察装置
22 観察部
24 筒状部
26 アーム部
28 ベース部
30 外部光源
32 表示装置
34 外光センサ
100 外部光源プロファイル解析部
102 自光源プロファイル生成部
104 同期信号解析部
106 同期制御部
108、300 光源制御部
110 同期信号検出部
112 外部光源プロファイル生成部
200 撮像部
202、302 光源部
20 観察装置
22 観察部
24 筒状部
26 アーム部
28 ベース部
30 外部光源
32 表示装置
34 外光センサ
100 外部光源プロファイル解析部
102 自光源プロファイル生成部
104 同期信号解析部
106 同期制御部
108、300 光源制御部
110 同期信号検出部
112 外部光源プロファイル生成部
200 撮像部
202、302 光源部
Claims (20)
- 第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部、
を備える、制御装置。 - 前記プロファイルは、前記第1の光源から発せられる光の明るさの変化の規則性に関する情報を含む、請求項1に記載の制御装置。
- 前記プロファイルは、前記第1の光源から発せられる光の変調パターン、発光周波数、または、当該光の照明色を含む、請求項2に記載の制御装置。
- 前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、請求項2に記載の制御装置。
- 前記制御装置は、前記第1の光源から発せられる光の測定結果を解析することにより前記プロファイルを特定するプロファイル特定部をさらに備える、請求項2に記載の制御装置。
- 前記光源制御部は、前記プロファイルが示す、前記第1の光源から発せられる光の強度の変化に応じて、前記第2の光源の発光強度を変化させる、請求項2に記載の制御装置。
- 前記光源制御部は、前記第1の光源から光が発せられない期間には前記第2の光源に発光させ、かつ、前記第1の光源から光が発せられる期間には前記第2の光源に発光させない、請求項6に記載の制御装置。
- 前記第1の光源は、第1の光を発し、
前記第2の光源は、前記第1の光とは異なる種類の第2の光を発する、請求項7に記載の制御装置。 - 前記光源制御部は、前記第1の光源から発せられる光の強度が小さくなるほど、前記第2の光源の発光強度が大きくなるように、前記第2の光源に対する発光の制御を行う、請求項6に記載の制御装置。
- 前記光源制御部は、前記第1の光源から発せられる光の光量と、目標光量との比較に基づいて、前記第2の光源の発光量を決定する、請求項6に記載の制御装置。
- 前記第1の光源および前記第2の光源は、同じ種類の光を発する、請求項9に記載の制御装置。
- 前記光源制御部は、さらに、ユーザにより指定される観察モードに基づいて、前記第2の光源に対する発光の制御を行う、請求項6に記載の制御装置。
- 前記制御装置は、前記第1の光源から発せられる光が照射される被写体の撮像画像を解析することにより前記同期信号を特定する同期信号特定部をさらに備える、請求項2に記載の制御装置。
- 前記制御装置は、前記第1の光源から発せられる光の測定結果に基づいて、前記同期信号を特定する同期信号特定部をさらに備える、請求項2に記載の制御装置。
- 前記制御装置は、前記同期信号に基づいて、撮像部に対する撮像の制御を行う撮像制御部をさらに備える、請求項1に記載の制御装置。
- 前記撮像制御部は、前記撮像部に、前記同期信号に同期して撮像させる、請求項15に記載の制御装置。
- 前記光源制御部は、さらに、前記プロファイルと前記同期信号とに基づいて、前記第1の光源に対する発光の制御を行う、請求項1に記載の制御装置。
- 前記第2の光源は、半導体光源である、請求項1に記載の制御装置。
- 第1の光源と、
術部に対して光を照射するための第2の光源と、
撮像部と、
前記第1の光源から発せられる光のプロファイル、および、前記第1の光源と前記第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御を行う光源制御部と、
前記同期信号に基づいて、前記撮像部に対する撮像の制御を行う撮像制御部と、
を備える、制御システム。 - 第1の光源から発せられる光のプロファイル、および、前記第1の光源と、術部に対して光を照射するための第2の光源との間でタイミングを同期させるための同期信号に基づいて、前記第2の光源に対する発光の制御をプロセッサが行うこと、
を含む、制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/308,613 US10652973B2 (en) | 2016-08-01 | 2017-04-24 | Control apparatus, control system, and control method |
CN201780046490.0A CN109496144B (zh) | 2016-08-01 | 2017-04-24 | 控制装置、控制系统、以及控制方法 |
EP17836564.9A EP3492037A4 (en) | 2016-08-01 | 2017-04-24 | DEVICE, SYSTEM AND CONTROL METHOD |
JP2018531743A JP7070412B2 (ja) | 2016-08-01 | 2017-04-24 | 制御装置、制御システム、および制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-151394 | 2016-08-01 | ||
JP2016151394 | 2016-08-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018025457A1 true WO2018025457A1 (ja) | 2018-02-08 |
Family
ID=61073373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/016205 WO2018025457A1 (ja) | 2016-08-01 | 2017-04-24 | 制御装置、制御システム、および制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10652973B2 (ja) |
EP (1) | EP3492037A4 (ja) |
JP (1) | JP7070412B2 (ja) |
CN (1) | CN109496144B (ja) |
WO (1) | WO2018025457A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019111482A1 (ja) * | 2017-12-06 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置、および制御方法 |
JPWO2020217670A1 (ja) * | 2019-04-24 | 2020-10-29 | ||
JPWO2020217671A1 (ja) * | 2019-04-24 | 2020-10-29 | ||
JPWO2020217669A1 (ja) * | 2019-04-24 | 2020-10-29 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12016543B2 (en) | 2019-02-12 | 2024-06-25 | Edward Rustamzadeh | Lateral retractor system for minimizing muscle damage in spinal surgery |
US10624623B1 (en) * | 2019-02-12 | 2020-04-21 | Edward Rustamzadeh | Lateral retractor system for minimizing muscle damage in spinal surgery |
US11246582B2 (en) | 2019-02-12 | 2022-02-15 | Edward Rustamzadeh | Dual-motion rotation and retraction system for minimizing muscle damage in spinal surgery |
US10363023B1 (en) | 2019-02-12 | 2019-07-30 | Edward Rustamzadeh | Lateral retractor system for minimizing muscle damage in spinal surgery |
US10925593B2 (en) | 2019-02-12 | 2021-02-23 | Edward Rustamzadeh | Lateral retractor system for minimizing muscle damage in spinal surgery |
US10631842B1 (en) | 2019-02-12 | 2020-04-28 | Edward Rustamzadeh | Lateral retraction system for minimizing muscle damage in spinal surgery |
CN112437213A (zh) * | 2020-10-28 | 2021-03-02 | 青岛小鸟看看科技有限公司 | 图像采集方法、手柄设备、头戴设备及头戴系统 |
CN112527102B (zh) * | 2020-11-16 | 2022-11-08 | 青岛小鸟看看科技有限公司 | 头戴式一体机系统及其6DoF追踪方法和装置 |
USD1002842S1 (en) | 2021-06-29 | 2023-10-24 | Edward Rustamzadeh | Combination surgical spinal dilator and retractor system |
US11659642B1 (en) | 2021-12-06 | 2023-05-23 | American Sterilizer Company | Surgical lighting system co-illumination detection |
EP4444158A1 (en) * | 2021-12-09 | 2024-10-16 | Alcon Inc. | Systems and methods for light modulation during ophthalmic surgery |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009515618A (ja) * | 2005-11-14 | 2009-04-16 | トルンプフ メディツィーン ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト | 手術用照明システム |
JP2012245349A (ja) * | 2011-05-02 | 2012-12-13 | Fujifilm Corp | 医療機器の光源装置、及び内視鏡装置 |
JP2014220169A (ja) * | 2013-05-10 | 2014-11-20 | 山田医療照明株式会社 | 医療用照明システム及び照明方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60304688T2 (de) * | 2002-02-25 | 2007-04-12 | Steris Inc., Temecula | Umgebungsbeleuchtungssystem für operationsleuchte |
KR20060108757A (ko) * | 2003-12-11 | 2006-10-18 | 컬러 키네틱스 인코포레이티드 | 조명 소자를 위한 열 관리 방법 및 장치 |
CN201072116Y (zh) * | 2007-01-12 | 2008-06-11 | 重庆邦桥科技有限公司 | Led手术无影灯 |
JP5707758B2 (ja) * | 2010-07-13 | 2015-04-30 | ソニー株式会社 | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 |
JP5431294B2 (ja) * | 2010-11-16 | 2014-03-05 | 富士フイルム株式会社 | 内視鏡装置 |
WO2015114906A1 (ja) * | 2014-01-29 | 2015-08-06 | オリンパス株式会社 | 撮像システムおよび撮像装置 |
JP2015169438A (ja) | 2014-03-04 | 2015-09-28 | ソニー株式会社 | 測定装置、測定システム、測定方法、およびプログラム |
WO2015164774A1 (en) * | 2014-04-25 | 2015-10-29 | The Trustees Of Dartmouth College | Fluorescence guided surgical systems and methods gated on ambient light |
JP6452355B2 (ja) * | 2014-09-02 | 2019-01-16 | キヤノン株式会社 | 撮影装置及びその制御方法、並びに、プログラム |
JP2016220174A (ja) * | 2015-05-26 | 2016-12-22 | 株式会社東芝 | 家電制御方法及び家電制御装置 |
EP3383247A4 (en) * | 2015-11-25 | 2019-06-26 | Camplex, Inc. | SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS |
US20180368656A1 (en) * | 2017-05-24 | 2018-12-27 | Camplex, Inc. | Surgical visualization systems and displays |
-
2017
- 2017-04-24 WO PCT/JP2017/016205 patent/WO2018025457A1/ja unknown
- 2017-04-24 JP JP2018531743A patent/JP7070412B2/ja active Active
- 2017-04-24 EP EP17836564.9A patent/EP3492037A4/en not_active Withdrawn
- 2017-04-24 US US16/308,613 patent/US10652973B2/en active Active
- 2017-04-24 CN CN201780046490.0A patent/CN109496144B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009515618A (ja) * | 2005-11-14 | 2009-04-16 | トルンプフ メディツィーン ジステーメ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト | 手術用照明システム |
JP2012245349A (ja) * | 2011-05-02 | 2012-12-13 | Fujifilm Corp | 医療機器の光源装置、及び内視鏡装置 |
JP2014220169A (ja) * | 2013-05-10 | 2014-11-20 | 山田医療照明株式会社 | 医療用照明システム及び照明方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3492037A4 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019111482A1 (ja) * | 2017-12-06 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置、および制御方法 |
JPWO2020217670A1 (ja) * | 2019-04-24 | 2020-10-29 | ||
JPWO2020217671A1 (ja) * | 2019-04-24 | 2020-10-29 | ||
JPWO2020217669A1 (ja) * | 2019-04-24 | 2020-10-29 | ||
JP7361345B2 (ja) | 2019-04-24 | 2023-10-16 | パナソニックIpマネジメント株式会社 | 発光装置並びにそれを用いた医療システム、電子機器及び検査方法 |
JP7361346B2 (ja) | 2019-04-24 | 2023-10-16 | パナソニックIpマネジメント株式会社 | 発光装置並びにそれを用いた医療システム、電子機器及び検査方法 |
JP7361347B2 (ja) | 2019-04-24 | 2023-10-16 | パナソニックIpマネジメント株式会社 | 波長変換体、並びにそれを用いた発光装置、医療システム、電子機器及び検査方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109496144A (zh) | 2019-03-19 |
EP3492037A1 (en) | 2019-06-05 |
US20190261498A1 (en) | 2019-08-22 |
US10652973B2 (en) | 2020-05-12 |
EP3492037A4 (en) | 2019-07-24 |
JPWO2018025457A1 (ja) | 2019-05-30 |
JP7070412B2 (ja) | 2022-05-18 |
CN109496144B (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018025457A1 (ja) | 制御装置、制御システム、および制御方法 | |
JP5452776B2 (ja) | 撮像装置 | |
WO2012043771A1 (ja) | 撮像装置 | |
JPWO2019123796A1 (ja) | 内視鏡システム、内視鏡システムの制御方法 | |
JP6450832B2 (ja) | 蛍光画像生成装置及び蛍光画像生成方法 | |
JP5558635B2 (ja) | 内視鏡装置 | |
JP7399151B2 (ja) | 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム | |
JP7265613B2 (ja) | 医療用撮像システム | |
US20200129044A1 (en) | Medical observation apparatus and medical observation system | |
JP2011030985A (ja) | 内視鏡システム、および内視鏡 | |
JP5987826B2 (ja) | プローブシステム | |
JP2011024885A (ja) | 内視鏡用光源システム、および内視鏡ユニット | |
JP6452355B2 (ja) | 撮影装置及びその制御方法、並びに、プログラム | |
JP6937902B2 (ja) | 内視鏡システム | |
WO2021140923A1 (ja) | 医療画像生成装置、医療画像生成方法および医療画像生成プログラム | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
JP6508900B2 (ja) | 撮影システム及びその制御方法 | |
JP7140113B2 (ja) | 内視鏡 | |
JP2020146407A (ja) | 光源装置、医療用観察システム、照明方法およびプログラム | |
JP7213245B2 (ja) | 内視鏡用光源装置、内視鏡用光源の制御方法および内視鏡システム | |
JP7441822B2 (ja) | 医療用制御装置及び医療用観察装置 | |
WO2024162481A1 (ja) | 制御装置、医療用観察システム及び発光方法 | |
JP2005168828A (ja) | 自家蛍光電子内視鏡装置 | |
JP2009268617A (ja) | 内視鏡用光源装置 | |
JP2021126153A (ja) | 医療用画像処理装置および医療用観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17836564 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018531743 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017836564 Country of ref document: EP Effective date: 20190301 |