Nothing Special   »   [go: up one dir, main page]

WO2013054891A1 - 三次元内視鏡装置 - Google Patents

三次元内視鏡装置 Download PDF

Info

Publication number
WO2013054891A1
WO2013054891A1 PCT/JP2012/076461 JP2012076461W WO2013054891A1 WO 2013054891 A1 WO2013054891 A1 WO 2013054891A1 JP 2012076461 W JP2012076461 W JP 2012076461W WO 2013054891 A1 WO2013054891 A1 WO 2013054891A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
video signal
eye image
divided
Prior art date
Application number
PCT/JP2012/076461
Other languages
English (en)
French (fr)
Inventor
久 西村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280050124.XA priority Critical patent/CN103875243B/zh
Priority to EP12840320.1A priority patent/EP2768226B1/en
Publication of WO2013054891A1 publication Critical patent/WO2013054891A1/ja
Priority to US14/248,931 priority patent/US20140218479A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to a three-dimensional endoscope apparatus which forms an image for left eye and right eye on a single MOS sensor.
  • a three-dimensional endoscope apparatus which realizes stereoscopic vision by forming an image for left eye and right eye having parallax on one MOS sensor. From the relationship of the mounting space of the endoscope, it is preferable to form an image for the left eye and the right eye on a single image pickup element having a light receiving surface close to a square, rather than the method using a plurality of image pickup elements.
  • Patent Document 1 The technology described in Patent Document 1 is an effective technology when forming left and right images on a single image pickup element in order to obtain a horizontally long high-vision image.
  • the type of the imaging device is not specified in Patent Document 1, there is no mention of the problem when the imaging device is a MOS sensor. If a MOS type sensor is used without using a mechanical shutter and without providing a light shielding period, the time at which light information is stored in a pixel as electrical information according to the position of an image formed from the characteristics of the rolling shutter It is different.
  • the light information is accumulated in the pixels in order toward.
  • the area S11-n in the area S11 in each area obtained by dividing the area S12 into a plurality of areas, the area S12-1, the area S12-2, the area S12-3, ..., the area S12-n
  • light information is accumulated in the pixels sequentially from the top to the bottom.
  • the three-dimensional endoscope apparatus is an apparatus that causes the subject to be viewed stereoscopically using parallax, positional displacement due to time difference causes parallax that is appropriately set to deviate, and stereoscopic display can not be performed.
  • the arrangement of the imaging device and the configuration of the optical system are determined with high precision in order to obtain appropriate parallax, but the endoscope scope may be deformed by using an autoclave or the like.
  • the endoscope When the endoscope is used, there is a problem that a physical displacement occurs due to water droplets adhering to the lens. Since this deviation is difficult to predict in advance, a function is required to detect the deviation before using the endoscope or, if necessary, while using the endoscope, and to electronically correct the deviation. ing. If a shift due to the characteristics of the rolling shutter of the MOS type sensor is added to such a shift caused by age and use conditions, it is not possible to detect only the shift of the former desired to be corrected.
  • the present invention has been made in view of the problems described above, and it is an object of the present invention to provide a three-dimensional endoscope apparatus capable of suppressing the displacement of left and right images due to the characteristics of a rolling shutter of a MOS sensor. Do.
  • the present invention has been made to solve the above-described problems, and in a first aspect of the present invention, in the three-dimensional endoscope apparatus for acquiring an image for the left eye and an image for the right eye having parallax, the left eye And optical systems for imaging the light corresponding to each of the image for the right eye and the image for the right eye, and the first light and the second light obtained through the optical systems of the two systems receive a single light
  • An endoscope scope comprising a MOS type sensor for generating an image signal based on the first and second images formed separately on a surface, and an image processing processor for performing image processing on the image signal
  • an image display device for displaying an image including the image for the left eye and the image for the right eye based on the video signal processed by the image processor, and the light receiving surface of the MOS type sensor is provided.
  • the first image formed A straight line connecting the center and the center of the second image is orthogonal to the parallax direction, and the first region on which the first image is formed is divided into a plurality of first regions on the light receiving surface of the MOS sensor. Divided into divided regions, and a second region on which the second image is formed is divided into a plurality of second divided regions, and the MOS sensor includes the first region and the second region.
  • the MOS sensor detects the plurality of first divided areas and the plurality of the plurality of first divided areas by raster scan.
  • the second divided area may be scanned to read data, and the raster scan direction may be orthogonal to the parallax direction.
  • the image processor performs an image processing
  • the image processing unit performs the image processing
  • the image for the left eye A separation unit for separating the image signal for the left eye corresponding to the image signal for the left eye and the image signal for the right eye corresponding to the image for the right eye, the plurality of first divided areas and the plurality of second divided areas
  • the order of data forming each of the left-eye video signal and the right-eye video signal is set to be the same as the order of data when data is read by scanning in the same direction as the parallax direction by the raster scan.
  • the rearranging adjustment unit may be provided.
  • the image processor instructs a calibration operation before or during the normal operation.
  • a control unit a shift detection unit that detects a shift amount of the left-eye image and the right-eye image during the calibration operation, and a correction amount calculation that calculates correction amounts of the left-eye image and the right-eye image during the calibration operation
  • the image processing apparatus may further include a correction unit that corrects the video signal in accordance with the correction amount of the left-eye image and the right-eye image.
  • the shift detection unit includes at least one of brightness, white balance, size, rotation, and parallel movement.
  • the amount of deviation in an item may be detected, and the correction amount calculation unit may calculate the amount of correction corresponding to the amount of deviation for each item.
  • the MOS sensor when the MOS sensor reads out data forming the video signal from the first area and the second area, it corresponds to the first divided area at the position corresponding to the left eye image and the right eye image
  • the MOS sensor By alternately scanning the second divided area at the position where the data is read and reading out the data, it is possible to suppress the displacement of the left and right images due to the characteristics of the rolling shutter of the MOS type sensor.
  • FIG. 1 shows a schematic configuration of a three-dimensional endoscope apparatus according to an embodiment of the present invention. The outline of the three-dimensional endoscope apparatus will be described with reference to FIG.
  • the three-dimensional endoscope apparatus includes an endoscope scope 201 including an optical system 101 for the left eye, an optical system 102 for the right eye, and a CMOS sensor 110 (MOS sensor), an image processing processor 202, and an image display apparatus as a monitor. And 203.
  • the left-eye optical system 101, the right-eye optical system 102, and the CMOS sensor 110 are disposed at the tip of the endoscope scope 201.
  • the left-eye optical system 101 and the right-eye optical system 102 are two systems of optical systems that form light corresponding to the left-eye image and the right-eye image.
  • the left-eye optical system 101 and the right-eye optical system 102 have an angle of view of, for example, an aspect ratio of 16: 9 suitable for a high-definition image.
  • the left-eye optical system 101 and the right-eye optical system 102 are arranged in such a manner that parallax appropriate for three-dimensional display is given to the left-eye image and the right-eye image.
  • the two systems of light (first light and second light) that have passed through the left-eye optical system 101 and the right-eye optical system 102 are split up and down on the light receiving surface of the CMOS sensor 110 and are used as left-eye and right-eye images. It is imaged.
  • the CMOS sensor 110 generates a video signal based on the left-eye image (first image) and the right-eye image (second image) formed on the light receiving surface.
  • the image processor 202 performs image processing on the video signal output from the CMOS sensor 110.
  • the image display device 203 displays an image including the image for the left eye and the image for the right eye based on the video signal processed by the image processing processor 202.
  • FIG. 2 shows the light receiving surface of the CMOS sensor 110.
  • CMOS sensor 110 On the light receiving surface of the CMOS sensor 110, a plurality of pixels for generating data based on the formed light are arranged in a matrix.
  • the light receiving surface of the CMOS sensor 110 is a region S1 (first region) where light passing through the left-eye optical system 101 is imaged as a left-eye image and light passing through the right-eye optical system 102 is as a right-eye image And a region S2 (second region) to be imaged.
  • the direction (parallax direction) giving parallax to the image for the left eye and the image for the right eye is the left and right direction (direction of arrow D1 in FIG. 2), and the left eye is divided into two on the light receiving surface of the CMOS sensor 110
  • the direction of the straight line connecting the centers of the image for the right eye and the image for the right eye is the vertical direction (the direction of the arrow D2 in FIG. 2).
  • the two directions are orthogonal to each other.
  • FIG. 3 shows that the CMOS sensor 110 scans the light receiving surface by raster scanning and reads out data forming a video signal from pixels arranged in a matrix on the light receiving surface.
  • the direction in which the CMOS sensor 110 scans the light receiving surface (the direction of the arrow D3 in FIG. 3) is orthogonal to the parallax direction.
  • the area S1 and the area S2 are divided into a plurality of divided areas.
  • Region S1 is divided into divided regions S1-1, S1-2, S1-3,..., S1-n (first divided regions) divided in units of columns of pixels arranged in a matrix. Divided regions).
  • Region S2 is divided into regions S2-1, S2-2, S2-3,..., S2-n (second regions) divided into units of columns of pixels arranged in a matrix. Divided regions). Each divided area in the area S1 is associated with each divided area in the same row in the area S2. For example, the divided area S1-1 corresponds to the divided area S2-1, and the divided area S1-n corresponds to the divided area S2-n.
  • the CMOS sensor 110 scans the light receiving surface in the direction of the arrow D3 and reads out data forming a video signal from each pixel of each divided area.
  • the divided areas in the area S1 and the divided areas in the area S2 are alternately scanned. More specifically, division area S2-1, division area S1-1, division area S2-2, division area S1-2, division area S2-3, division area S1-3, ..., division area S2-
  • Each divided area is scanned in the order (order) of n and divided area S1-n.
  • the area S1 and the area S2 are alternately scanned in the same direction, with the divided area divided in column units as a scan unit.
  • the time when light information is stored as electrical information at the mutually corresponding positions of the left-eye image and the right-eye image (the positions in the image for the left-eye image and the right-eye image are the same)
  • the difference between the time or end time) is a minute time which is half the scan time of one line.
  • the difference is half the scan time of one line (the sum of the time for scanning each of the divided area S1-1 and the divided area S2-1).
  • the CMOS sensor 110 outputs, to the image processing processor 202, a video signal in which data of the left-eye image and data of the right-eye image are alternately mixed.
  • FIG. 4 shows the detailed configuration of the image processing processor 202.
  • the image processing processor 202 includes a video signal separation unit 120, a video signal adjustment unit 121, a shift detection unit 130, a correction amount calculation unit 140, a correction unit 150, an image processing unit 160, and a control unit 180. .
  • the video signal separation unit 120 generates a video signal in which data of a left-eye image and data of a right-eye image are alternately mixed, a left-eye video signal including data of the left-eye image, and data of the right-eye image And the right-eye video signal.
  • the subsequent processing can be performed in units of images for the left eye and for the right eye.
  • the video signal adjustment unit 121 adjusts the order of data forming each of the left-eye video signal and the right-eye video signal output from the video signal separation unit 120.
  • the video signal adjustment unit 121 sets the order of the data forming the left-eye video signal so as to be the same as the order of the data of each pixel when scanning the region S1 in the same direction as the parallax direction by raster scan.
  • the video signal adjustment unit 121 adjusts the order of the data forming the right-eye video signal so as to be the same as the order of the data of each pixel when scanning the region S2 in the same direction as the parallax direction by raster scan. Do (sort). Thus, the order of data forming each of the left-eye video signal and the right-eye video signal is the same as the order of data to be input to the image display device 203 at the end.
  • Memory is generally used to rearrange data, but the left eye video signal and the right eye video signal are divided and written in the memory for the left eye and the memory for the right eye, and data is managed in left and right memory units If it does, it is not necessary to prepare the process of separation separately.
  • FIG. 5 shows a state of processing performed by the video signal separation unit 120 and the video signal adjustment unit 121.
  • the pixels in the region S1 where the left-eye image is formed and the pixels in the region S2 where the right-eye image is formed are arranged in two rows and three columns. It is done. Moreover, in order to distinguish 12 pixels shown in FIG. 5, numbers 1 to 12 are assigned to each pixel.
  • the video signal separation unit 120 separates the video signal E1 into the left-eye video signal EL1 and the right-eye video signal ER1.
  • the video signal adjustment unit 121 adjusts the order of data of each pixel constituting the left eye video signal EL1 to generate a left eye video signal EL2. Further, the video signal adjustment unit 121 adjusts the order of data of each pixel constituting the right eye video signal ER1, and generates a right eye video signal ER2.
  • the order of data of each pixel in the left-eye video signal EL2 is the same as the order of data of each pixel when the region S1 is scanned in the same direction as the parallax direction by raster scanning. Further, the order of data of each pixel in the right-eye video signal ER2 is the same as the order of data of each pixel when the region S2 is scanned in the same direction as the parallax direction by raster scan.
  • the shift detection unit 130 and the correction amount calculation unit 140 operate based on the control signal output from the control unit 180.
  • the control signal output from the control unit 180 is a signal instructing an operation mode.
  • the three-dimensional endoscope apparatus of the present embodiment has a normal mode and a calibration mode as operation modes.
  • the fair mode is indicated before or during normal operation.
  • the shift detection unit 130 and the correction amount calculation unit 140 shift the left-eye image and the right-eye image based on the left-eye video signal and the right-eye video signal when the control signal instructs the calibration mode. To calculate the amount of correction.
  • the calculated correction amount is held at the end of the calibration and used in the normal mode.
  • the shift detection unit 130 stops the operation or, even if it operates, the calculated shift amount is invalidated and the shift amount is not updated. Further, in the normal mode, the correction amount calculation unit 140 stops the operation except for distortion correction to be described later, or even if it operates, the calculated correction amount is invalidated and the correction amount is not updated. Except for the shift detection unit 130 and the correction amount calculation unit 140, a single operation is performed without depending on the control signal.
  • the shift detection unit 130 includes five type shift detection units 131 that individually detect shifts in the items of brightness, white balance, size, rotation, and parallel movement. In FIG. 4, only one type shift detection unit 131 is shown, and the other four type shift detection units 131 are omitted. The operation of the type shift detection unit 131 in the calibration mode will be described in detail below.
  • the three-dimensional endoscope apparatus captures an image of a calibration jig on which a chart image is drawn.
  • a chart image drawn on a proofreading jig various images can be considered as a chart image drawn on a proofreading jig, in this embodiment, a case where a black-filled square is drawn at the center of a white background will be described as an example.
  • the type shift detection unit 131 for brightness detects, for example, the shift amount of the brightness of the image for the right eye with respect to the image for the left eye based on the brightness average of the image for the left eye and the image for the right eye.
  • the range for which the average is determined may be the entire image or only a predetermined range.
  • the amount of deviation in brightness is a ratio of luminance, but may be a difference in luminance.
  • the white shift type shift detection unit 131 detects the shift amount of the left eye image with respect to the balanced state and the shift amount of the right eye image with respect to the balanced state.
  • the amount of displacement of the size, the rotation, and the parallel movement after the predetermined distortion correction is performed on the left-eye video signal and the right-eye video signal in advance, the amount of these displacement is detected.
  • a predetermined distortion occurs in the endoscope image. By removing this distortion, the amount of displacement of size, rotation, and parallel movement can be accurately detected.
  • the type shift detecting unit 131 for size, rotation, and parallel movement analyzes the image for the left eye and the image for the right eye to detect the amount of shift.
  • the coordinates of the four vertexes of the square can be easily obtained by detecting the boundary position between black and white in a state where the distortion is removed and the square can be recognized as a square.
  • the type shift detector for size 131 calculates the ratio of the distance between the vertices of each image, and detects, for example, the ratio of the distance between the vertices of the right-eye image to the image for the left eye as a shift amount.
  • the distance between the vertices of each image corresponds to the size of each image.
  • the distance between the chart image drawn on the calibration jig and the lens is constant, and the originally set predetermined amount of parallax does not affect the size, so the size ratio may be simply obtained.
  • the distance between any two vertices among the four vertices detected from the left-eye image, and the two vertices among the four vertices detected from the right-eye image, for which the distances are calculated using the left-eye image The distance between two vertices is calculated, and the ratio of those distances is calculated.
  • the type shift detection unit for rotation 131 calculates the tilt angle obtained from the vertex of each image, and detects, for example, the difference between the tilt angle of the right-eye image and the left-eye image as a shift amount.
  • the distance between the chart image drawn on the calibration jig and the lens is constant, and the originally set predetermined amount of parallax does not affect the tilt angle, so the difference between the tilt angles may be simply obtained.
  • an inclination angle of a straight line passing through any two of four apexes detected from the left-eye image, and an inclination line calculated with the left-eye image of four apexes detected from the right-eye image An inclination angle of a straight line passing through two vertices corresponding to two vertices passing through is calculated, and a difference between the inclination angles is calculated.
  • the type shift detection unit 131 for parallel movement calculates the difference in the position of the center of gravity of each image, and detects, for example, the difference in the position of the image for the right eye with respect to the image for the left eye as a shift amount.
  • the shift amount is obtained in consideration of a predetermined parallax amount which is originally set, not simply the difference in position.
  • the deviation amount is detected based on the left-eye image with respect to the deviation other than the white balance
  • the deviation amount may be detected based on the right-eye image.
  • the detection method of the shift amount described above is only an example, and various other detection methods can be considered.
  • the correction amount calculation unit 140 includes a reference adjustment unit 142, and five type correction amount calculation units 143 that calculate individual correction amounts of the brightness, white balance, size, rotation, and parallel shift. Only one type correction amount calculation unit 143 is shown in FIG. 4, and the other four type correction amount calculation units 143 are omitted. The operation of the type correction amount calculation unit 143 in the calibration mode will be described in detail below.
  • a reference adjustment unit 142 is provided to allow the user to select an image as a reference of brightness, size, inclination angle, and position from the image for the left eye and the image for the right eye.
  • the reference adjusting unit 142 selects an image instructed by the user as a reference of brightness, size, tilt angle, and position among the image for the left eye and the image for the right eye.
  • the type correction amount calculation unit 143 for white balance calculates the correction amount of the image for the left eye and the image for the right eye based on the absolute shift amount of the white balance. Specifically, coefficients for multiplying the left-eye video signal and the right-eye video signal are calculated in order to make the white balance adjusted.
  • the type correction amount calculation unit 143 for brightness, size, rotation, and parallel movement is based on one image selected by the reference adjustment unit 142 from the left-eye image and the right-eye image.
  • the correction amount of the other image is calculated.
  • calculation of the correction amount when detecting the relative shift amount of the brightness, size, inclination angle, and position of the right eye image based on the left eye image The method and the correction method will be described.
  • the correction amount calculation unit 140 detects the brightness ratio of the right-eye image based on the left-eye image. Therefore, when the reference adjustment unit 142 selects the left-eye image as a reference, the reciprocal of the brightness ratio is selected. Is the correction amount.
  • the type correction amount calculation unit 143 multiplies the correction amount by each pixel value of the right eye image signal to fit the right eye image to the left eye image.
  • the brightness ratio is the correction amount
  • the type correction amount calculation unit 143 multiplies each pixel value of the left-eye video signal by this correction amount. Fit the left eye image into the right eye image.
  • the correction amount calculation unit 140 detects the ratio of the size of the right-eye image based on the left-eye image
  • the reference adjustment unit 142 selects the left-eye image as a reference
  • the reciprocal of the size ratio Is the correction amount.
  • the type correction amount calculation unit 143 performs enlargement processing on the right eye image signal based on the correction amount to fit the right eye image into the left eye image.
  • the size ratio is the correction amount
  • the type correction amount calculation unit 143 enlarges the left-eye image signal based on the correction amount. Fit the left eye image into the right eye image.
  • the correction amount calculation unit 140 detects the difference in inclination angle of the right-eye image based on the left-eye image, if the reference adjustment unit 142 selects the left-eye image as a reference, the difference in inclination angles The value multiplied by 1 is the correction amount.
  • the type correction amount calculation unit 143 rotates the right eye image signal based on the correction amount to fit the right eye image into the left eye image.
  • the difference in inclination angle is the correction amount
  • the type correction amount calculation unit 143 rotates the left-eye image signal based on the correction amount and performs left-eye processing. Fit the image to the image for the right eye.
  • the correction amount calculation unit 140 detects a difference in position of the right-eye image based on the left-eye image
  • the position difference is ⁇ 1 ⁇
  • the corrected value is the correction amount.
  • the type correction amount calculation unit 143 performs parallel movement processing on the right eye image signal based on the correction amount to fit the right eye image into the left eye image.
  • the difference in position is the correction amount
  • the type correction amount calculation unit 143 performs parallel movement processing on the left-eye image signal based on the correction amount. Fit the left eye image into the right eye image.
  • the correction amount calculation unit 140 outputs the calculated correction amount and the left-eye video signal and the right-eye video signal subjected to predetermined distortion correction in order to remove distortion in advance.
  • the correction unit 150 corrects the left-eye video signal and the right-eye video signal based on the correction amount calculated by the correction amount calculation unit 140.
  • the correction unit 150 performs gain multiplication for brightness, white balance matrix multiplication for white balance, zoom processing for size, rotation processing for rotation, and parallel movement processing for parallel movement ( Perform position conversion).
  • the left-eye video signal and the right-eye video signal processed by the correction unit 150 are video signals from which distortion in the image has been removed by distortion correction. Therefore, the correction unit 150 performs processing for restoring the distortion originally possessed to the left-eye video signal and the right-eye video signal after performing the correction. This restoration process is adjusted to be an inverse transformation when the distortion is removed.
  • the image processing unit 160 performs predetermined image processing (image processing for display such as pixel number conversion, edge correction, color adjustment, and the like) on the left-eye video signal and the right-eye video signal whose displacements other than distortion are corrected. And output to the image display device 203 which is a monitor.
  • the image display device 203 displays an image including the right-eye image and the left-eye image based on the left-eye video signal and the right-eye video signal subjected to the image processing by the image processing unit 160.
  • the shift detection unit 130, the correction amount calculation unit 140, the correction unit 150, the control unit 180, and the parts included in these are used to detect and correct the shift caused by age or usage conditions. It is a part. If such deviation can be ignored, these parts are unnecessary.
  • the video signal separation unit 120 and the video signal adjustment unit 121 do not necessarily have to be disposed in front of the image processing unit 160, and the image processing unit 160 is used for the left eye video signal and right eye If predetermined image processing is to be performed in a state in which video signals are mixed, it may be disposed downstream of the image processing unit 160.
  • the CMOS sensor since the arrangement of the CMOS sensor is devised, the difference between the times at which light information is stored as electrical information is reduced at positions corresponding to each other for the left-eye image and the right-eye image. You may make use of the feature that allows random access. In this case, an address is generated such that the timing for accessing the mutually corresponding position of the left-eye image and the right-eye image is close, and the CMOS sensor scans the light receiving surface according to the generated address.
  • the CMOS sensor 110 may scan the light receiving surface as shown in FIG. FIG. 6 shows that the CMOS sensor 110 scans the light receiving surface by raster scanning and reads out data forming a video signal from each pixel arranged in a matrix on the light receiving surface.
  • the direction in which the CMOS sensor 110 scans the light receiving surface (the direction of the arrow D5 in FIG. 6) is parallel to the parallax direction.
  • the area S3 (first area) and the area S4 (second area) are divided into a plurality of divided areas. Region S3 is divided into regions S3-1, S3-2, S3-3,..., S3-n (first Divided regions).
  • Region S4 is divided into regions S4-1, S4-2, S4-3,..., S4-n (second regions) divided into units of rows of pixels arranged in a matrix. Divided regions). Each divided area in the area S3 is associated with each divided area of the corresponding row in the area S4. For example, the divided area S3-1 corresponds to the divided area S4-1, and the divided area S3-n corresponds to the divided area S4-n.
  • the CMOS sensor 110 scans the light receiving surface in the direction of the arrow D5, and reads out data forming a video signal from each pixel of each divided area.
  • the divided areas in the area S3 and the divided areas in the area S4 are alternately scanned. More specifically, division area S3-1, division area S4-1, division area S3-2, division area S4-2, division area S3-3, division area S4-3, ..., division area S3-
  • Each divided area is scanned in the order (order) of n and divided area S4-n.
  • the area S3 and the area S4 are alternately scanned in the same direction with the divided areas divided in row units as the scan units.
  • the time when the optical information is stored as electrical information (the position at which the position in the image is the same in the image for the left eye and the image for the right eye) corresponding to each other for the left eye image and the right eye image
  • the difference between the start time or the end time) is the same as the scan time of one line.
  • the time when light information is accumulated as electrical information in the leftmost pixel of divided area S3-1 and the time when light information is accumulated as electrical information in the leftmost pixel of corresponding divided area S4-1 The difference is the same time as the scan time of one line (time to scan each of the divided area S1-1 and the divided area S2-1).
  • the CMOS sensor 110 configures the video signal from the first area on which the left-eye image is formed and the second area on which the right-eye image is formed.
  • the CMOS sensor 110 configures the video signal from the first area on which the left-eye image is formed and the second area on which the right-eye image is formed.
  • the CMOS sensor 110 scans a plurality of divided areas by raster scan and reads out data
  • the raster scan direction is orthogonal to the parallax direction, so the left eye image and the right eye image correspond to each other.
  • the difference between the times when light information is stored as electrical information at the position (the start time or end time of storage) is half the scan time of one line. For this reason, even if the subject in motion is photographed, the influence of the time difference between the left and right images can be suppressed.
  • the video signal separation unit 120 separates the video signal output from the CMOS sensor 110 into the left-eye video signal and the right-eye video signal, and the video signal adjustment unit 121 performs raster scanning on the divided region to be the same as the parallax direction.
  • Data in the video signal output from the CMOS sensor 110 by rearranging the order of the data forming each of the left-eye video signal and the right-eye video signal so as to be the same as the data sequence in the case of scanning in the direction Even in the special state, the left-eye video signal and the right-eye video signal corresponding to the input format of the normal image display device can be generated.
  • the shift detection unit 130 detects the shift amount of the left-eye image and the right-eye image during the calibration operation
  • the correction amount calculation unit 140 calculates the correction amount of the left-eye image and the right-eye image during the calibration operation.
  • the unit 150 corrects the video signal in accordance with the correction amount of the left-eye image and the right-eye image, it is possible to correct the deviation caused by the aging or the use condition. Therefore, the image for the left eye and the image for the right eye having always proper parallax can be generated, and stereoscopic vision can be realized.
  • the shift detection unit 130 includes a type shift detection unit 131 that detects the shift amount for each item of brightness, white balance, size, rotation, and parallel movement
  • the correction amount calculation unit 140 includes the type of shift.
  • the MOS sensor when the MOS sensor reads out data forming the video signal from the first area and the second area, the divided area at the position corresponding to the left-eye image and the position corresponding to the right-eye image By alternately scanning the divided areas and reading out the data, it is possible to suppress the deviation of the left and right images due to the characteristics of the rolling shutter of the MOS type sensor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　内視鏡スコープは、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系と右目用光学系を備えると共に、左目用光学系及び右目用光学系を通して得られる第１の光及び第２の光が単一の受光面に別々に結像されるＣＭＯＳセンサを備える。ＣＭＯＳセンサの受光面に結像された第１の像の中心と第２の像の中心とを結ぶ直線は視差方向と直交している。ＣＭＯＳセンサの受光面において、第１の像の中心と第２の像が結像される第１の領域は複数個の第１の分割領域に分割され、第２の領域は複数個の第２の分割領域に分割されている。ＣＭＯＳセンサは、第１の領域及び第２の領域から映像信号を構成するデータを読み出す際、左目用画像に対応する位置の第１の分割領域と右目用画像に対応する位置の第２の分割領域とを交互にスキャンしてデータを読み出す。

Description

三次元内視鏡装置
　本発明は、１枚のＭＯＳ型センサに左目用・右目用の画像を結像させる三次元内視鏡装置に関する。
　本願は、２０１１年１０月１４日に、日本に出願された特願２０１１－２２６７５６号に基づき優先権を主張し、その内容をここに援用する。
　１枚のＭＯＳ型センサに、視差を有する左目用・右目用の画像を結像させることで立体視を実現する三次元内視鏡装置がある。内視鏡スコープの搭載スペースの関係から、複数の撮像素子を用いる方式よりも、受光面の形状が正方形に近い１枚の撮像素子に左目用・右目用の画像を結像させる方式が好ましい。
　左目用画像と右目用画像を１枚の撮像素子に結像させる場合、撮像素子の受光面を左右に分割した領域に結像させるのが一般的である。しかし、ハイビジョン画像を得る場合、１６：９というように横に長い画像を生成する必要がある。これにより、正方形に近い撮像素子の受光面を左右に分割した領域に結像させる方式では、後で大きな倍率で水平方向に画像を拡大しなければならないため、画質劣化の要因となる。これを解決する手段として特許文献１では、図７に示すように、撮像素子の受光面を上下に分割した領域Ｓ１１，Ｓ１２に左目用画像と右目用画像とを結像させることが提案されている。

再公表ＷＯ２００４／１０６８５７号公報

　特許文献１に記載された技術は、横に長いハイビジョン画像を得るために左右の画像を１枚の撮像素子に結像させる際に有効な技術である。しかしながら、特許文献１では撮像素子の種類は特定されていないため、撮像素子をＭＯＳ型センサとしたときの課題には言及されていない。メカシャッタを用いず、また、遮光期間を設けずにＭＯＳ型センサを使用すると、ローリングシャッタの特性から、結像された画像の位置に応じて、光情報が電気情報として画素に蓄積される時刻が異なる。

　例えば、図８に示すように、領域Ｓ１１を複数に分割した各領域では、領域Ｓ１１-１、領域Ｓ１１-２、領域Ｓ１１-３、・・・、領域Ｓ１１-ｎというように上側から下側に向かって順に光情報が画素に蓄積される。領域Ｓ１１において領域Ｓ１１-ｎに光情報が蓄積された後、領域Ｓ１２を複数に分割した各領域では、領域Ｓ１２-１、領域Ｓ１２-２、領域Ｓ１２-３、・・・、領域Ｓ１２-ｎというように上側から下側に向かって順に光情報が画素に蓄積される。

　そのため、左目用画像と右目用画像とで、互いに対応する位置（例えば領域Ｓ１１-１と領域Ｓ１２-１）の画像では１フレーム周期の半分の時差が生じ、動いている被写体を撮影した場合に左右の画像で位置がずれる。三次元内視鏡装置は、視差を利用して被写体を立体的に見せる装置であるため、時差による位置ズレは、適切に設定されている視差を狂わせてしまい、立体表示ができなくなる。

　また、三次元内視鏡では、適切な視差を得るために撮像素子の配置や光学系の構成が高精度に決定されているが、オートクレイブなどの利用によって内視鏡スコープが変形することや、内視鏡使用時にレンズに水滴が付着することなどによって、物理的にズレが生ずるという問題がある。このズレは事前に予測困難なものであるため、内視鏡スコープの使用前あるいは必要であれば内視鏡スコープの使用中にズレを検出し、そのズレを電子的に補正する機能が求められている。このような経年や使用条件によって生ずるズレに、MOS型センサのローリングシャッタの特性によるズレが加わると、補正対象としたい前者のズレだけを検出できなくなる。

　本発明は、上述した課題に鑑みてなされたものであって、ＭＯＳ型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる三次元内視鏡装置を提供することを目的とする。

　本発明は、上記の課題を解決するためになされたもので、本発明の第１の態様では、視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、前記左目用画像と前記右目用画像とのそれぞれに対応する光を結像する２系統の光学系を備えると共に、前記２系統の光学系を通して得られる第１の光及び第２の光が単一の受光面に別々に結像され、結像された第１の像及び第２の像に基づく映像信号を生成するＭＯＳ型センサを備える内視鏡スコープと、前記映像信号に画像処理を行う画像処理プロセッサと、前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、を有し、前記ＭＯＳ型センサの前記受光面に結像された前記第１の像の中心と前記第２の像の中心とを結ぶ直線が視差方向と直交し、前記ＭＯＳ型センサの前記受光面において、前記第１の像が結像される第１の領域が複数個の第１の分割領域に分割され、前記第２の像が結像される第２の領域が複数個の第２の分割領域に分割され、前記ＭＯＳ型センサは、前記第１の領域と前記第２の領域とから前記映像信号を構成するデータを読み出す際、前記左目用画像に対応する位置の前記第１の分割領域と前記右目用画像に対応する位置の前記第２の分割領域とを交互にスキャンしてデータを読み出す。

　本発明の第２の態様の三次元内視鏡装置によれば、上記第１の態様において、前記ＭＯＳ型センサは、ラスタスキャンにより前記複数個の前記第１の分割領域及び前記複数個の前記第２の分割領域をスキャンしてデータを読み出し、前記ラスタスキャンの方向が前記視差方向と直交しても良い。

　本発明の第３の態様の三次元内視鏡装置によれば、上記第１の態様において、前記画像処理プロセッサは、前記画像処理を行う画像処理部と、前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、前記複数個の前記第１の分割領域及び前記複数個の前記第２の分割領域を前記ラスタスキャンにより前記視差方向と同一方向にスキャンしてデータを読み出した場合のデータの順序と同一となるように、前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を並べ替える調整部と、を備えていても良い。

　本発明の第４の態様の三次元内視鏡装置によれば、上記第３の態様において、前記画像処理プロセッサは、通常動作を行う前、あるいは前記通常動作の途中で、校正動作を指示する制御部と、前記校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、前記校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、前記左目用画像及び前記右目用画像の前記補正量に応じて前記映像信号に補正を行う補正部と、を備えていても良い。

　本発明の第５の態様の三次元内視鏡装置によれば、上記第４の態様において、前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上の項目におけるズレ量を検出し、前記補正量算出部は、前記項目ごとの前記ズレ量に対応した補正量を算出しても良い。

　上記によれば、ＭＯＳ型センサが、第１の領域と第２の領域とから映像信号を構成するデータを読み出す際、左目用画像に対応する位置の第1の分割領域と右目用画像に対応する位置の第２の分割領域とを交互にスキャンしてデータを読み出すことによって、ＭＯＳ型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる。
本発明の一実施形態による三次元内視鏡装置の概略構成を示す構成図である。 本発明の一実施形態による三次元内視鏡装置が備えるＣＭＯＳセンサの受光面を示す参考図である。 本発明の一実施形態による三次元内視鏡装置が備えるＣＭＯＳセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。 本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサの構成を示すブロック図である。 本発明の一実施形態による三次元内視鏡装置が備える画像処理プロセッサ内の映像信号分離部と映像信号調整部が行う処理の様子を示す参考図である。 本発明の一実施形態による三次元内視鏡装置が備えるＣＭＯＳセンサが受光面をスキャンして各画素から映像信号を構成するデータを読み出す様子を示す参考図である。 撮像素子に左右の画像を結像させる様子を示す参考図である。 ＭＯＳ型センサのローリングシャッタの特性による蓄積時刻の差を説明するための参考図である。

　以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による三次元内視鏡装置の概略構成を示している。図１を参照し、三次元内視鏡装置の概略を述べる。

　三次元内視鏡装置は、左目用光学系101、右目用光学系102、CMOSセンサ110（MOS型センサ）を備えた内視鏡スコープ201と、画像処理プロセッサ202と、モニタである画像表示装置203とを有している。左目用光学系101、右目用光学系102、CMOSセンサ110は内視鏡スコープ201の先端に配置されている。

　左目用光学系101と右目用光学系102は、左目用画像と右目用画像のそれぞれに対応する光を結像する2系統の光学系である。左目用光学系101と右目用光学系102は、ハイビジョン画像に好適な、例えばアスペクト比が16:9の画角を有している。また、左目用光学系101と右目用光学系102は、三次元表示に適切な視差を左目用画像と右目用画像に与えられる形態で配置されている。左目用光学系101と右目用光学系102を通った2系統の光（第１の光及び第２の光）は、CMOSセンサ110の受光面の上下に分かれて左目用画像と右目用画像として結像される。

　CMOSセンサ110は、受光面に結像された左目用画像（第１の像）と右目用画像（第２の像）に基づく映像信号を生成する。画像処理プロセッサ202は、CMOSセンサ110から出力された映像信号に画像処理を行う。画像表示装置203は、画像処理プロセッサ202によって処理された映像信号に基づいて、左目用画像と右目用画像を含む画像を表示する。

　ここで表現した左右及び上下の関係について、図2を参照して補足する。図2は、CMOSセンサ110の受光面を示している。CMOSセンサ110の受光面には、結像された光に基づくデータを生成する画素が複数個、行列状に配置されている。CMOSセンサ110の受光面は、左目用光学系101を通った光が左目用画像として結像される領域S1（第１の領域）と、右目用光学系102を通った光が右目用画像として結像される領域S2（第２の領域）とを備える。左目用画像と右目用画像に視差を与えている方向（視差方向）が左右方向（図2の矢印D1の方向）であり、CMOSセンサ110の受光面に2つに分かれて結像される左目用画像と右目用画像のそれぞれの中心を結ぶ直線の方向（領域Ｓ１及び領域Ｓ２の配列方向）が上下方向（図2の矢印D2の方向）である。この2つの方向は直交する関係となっている。

　図3は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図3の矢印D3の方向）は視差方向と直交している。領域S1と領域S2は複数の分割領域に分割されている。領域S1は、行列状に配列された画素の列の単位で分割された分割領域S1-1、分割領域S1-2、分割領域S1-3、・・・、分割領域S1-n（第１の分割領域）を備える。領域S2は、行列状に配列された画素の列の単位で分割された分割領域S2-1、分割領域S2-2、分割領域S2-3、・・・、分割領域S2-n（第２の分割領域）を備える。領域S1内の各分割領域は、領域S2内の同一列の各分割領域と対応付けられている。例えば、分割領域S1-1と分割領域S2-1が対応しており、分割領域S1-nと分割領域S2-nが対応している。

　CMOSセンサ110は、矢印D3の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S1内の各分割領域と領域S2内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S2-1、分割領域S1-1、分割領域S2-2、分割領域S1-2、分割領域S2-3、分割領域S1-3、・・・、分割領域S2-n、分割領域S1-nという順序（順番）で各分割領域がスキャンされる。このように、領域S1と領域S2は、列単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。

　これにより、左目用画像と右目用画像の互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が、1ラインのスキャン時間の半分という微小時間となる。例えば、分割領域S1-1の最も上側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S2-1の最も上側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1と分割領域S2-1をそれぞれスキャンする時間の合計）の半分である。CMOSセンサ110は、左目用画像のデータと右目用画像のデータとが交互に混合された映像信号を画像処理プロセッサ202に出力する。

　図４は、画像処理プロセッサ202の詳細な構成を示している。画像処理プロセッサ202は、映像信号分離部120と、映像信号調整部121と、ズレ検出部130と、補正量算出部140と、補正部150と、画像処理部160と、制御部180とを有する。

　映像信号分離部120は、左目用画像のデータと右目用画像のデータとが交互に混合されている映像信号を、左目用画像のデータで構成される左目用映像信号と、右目用画像のデータで構成される右目用映像信号とに分離する。これにより、以降の処理を左目用と右目用の各画像の単位で行うことが可能となる。

　映像信号調整部121は、映像信号分離部120から出力された左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序を調整する。CMOSセンサ110の受光面を垂直方向にスキャンしたことによって、各画素のデータの順番は特殊な状態になっている。このため、映像信号調整部121は、領域S1をラスタスキャンにより視差方向と同一方向にスキャンしたときの各画素のデータの順序と同一となるように、左目用映像信号を構成するデータの順序を調整する（並び替える）。また、映像信号調整部121は、領域S2をラスタスキャンにより視差方向と同一方向にスキャンしたときの各画素のデータの順序と同一となるように、右目用映像信号を構成するデータの順序を調整する（並び替える）。これにより、左目用映像信号と右目用映像信号のそれぞれを構成するデータの順序は、最後に画像表示装置203に入力すべきデータの順序と同じ順序となる。

　データの並び換えにはメモリを用いるのが一般的であるが、左目用映像信号と右目用映像信号を左目用のメモリ、右目用のメモリに分割して書き込み、左右のメモリ単位でデータを管理すれば、別途分離という行程を用意する必要はない。

　図5は、映像信号分離部120と映像信号調整部121とが行う処理の様子を示している。説明を簡単にするため、CMOSセンサ110の受光面において、左目用画像が結像される領域S1の画素と、右目用画像が結像される領域S2の画素とは、2行3列に配置されている。また、図5に示す12個の画素を区別するため、各画素には1から12までの番号が付与されている。

　CMOSセンサ110の受光面が垂直方向（図5の矢印D4の方向）にスキャンされるため、CMOSセンサ110から出力される映像信号E1における各画素のデータは、図5に示す順序で並んでいる。映像信号分離部120は、映像信号E1を左目用映像信号EL1と右目用映像信号ER1とに分離する。映像信号調整部121は、左目用映像信号EL1を構成する各画素のデータの順序を調整し、左目用映像信号EL2を生成する。また、映像信号調整部121は、右目用映像信号ER1を構成する各画素のデータの順序を調整し、右目用映像信号ER2を生成する。左目用映像信号EL2における各画素のデータの順序は、領域S1をラスタスキャンにより視差方向と同一方向にスキャンしたときの各画素のデータの順序と同一である。また、右目用映像信号ER2における各画素のデータの順序は、領域S2をラスタスキャンにより視差方向と同一方向にスキャンしたときの各画素のデータの順序と同一である。

　ズレ検出部130、補正量算出部140は、制御部180が出力する制御信号に基づいて動作する。制御部180が出力する制御信号は、動作モードを指示する信号である。本実施形態の三次元内視鏡装置は、動作モードとして通常モードと校正モードとを備える。公正モードは、通常動作を行う前、あるいは通常動作の途中で指示される。ズレ検出部130と補正量算出部140とは、制御信号が校正モードを指示しているときに、左目用映像信号と右目用映像信号とに基づいて、左目用画像と右目用画像とのズレを検出し、補正量を算出する。算出した補正量は校正終了時に保持し、通常モードで利用する。通常モードのときには、ズレ検出部130は動作を停止するか、動作しても、算出したズレ量を無効とし、ズレ量を更新しない。また、通常モードのときには、補正量算出部140は、後述する歪み補正を除いて動作を停止するか、動作しても、算出した補正量を無効とし、補正量を更新しない。ズレ検出部130、補正量算出部140以外については制御信号に依存せずに単一の動作を行う。

　ズレ検出部130は、明るさ、ホワイトバランス、大きさ、回転、平行移動の各項目におけるズレを個々に検出する5つの種別ズレ検出部131を備える。図4では1つの種別ズレ検出部131のみが示され、他の4つの種別ズレ検出部131は省略されている。以下に校正モードにおける種別ズレ検出部131の動作を詳述する。

　ズレを検出するために、校正モードでは三次元内視鏡装置は、チャート画像が描かれた校正冶具を撮像する。校正冶具に描かれるチャート画像としては様々な画像が考えられるが、本実施形態では白地の中央部に黒く塗り潰された正方形が描かれている場合を例に説明する。

　明るさ用の種別ズレ検出部131は、左目用画像と右目用画像の輝度平均などから、例えば左目用画像に対する右目用画像の明るさのズレ量を検出する。平均を求める範囲は画像全体でも、予め規定した範囲だけでもよい。また、明るさのズレ量は輝度の比とするが、輝度の差であってもよい。

　ホワイトバランスのズレ量に関しては、バランスのとれた状態に対する左目用画像のズレ量及びバランスのとれた状態に対する右目用画像のズレ量をホワイトバランス用の種別ズレ検出部131が検出する。

　大きさ、回転、平行移動のズレ量に関しては、事前に左目用映像信号と右目用映像信号とに所定の歪み補正が実施されてから、これらのズレ量が検出される。内視鏡スコープのレンズ特性や、術者に好まれる画像を再現するために、内視鏡画像には所定の歪みが生じている。この歪みを除去することで、大きさ、回転、平行移動のズレ量を正確に検出できる。

　大きさ用、回転用、平行移動用の種別ズレ検出部131は、左目用画像及び右目用画像を解析してズレ量を検出する。歪みが除去され、正方形が正方形として認識できる状態において、黒と白との境界位置を検出していくことで、正方形の4つの頂点の座標は容易に得られる。

　大きさ用の種別ズレ検出部131は、各画像の頂点間の距離の比を算出して、例えば左目用画像に対する右目用画像の頂点間の距離の比をズレ量として検出する。本実施形態では、各画像の頂点間の距離が各画像の大きさに相当する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は大きさに影響を与えないため、単純に大きさの比を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点間の距離と、右目用画像から検出される4つの頂点のうち、左目用画像で距離を算出した2つの頂点に対応する2つの頂点間の距離とが算出され、それらの距離の比が算出される。

　回転用の種別ズレ検出部131は、各画像の頂点から得られる傾き角を算出して、例えば左目用画像に対する右目用画像の傾き角の差をズレ量として検出する。校正冶具に描かれているチャート画像とレンズとの距離は一定であり、本来設定されている所定の視差量は傾き角に影響を与えないため、単純に傾き角の差を得ればよい。例えば、左目用画像から検出される4つの頂点のうち任意の2つの頂点を通る直線の傾き角と、右目用画像から検出される4つの頂点のうち、左目用画像で傾き角を算出した直線が通る2つの頂点に対応する2つの頂点を通る直線の傾き角とが算出され、それらの傾き角の差が算出される。

　平行移動用の種別ズレ検出部131は、各画像の重心位置の差を算出して、例えば左目用画像に対する右目用画像の位置の差をズレ量として検出する。単純に位置の差とするのでなく、本来設定されている所定の視差量を考慮してズレ量を得る。

　ホワイトバランス以外のズレに関して、左目用画像を基準にズレ量を検出するように記載したが、右目用画像を基準にズレ量を検出してもよい。また、上記に述べたズレ量の検出方法は一例に過ぎず、その他にも様々な検出方法が考えられる。

　補正量算出部140は、基準調整部142と、明るさ、ホワイトバランス、大きさ、回転、平行移動の各ズレの個々の補正量を算出する5つの種別補正量算出部143とを備える。図4では1つの種別補正量算出部143のみが示され、他の4つの種別補正量算出部143は省略されている。以下に校正モードにおける種別補正量算出部143の動作を詳述する。

　ホワイトバランス補正には絶対的な基準があるが、明るさ、大きさ、回転、平行移動に関しては、絶対的な基準が存在していない。しかも、左目用画像と右目用画像とを比較して両画像間のズレ量を知ることはできるが、左目用画像と右目用画像とのどちらがズレてしまったのか、あるいは両方ともズレてしまったのかを知ることは困難である。

　そこで、明るさ、大きさ、傾き角、位置の基準とする画像をユーザが左目用画像と右目用画像とから選択できるようにするため、基準調整部142が設けられている。基準調整部142は、左目用画像と右目用画像のうち、明るさ、大きさ、傾き角、位置の基準としてユーザが指示する画像を選択する。

　ホワイトバランス用の種別補正量算出部143は、ホワイトバランスの絶対的なズレ量に基づいて、左目用画像及び右目用画像の補正量を算出する。具体的には、ホワイトバランスが調整されている状態にするために左目用映像信号及び右目用映像信号に乗ずる係数を算出する。

　明るさ用、大きさ用、回転用、平行移動用のそれぞれの種別補正量算出部143は、基準調整部142が左目用画像と右目用画像とから選択した一方の画像を基準としたときの他方の画像の補正量を算出する。以下に、補正量算出部140の動作として例示したように左目用画像を基準として右目用画像の明るさ、大きさ、傾き角、位置の相対的なズレ量を検出する場合の補正量の算出方法と補正方法について説明する。

　まず、明るさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の明るさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、明るさの比の逆数が補正量となる。種別補正量算出部143は、この補正量を右目用映像信号の各画素値に乗じて右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、明るさの比が補正量となり、種別補正量算出部143は、この補正量を左目用映像信号の各画素値に乗じて左目用画像を右目用画像に合わせ込む。

　次に、大きさに関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の大きさの比が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、大きさの比の逆数が補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を拡大処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、大きさの比が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を拡大処理して左目用画像を右目用画像に合わせ込む。

　次に、傾き角に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の傾き角の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、傾き角の差を-1倍した値が補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を回転処理して右目用画像を左目用画像に合わせ込む。基準調整部142が右目用画像を基準として選択した場合は、傾き角の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を回転処理して左目用画像を右目用画像に合わせ込む。

　次に、位置に関する補正量の算出方法と補正方法について説明する。補正量算出部140によって、左目用画像を基準とした右目用画像の位置の差が検出されるため、基準調整部142が左目用画像を基準として選択した場合は、位置の差を-1倍した値が補正量となる。種別補正量算出部143は、この補正量に基づいて右目用映像信号を平行移動処理して右目用画像を左目用画像に合わせ込む。また、基準調整部142が右目用画像を基準として選択した場合は、位置の差が補正量となり、種別補正量算出部143は、この補正量に基づいて左目用映像信号を平行移動処理して左目用画像を右目用画像に合わせ込む。

　補正量算出部140は、算出した補正量と、事前に歪みを除去するために所定の歪み補正を施した左目用映像信号及び右目用映像信号とを出力する。補正部150は、補正量算出部140によって算出された補正量に基づいて左目用映像信号と右目映像信号とを補正する。

　補正部150は、明るさに関してはゲイン乗算を行い、ホワイトバランスに関してはホワイトバランスマトリクス乗算を行い、大きさに関してはズーム処理を行い、回転に関しては回転処理を行い、平行移動に関しては平行移動処理（位置変換）を行う。補正部150が処理する左目用映像信号と右目用映像信号とは、歪み補正により画像中の歪みが除去された映像信号である。このため、補正部150は、補正を施した後に、左目用映像信号と右目用映像信号とに対して、本来有していた歪みを復元する処理を行う。この復元処理は、歪みを除去したときの逆変換となるように調整されている。

　歪み以外のズレが補正された左目用映像信号と右目用映像信号は、画像処理部160で所定の画像処理（画素数変換や、エッジ補正、色調整等の表示のための画像処理）が施され、モニタである画像表示装置203に出力される。画像表示装置203は、画像処理部160によって画像処理が施された左目用映像信号と右目用映像信号とに基づいて、右目用画像と左目用画像とを含む画像を表示する。

　以上の構成の中で、ズレ検出部130、補正量算出部140、補正部150、制御部180、及びこれらに内包される部位は、経年や使用条件によって生ずるズレを検出して補正するための部分である。こうしたズレを無視できる場合には、これらの部位は不要である。

　また、これらの部位を省いた装置では、映像信号分離部120と映像信号調整部121とは必ずしも画像処理部160の前段に配置する必要はなく、画像処理部160が左目用映像信号と右目用映像信号を混合した状態で所定の画像処理を施すならば、画像処理部160の後段に配置してもよい。

　次に、本実施形態の変形例を説明する。上記では、CMOSセンサの配置を工夫することで、左目用画像と右目用画像との互いに対応する位置で、光情報が電気情報として蓄積される時刻の差が小さくなるようにしたが、CMOSセンサのランダムアクセスが可能な特徴を活かしてもよい。この場合、左目用画像と右目用画像との互いに対応する位置にアクセスするタイミングが近くなるようにアドレスを発生し、発生されたアドレスに従ってCMOSセンサは受光面をスキャンする。

　例えば、CMOSセンサ110が、図6に示すように受光面をスキャンしてもよい。図6は、CMOSセンサ110が、受光面をラスタスキャンによりスキャンして、受光面に行列状に配置された各画素から、映像信号を構成するデータを読み出す様子を示している。CMOSセンサ110が受光面をスキャンする方向（図6の矢印D5の方向）は視差方向と平行である。領域S3（第１の領域）と領域S4（第２の領域）は複数の分割領域に分割されている。領域S3は、行列状に配列された画素の行の単位で分割された分割領域S3-1、分割領域S3-2、分割領域S3-3、・・・、分割領域S3-n（第１の分割領域）を備える。領域S4は、行列状に配列された画素の行の単位で分割された分割領域S4-1、分割領域S4-2、分割領域S4-3、・・・、分割領域S4-n（第２の分割領域）を備える。領域S3内の各分割領域は、領域S4内の対応する行の各分割領域と対応付けられている。例えば、分割領域S3-1と分割領域S4-1が対応しており、分割領域S3-nと分割領域S4-nが対応している。

　CMOSセンサ110は、矢印D5の方向に受光面をスキャンして、各分割領域の各画素から映像信号を構成するデータを読み出す。これによって、領域S3内の各分割領域と領域S4内の各分割領域とが交互にスキャンされる。より具体的には、分割領域S3-1、分割領域S4-1、分割領域S3-2、分割領域S4-2、分割領域S3-3、分割領域S4-3、・・・、分割領域S3-n、分割領域S4-nという順序（順番）で各分割領域がスキャンされる。このように、領域S3と領域S4は、行単位で分割された分割領域をスキャン単位として交互に同一方向にスキャンされる。

　これにより、左目用画像と右目用画像との互いに対応する位置（左目用画像と右目用画像において画像内の位置が同一となる位置）で、光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ラインのスキャン時間と同じ時間となる。例えば、分割領域S3-1の最も左側の画素において光情報が電気情報として蓄積される時刻と、対応する分割領域S4-1の最も左側の画素において光情報が電気情報として蓄積される時刻との差が1ラインのスキャン時間（分割領域S1-1、分割領域S2-1をそれぞれスキャンする時間）と同じ時間である。

　上述したように、本実施形態によれば、CMOSセンサ110が、左目用画像が結像される第1の領域と、右目用画像が結像される第2の領域とから映像信号を構成するデータを読み出す際、左目用画像に対応する分割領域と右目用画像に対応する位置の分割領域とを交互にスキャンしてデータを読み出すことによって、左目用画像と右目用画像との互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差を小さくすることが可能となる。このため、ローリングシャッタの特性による左右の画像のズレを抑制することができる。よって、ハイビジョン画像として表示するのに適した映像信号が得られ、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。

　また、CMOSセンサ110が、ラスタスキャンにより複数個の分割領域をスキャンしてデータを読み出す際、ラスタスキャンの方向が視差方向と直交しているため、左目用画像と右目用画像との互いに対応する位置において光情報が電気情報として蓄積される時刻（蓄積の開始時刻又は終了時刻）の差が1ライン分のスキャン時間の半分となる。このため、動いている被写体を撮影したとしても左右の画像の時差の影響を抑制することができる。

　また、映像信号分離部120が、CMOSセンサ110から出力された映像信号を左目用映像信号と右目用映像信号とに分離し、映像信号調整部121が、分割領域をラスタスキャンにより視差方向と同一方向にスキャンした場合のデータの順序と同一となるように、左目用映像信号及び右目用映像信号のそれぞれを構成するデータの順序を並べ替えることによって、CMOSセンサ110から出力された映像信号におけるデータの並びが特殊な状態になっていても、通常の画像表示装置の入力フォーマットに対応した左目用映像信号及び右目用映像信号を生成することができる。

　また、ズレ検出部130が、校正動作時に左目用画像及び右目用画像のズレ量を検出し、補正量算出部140が、校正動作時に左目用画像及び右目用画像の補正量を算出し、補正部150が、左目用画像及び右目用画像の補正量に応じて映像信号に補正を行うことによって、経年や使用条件によって生ずるズレを補正することができる。よって、常に適正な視差を有する左目用画像及び右目用画像を生成し、立体視を実現することができる。

　また、ズレ検出部130が、明るさ、ホワイトバランス、大きさ、回転、平行移動の項目ごとのズレ量を検出する種別ズレ検出部131を備え、補正量算出部140が、ズレの種類ごとのズレ量に対応した補正量を算出する種別補正量算出部143を備えることによって、様々なズレが複合的に生じている場合でも、ズレの種類ごとに独立したズレ量を検出し、各種類のズレを補正することができる。

　以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　上記によれば、ＭＯＳ型センサが、第１の領域と第２の領域とから映像信号を構成するデータを読み出す際、左目用画像に対応する位置の分割領域と右目用画像に対応する位置の分割領域とを交互にスキャンしてデータを読み出すことによって、ＭＯＳ型センサのローリングシャッタの特性による左右の画像のズレを抑制することができる。
　101・・・左目用光学系
　102・・・右目用光学系
　110・・・ ＣＭＯＳセンサ
　120・・・映像信号分離部
　121・・・映像信号調整部
　130・・・ズレ検出部
　131・・・種別ズレ検出部
　140・・・補正量算出部
　142・・・基準調整部
　143・・・種別補正量算出部
　150・・・補正部
　160・・・画像処理部
　180・・・制御部
　201・・・内視鏡スコープ
　202・・・画像処理プロセッサ
　203・・・画像表示装置

 

Claims (5)

  1. 視差を有する左目用画像と右目用画像とを取得する三次元内視鏡装置において、
    　前記左目用画像と前記右目用画像とのそれぞれに対応する光を結像する２系統の光学系を備えると共に、前記２系統の光学系を通して得られる第１の光及び第２の光が単一の受光面に別々に結像され、結像された第１の像及び第２の像に基づく映像信号を生成するＭＯＳ型センサを備える内視鏡スコープと、
    　前記映像信号に画像処理を行う画像処理プロセッサと、
    　前記画像処理プロセッサによって処理された前記映像信号に基づいて、前記左目用画像と前記右目用画像を含む画像を表示する画像表示装置と、
    　を有し、
    　前記ＭＯＳ型センサの前記受光面に結像された前記第１の像の中心と前記第２の像の中心とを結ぶ直線が視差方向と直交し、
    　前記ＭＯＳ型センサの前記受光面において、前記第１の像が結像される第１の領域が複数個の第１の分割領域に分割され、前記第２の像が結像される第２の領域が複数個の第２の分割領域に分割され、
    　前記ＭＯＳ型センサは、前記第１の領域と前記第２の領域とから前記映像信号を構成するデータを読み出す際、前記左目用画像に対応する位置の前記第１の分割領域と前記右目用画像に対応する位置の前記第２の分割領域とを交互にスキャンしてデータを読み出す三次元内視鏡装置。
  2. 　前記ＭＯＳ型センサは、ラスタスキャンにより前記複数個の前記第１の分割領域及び前記複数個の前記第２の分割領域をスキャンしてデータを読み出し、
    　前記ラスタスキャンの方向が前記視差方向と直交する
    請求項１に記載の三次元内視鏡装置。
  3. 　前記画像処理プロセッサは、
    　前記画像処理を行う画像処理部と、
    　前記映像信号を、前記左目用画像に対応する左目用映像信号と、前記右目用画像に対応する右目用映像信号とに分離する分離部と、
    　前記複数個の前記第１の分割領域及び前記複数個の前記第２の分割領域を前記ラスタスキャンにより前記視差方向と同一方向にスキャンしてデータを読み出した場合のデータの順序と同一となるように、前記左目用映像信号及び前記右目用映像信号のそれぞれを構成するデータの順序を並べ替える調整部と、
    　を備える
    請求項１に記載の三次元内視鏡装置。
  4. 　前記画像処理プロセッサは、
    　通常動作を行う前、あるいは前記通常動作の途中で、校正動作を指示する制御部と、
    　前記校正動作時に前記左目用画像及び前記右目用画像のズレ量を検出するズレ検出部と、
    　前記校正動作時に前記左目用画像及び前記右目用画像の補正量を算出する補正量算出部と、
    　前記左目用画像及び前記右目用画像の前記補正量に応じて前記映像信号に補正を行う補正部と、
    　を備える
    請求項３に記載の三次元内視鏡装置。
  5. 　前記ズレ検出部は、明るさ、ホワイトバランス、大きさ、回転、平行移動の少なくとも1つ以上の項目におけるズレ量を検出し、
    　前記補正量算出部は、前記項目ごとの前記ズレ量に対応した補正量を算出する
    請求項４に記載の三次元内視鏡装置。

     
PCT/JP2012/076461 2011-10-14 2012-10-12 三次元内視鏡装置 WO2013054891A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280050124.XA CN103875243B (zh) 2011-10-14 2012-10-12 三维内窥镜装置
EP12840320.1A EP2768226B1 (en) 2011-10-14 2012-10-12 3d endoscope device
US14/248,931 US20140218479A1 (en) 2011-10-14 2014-04-09 3d endoscope device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011226756A JP5973707B2 (ja) 2011-10-14 2011-10-14 三次元内視鏡装置
JP2011-226756 2011-10-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/248,931 Continuation US20140218479A1 (en) 2011-10-14 2014-04-09 3d endoscope device

Publications (1)

Publication Number Publication Date
WO2013054891A1 true WO2013054891A1 (ja) 2013-04-18

Family

ID=48081936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076461 WO2013054891A1 (ja) 2011-10-14 2012-10-12 三次元内視鏡装置

Country Status (5)

Country Link
US (1) US20140218479A1 (ja)
EP (1) EP2768226B1 (ja)
JP (1) JP5973707B2 (ja)
CN (1) CN103875243B (ja)
WO (1) WO2013054891A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017482A1 (ja) * 2014-07-28 2016-02-04 オリンパス株式会社 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
CN105358040A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 内窥镜装置
US9599810B2 (en) 2013-12-05 2017-03-21 Olympus Corporation Stereoscopic endoscope system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6560485B2 (ja) * 2014-04-17 2019-08-14 ローム株式会社 診断システム
WO2014175223A1 (ja) 2013-04-22 2014-10-30 ローム株式会社 癌診断装置、診断システム、診断装置
WO2016039270A1 (ja) 2014-09-09 2016-03-17 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
CN205610834U (zh) * 2014-12-29 2016-09-28 深圳超多维光电子有限公司 立体显示系统
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示系统及方法
CN105812774B (zh) * 2014-12-29 2019-05-21 广东省明医医疗慈善基金会 基于插管镜的立体显示系统及方法
CN107735714B (zh) * 2015-06-25 2020-06-09 奥林巴斯株式会社 内窥镜装置
CN104935915B (zh) * 2015-07-17 2018-05-11 珠海康弘发展有限公司 成像装置、三维成像系统及三维成像方法
CN106361255B (zh) * 2016-11-10 2020-07-14 微创（上海）医疗机器人有限公司 3d电子内窥镜
WO2019053804A1 (ja) * 2017-09-13 2019-03-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2020017089A1 (ja) * 2018-07-20 2020-01-23 オリンパス株式会社 撮像ユニット、内視鏡および内視鏡システム
WO2021075306A1 (ja) * 2019-10-17 2021-04-22 ソニー株式会社 手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラム
CN111009009A (zh) * 2019-12-11 2020-04-14 苏州新光维医疗科技有限公司 一种内窥镜3d图像调节方法
CN110995997A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种单镜头内窥镜图像处理转换方法
WO2023084706A1 (ja) * 2021-11-11 2023-05-19 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265047A (ja) * 1996-03-27 1997-10-07 Matsushita Electric Ind Co Ltd 電子内視鏡装置
WO2004106857A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2006181021A (ja) * 2004-12-27 2006-07-13 Media Technology:Kk 電子内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835133A (en) * 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
EP0971261B1 (en) * 1998-07-09 2004-10-20 Matsushita Electric Industrial Co., Ltd. Stereoscopic picture obtaining device
JP3706326B2 (ja) * 2001-10-17 2005-10-12 オリンパス株式会社 内視鏡装置
CN100554878C (zh) * 2003-05-29 2009-10-28 奥林巴斯株式会社 立体光学模块和立体摄像机
EP1854011A2 (en) * 2005-02-15 2007-11-14 Koninklijke Philips Electronics N.V. Enhancing performance of a memory unit of a data processing device by separating reading and fetching functionalities
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
JP5137546B2 (ja) * 2007-12-05 2013-02-06 Ｈｏｙａ株式会社 撮像素子制御ユニット、電子内視鏡、および内視鏡システム
JP5638791B2 (ja) * 2009-11-25 2014-12-10 オリンパスイメージング株式会社 撮像装置
US8988504B2 (en) * 2010-06-03 2015-03-24 Semiconductor Components Industries, Llc Imaging systems with integrated stereo imagers
US20120007954A1 (en) * 2010-07-08 2012-01-12 Texas Instruments Incorporated Method and apparatus for a disparity-based improvement of stereo camera calibration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265047A (ja) * 1996-03-27 1997-10-07 Matsushita Electric Ind Co Ltd 電子内視鏡装置
WO2004106857A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
JP2006181021A (ja) * 2004-12-27 2006-07-13 Media Technology:Kk 電子内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2768226A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105358040A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 内窥镜装置
CN105358040B (zh) * 2013-07-04 2018-01-02 奥林巴斯株式会社 内窥镜装置
US9599810B2 (en) 2013-12-05 2017-03-21 Olympus Corporation Stereoscopic endoscope system
WO2016017482A1 (ja) * 2014-07-28 2016-02-04 オリンパス株式会社 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
JP5930256B1 (ja) * 2014-07-28 2016-06-08 オリンパス株式会社 立体観察装置のための制御装置、立体観察システム及び立体観察装置の制御方法
US9641827B2 (en) 2014-07-28 2017-05-02 Olympus Corporation Controller for 3D observation apparatus, 3D observation system, and method of controlling the 3D observation apparatus
EP3197156A4 (en) * 2014-07-28 2018-03-21 Olympus Corporation Control device for stereoscopic viewing device, stereoscopic viewing system, and control method for stereoscopic viewing device

Also Published As

Publication number Publication date
JP5973707B2 (ja) 2016-08-23
EP2768226B1 (en) 2019-07-31
US20140218479A1 (en) 2014-08-07
EP2768226A4 (en) 2015-06-03
JP2013090035A (ja) 2013-05-13
CN103875243A (zh) 2014-06-18
CN103875243B (zh) 2017-05-17
EP2768226A1 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
WO2013054891A1 (ja) 三次元内視鏡装置
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
CN102917235B (zh) 图像处理装置和图像处理方法
CN110754081B (zh) 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
JP2010263501A (ja) 撮像装置
CN1700776A (zh) 三维图像显示方法、三维图像捕获方法以及三维显示装置
WO2013166215A1 (en) CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
JP2013090035A5 (ja)
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
WO2019082820A1 (ja) カメラシステム
US11012633B2 (en) Image capturing apparatus, image capturing method, and image processing apparatus
CN103597811A (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
WO2019054304A1 (ja) 撮像装置
JP2010068018A (ja) 画像処理装置、撮像装置および表示装置
JP5439686B2 (ja) 立体画像表示装置及び立体画像表示方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP2012133185A (ja) 撮像装置
JP2014007648A (ja) 画像処理装置と画像処理方法およびプログラム
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法
JP5453328B2 (ja) 立体撮像システム、補正装置およびそのプログラム
JP2013105000A (ja) 映像表示装置及び映像表示方法
JP5950197B2 (ja) 映像信号処理装置
JP5396027B2 (ja) 立体視用印刷物
JP2019219594A (ja) 処理装置、撮像装置、交換レンズ、処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12840320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012840320

Country of ref document: EP