Nothing Special   »   [go: up one dir, main page]

CN107920722A - 针对自胶囊相机所撷取的图像通过对象检测进行重建 - Google Patents

针对自胶囊相机所撷取的图像通过对象检测进行重建 Download PDF

Info

Publication number
CN107920722A
CN107920722A CN201680047653.2A CN201680047653A CN107920722A CN 107920722 A CN107920722 A CN 107920722A CN 201680047653 A CN201680047653 A CN 201680047653A CN 107920722 A CN107920722 A CN 107920722A
Authority
CN
China
Prior art keywords
image
regions
reference image
floating
float
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680047653.2A
Other languages
English (en)
Other versions
CN107920722B (zh
Inventor
徐毅
伍晨愉
王康怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN107920722A publication Critical patent/CN107920722A/zh
Application granted granted Critical
Publication of CN107920722B publication Critical patent/CN107920722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭露一种处理通过胶囊相机所撷取的图像的方法。依据一个实施例，接收被标示为参考图像与浮动图像的两个图像，其中，该浮动图像对应被撷取的胶囊图像且该参考图像对应先前合成图像或在该浮动图像之前的另一个被撷取的胶囊图像。对该浮动图像及该参考图像应用自动分割，以检测任意非GI(非胃肠)区。在配准过程期间，在该参考图像与变形浮动图像之间的匹配度量中排除该非GI区。通过在共同的坐标渲染该两个图像将该两个图像拼接在一起。在另一个实施例中，自输入图像直接移除大面积的非GI区，并将剩余部分拼接在一起以形成新的图像，而不执行图像配准。

Description

针对自胶囊相机所撷取的图像通过对象检测进行重建
相关申请的交叉参考
本发明要求于2015年8月15日提交的序列号为14/827,325的美国专利申请的优先权。本发明与2014年5月19日所提交的PCT专利申请序列号PCT/US14/38533相关，该申请要求2013年5月29日所提交的美国临时专利申请号61/828,653的优先权。该美国临时专利申请及PCT专利申请整体通过参考包括于此。
技术领域
本发明涉及自通过体内胶囊相机所撷取的图像导出合成图像。
背景技术
用以在体内成像体腔或通道的装置是现有技术已知的，并包括内窥镜及自主胶囊化相机。内窥镜是通过身体孔洞或外科手术开口进入体内的挠性或刚性管，通常经由口腔进入食道或者经由直肠进入结肠。通过使用透镜在远端形成图像并通过透镜中继系统或通过相干光纤束将该图像传输至体外的近端。概念上类似的仪器可能例如通过使用CCD或CMOS阵列在远端电子记录图像，并通过线缆将该图像数据作为电性信号传送至近端。内窥镜允许医生控制视场并且是被广泛接受的诊断工具。不过，它们的确具有若干限制，为患者带来风险，对于患者来说是侵入性的且不舒服的。它们的成本限制它们作为常规健康筛查工具的应用。
解决这些问题的其中许多问题的一种替代体内图像传感器是胶囊内窥镜。相机与用以向基站(base-station)接收器或收发器传输数据的无线电发送器一起被容置于可吞咽胶囊中。也可使用体外的数据记录器来接收并记录所传输的数据。该数据主要包括该数字相机所记录的图像。该胶囊也可包括用以自基站发送器接收指令或其它数据的无线电接收器。代替射频传输，可使用低频电磁信号。功率可自外部电感器向该胶囊内的内部电感器电感供应或者由该胶囊内的电池供应。
在自主胶囊系统中，在胶囊相机经过胃肠(gastrointestinal；GI)道的过程期间一并收集多个图像与其它数据。在获取并处理该些图像与数据以后，通常将其显示于显示装置上，以供诊断医生或医学专家检查。不过，每个图像仅提供胃肠道的一小段的有限视图。想要自多个胶囊图像形成(拼接)具有较大视场的单个合成图像或少量合成图像。大图像可利用高分辨率大屏幕显示装置以允许使用者同时视觉化更多信息。图像拼接过程可包括移除图像之间的冗余重叠区域，从而可在单个合成图像中同时观看较大面积的内部胃肠道表面。较大的图像可提供内部胃肠道表面的较大部分的更广视图。
不过，在胃肠道的典型胶囊图像中，有许多非GI对象例如气泡及残渣会影响图像配准(image registration)，图像配准是图像拼接中的关键步骤，以将多个图像转换为一个共同的坐标系统。随后，这些非GI对象将影响图像拼接的质量。因此，想要开发一种方法，该方法可识别此类非GI对象并在图像配准中将其考虑进去以提升准确度。
发明内容
本发明揭露一种处理通过胶囊相机所撷取的图像的方法。依据一个实施例，接收被标示为参考图像与浮动图像的两个图像，其中，该浮动图像对应被撷取的胶囊图像且该参考图像对应先前合成图像或在该浮动图像之前的另一个被撷取的胶囊图像。将该浮动图像自动分割为在针对该浮动图像检测到任意本征GI样本的情况下的一个或多个第一本征GI区以及在针对该浮动图像检测到任意非GI样本的情况下的一个或多个第一非GI区。将该参考图像自动分割为在针对该参考图像检测到任意本征GI样本的情况下的一个或多个第二本征GI区以及在针对该参考图像检测到任意非GI样本的情况下的一个或多个第二非GI区。接着，通过自计算该参考图像与变形浮动图像之间的匹配度量(match measure)排除该一个或多个第一非GI区及该一个或多个第二非GI区来优化该参考图像与变形浮动图像之间的该匹配度量，从而相对该参考图像配准该浮动图像。通过对该浮动图像应用变换模型生成该变形浮动图像，以调整该浮动图像与该参考图像之间的几何变形。最后，在所述相对该参考图像配准该浮动图像以后，通过渲染该参考图像与该变形浮动图像生成合成图像。
该非GI样本可对应该人肠胃道中的气泡、残渣或粪便。依据包括于该匹配度量中的本征GI像素的数目缩放该参考图像与该变形浮动图像之间的该匹配度量。该变换模型可对应自由变形三次B样条(free-form deformation cubic B-splines)、径向基函数(Radial Basis Functions)、离散傅里叶/余弦变换基(Discrete Fourier/CosineTransformation Bases)，或其它变形模型。
可通过基于像素强度值及/或相邻像素之间的相似性的分割过程分割该浮动图像或该参考图像。在此例中，在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下，该分割过程生成相应的一个或多个不规则形的非GI像素的第一区或第二区。
也可通过滑动窗口分类分割该浮动图像或该参考图像，以在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下导出相应的一个或多个规则形的非GI像素的第一区或第二区。该滑动窗口的形状可为矩形、圆形、六边形等。在此例中，该滑动窗口分类使用从由方向梯度直方图、颜色直方图、颜色矩及其它特征组成的一组候选描述子导出的高级特征描述子。与对象检测关联的该特征描述子可为该候选描述子的其中之一或超过一个候选描述子的组合。而且，针对该浮动图像或该参考图像的分割过程包括训练机器学习引擎，其中，向机器学习算法提供与各滑动窗口中的各图像样本关联的该高级特征描述子及标记，以训练分类器。该标记对应各图像样本的对象分类。在实际处理新图像期间，在来自图像上的各滑动窗口位置的各样本上计算特征描述子，并将其提供给该分类器，以预测各滑动窗口的该对象分类。
所述优化该参考图像与该变形浮动图像之间的该匹配度量可对应最小化均方误差(mean square error；MSE)度量或最大化该参考图像与该变形浮动图像之间的互信息(mutual information；MI)度量。该优化的结果是变形模型，其将该浮动图像转换至与该参考图像相同的坐标系统。
该系统还可包括分别在该浮动图像、该参考图像或两者中检测到任意过曝光区的情况下，在该浮动图像、该参考图像或两者中确定一个或多个过曝光区的过程。所述优化该参考图像与该变形浮动图像之间的该匹配度量的过程将排除该过曝光区。所述用于排除非GI区的方法可适于排除过曝光区。也可类似地检测并处理其它成像伪影，例如鬼影。
在该优化后的度量满足条件(例如，该误差度量小于阈值)的情况下，通过使用图像拼接在同一坐标中将该变形浮动图像与参考图像合成在一起。在该浮动图像与该参考图像中的两个对应像素都是本征GI像素或都是非GI像素的情况下，使用该两个对应像素的组合来生成该合成图像的合成像素。在该浮动图像与该参考图像中的两个对应像素对应一个本征GI像素及一个非GI像素的情况下，使用该两个对应像素中的该本征GI像素来生成该合成图像的合成像素。
在另一个实施例中，可在没有图像配准的情况下执行图像拼接。在该图像的大部分区域对应非GI区的情况下，自该图像直接移除该非GI区并将与该一个或多个第一本征GI区对应的该图像的剩余部分用于所述生成该合成图像。该拼接可通过将该浮动图像的该剩余部分与先前合成图像并排放置来执行。可对围绕两部分之间的各边界的频带应用融合，以减少从一部分至另一部分的过渡伪影。
附图说明
图1显示通过基于像素及/或其相邻像素的颜色信息的分割算法检测本征GI/非GI区的一个例子，其中，所检测到的非GI区由所检测到的非GI区的轮廓标示。
图2显示通过滑动窗口分类检测本征GI/非GI区的一个例子，其中，在具有变化尺寸的滑动窗口的预定义集上计算特征描述子且所检测到的非GI区由围绕所检测到的非GI区的矩形标示。
图3显示自图像配准排除在图像的其中之一中所检测到的非GI区以及基于将浮动图像转换至参考图像的坐标并在共同坐标合成两个图像来生成合成图像，其中，所得合成不包含非GI对象。
图4显示检测过曝光区并在配准期间自匹配度量排除该过曝光区的一个例子，其中，所检测到的过曝光区由所检测到的过曝光区的轮廓标示。
图5显示直接移除大的非GI区并基于图像的剩余本征GI区生成合成图像的一个例子。
图6显示包含本发明的一个实施例的图像处理系统的一个示例流程图，其中，非GI区被识别并自用于配准的匹配度量排除或直接被移除。
具体实施方式
将很容易理解，这里的附图中概括说明并显示的本发明的组件可以各种不同的配置来安排和设计。因此，下面对附图中所示的本发明的系统及方法的实施例的更详细说明并非意图限制所请求保护的本发明的范围，而仅是本发明的所选实施例的代表。本说明书中提到的“一个实施例”、“实施例”或类似语言是指与该实施例关联说明的特定特征、结构或特性可被包括于本发明的至少一个实施例中。因此，在本说明书中的不同地方出现“在一个实施例中”或“在实施例中”等说法并不一定都指同一个实施例。
而且，在一个或多个实施例中可以任意合适的方式组合所述的特征、结构或特性。不过，相关领域的技术人员将意识到，本发明可在不具有一个或多个具体细节的情况下或者通过其它方法、组件等实施。在其它例子中，未显示或详细说明已知的结构或操作，以避免模糊本发明的态样。通过参照附图将更好地理解本发明的示例实施例，附图中类似的附图标记表示类似的部件。下面的说明仅为示例，简单说明与这里所请求保护的发明一致的装置及方法的某些选定实施例。
在由Szeliski发表于2006年12月10日Microsoft Research Technical ReportMSR-TR-2004-92的名称为“Image Alignment and Stitching：A Tutorial”的文章中可找到关于图像配准及拼接的一般技术方法的综述。
在图像配准中，首先检测并识别来自两个图像的对应特征、对象或区域。接着，通过将一个图像扭曲至另一个来对齐两个图像。
经常使用的一类配准技术是基于像素的配准，其中，通过基于图像强度比较两个图像的相似性来执行直接匹配。有数个相似性度量可用于评估基于像素配准的质量，例如平方距离和(sum of squared distance；SSD)、归一化互相关(normalized crosscorrelation；NCC)、互信息(mutual information；MI)等。例如，互信息可匹配来自两个不同模式的图像，其中，将图像A与B的MI定义为：
该互信息度量图像强度值的联合分布p(a,b)与该些图像的单独分布p(a)p(b)之间的距离。联合分布p(a,b)对应图像A具有强度值a且图像B具有强度值b的概率。另一方面，单独分布p(a)对应图像A具有强度值a的概率，且单独分布p(b)对应图像B具有强度值b的概率。该MI是两个图像之间的依赖性度量。假设是当该些图像正确对齐时，在它们的强度值之间具有最大依赖性。误配准将导致互信息的度量降低。因此，较大的互信息意味着较可靠的配准。
经常使用的另一类配准技术是基于特征的配准，其中，首先确定每个图像中的一组特征点，接着比较两个图像的对应特征。为匹配自两个不同视角所撷取的两个图像块或特征，可基于该对应估计包括缩放、旋转等的仿射相机模型。为匹配在两个不同时间点所撷取的运动对象的两个图像，可使用非刚性模型。
特征点的数目常常远小于相应图像的像素数目。因此，基于特征的图像配准的计算负荷远小于基于像素的图像匹配的计算负荷。不过，逐对匹配仍然耗时。通常利用k-d树(本领域中的熟知技术)来加速此过程。但是，在一些情况下，基于特征的图像配准可能不能很好地适用于图像，例如具有较少特征的体内图像。在此情况下，该直接图像配准可起主要作用或者可较佳地使用上述两种方法的组合。
对象例如由现场的胶囊相机撷取的胃肠道的体内图像可能变形且缺乏可识别的特征。在本发明的一个实施例中，使用基于强度的可变形配准框架。该变换模型可为自由变形三次B样条、径向基函数或其它模型。可使用基于梯度的方法或其它标准优化方法来优化该度量。在本揭露中，将初始帧或先前拼接的帧称为参考图像R，并将将要被添加至该参考帧的下一帧或新的帧称为浮动图像F。该可变形配准变形浮动图像F，直至其匹配参考R。另一方面，参考R保持不变。
对于经过胃肠道的过程期间所撷取的胶囊图像，情况变得更具挑战性。不仅与胃肠道壁对应的场景可能变形且常常缺乏可识别的特征，而且可能存在非GI对象例如气泡及残渣，它们处于独立于胃肠道的运动中。此外，来自附近对象的光反射可能引起图像的一些部分过曝光。其它成像伪影例如鬼影也可负面影响图像配准过程。
本发明揭露一种方法以克服所述问题。在一个实施例中，接收相机所撷取的多个图像并识别该些图像的非本征GI对象。该非本征GI对象是指外部对象例如气泡、残渣、粪便等。在本揭露中，该非本征GI对象也被称为非GI对象。在图像配准的优化步骤期间，自误差度量或相似性度量的计算排除与这些非本征GI对象对应的像素。
本发明的一个态样涉及关于非GI对象的分割的各种方法。在一个实施例中，分割算法可依据强度值及/或相邻像素之间的相似性将各像素标记为GI或非GI。此分割过程将导致由非GI像素构成的一组不规则形的连接区。将自相似性或误差度量计算排除各连接区内的像素。图1显示依据本发明的一个实施例的非GI对象检测的一个例子。图1中的粗线条轮廓标示由非GI像素构成的连接部分的边界(110a及110b)。
在另一个例子中，非GI对象检测是基于规则形的图像块，其中，各图像块整体被分类为GI对象或非GI对象。图像块的形状可为矩形、圆形、六边形等。滑动窗口分类是一种被广泛用于对象检测的技术。每个滑动窗口是来自输入图像的一个规则形兴趣区。在数据准备阶段，人操作者将大量窗口标记为GI或非GI区。该滑动窗口分类使用从由方向梯度直方图、颜色直方图、颜色矩及其它特征组成的一组候选描述子导出的高级特征描述子。与对象检测关联的该特征描述子可为该候选描述子的其中之一或超过一个候选描述子的组合。而且，针对浮动图像或参考图像的分割过程包括训练机器学习分类器(例如，支持向量机(support vector machine；SVM)或随机森林(random forest)技术)，其中，向机器学习算法提供与各滑动窗口中的各图像样本关联的高级特征描述子及标记，以训练分类器。该标记可对应各图像样本的对象分类。在实际处理新图像期间，在来自新图像的各滑动窗口位置的各样本上计算特征描述子，并将其提供给该分类器以预测该对象分类。图2显示通过该滑动窗口分类技术所识别的矩形非GI区(210a、210b、210c及210d)的一个例子。
对于参考R与浮动图像F之间的图像配准，可使用均方误差(mean square error；MSE)，其中，将该MSE定义为：
其中，(i,j)为像素坐标。在上面的度量中，F"(i,j)对应浮动图像F(i,j)的变形版本，以考虑变形。在图像拼接期间，在同一坐标中将该变形浮动图像与参考图像合成在一起。
如前所述，本发明的一个实施例通过在相似性或误差度量计算中排除非GI像素而在对象检测期间考虑非GI对象。相应地，将包含本发明的一个实施例的误差度量计算的一个例子修改为：
其中，
式(3)中的变量C对应总和中被分类为GI像素的像素总数。不过，当非GI区较大时，它可能不值得或者不适于配准该当前图像与参考图像。作为替代，在此情况下，仅该当前图像的剩余部分被用于合成图像。例如，可将该剩余部分并排放置，以形成尺寸缩小的当前图像。相应地，可应用可选测试，以检查所述一个或多个第一非GI区是否满足条件。例如，该条件可对应该一个或多个第一非GI区是否超过该图像的百分之x。若是，则可自该当前图像删除该非GI区并使用该剩余的较小部分与先前合成图像进行图像合成，在该先前合成图像中也已删除较大的非GI区。例如，可将阈值设为50％(也就是，x＝50)。不过，也可使用较高的阈值，例如x＝80。而且，系统可自列表例如{50,55,60,65,70,75,80,85,90,95}选择阈值。若不满足条件，则相对参考图像配准该当前浮动图像。在配准期间，自该当前图像与该参考图像之间的匹配度量排除非GI区，其中，该参考图像可对应先前合成图像。
本发明的一个态样涉及图像拼接。在图像配准以后，将浮动图像F”与参考图像R合成在一起。若像素(i,j)是仅来自F”或R的一个图像中的GI像素，则针对像素(i,j)选择该GI像素。若像素(i,j)是F”与R两者中的GI像素，则使用F”(i,j)与R(i,j)的组合。若像素(i,j)是F”与R两者中的非GI像素，则也使用F(i,j)与R(i,j)的组合。图3显示将两个图像拼接在一起的一个例子，该两个图像的其中之一包含被检测到的非GI区。在图3中，图像310对应参考图像，图像320对应具有两个非GI区(322及324)的浮动图像。将该两个图像拼接成一个图像(330)。
本发明的一个态样涉及胶囊相机的一些部分的过曝光的问题。当胶囊与对象非常接近时，光反射可引起过曝光。如果该对象的同一部分在另一个图像中没有过曝光，则该过曝光部分将不利于图像配准期间的误差度量计算。在此情况下，经开发以检测非GI对象的对象检测可用以检测过曝光区并将它们自图像配准排除。该对象检测也可用以检测其它成像伪影例如鬼影等。图4显示在胶囊图像中所检测到的过曝光区的一个例子(410a及410b)。
本发明的一个态样涉及处理胶囊图像中大面积的不想要的像素。当胶囊图像的大部分由非GI像素(例如，粪便)组成时，可直接移除这些像素并可将剩余小部分一起拼接至大图片上，而没有图像配准。例如，在由10个图像组成的序列中，若仅各图像的1/10包含GI像素，则只会产生一个帧，而拼接保留该序列中的所有GI像素。此过程可应用于不规则形的非GI区或由滑动窗口分类产生的规则形的非GI区上。若图像内的非GI像素的百分比超过阈值(例如，50％)，则自原始图片删除非GI区。同等地，可确定GI像素的百分比。若它小于阈值，则自原始图片直接删除非GI区。也可检查其它条件，以确定是否直接删除非GI像素区。图5显示直接移除大的非GI区并基于图像的剩余本征GI区生成合成图像的一个例子。在图5中，在三个输入图像(510、520及530)中识别本征GI区(510a、520a以及530a)。使用该本征GI区(510a、520a及530a)来形成合成图像(540)。
图6显示包含本发明的一个实施例的图像处理系统的一个示例流程图，其中，识别非GI区并将其自用于配准的匹配度量排除。如步骤610中所示，该系统接收被标示为参考图像及浮动图像的两个图像，其中，该浮动图像对应被撷取的胶囊图像，且该参考图像对应先前合成图像或在该浮动图像之前的另一个被撷取的胶囊图像。在步骤620中，将该浮动图像自动分割为在针对该浮动图像检测到任意本征GI样本的情况下的一个或多个第一本征GI区以及在针对该浮动图像检测到任意非GI样本的情况下的一个或多个第一非GI区。在步骤630中，将该参考图像自动分割为在针对该参考图像检测到任意本征GI样本的情况下的一个或多个第二本征GI区以及在针对该参考图像检测到任意非GI样本的情况下的一个或多个第二非GI区。接着，在步骤640中，通过自计算该参考图像与变形浮动图像之间的匹配度量排除该一个或多个第一非GI区及该一个或多个第二非GI区来优化该参考图像与变形浮动图像之间的该匹配度量，从而相对该参考图像配准该浮动图像。通过对该浮动图像应用变换模型生成该变形浮动图像，以调整该浮动图像与该参考图像之间的几何变形。在该度量满足条件(例如，误差度量小于阈值)的情况下，在步骤650中，在所述相对该参考图像配准该浮动图像以后，通过在共同的坐标中渲染该参考图像与该变形浮动图像生成合成图像。
本发明可以其他特定形式实施，而不背离其精神或基本特征。上述例子应当在所有方面都仅被视为说明性质而非限制性质。因此，由权利要求而非上述说明表示本发明的范围。在权利要求的等同的意思及范围内所作的所有变更都将包括于其范围内。
权利要求书(按照条约第19条的修改)
1.一种处理通过胶囊相机所撷取的人胃肠(GI)道的图像的方法，该方法包括：
接收被标示为参考图像与浮动图像的两个图像，其中，该浮动图像对应当前胶囊图像且该参考图像对应先前合成图像或在该浮动图像之前的另一个被撷取的胶囊图像；
将该浮动图像自动分割为在针对该浮动图像检测到任意本征GI样本的情况下的一个或多个第一本征GI区以及在针对该浮动图像检测到任意非GI样本的情况下的一个或多个第一非GI区；
将该参考图像自动分割为在针对该参考图像检测到任意本征GI样本的情况下的一个或多个第二本征GI区以及在针对该参考图像检测到任意非GI样本的情况下的一个或多个第二非GI区；
通过自计算该参考图像与变形浮动图像之间的匹配度量排除该一个或多个第一非GI区及该一个或多个第二非GI区来优化该参考图像与变形浮动图像之间的该匹配度量，从而相对该参考图像配准该浮动图像，其中，通过对该浮动图像应用变换模型生成该变形浮动图像，以调整该浮动图像与该参考图像之间的几何变形；以及
在所述相对该参考图像配准该浮动图像以后，通过在共同的坐标中渲染该参考图像与该变形浮动图像生成合成图像；以及
其中，该参考图像与该浮动图像处于同一序列中。
2.如权利要求1所述的方法，其中，通过基于像素强度值及/或相邻像素之间的相似性的分割过程分割该浮动图像或该参考图像。
3.如权利要求2所述的方法，其中，在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下，该分割过程生成相应的一个或多个不规则形的非GI像素的第一区或第二区。
4.如权利要求1所述的方法，其中，通过滑动窗口分类分割该浮动图像或该参考图像，以在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下导出相应的一个或多个规则形的非GI像素的第一区或第二区。
5.如权利要求4所述的方法，其中，针对与非GI样本的对象检测关联的各滑动窗口，该滑动窗口的分割使用选自包括方向梯度直方图、颜色直方图，以及颜色矩及其它特征描述子的一组候选描述子的一个或多个高级特征描述子。
6.如权利要求5所述的方法，其中，所述自动分割该浮动图像或所述自动分割该参考图像包括机器学习，以及其中，向机器学习算法提供与一组样本图像的各滑动窗口位置中的各样本关联的该高级特征描述子及标记以训练分类器。
7.如权利要求6所述的方法，其中，该标记对应与各滑动窗口中的该图像样本关联的对象分类。
8.如权利要求1所述的方法，其中，依据包括于该匹配度量中的本征GI像素的数目缩放该参考图像与该变形浮动图像之间的该匹配度量。
9.如权利要求1所述的方法，其中，所述优化该参考图像与该变形浮动图像之间的该匹配度量对应最小化均方误差(MSE)度量、最大化互信息(MI)度量或最小化/最大化该参考图像与该变形浮动图像之间的其它度量。
10.如权利要求1所述的方法，还包括分别在该浮动图像、该参考图像或两者中检测到任意过曝光像素或其它成像伪影的情况下，在该浮动图像、该参考图像或两者中确定一个或多个过曝光区或其它成像伪影，以及其中，所述优化该参考图像与该变形浮动图像之间的该匹配度量进一步排除该一个或多个过曝光区或其它成像伪影。
11.如权利要求1所述的方法，其中，该非GI样本对应该人肠胃道中的气泡、残渣或粪便。
12.如权利要求1所述的方法，其中，该变换模型对应自由变形三次B样条、径向基函数或其它变形模型。
13.如权利要求1所述的方法，其中，在该浮动图像与该参考图像中的两个对应像素都是该本征GI像素或都是该非GI像素的情况下，使用该两个对应像素的组合来生成该合成图像的合成像素。
14.如权利要求1所述的方法，其中，在该浮动图像与该参考图像中的两个对应像素对应一个本征GI像素及一个非GI像素的情况下，使用该两个对应像素中的该本征GI像素来生成该合成图像的合成像素。
15.如权利要求1所述的方法，还包括：在该一个或多个第一非GI区满足第一条件的情况下，基于删除该一个或多个第一非GI区后的该浮动图像及先前合成图像生成合成图像。
16.如权利要求15所述的方法，其中，该第一条件对应该一个或多个非GI区大于图像内的阈值百分比。
17.如权利要求16所述的方法，其中，该阈值百分比对应百分之x或更大，且x选自由50、55、60、65、70、75、80、85、90及95组成的阈值组。
18.如权利要求1所述的方法，其中，在所述相对该参考图像配准该浮动图像满足第二条件的情况下，执行所述在相对该参考图像配准该浮动图像以后通过在共同的坐标中渲染该参考图像与该变形浮动图像生成合成图像。
19.如权利要求18所述的方法，其中，该第二条件对应变形浮动图像与该参考图像之间的误差度量小于第一阈值，或者该变形浮动图像与该参考图像之间的互信息(MI)度量大于第二阈值。
20.一种处理通过胶囊相机所撷取的人胃肠(GI)道的图像的方法，该方法包括：
接收当前图像；
将该当前图像自动分割为在针对该当前图像检测到任意本征GI样本的情况下的一个或多个本征GI区以及在针对该当前图像检测到任意非GI样本的情况下的一个或多个非GI区；以及
在该一个或多个非GI区满足条件的情况下，仅在针对该当前图像及先前合成图像的其中之一，重叠位置中的像素属于该一个或多个本征GI区，且针对该当前图像及该先前合成图像的其中另一个，该重叠位置中的对应像素属于该一个或多个非GI区的情况下，通过在当前合成图像中保留属于该一个或多个本征GI区的重叠位置中的该像素来基于该当前图像及该先前合成图像生成该当前合成图像。
21.如权利要求20所述的方法，其中，与该一个或多个非GI区的面积对应的该条件超过阈值。
22.如权利要求20所述的方法，其中，所述生成该当前合成图像对应将删除该一个或多个非GI区后的该当前图像的剩余部分与先前合成图像并排放置。
23.如权利要求22所述的方法，其中，对围绕该当前图像的两个剩余部分之间的各边界的频带应用融合。
24.如权利要求20所述的方法，其中，对删除该一个或多个非GI区后的该当前图像与该先前合成图像之间的区域应用融合。
25.如权利要求20所述的方法，其中，在该当前图像与该先前合成图像中的两个对应像素都是该本征GI像素或都是该非GI像素的情况下，使用该两个对应像素的组合来生成该当前合成图像的合成像素。

Claims (24)

1.一种处理通过胶囊相机所撷取的人胃肠(GI)道的图像的方法，该方法包括：
接收被标示为参考图像与浮动图像的两个图像，其中，该浮动图像对应当前胶囊图像且该参考图像对应先前合成图像或在该浮动图像之前的另一个被撷取的胶囊图像；
将该浮动图像自动分割为在针对该浮动图像检测到任意本征GI样本的情况下的一个或多个第一本征GI区以及在针对该浮动图像检测到任意非GI样本的情况下的一个或多个第一非GI区；
将该参考图像自动分割为在针对该参考图像检测到任意本征GI样本的情况下的一个或多个第二本征GI区以及在针对该参考图像检测到任意非GI样本的情况下的一个或多个第二非GI区；
通过自计算该参考图像与变形浮动图像之间的匹配度量排除该一个或多个第一非GI区及该一个或多个第二非GI区来优化该参考图像与变形浮动图像之间的该匹配度量，从而相对该参考图像配准该浮动图像，其中，通过对该浮动图像应用变换模型生成该变形浮动图像，以调整该浮动图像与该参考图像之间的几何变形；以及
在所述相对该参考图像配准该浮动图像以后，通过在共同的坐标中渲染该参考图像与该变形浮动图像生成合成图像。
2.如权利要求1所述的方法，其中，通过基于像素强度值及/或相邻像素之间的相似性的分割过程分割该浮动图像或该参考图像。
3.如权利要求2所述的方法，其中，在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下，该分割过程生成相应的一个或多个不规则形的非GI像素的第一区或第二区。
4.如权利要求1所述的方法，其中，通过滑动窗口分类分割该浮动图像或该参考图像，以在分别针对该浮动图像或该参考图像检测到任意非GI样本的情况下导出相应的一个或多个规则形的非GI像素的第一区或第二区。
5.如权利要求4所述的方法，其中，针对与非GI样本的对象检测关联的各滑动窗口，该滑动窗口的分割使用选自包括方向梯度直方图、颜色直方图，以及颜色矩及其它特征描述子的一组候选描述子的一个或多个高级特征描述子。
6.如权利要求5所述的方法，其中，所述自动分割该浮动图像或所述自动分割该参考图像包括机器学习，以及其中，向机器学习算法提供与一组样本图像的各滑动窗口位置中的各样本关联的该高级特征描述子及标记，以训练分类器。
7.如权利要求6所述的方法，其中，该标记对应与各滑动窗口中的该图像样本关联的对象分类。
8.如权利要求1所述的方法，其中，依据包括于该匹配度量中的本征GI像素的数目缩放该参考图像与该变形浮动图像之间的该匹配度量。
9.如权利要求1所述的方法，其中，所述优化该参考图像与该变形浮动图像之间的该匹配度量对应最小化均方误差(MSE)度量、最大化互信息(MI)度量或最小化/最大化该参考图像与该变形浮动图像之间的其它度量。
10.如权利要求1所述的方法，还包括分别在该浮动图像、该参考图像或两者中检测到任意过曝光像素或其它成像伪影的情况下，在该浮动图像、该参考图像或两者中确定一个或多个过曝光区或其它成像伪影，以及其中，所述优化该参考图像与该变形浮动图像之间的该匹配度量进一步排除该一个或多个过曝光区或其它成像伪影。
11.如权利要求1所述的方法，其中，该非GI样本对应该人肠胃道中的气泡、残渣或粪便。
12.如权利要求1所述的方法，其中，该变换模型对应自由变形三次B样条、径向基函数或其它变形模型。
13.如权利要求1所述的方法，其中，在该浮动图像与该参考图像中的两个对应像素都是该本征GI像素或都是该非GI像素的情况下，使用该两个对应像素的组合来生成该合成图像的合成像素。
14.如权利要求1所述的方法，其中，在该浮动图像与该参考图像中的两个对应像素对应一个本征GI像素及一个非GI像素的情况下，使用该两个对应像素中的该本征GI像素来生成该合成图像的合成像素。
15.如权利要求1所述的方法，还包括：在该一个或多个第一非GI区满足第一条件的情况下，基于删除该一个或多个第一非GI区后的该浮动图像及先前合成图像生成合成图像。
16.如权利要求15所述的方法，其中，该第一条件对应该一个或多个非GI区大于图像内的阈值百分比。
17.如权利要求16所述的方法，其中，该阈值百分比对应百分之x或更大，且x选自由50、55、60、65、70、75、80、85、90及95组成的阈值组。
18.如权利要求1所述的方法，其中，在所述相对该参考图像配准该浮动图像满足第二条件的情况下，执行所述在相对该参考图像配准该浮动图像以后通过在共同的坐标中渲染该参考图像与该变形浮动图像生成合成图像。
19.如权利要求18所述的方法，其中，该第二条件对应变形浮动图像与该参考图像之间的误差度量小于第一阈值，或者该变形浮动图像与该参考图像之间的互信息(MI)度量大于第二阈值。
20.一种处理通过胶囊相机所撷取的人胃肠(GI)道的图像的方法，该方法包括：
接收当前图像；
将该当前图像自动分割为在针对该当前图像检测到任意本征GI样本的情况下的一个或多个本征GI区以及在针对该当前图像检测到任意非GI样本的情况下的一个或多个非GI区；以及
在该一个或多个非GI区满足条件的情况下，基于删除该一个或多个非GI区后的该当前图像及先前合成图像生成当前合成图像。
21.如权利要求20所述的方法，其中，与该一个或多个非GI区的面积对应的该条件超过阈值。
22.如权利要求20所述的方法，其中，所述生成该当前合成图像对应将删除该一个或多个非GI区后的该当前图像的剩余部分与先前合成图像并排放置。
23.如权利要求22所述的方法，其中，对围绕该当前图像的两个剩余部分之间的各边界的频带应用融合。
24.如权利要求20所述的方法，其中，对删除该一个或多个非GI区后的该当前图像与该先前合成图像之间的区域应用融合。
CN201680047653.2A 2013-05-29 2016-07-25 针对自胶囊相机所撷取的图像通过对象检测进行重建 Active CN107920722B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361828653P 2013-05-29 2013-05-29
US14/827,325 2015-08-15
US14/827,325 US9672620B2 (en) 2013-05-29 2015-08-15 Reconstruction with object detection for images captured from a capsule camera
PCT/US2016/043907 WO2017030747A1 (en) 2013-05-29 2016-07-25 Reconstruction with object detection for images captured from a capsule camera

Publications (2)

Publication Number Publication Date
CN107920722A true CN107920722A (zh) 2018-04-17
CN107920722B CN107920722B (zh) 2020-01-24

Family

ID=51989512

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480030874.XA Active CN105308621B (zh) 2013-05-29 2014-05-19 从活体内多相机胶囊重建影像
CN201680020175.6A Active CN107529944B (zh) 2013-05-29 2016-03-30 用于使用胶囊相机所拍摄影像的重叠相依影像拼接方法
CN201680047653.2A Active CN107920722B (zh) 2013-05-29 2016-07-25 针对自胶囊相机所撷取的图像通过对象检测进行重建

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201480030874.XA Active CN105308621B (zh) 2013-05-29 2014-05-19 从活体内多相机胶囊重建影像
CN201680020175.6A Active CN107529944B (zh) 2013-05-29 2016-03-30 用于使用胶囊相机所拍摄影像的重叠相依影像拼接方法

Country Status (6)

Country Link
US (3) US10068334B2 (zh)
EP (1) EP3005232A4 (zh)
JP (1) JP2016519968A (zh)
CN (3) CN105308621B (zh)
TW (1) TWI532460B (zh)
WO (2) WO2014193670A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111035351A (zh) * 2018-10-11 2020-04-21 卡普索影像公司 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
CN114053553A (zh) * 2020-08-06 2022-02-18 佳能美国公司 使用血液清除的冠状动脉内成像装置或系统的自动拉回触发方法
CN114419041A (zh) * 2022-03-29 2022-04-29 武汉大学 病灶颜色的识别方法及装置
DE202023101183U1 (de) 2023-03-12 2023-03-22 Kusum Yadav Auf künstlicher Intelligenz und IoT basierendes intelligentes Gesundheitssystem, das Bildverarbeitung und tiefes Lernen nutzt, um chronischen Magen-Darm-Erkrankungen vorzubeugen und sie vorherzusagen

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600703B2 (en) * 2013-03-15 2017-03-21 Cognex Corporation Systems and methods for sorting image acquisition settings for pattern stitching and decoding using multiple captured images
JP5750669B2 (ja) * 2013-03-19 2015-07-22 オリンパス株式会社 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
US10068334B2 (en) * 2013-05-29 2018-09-04 Capsovision Inc Reconstruction of images from an in vivo multi-camera capsule
WO2016160862A1 (en) * 2015-04-01 2016-10-06 Capso Vision Inc Method of overlap-dependent image stitching for images captured using a capsule camera
US10212361B2 (en) * 2013-06-28 2019-02-19 Sony Corporation Information processing device, information processing method, and information processing system
US20150045619A1 (en) * 2013-08-09 2015-02-12 Chang Bing Show Chwan Memorial Hospital System and method for mosaicing endoscope images using wide angle view endoscope
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
EP3106080A4 (en) * 2014-02-14 2017-10-25 Olympus Corporation Endoscope system
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2015198981A1 (ja) * 2014-06-27 2015-12-30 オリンパス株式会社 内視鏡システム
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20160295126A1 (en) * 2015-04-03 2016-10-06 Capso Vision, Inc. Image Stitching with Local Deformation for in vivo Capsule Images
US20160307350A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis - panorama
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
JP6072400B1 (ja) * 2015-07-28 2017-02-01 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109362234B (zh) * 2016-04-28 2021-11-30 深圳市大疆创新科技有限公司 用于获得球面全景图像的系统和方法
US10257417B2 (en) 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10943342B2 (en) 2016-11-30 2021-03-09 Capsovision Inc. Method and apparatus for image stitching of images captured using a capsule camera
US10571679B2 (en) 2017-01-06 2020-02-25 Karl Storz Imaging, Inc. Endoscope incorporating multiple image sensors for increased resolution
US10038894B1 (en) 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
US11704850B2 (en) 2017-04-07 2023-07-18 Formus Labs Limited System for transmitting and viewing a series of images
US11074672B2 (en) * 2017-04-19 2021-07-27 Capsovision Inc. Method of image processing and display for images captured by a capsule camera
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
WO2019021729A1 (ja) * 2017-07-25 2019-01-31 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US10699163B1 (en) * 2017-08-18 2020-06-30 Massachusetts Institute Of Technology Methods and apparatus for classification
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
US11173785B2 (en) * 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
US10510145B2 (en) * 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
US11055348B2 (en) * 2017-12-29 2021-07-06 Facebook, Inc. Systems and methods for automatically generating stitched media content
US11514579B2 (en) * 2018-06-04 2022-11-29 University Of Central Florida Research Foundation, Inc. Deformable capsules for object detection
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US20200104977A1 (en) * 2018-09-30 2020-04-02 Augentix Inc. Method of Adaptive Image Stitching and Image Processing Device
US20200118287A1 (en) * 2018-10-16 2020-04-16 Augentix Inc. Method of Assembly Calibration for Multi-Camera system and Related Device
US20220009086A1 (en) * 2018-12-09 2022-01-13 Pramod Kumar Verma Stick device and user interface
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
WO2020142589A1 (en) * 2019-01-04 2020-07-09 Gopro, Inc. Face detection in spherical images
CN109934276B (zh) * 2019-03-05 2020-11-17 安翰科技(武汉)股份有限公司 基于迁移学习的胶囊内窥镜图像分类系统及方法
CN109934772B (zh) * 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
AU2020241843B2 (en) 2019-03-15 2023-09-28 VergeSense, Inc. Arrival detection for battery-powered optical sensors
US11688048B2 (en) * 2019-04-03 2023-06-27 Digital Check Corp. Image stitching from multiple line scanners
KR102045871B1 (ko) * 2019-06-07 2019-11-18 주식회사 창성에이스산업 인공지능 기술에 기반한 화재감지시스템 및 인공지능 기술에 기반한 화재감지방법
US11191423B1 (en) 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
CN110501344A (zh) * 2019-08-30 2019-11-26 无锡先导智能装备股份有限公司 电池物料在线检测方法
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
TWI759657B (zh) * 2019-12-05 2022-04-01 晶睿通訊股份有限公司 影像拼接方法及其相關監控攝影設備
CN111184497B (zh) * 2020-04-08 2020-07-17 上海安翰医疗技术有限公司 胶囊内窥镜控制方法及系统
EP4154172A4 (en) * 2020-05-26 2024-01-24 Hover Inc. SYSTEMS AND METHODS FOR IMAGE CAPTURE
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
US11602267B2 (en) 2020-08-28 2023-03-14 Karl Storz Imaging, Inc. Endoscopic system incorporating multiple image sensors for increased resolution
CN115841537A (zh) * 2020-10-19 2023-03-24 深圳硅基智控科技有限公司 组织腔体的三维图像的重建方法
CN113222820B (zh) * 2021-05-20 2024-05-07 北京航空航天大学 一种位姿信息辅助的航空遥感图像拼接方法
CN117918022A (zh) * 2021-09-16 2024-04-23 索高视觉有限公司 用不同内窥镜单元获取的图像的配准
DE102021133252A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskopische Kapsel
DE102021133248B4 (de) 2021-12-15 2023-06-29 Karl Storz Se & Co. Kg Endoskopie-Vorrichtung und Endoskopie-System
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN116912302B (zh) * 2023-09-12 2023-12-01 湖南大学 一种基于深度图像配准网络的高精度成像方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US20110305377A1 (en) * 2010-06-11 2011-12-15 Drozdzal Michal System and method for synchronizing image sequences captured in-vivo for automatic comparison
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
US20150221116A1 (en) * 2013-05-29 2015-08-06 Capso Vision, Inc. Method of Overlap-Dependent Image Stitching for Images Captured Using a Capsule Camera

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
US5547455A (en) * 1994-03-30 1996-08-20 Medical Media Systems Electronically steerable endoscope
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
JP2002042109A (ja) * 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
JP2005503182A (ja) * 2001-01-16 2005-02-03 ギブン・イメージング・リミテツド 体腔の広域画像形成用のシステムおよび方法
US7194112B2 (en) 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
ATE553690T1 (de) * 2003-05-01 2012-05-15 Given Imaging Ltd Panorama-gesichtsfeld-darstellungsvorrichtung
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
US20050215876A1 (en) * 2004-03-25 2005-09-29 Eastman Kodak Company Method and system for automatic image adjustment for in vivo image diagnosis
US8602971B2 (en) 2004-09-24 2013-12-10 Vivid Medical. Inc. Opto-Electronic illumination and vision module for endoscopy
US20100010300A1 (en) * 2004-12-30 2010-01-14 Given Imaging Ltd. Device, System and Method for Orienting a Sensor In-Vivo
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
WO2007062404A2 (en) * 2005-11-23 2007-05-31 Capso Vision, Inc. Movement detection and construction of an 'actual reality' image
JP5308615B2 (ja) * 2005-12-09 2013-10-09 株式会社アールエフ 医療システム
JP5523713B2 (ja) * 2006-01-18 2014-06-18 カプソ ビジョン， インコーポレイテッド 生体内撮像システム
US8441530B2 (en) * 2006-03-13 2013-05-14 Given Imaging Ltd. Cascade analysis for intestinal contraction detection
CN101495022B (zh) * 2006-07-24 2011-09-07 皇家飞利浦电子股份有限公司 具有对周围组织的可变照明的胶囊摄像机
US9007478B2 (en) * 2007-01-09 2015-04-14 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a capsule camera
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US20100268025A1 (en) * 2007-11-09 2010-10-21 Amir Belson Apparatus and methods for capsule endoscopy of the esophagus
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
JP5388657B2 (ja) * 2009-04-01 2014-01-15 Ｈｏｙａ株式会社 画像処理装置、画像処理装置の作動方法、およびシステム
US8150124B2 (en) * 2009-10-12 2012-04-03 Capso Vision Inc. System and method for multiple viewing-window display of capsule images
CN101716077B (zh) * 2009-12-03 2012-09-12 西交利物浦大学 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
CN101807295B (zh) * 2010-03-26 2012-02-29 华中科技大学 一种遥感图像无缝镶嵌拼接线的生成方法
CN102393953B (zh) * 2011-07-15 2013-06-26 汉王科技股份有限公司 图像帧拼接方法和装置
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5846841B2 (ja) * 2011-10-14 2016-01-20 株式会社東芝 医用画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的系统和方法
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US20110305377A1 (en) * 2010-06-11 2011-12-15 Drozdzal Michal System and method for synchronizing image sequences captured in-vivo for automatic comparison
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
US20150221116A1 (en) * 2013-05-29 2015-08-06 Capso Vision, Inc. Method of Overlap-Dependent Image Stitching for Images Captured Using a Capsule Camera

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111035351A (zh) * 2018-10-11 2020-04-21 卡普索影像公司 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
CN111035351B (zh) * 2018-10-11 2022-06-24 卡普索影像公司 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
CN114053553A (zh) * 2020-08-06 2022-02-18 佳能美国公司 使用血液清除的冠状动脉内成像装置或系统的自动拉回触发方法
CN114419041A (zh) * 2022-03-29 2022-04-29 武汉大学 病灶颜色的识别方法及装置
DE202023101183U1 (de) 2023-03-12 2023-03-22 Kusum Yadav Auf künstlicher Intelligenz und IoT basierendes intelligentes Gesundheitssystem, das Bildverarbeitung und tiefes Lernen nutzt, um chronischen Magen-Darm-Erkrankungen vorzubeugen und sie vorherzusagen

Also Published As

Publication number Publication date
US20150221116A1 (en) 2015-08-06
CN105308621A (zh) 2016-02-03
EP3005232A4 (en) 2017-03-15
CN105308621B (zh) 2019-05-21
US9672620B2 (en) 2017-06-06
US9324172B2 (en) 2016-04-26
JP2016519968A (ja) 2016-07-11
CN107920722B (zh) 2020-01-24
WO2014193670A4 (en) 2015-03-19
WO2014193670A3 (en) 2015-01-29
CN107529944A (zh) 2018-01-02
CN107529944B (zh) 2019-07-26
TWI532460B (zh) 2016-05-11
EP3005232A2 (en) 2016-04-13
US20170046825A1 (en) 2017-02-16
WO2014193670A2 (en) 2014-12-04
WO2017030747A1 (en) 2017-02-23
TW201509363A (zh) 2015-03-16
US20160037082A1 (en) 2016-02-04
US10068334B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
CN107920722B (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
EP1997074B1 (en) Device, system and method for automatic detection of contractile activity in an image frame
US20190034800A1 (en) Learning method, image recognition device, and computer-readable storage medium
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US20170340241A1 (en) Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program
US8515141B2 (en) Medical image processing apparatus and method for detecting locally protruding lesion
JP6501800B2 (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN102065744A (zh) 图像处理装置、图像处理程序及图像处理方法
CN108806776A (zh) 一种基于深度学习的多模态医学影像的方法
US20160295126A1 (en) Image Stitching with Local Deformation for in vivo Capsule Images
Yao et al. Motion-based camera localization system in colonoscopy videos
CN114983317A (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
Spyrou et al. Homography-based orientation estimation for capsule endoscope tracking
Bao et al. Modeling of the movement of the endoscopy capsule inside gi tract based on the captured endoscopic images
Fan et al. 3D reconstruction of wireless capsule endoscopy images
US11120547B2 (en) Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
CN111833308B (zh) 一种基于Kinect的呼吸运动监测方法及监测系统
CN114515395B (zh) 基于双目视觉的吞咽检测方法及装置、设备、存储介质
Zhao et al. An abnormality based WCE video segmentation strategy
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
KR102716696B1 (ko) 두개골 단순 방사선 영상을 이용한 인공지능 기반 영유아 골절 진단 장치 및 영유아 골절 진단을 위한 정보 제공 방법
Hu et al. Homographic patch feature transform: a robustness registration for gastroscopic surgery
CN112580437B (zh) 一种测量目标大小的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant