CN111970955A - 内窥镜观察辅助装置、内窥镜观察辅助方法及程序 - Google Patents
内窥镜观察辅助装置、内窥镜观察辅助方法及程序 Download PDFInfo
- Publication number
- CN111970955A CN111970955A CN201980025579.8A CN201980025579A CN111970955A CN 111970955 A CN111970955 A CN 111970955A CN 201980025579 A CN201980025579 A CN 201980025579A CN 111970955 A CN111970955 A CN 111970955A
- Authority
- CN
- China
- Prior art keywords
- lesion
- image
- unit
- endoscope
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000003902 lesion Effects 0.000 claims abstract description 307
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 230000008034 disappearance Effects 0.000 claims abstract description 25
- 210000000056 organ Anatomy 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012790 confirmation Methods 0.000 claims description 27
- 231100000915 pathological change Toxicity 0.000 abstract 1
- 230000036285 pathological change Effects 0.000 abstract 1
- 238000010827 pathological analysis Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 8
- 208000037062 Polyps Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000003238 esophagus Anatomy 0.000 description 5
- 210000002429 large intestine Anatomy 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 210000000813 small intestine Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 3
- 210000000867 larynx Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000277 pancreatic duct Anatomy 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 206010013554 Diverticulum Diseases 0.000 description 2
- 206010058314 Dysplasia Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 210000000013 bile duct Anatomy 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 210000003928 nasal cavity Anatomy 0.000 description 2
- 210000003800 pharynx Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 206010013530 Diverticula Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本发明提供一种内窥镜观察辅助装置等，能够提高内窥镜的观察辅助的性能，并且使医生能够更加容易且准确地实施病变的观察等。内窥镜观察辅助装置(100)包括：图像信息获取部(31)，其获取由内窥镜装置(40)拍摄的器官脏器的成像图像并显示在显示部(22)；病变信息获取部(32)，其基于成像图像检测预定的病变，并获取与病变有关的病变信息；病变消失判定部(34)，其基于成像图像以及病变信息追踪病变，并判定病变是否从成像图像上消失；通知部(35)，其在病变消失判定部(34)判定病变从成像图像上消失时，通知判定结果。此外，通知部(35)可以构成为在由病变信息获取部(32)检测到病变之后经过极短时间之后，通知检测到病变。
Description
技术领域
本发明涉及一种内窥镜观察辅助装置、内窥镜观察辅助方法以及程序。
背景技术
以往已经提出有一种图像处理装置，其对由内窥镜拍摄到的消化器官等的器官脏器的成像图像进行图像识别处理，通过人工智能(AI)等的学习功能，自动检测肿瘤、息肉以及其他病变(例如，参见专利文献1)。
此外，已公开有以下技术方案：为了抑制医生忽视病变部为目的，基于成像图像自动检测病变时，通过对医生等的操作者进行实时提醒(例如，病变位置的图像的提示，显示散乱概率，通过语音唤起注意等)来辅助病理诊断(例如，参见专利文献2)。
随着人工智能(AI)的发展，计算机自动检测病变的精度(准确性)和速度都在提高，并且对医生对病变的观察和诊断的贡献度也在提高。在非专利文献1中记载了通过由AI分析多个帧能够实现高精度的图像分析的情形。而且，强烈希望开发一种，在参考由人工智能检测的结果的同时，不会受到不必要的该检测结果的影响，能够辅助医生进一步准确地实施病变的观察和诊断的辅助技术。
(现有技术文献)
(专利文献)
专利文献1：日本特许公开2006-153742号公报
专利文献2：日本特许公开2011-104016号公报
(非专利文献)
非专利文献1：Tran,Du,et al.＂Learning spatiotemporal features with 3dconvolutional networks.＂Computer Vision(ICCV),2015IEEE InternationalConference on.IEEE,2015.
发明内容
(发明所要解决的问题)
鉴于上述情况而做出了本发明，其目的是能够提高内窥镜的观察辅助的性能，并且使医生能够更加容易且准确地进行病变的观察等。
(解决问题所采用的措施)
为了达到上述目的，本发明的内窥镜观察辅助装置是辅助内窥镜观察器官脏器(官腔器官)的内窥镜观察辅助装置，其特征在于，包括：图像信息获取部，其获取由所述内窥镜拍摄的所述器官脏器的成像图像并显示在显示部；病变信息获取部，其基于所述成像图像检测预定的病变，并获取与所述病变有关的病变信息；判定部，其基于所述成像图像以及所述病变信息来追踪所述病变，并判定所述病变是否从所述成像图像上消失；通知部，其在所述判定部判定为所述病变从所述成像图像上消失时，通知判定结果。
(发明的效果)
根据本发明，能够提高内窥镜的观察辅助的性能，能够使医生更加容易且准确地实施病变的观察等。
附图说明
图1是示出了本願的一实施方式的内窥镜观察辅助装置的硬件配置。
图2是图1的内窥镜观察辅助装置的功能框图。
图3是用于说明由图1的内窥镜观察辅助装置执行的内窥镜观察辅助处理的操作的示例的流程图。
图4是示出了显示在显示部的内窥镜图像的一例以及此时的声音输出部和振动部的状态的图，(a)示出了在内窥镜图像上出现病变时的状态，(b)示出了病变从内窥镜图像上消失时的状态。
图5示出了发出警报显示的情况时的显示部的显示例的图，(a)示出了病变检测前(无病变)的显示例，(b)示出了检测病变之后，病变从显示部消失时的显示例，(c)是检测病变之后，病变从显示部消失时的显示例的变形例。(d)示出了病变检测前(无病变)的其他的显示例，(e)示出了检测病变之后，病变从显示部消失时的其他显示例，(f)示出了检测病变之后，病变从显示部消失时的其他的显示例的变形例。
具体实施方式
(第一实施方式)
以下，基于附图，对本发明的第一实施方式的内窥镜观察辅助装置进行说明。图1是显示本实施方式的内窥镜观察辅助装置100的硬件配置的示意图。如图1所示，内窥镜观察辅助装置100主要包括辅助装置主体10和内窥镜装置40而构成。
如图1所示，辅助装置主体10包括：信息处理部20，其具有CPU11、ROM12、RAM13、输入I/F(连接口)14、输出I/F15、外部设备I/F16以及记忆部17等；输入部21；显示部22；声音输出部23；振动部24等。除此之外，辅助装置主体10可以包括：打印内窥镜图像和辅助结果的作为输出终端的打印机；用于与外部通信的通信装置等。
信息处理部20例如可以由个人计算机(PC)和微型计算机(私人电脑)等构成。CPU11是中央运算处理装置，并控制内窥镜观察辅助装置100的整体的操作。ROM12是读取专用的存储器，用于存储CPU11执行的控制程序和内窥镜观察辅助程序等。RAM13是任何时候都可以读取输入的存储器，并且作为CPU11的工作区域而使用。也就是说，CPU11将RAM13作为工作区域，并且执行存储在ROM12的内窥镜观察辅助程序，以操作内窥镜观察辅助装置100。
记忆部17由诸如硬盘、闪存等的记录介质构成，并存储有内窥镜观察辅助处理所需的各种信息和运算结果等。输入I/F14是用于连接输入部21和CPU11的连接口。输出I/F15是用于连接显示部22和CPU11的连接口。外部设备I/F16是用于连接外部设备和CPU11的连接口，在本实施方式中，内窥镜装置40、声音输出部23以及振动部24经由分别对应的外部设备I/F16与CPU11连接。
输入部21是用于输入文字、数字、各种指令等的设备，并通过作为操作内窥镜装置40的操作者的医生等进行操作。作为输入部21例如包括键盘，鼠标，十键键盘，触摸面板等。此外，在输入部21中，医生输入诸如用于实施病变的静止图像的拍摄和记录的指令或者已经确认了自动检测的病变的指令。
显示部22是显示菜单画面(菜单屏幕)、操作画面(操作屏幕)、由内窥镜装置40拍摄的运动图像和静止图像等的内窥镜图像(成像图像)的设备。作为显示部22的示例包括液晶显示器(监视器)等。
声音输出部23和振动部24用于通知医生(警报通知)。声音输出部23是输出用于引起医生注意的通知声音(警报声音)和通知讯息(警报讯息)等的设备，并且其示例包括输出声音和语音等的扬声器，蜂鸣器等。振动部24是产生振动的振动装置，其直接向医生的身体施加振动，例如，其包括由电动机等产生振动的振动装置等。振动部24优选设为附接到医生身体的构成，以粪便直接将振动施加到医生的身体。此外，如果不妨碍内窥镜装置40的操作，可以在内窥镜装置40配置振动部24并使振动附加到握持内窥镜装置40的医生的手上的构成。
另外，在本实施方式中既设置了声音输出部23又设置了振动部24，但是只要能够通过警报通知引起医生的注意即可，因此可以设置其中任何一方。例如，仅通过振动实施警报通知，则可以防止患者等意识到已经检测到病变。此外，显示部22可以显示警报的信息，使得不仅通过声音和振动而且可以通过视觉引起医生的注意。
内窥镜装置40是用于观察和治疗器官脏器的设备，由电子镜或纤维镜等构成。本实施方式的内窥镜装置40包括：成像部41，插入部42，操作部43等。内窥镜装置40还包括已知的内窥镜装置所具备的构成元件，例如水和空气的供给装置、抽吸装置、以及治疗工具(处置工具)等，该治疗工具实施组织采集等其他治疗(处理)的钳子等。
成像部41是拍摄体内的运动图像、静止图像等的内窥镜图像的设备，并包括：CCD相机；聚光镜；目镜；光源；导光光学系统；图像传感器等。插入部42由可弯曲的绕性的管部件构成，其前端设置有成像部41的CCD相机和聚光镜，而且还设置有排出空气和水的喷嘴或进出治疗工具的孔部等。操作部43包括：实施插入部42的弯曲操作、供应空气，供应水，抽吸等的各种操作按钮和操作开关。
内窥镜装置40通过连接电缆等电连接至辅助装置主体10。由成像部41拍摄的内窥镜图像的图像信号被实时输出至辅助装置主体10。
作为内窥镜装置40没有特别限定，可以使用已知的装置。例如，列举有用于观察鼻腔、咽、喉、食道的喉镜，观察气管和支气管的支气管镜，观察食道、胃、十二指肠的上消化道内窥镜，观察小肠的小肠内窥镜，观察大肠的大肠内窥镜，观察胆管的胆内窥镜，观察胰管的胰管内窥镜，观察胸腔内的胸腔镜，观察腹腔内的腹腔镜，观察尿道和膀胱的膀胱镜，观察关节的关节镜，观察冠状动脉的血管内窥镜等，但是不限于此。
此外，内窥镜装置40例如优选列举高清晰度内窥镜等，但是不限于此。
接下来，使用图2的功能框图，对控制辅助装置主体10的操作(动作)的信息处理部20的功能进行说明。如图2所示，信息处理部20作为图像信息获取部31、病变信息获取部32、确认信息获取部33、病变消失判定部34、通知部35以及病变信息输出部36发挥功能。
图像信息获取部31将从内窥镜装置40的成像部41输入的图像信号转换为数字信号，实施适当的图像处理，并实时显示在显示部22(参见图4(a))。在本实施方式中，由成像部41拍摄的运动图像和静止图像显示在显示部22，但是不限于此，也可以是基于运动图像生成的3D图像等。此外，获取的内窥镜图像被传递至病变信息获取部32。
病变信息获取部32基于由图像信息获取部31获取的内窥镜图像执行特征量的提取和图案匹配等的图像识别处理，并自动检测病变，获取与病变有关的各种信息(病变信息)。
更具体地，病变信息获取部32例如基于拍摄到的鼻腔、咽、喉、食道的喉镜运动图像，基于拍摄到的気管和支气管的支气管镜运动图像，基于拍摄到的食道、胃、十二指肠的上消化道内窥镜运动图像，拍摄到的小肠的小肠内窥镜运动图像，拍摄道的大肠的大肠内窥镜运动图像，拍摄到的胆管的胆道内窥镜运动图像，拍摄到的胰管的胰管内窥镜运动图像，拍摄到的小胸腔内的胸腔镜运动图像，拍摄到的腹腔内的腹腔镜运动图像，拍摄到的尿道、膀胱内的膀胱镜运动图像，拍摄到的关节内的关节镜运动图像，拍摄到的冠状动脉等的血管的血管内窥镜像等，通过图像识别处理自动检测肿瘤、息肉、出血、憩室、粪便、血管发育不良、腹膜扩散、胸膜扩散以及其他病变。
在该病变信息获取部32上实施的使用图像识别处理的病变检测可以使用任何已知技术来实施。此外，在病变检测中，例如，作为非专利文献1举例了在论文“LearningSpatiotemporal Features with 3D Convolut ional Networks”所记载的能够适当使用通过人工智能分析多个帧的方法。通过使用该方法，能够更高精度地实施病变检测。在此，在病变信息获取部32上实施的病变的检测是通过图像识别技术和学习功能等使人工智能(计算机)以机械地的方式推定病变的结果。通过人工智能的发达，能够以更加高速且高精度地实施病变的自动检测和获得更加详细的病变的种类和状态等的信息。在本实施方式的内窥镜观察辅助装置100通过有效利用该人工智能的检测结果，以实现对医生的病理诊断能够做出贡献的辅助。
在病变信息获取部32中获取的病变信息与内窥镜图像相关联，并输出至病变消失判定部34。作为病变信息例如包括：表示已经检测到的病变的标记信息；检测到的病变的在内窥镜图像上的位置、尺寸大小、状态等。此外，更希望包括通过图像识别病变的分类结果，例如更具体地，包括上述的肿瘤、息肉、出血、憩室、粪便、血管发育不良，腹膜扩散以及胸膜扩散等的病变的分类结果。
确认信息获取部33获取从输入部21输入的确认信息。更具体地，例如，在显示部22的显示画面上显示静止图像拍摄用的拍摄按钮和病变确认按钮。或者，可以在键盘的键中设置这些按钮。然后，医生能够通过观察显示在显示部22的内窥镜图像或通过显微镜直接观察体内来实施身体内部的观察，当确认有病变的存在时，操作输入部21的拍摄按钮和病变确认按钮。该操作信号作为确认信息输入至确认信息获取部33。虽然在本实施例中为了更加有效地实施辅助，设置了确认信息获取部33，但是也可以不设置。
病变消失判定部34基于在图像信息获取部31获取的内窥镜图像以及在病变信息获取部32获取的病变信息，来判定是否从内窥镜图像上消失了病变。另外，在本实施方式中，病变消失判定部34基于在确认信息获取部33上获取的确认信息，无需由医生做出病变的确认，内窥镜图像上判定病变是否消失。该判定结果输入至通知部35。
通知部35基于在病变消失判定部34处的判定结果实施警报通知。医生无需在病变消失判定部34上实施病变的确认，通知部35在判定从内窥镜图像上病变消失时，控制声音输出部23和振动部24，从声音输出部23产生警报声音的同时振动部24振动。通过该警报声音和振动，使医生无需实施病变的检测确认，将自动检测的病变从内窥镜图像上消失的事项通知医生，从而能够引起医生的注意。
另外，可以对应病变的分类结果来变更音色和讯息内容、声音的大小和高低以输出警报声音，或者对应病变的分类结果来变更波长和强度以产生振动。此外，可以对应病变的分类结果和状态的程度等来实施加权，并且可以根据加权来变更警报声音和振动。据此，能够更加强烈地吸引(引起)医生的注意力，并能够促进更细致的观察。
病变信息输出部36将对应病变信息获取部32所检测的病变的内窥镜图像显示在作为输出目的地的显示部22并存储于记忆部17。据此，医生可以在检查完成后的任何时间确认内窥镜图像和病变信息并作为病理诊断的参考，从而能够提高内窥镜观察的辅助性能并减少存储容量。
此外，期望将与内窥镜图像相关联的病变信息显示在显示部22上，并存储在记忆部17。例如，用线包围内窥镜图像上的病变部位并显示在显示部22上，从而医生能够容易地确认自动检测的病变的位置，并且能够引起医生的注意。
此外，可以在显示部22的显示图像上显示警报。在这种情况下，为了抑制向内窥镜图像的可视性的影响，优选避开在内窥镜图像内中显示病变信息。例如，为了引起医生的注意，可以改变内窥镜图像以外的区域的颜色。具体地，如图5(a)等所示，在显示部22的显示画面中，将内窥镜图像的显示区域22a的外侧的区域(四个角)作为警报显示区域22b来利用。图5(a)在检测出息肉等的病变之前，如图5(a)所示那样不变更警报显示区域22b的颜色，以显示通常的颜色(例如，黑色)。此外，在检测病变之后也保持黒色。
而且，在病变的检测后，当病变从内窥镜图像上消失时，如图5(b)所示，可以由突出的颜色(例如，红色)来显示警报显示区域22b。此外，可以使用闪烁。此外，图5(c)是病变消失时的显示例的变形例，将显示画面的外周缘设为警报显示区域22b，在病变消失时，由红色显示。以这种方式，通过改变除了内窥镜图像的显示区域22a以外的在外侧设置的警报显示区域22b的颜色等，使医生等能够清楚地看到(观察到)内窥镜图像，并且不仅通过声音和振动，还可以通过视觉识别病变消失的情况。
此外，图5(d)，(e)，(f)是当通过颜色的变化实施警报通知的情况下的显示部22的其他显示例。除了将内窥镜图像的显示区域22a设为大致椭圆形，将警报显示区域22b的内周缘设为弓形以外，其他的通过与图5(a)，(b)，(c)相似的处理来显示，并获得相同的作用効果。
此外，通过将内窥镜图像和病变信息存储在记忆部17，可以在检查后的由医生进行病理诊断时，能够提供有关病变的详细的信息。
下面，参照图3的流程图，对上述构成的内窥镜观察辅助装置100执行的内窥镜观察辅助处理的示例进行说明。首先，医生操作内窥镜装置40的操作部43，将插入部42插入至要观察的患者的体内。在插入该插入部42之后，由成像部41实施拍摄身体内部的内窥镜图像。
在步骤S1中，图像信息获取部31获取由成像部41拍摄的内窥镜图像(帧)，并进行图像处理并显示在显示部22。而且，基于获取的内窥镜图像，实施步骤S2之后的处理，但是这些处理，可以以每1帧实施，也可以以每几个帧实施。
在步骤S2中，基于通过图像信息获取部31获取的内窥镜图像，病变信息获取部32通过上述的图像识别处理和学习功能执行病变的自动检测。图4(a)示出了出现病变的内窥镜图像的一例。此时，即使实施了病变的自动检测，从声音输出部23和振动部24不会发出任何的通知。当检测出病变的情况时，病变信息获取部32获取在内窥镜图像上的病变的位置和尺寸大小、状态、病变的分类等，并生成病变信息。另外，在一个内窥镜图像中检测出多个病变时，生成各自的病变信息。
在下一个步骤S3中，判定是否通过病变信息获取部32检测出病变，在没有检测出病变的情况时(NO)，跳过步骤S4～S9的处理，进入步骤S10。
另一方面，当在步骤S3中检测出病变的情况时(YES)，进入步骤S4，由确认信息获取部33获取确认信息，以便检测是否由医生实施了病变的确认操作。接下来，为了实施确认信息内窥镜图像上的病变的追踪，进入步骤S5，由图像信息获取部31获取下一个帧的内窥镜图像以及显示在显示部22，并由病变信息获取部32实施病变的检测。接下来，在步骤S6中，判定所追踪的病变是否从内窥镜图像上消失。
在步骤S6中，如果判定为病变没有消失的情况时(NO)，返回步骤S4，获取确认信息，进入步骤S5并继续进行病变的追踪。如此，在内窥镜图像上出现病变的期间，由于没有给出自动检测到病变的任何通知，因此医生不会受到自动检测结果的不必要的影响，并在观察显示部22上显示的内窥镜图像的同时，能够实施病理诊断等。
另一方面，在步骤S6中，判定为病变已经消失的情况时(YES)，进入步骤S7，判定是否获取有关病变的消失之前的内窥镜图像的确认信息。当获取确认信息时(YES)，进入步骤S9。在步骤S9中，病变信息输出部36将病变的消失之前的内窥镜图像和病变信息显示在显示部22上，并且将内窥镜图像和病变信息存储在记忆部17。
以这种方式，当获取确认信息的情况时，能够判定由病变信息获取部32自动检测的病变也已经被医生确认。也就是说，观察显示部22的内窥镜图像和显微镜像的医生，在检测出病变时，从输入部21发出包含病变的静止图像的拍摄指令，或者给出确认指令，确认信息的信号输入至辅助装置主体10。另外，如果已经发出静止图像的拍摄指令的情况时，则实施该静止图像的显示和存储，如果仅给出确认指令的情况时，实施病变的消失之前的内窥镜图像(帧)的显示和存储。
与此相比，在步骤S7中，即使病变已经消失，当判断为直到消失之前期间都没有获得来自医生的确认信息的情况时(NO)，进入步骤S8，并发出警报通知。这是意味着，由病变信息获取部32自动检测病变的结果与由医生判断病变的结果不一致，或者判断一致并确认了病变但是没有实施确认操作的状态下，进入其他区域的拍摄。
在步骤S8的警报通知处理中，通知部35控制声音输出部23产生警报声音，控制振动部24进行振动。图4(b)示出了病变已经消失的内窥镜图像的一例，并且示意性示出了从声音输出部23输出警报声音，并振动部24振动的状态。此外，如图5(b)、(c)、(e)以及(f)所示，可以通过在显示部22的显示画面上的警报显示区域22b显示或者闪烁红色等的耀眼的颜色来通知警报。
通过警报声音和振动、以及进一步在显示部22上的警报显示，使医生能够注意到尚未确认的由计算机的自动检测到的病变。即，医生可能没有将其判断为病变，或者可能没有捕捉到病变。另外，从病变的消失至警报通知优选在1秒以内执行。据此，能够抑制在医生没有确认病变的状态下继续进行内窥镜检查。此外，还可以反向操作操作部43，可以使在成像部41的拍摄区域返回病变消失之前的区域，并能够再次确认病变的有无以及状态，从而能够提高医生的病理诊断的准确性。
之后，通过进入步骤S9，使病变信息输出部36将自动检测的病变的消失之前的内窥镜图像和病变信息显示在显示部22(或者另一个显示部)的同时，将该内窥镜图像和病变信息存储在记忆部17。医生还可以通过显示在显示部22等的内窥镜图像观察怀疑为病变的区域。此外，还可以在检查完后再次确认存储在记忆部17的病变的内窥镜图像和病变信息。之后，进入步骤S10。
在步骤S10中，对内窥镜装置40的内窥镜图像的拍摄是否完成进行判定，并在判定为拍摄完成的情况时(YES)，由于检查已经结束而结束内窥镜观察辅助处理。另一方面，当判定为拍摄在继续进行中的情况时(NO)，返回步骤S1，对下一个内窥镜图像继续进行内窥镜观察辅助处理。
如上所述，本实施方式的内窥镜观察辅助装置100包括：图像信息获取部31，其获取由内窥镜装置40拍摄的器官脏器的成像图像并显示在显示部22；病变信息获取部32，其基于成像图像检测预定的病变，并获取与病变有关的病变信息；病变消失判定部34，其基于成像图像以及病变信息追踪病变，并判定病变是否从成像图像上消失；通知部35，其在病变消失判定部34判定为病变从成像图像上消失时，通知判定结果。
此外，本实施方式的内窥镜观察辅助方法具有以下工序：获取由内窥镜装置40拍摄的器官脏器的成像图像的工序；基于成像图像，检测预定的病变，并获取有关病变的病变信息的工序；基于成像图像以及病变信息追踪病变并判定病变是否从成像图像上消失的工序；当判定为病变从成像图像上消失时，通知判定结果的工序。
此外，用于执行本实施方式的内窥镜观察辅助方法的程序是具备以下功能的构件的程序：使计算机获取由内窥镜装置40拍摄的器官脏器的成像图像的构件；基于成像图像检测预定的病变，并获取有关病变的病变信息的构件；基于成像图像以及病变信息追踪病变，并判定病变是否从成像图像上消失的构件；当判定为病变从成像图像上消失时，通知判定结果的构件。
因此，在本实施方式中，通过视觉确认显示在显示部22的成像图像(内窥镜图像)，使医生等的操作者能够观察器官脏器，并实施病理诊断和治疗等。另一方面，基于成像图像，能够高精度的自动检测病变。而且，当病变出现在成像图像上的期间，在医生的判断之前不会通知自动检测结果，因此医生不会受到自动检测结果的不必要的影响，能够实施病理诊断。
与此相比，在病变从成像图像上消失时，由于发出通知，因此医生能够获知自动检测到了病变或者检测到的病变从成像图像上消失。此时，医生自身也确认了成像图像上的病变的情况时，能够获知自身的诊断结果与自动检测结果一致的情形，从而能够成为支持医生的诊断的可靠性的有力材料。此外，通过该通知，能够提示医生再度观察病变附近或者实施更加仔细的观察。因此，能够提高内窥镜的观察辅助的性能，并能够提供内窥镜观察辅助装置100，内窥镜观察辅助处理以及程序，使得医生能够更加容易且准确地实施病变的观察等。
此外，在本实施方式中，如上所述能够高精度地自动检测病变，另外当自动检测到的病变从成像图像上消失时发出通知，因此，例如，能够适当地使用于使用内窥镜的病理诊断的训练等。即，当基于成像图像实施病理诊断时，即使在经验不足的医生没有捕获(遗漏了)病变的状态下继续进行检查的情况时，由于即时向医生通知病变从成像图像上消失的事实，因此医生能够注意到遗漏点，并能够容易地实施再确认等。此外，病变出现在成像图像上的期间，由于不发出通知，因此医生不受自动检测结果的不必要的影响，而实施病理诊断。其结果是，能够提高医生的病理诊断能力。
此外，在本实施方式中，通知部35构成为通过从声音输出部23输出预定的通知声音来通知判定结果。此外，通知部35构成为通过振动振动装置(振动部24)来通知判定结果。通过通知音和振动，能够以更加强烈地吸引医生的注意，并且能够更加清楚地通知医生病变从成像图像上消失。
此外，在本实施方式中具备病变信息输出部36，其在病变消失判定部34判定为病变从成像图像上消失时，其将消失之前的病变的成像图像输出至预定的输出目的地(例如，显示部22、记忆部17)。据此，在检查完成后，医生能够随时确认内窥镜图像和病变信息并作为病理诊断的参考，从而能够提高内窥镜观察的辅助性能。
此外，在本实施方式中具备输入部21，该输入部21接受来自操作者的病变的确认指令的输入，通知部35构成为当病变消失判定部34判定为病变从成像图像上消失，且，从输入部21没有输入确认指令时，通知判定结果。据此，即使在病变消失的情况时，只要作为操作者的医生确认了病变，由于不发出通知，使通知局限于必要的最小限度，因此能够更加有效地实施内窥镜观察的辅助。
(第二实施方式)
接下来，对第二实施方式的内窥镜观察辅助装置进行说明。在上述第一实施方式中，当判定为病变从内窥镜图像上消失时，发出警报通知以通知病变已经消失。与此相比，在第二实施方式中，在内窥镜图像上检测到病变之后的经过极短时间之后，发出检测到病变的警报通知。即，不管病变是否从内窥镜图像上消失，都在延迟于检测时而发出警报通知。
第二实施方式的内窥镜观察辅助装置除了设置有病变消失判定部34以外，还包括与第一实施方式相同的基本构成，因此省略其详细描述。可以设置确认信息获取部33，也可以不设置。此外，第二实施方式的内窥镜观察辅助方法具有以下工序：获取由内窥镜装置40拍摄的器官脏器的成像图像的工序；基于成像图像检测预定的病变，并获取有关病变的病变信息的工序；在检测到病变之后的极短时间过去之后，通知检测到病变的工序。此外，用于执行第二实施方式的内窥镜观察辅助方法的程序是具有以下功能的方法的程序：使计算机获取由内窥镜装置40拍摄的器官脏器的成像图像的方法；基于成像图像检测预定的病变，并获取有关病变的病变信息的方法；在检测到病变之后的经过极短时间之后，通知检测到病变的方法。
在第二实施方式的内窥镜观察辅助装置中，病变信息获取部32检测到息肉等的病变时，通知通知部35。通知部35在病变的检测时不进行实时通知，在检测到病变之后的经过极短时间之后，即在经过预定时间之后，通知自动检测到了病变。该通知类似于第一实施方式，从声音输出部23产生警报声音，振动部24的振动，以及进一步如图5所示，能够通过改变警报显示区域22b的颜色来实施通知。
在此，“极短的时间”是指，在内窥镜图像上出现病变时，视觉识别了该病变的医生等自己判断该病变时的所需要的时间。更具体地，作为“极短的时间”优选30ms～2000ms。此外，在该范围内，优选能够任意设定和变更“极短的时间”。据此，即使在由于医生等的内窥镜检查的熟练程度和年龄等而在判断时间上具有差异的情况时，也能够根据医生等设定合适的时间。因此，能够实施更加有效的检查并且改善内窥镜装置40的使用性。
如此，通过在极短的时间之后通知病变的检测，能够确保医生等基于内窥镜图像判断病变的时间。因此，医生等不受病变信息获取部32的自动检测病变的结果的影响而能够自己判断是否为病变。
此外，通过在经过极短时间之后通知在病变信息获取部32检测到病变，因此医生等能够确认自己的判断是否与人工智能等的自动检测结果一致，从而能够提高医生等的判断的准确性。
当进行病理诊断的训练时，能够适宜地使用第二实施方式。例如，缺乏经验的医生在训练的初期实施内窥镜观察时，通过将“极短的时间”设定为较长，能够给予医生较长的用于判断的时间。通过自每次反复训练时逐渐缩短设定“极短的时间”，能够使医生逐渐做出快速判断。
此外，如上所述，通过人工智能分析成像图像的多个图像帧，相比分析1帧，能够以更高的精度诊断病变。在以往的实时通知病变的检测的方式中，由于为了优先速度，因此在增加要分析的图像帧数方面存在局限。与此相比，在本实施方式中，在从病变的检测开始经过预定时间之后发出通知的情况时，或者如第一实施方式那样在病变消失之后发出通知的情况时，由于能够确保预定的分析时间，因此能够分析更多的帧。因此，能够获得病变的种类和程度等的更加详细的病变信息，能够提高由人工智能的病变的检测精度(准确性)和病变信息的精度(准确性)。
以上，基于附图对本发明的实施例形態进行了详细的描述，但是上述实施方式仅是本发明的例示，本发明不限于上述实施方式的构成。即使存在在不脱离本发明的主旨的范围的设计的变更等，无论质疑也包含于本发明。
例如，在上述各实施方式中，将具有成像部41、插入部42以及操作部43的内窥镜装置40连接于辅助装置主体10，并且辅助装置主体10对成像部41拍摄的成像图像施加图像处理而显示在显示部22。与此相比，除了成像部41、插入部42以及操作部43之外，还可以使用具有诸如视频调谐器和显示部等的成像图像的显示功能的内窥镜单元。此外，也可以将这样的内窥镜单元的显示部作为内窥镜观察辅助装置100的显示部22兼用，也可以与显示部22分开设置。
此外，内窥镜单元可以包括具有基于成像图像自动检测病变的图像处理部等的信息处理装置。在这种情况下，只要辅助装置主体10的病变信息获取部32获取在图像处理部自动检测病变的结果，并且可利用于内窥镜观察辅助处理，就能够有效地利用内窥镜单元具有的自动检测结果，能够减轻辅助装置主体10的运算处理的负荷，并能够提高运算速度。
此外，各实施方式的内窥镜观察辅助装置100可以内置于具备信息处理装置等的内窥镜单元中。也就是说，内窥镜单元设置声音输出部23和振动部24，另外将内窥镜单元的信息处理装置作为信息处理部20兼用，并安装各实施方式的内窥镜观察辅助程序。据此，能够提供具备内窥镜观察辅助装置的内窥镜单元。因此，可以以具备内窥镜观察辅助装置的内窥镜单元出售，也可以单独出售内窥镜观察辅助程序，并能够安装于现有的内窥镜单元并使用。此外，还可以使各装置的设备紧凑和简单，并且能够简化处理。
此外，在上述各实施方式中，通过通知声音和振动通知医生从成像图像上病变消失的事项，除此之外，例如，可以设置LED等的发光单元以使通过光的闪烁等来传递警告。在这种情况下，可以根据病变的权重和病变的种类适当调整发光颜色和闪烁时间等，使得能够发出容易理解的通知。
此外，设置测量插入部42插入体内时的时间的时间测量部，并基于插入部42的插入速度(可以由速度计来测量，也可以使用平均的插入速度)和插入时间、成像图像，例如，在大肠内窥镜的情况时，算出从肛门边缘的距离并显示在显示部22。此外，病变从成像图像上消失，在显示部22等上显示病变的图像等时，如果显示病变的至肛门边缘的距離，能够使医生容易且正确地判断返回多少厘米来拍摄病变等，从而能够进一步提高病变的观察辅助的性能。
此外，在上述第一实施方式中在病变消失时发出警报通知，在第二实施方式中从检测病变之后经过极短时间之后发出警报通知，本发明不限于此。可以根据使用目的等设为，在病变消失时，在从病变被检测之后经过极短的时间时，都发出警报通知，从而能够更加引起医生的注意。
[关联申请的相互引用]
本申请基于2018年4月13日向日本特许厅提出的日本特愿2018－077624号主张优先权，其全部公开内容是通过应用而并入本说明书。
Claims (9)
1.一种内窥镜观察辅助装置，该内窥镜观察辅助装置辅助用内窥镜观察器官脏器，其特征在于，
包括：
图像信息获取部，其获取由所述内窥镜拍摄的所述器官脏器的成像图像并显示在显示部；
病变信息获取部，其基于所述成像图像检测预定的病变，并获取与所述病变有关的病变信息；
判定部，其基于所述成像图像以及所述病变信息来追踪所述病变，并判定所述病变是否从所述成像图像上消失；以及
通知部，其在所述判定部判定为所述病变从所述成像图像上消失时，通知判定结果。
2.一种内窥镜观察辅助装置，该内窥镜观察辅助装置辅助用内窥镜观察器官脏器，其特征在于，
包括：
图像信息获取部，其获取由所述内窥镜拍摄的所述器官脏器的成像图像并显示在显示部；
病变信息获取部，其基于所述成像图像检测预定的病变，并获取与所述病变有关的病变信息；以及
通知部，其在从检测到所述病变之后的极短时间经过之后，通知检测到了所述病变。
3.根据权利要求1所述的内窥镜观察辅助装置，其中，
具备病变信息输出部，该病变信息输出部在所述判定部判定为所述病变从所述成像图像上消失时，将消失之前的所述病变的所述成像图像输出至预定的输出终端。
4.根据权利要求2所述的内窥镜观察辅助装置，其中，
具备病变信息输出部，该病变信息输出部在检测到所述病变之后经过了极短的时间时，将所述病变的所述成像图像输出至预定的输出终端。
5.根据权利要求1至3中任一项所述的内窥镜观察辅助装置，其中，
所述通知部通过从声音输出部输出预定的通知声音来实施通知。
6.根据权利要求1至5中任一项所述的内窥镜观察辅助装置，其中，
所述通知部通过振动振动装置来实施通知。
7.根据权利要求1、3、5以及6中任一项所述的内窥镜观察辅助装置，其中，
具备输入部，该输入部接受来自操作者的所述病变的确认指令的输入，
所述通知部构成为，当所述判定部判定为所述病变从所述成像图像上消失，且，还未从所述输入部输入所述确认指令时，通知所述判定结果。
8.一种内窥镜观察辅助方法，其特征在于，该内窥镜观察辅助方法具有以下工序：
获取由内窥镜拍摄的器官脏器的成像图像的工序；
基于所述成像图像检测预定的病变，并获取与所述病变有关的病变信息的工序；以及
基于所述成像图像以及所述病变信息追踪所述病变，并且在当所述病变从所述成像图像上消失时和检测到所述病变之后经过了极短的时间时的至少一种情况时，通知检测到所述病变的工序。
9.一种程序，其特征在于，该程序使计算机作为以下构件来发挥作用：
获取由内窥镜拍摄的器官脏器的成像图像的构件；
基于所述成像图像检测预定的病变，并获取与所述病变有关的病变信息的构件；以及
基于所述成像图像以及所述病变信息追踪所述病变，并在所述病变从所述成像图像上消失时和检测到所述病变之后经过了极短的时间时的至少一种情况时，通知检测到所述病变的构件。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-077624 | 2018-04-13 | ||
| JP2018077624A JP2019180966A (ja) | 2018-04-13 | 2018-04-13 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
| PCT/JP2019/015925 WO2019198808A1 (ja) | 2018-04-13 | 2019-04-12 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111970955A true CN111970955A (zh) | 2020-11-20 |
Family
ID=68162936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980025579.8A Pending CN111970955A (zh) | 2018-04-13 | 2019-04-12 | 内窥镜观察辅助装置、内窥镜观察辅助方法及程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11690494B2 (zh) |
| EP (1) | EP3777645A4 (zh) |
| JP (1) | JP2019180966A (zh) |
| CN (1) | CN111970955A (zh) |
| WO (1) | WO2019198808A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991333A (zh) * | 2021-04-21 | 2021-06-18 | 强基(上海)医疗器械有限公司 | 一种内窥镜手术中基于语音分析的图像处理方法及系统 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7561382B2 (ja) * | 2018-04-13 | 2024-10-04 | 学校法人昭和大学 | 大腸内視鏡観察支援装置、作動方法、及びプログラム |
| JP2019180966A (ja) | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
| EP3804605A4 (en) * | 2018-06-04 | 2021-08-18 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM AND IMAGE PROCESSING METHOD |
| US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
| CN112040830B (zh) | 2018-06-19 | 2024-08-23 | 奥林巴斯株式会社 | 内窥镜图像处理装置、内窥镜图像处理方法和记录介质 |
| WO2020136858A1 (ja) * | 2018-12-28 | 2020-07-02 | オリンパス株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム |
| WO2021044910A1 (ja) * | 2019-09-03 | 2021-03-11 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム |
| US11607112B2 (en) * | 2019-11-08 | 2023-03-21 | Meditrina, Inc. | Endoscope and method of use |
| CN111311557A (zh) * | 2020-01-23 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 内窥镜图像处理方法、装置、电子设备及存储介质 |
| KR102589384B1 (ko) * | 2020-08-28 | 2023-10-16 | 라크(주) | 의료 영상 판독시스템 |
| KR102531400B1 (ko) * | 2021-03-19 | 2023-05-12 | 주식회사 인피니트헬스케어 | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 |
| US20240203086A1 (en) * | 2021-04-23 | 2024-06-20 | Nec Corporation | Image processing device, image processing method, and storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035756A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | 診断支援装置及び診断支援方法 |
| US20110254937A1 (en) * | 2010-04-15 | 2011-10-20 | Olympus Corporation | Image processing device and program |
| US20120274754A1 (en) * | 2010-02-05 | 2012-11-01 | Olympus Corporation | Image processing device, endoscope system, information storage device, and image processing method |
| JP2016066188A (ja) * | 2014-09-24 | 2016-04-28 | 日本光電工業株式会社 | 医療用システム |
| WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| WO2017033516A1 (ja) * | 2015-08-24 | 2017-03-02 | 富士フイルム株式会社 | 読影支援装置及び方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4196412A (en) * | 1978-01-16 | 1980-04-01 | General Signal Corporation | Driver alert system |
| AU687045B2 (en) * | 1993-03-31 | 1998-02-19 | Luma Corporation | Managing information in an endoscopy system |
| US20090226065A1 (en) * | 2004-10-09 | 2009-09-10 | Dongqing Chen | Sampling medical images for virtual histology |
| JP4496943B2 (ja) | 2004-11-30 | 2010-07-07 | 日本電気株式会社 | 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム |
| IE20090299A1 (en) * | 2008-04-15 | 2009-10-28 | Trinity College Dublin | An endoscopy system |
| JP5658873B2 (ja) | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| JP6005918B2 (ja) * | 2011-09-08 | 2016-10-12 | オリンパス株式会社 | 蛍光観察装置 |
| US9295372B2 (en) * | 2013-09-18 | 2016-03-29 | Cerner Innovation, Inc. | Marking and tracking an area of interest during endoscopy |
| JP6120762B2 (ja) * | 2013-12-13 | 2017-04-26 | オリンパス株式会社 | 画像処理装置 |
| DE112015006562T5 (de) * | 2015-06-29 | 2018-03-22 | Olympus Corporation | Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm |
| CN108292366B (zh) * | 2015-09-10 | 2022-03-18 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的系统和方法 |
| JP2017068360A (ja) * | 2015-09-28 | 2017-04-06 | ブラザー工業株式会社 | 情報表示装置 |
| JP6602969B2 (ja) | 2016-05-23 | 2019-11-06 | オリンパス株式会社 | 内視鏡画像処理装置 |
| JP2018077624A (ja) | 2016-11-08 | 2018-05-17 | グローリー株式会社 | 紙幣処理機および紙幣処理方法 |
| WO2018165620A1 (en) * | 2017-03-09 | 2018-09-13 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for clinical image classification |
| CN110461209B (zh) * | 2017-03-30 | 2021-10-29 | 富士胶片株式会社 | 内窥镜系统及处理器装置 |
| WO2019078237A1 (ja) * | 2017-10-18 | 2019-04-25 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
| JP2019180966A (ja) | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
-
2018
- 2018-04-13 JP JP2018077624A patent/JP2019180966A/ja active Pending
-
2019
- 2019-04-12 EP EP19785266.8A patent/EP3777645A4/en active Pending
- 2019-04-12 US US17/046,233 patent/US11690494B2/en active Active
- 2019-04-12 WO PCT/JP2019/015925 patent/WO2019198808A1/ja active Application Filing
- 2019-04-12 CN CN201980025579.8A patent/CN111970955A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010035756A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | 診断支援装置及び診断支援方法 |
| US20120274754A1 (en) * | 2010-02-05 | 2012-11-01 | Olympus Corporation | Image processing device, endoscope system, information storage device, and image processing method |
| US20110254937A1 (en) * | 2010-04-15 | 2011-10-20 | Olympus Corporation | Image processing device and program |
| JP2016066188A (ja) * | 2014-09-24 | 2016-04-28 | 日本光電工業株式会社 | 医療用システム |
| WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
| WO2017033516A1 (ja) * | 2015-08-24 | 2017-03-02 | 富士フイルム株式会社 | 読影支援装置及び方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991333A (zh) * | 2021-04-21 | 2021-06-18 | 强基(上海)医疗器械有限公司 | 一种内窥镜手术中基于语音分析的图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3777645A4 (en) | 2022-03-23 |
| EP3777645A1 (en) | 2021-02-17 |
| WO2019198808A1 (ja) | 2019-10-17 |
| JP2019180966A (ja) | 2019-10-24 |
| US11690494B2 (en) | 2023-07-04 |
| US20210022586A1 (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111970955A (zh) | 内窥镜观察辅助装置、内窥镜观察辅助方法及程序 | |
| JP4153963B2 (ja) | 内視鏡挿入形状検出装置 | |
| JP5542021B2 (ja) | 内視鏡システム、内視鏡システムの作動方法、及びプログラム | |
| CN113164023B (zh) | 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质 | |
| JP2012085696A (ja) | 画像処理装置、画像処理装置の制御方法及び内視鏡装置 | |
| WO2020090729A1 (ja) | 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 | |
| US20230360221A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| JP7264407B2 (ja) | 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム | |
| JP7561382B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム | |
| WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
| JP7533905B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム | |
| CN117396124A (zh) | 信息处理装置、信息处理方法、以及计算机程序 | |
| WO2023282144A1 (ja) | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 | |
| WO2023038004A1 (ja) | 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体 | |
| WO2023089716A1 (ja) | 情報表示装置、情報表示方法、及び、記録媒体 | |
| WO2024042895A1 (ja) | 画像処理装置、内視鏡、画像処理方法、及びプログラム | |
| US20220375089A1 (en) | Endoscope apparatus, information processing method, and storage medium | |
| US12133635B2 (en) | Endoscope processor, training device, information processing method, training method and program | |
| WO2023195103A1 (ja) | 検査支援システムおよび検査支援方法 | |
| US20230410304A1 (en) | Medical image processing apparatus, medical image processing method, and program | |
| WO2023038005A1 (ja) | 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体 | |
| JP7448923B2 (ja) | 情報処理装置、情報処理装置の作動方法、及びプログラム | |
| WO2023162216A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| WO2023282143A1 (ja) | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 | |
| WO2023067922A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |