JP2024505182A - 眼科用顕微鏡装置のための画像露光技術 - Google Patents
眼科用顕微鏡装置のための画像露光技術 Download PDFInfo
- Publication number
- JP2024505182A JP2024505182A JP2023544398A JP2023544398A JP2024505182A JP 2024505182 A JP2024505182 A JP 2024505182A JP 2023544398 A JP2023544398 A JP 2023544398A JP 2023544398 A JP2023544398 A JP 2023544398A JP 2024505182 A JP2024505182 A JP 2024505182A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- sub
- region
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 44
- 238000005286 illumination Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 241000277284 Salvelinus fontinalis Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
2つの画素ベースの画像を「乗算する」とは、第1画像の各画素値と第2画像の対応する画素値とを乗算して、結果として得られる画像の各画素値を計算することと理解される。オプションとして、第1画像の各画素が第2画像の定義された画素に割り当てられるように、または、その逆になるように、このような操作の前に画像は再スケーリングされてもよい。
図1は、眼科用顕微鏡装置の一例としてスリットランプ顕微鏡を示す。この装置は顕微鏡2とスリットランプのような照明光源4を備える。これらの要素は、例えば、ピボット軸6を中心に回動させることができ、被験者の眼を観察するために使用される。
制御部20は、カメラ22で画像を記録する際に適切な露光パラメータを自動的に選択するように適合され、プログラムされている。これらのパラメータは、以下のうちの1つ以上とすることができる。
本方法は、カメラによって記録された画像から、少なくとも1つの輝度パラメータBを測定することに基づいている。以下では、このパラメータを計算する手順について詳しく説明する。
第1のステップでは、カメラ22によってカメラ画像Mが記録される。カメラ画像は、カメラによって記録された画像の画素ベースの表現である。例えば、カラー画像、グレースケール画像、擬似カラー画像などである。上述したように、カメラ22によって撮影された生の画像であってもよいし、第1の画像処理ステップによって、この生の画像から導出されてもよい。
次のステップでは、カメラ画像M、すなわち各画素Gij(i=1...N、j=1...M)が所定の画素領域における「輝度」を示すスカラー値である画像から、グレースケール画像Gを計算することができる。カメラ画像Mがカラー画像である場合、グレースケール画像Gは、例えば、カメラ画像MのRGB値の加重平均から計算することができる。
次のステップでは、例えば、グレースケール画像G(グレースケール画像が計算されている場合)から、または、カメラ画像Mから直接、エッジ強度画像Eが計算される。エッジ強度画像Eの画素値Eijは、Gijとその隣接画素との間の不連続性の存在を示す。
Eij=|(D*G)ij| (1)
オプションのステップ4では、エッジ強度画像をある固定値だけオフセットする。
E´=E+off (2)
Wij=E´ij・Fij (4)
前のステップの結果、重み画像Wは正規化されてもよく(正規化が方法の別のステップで実行されない限り)、すなわち、その画素値は、それらの合計が所定の予め定義された値(すなわち、カメラ画像に依存しない値)、特に1に等しくなるようにスケーリングされる。例えば、正規化重み画像W´は次のように計算できる。
正規化された重み画像W´を用いて、輝度パラメータBは、重み画像によって与えられる重みで、グレースケール画像Gの全画素の重み付けされた和として計算することができる。
B=Σi,jWij・Gij (7)
上記の輝度値の計算例では、すべての画像の解像度が同じであると仮定した。
図4は、スリットランプ顕微鏡で撮影した(ディザリングされた)グレースケール画像Gである。この画像は、スリット照明によって強調された角膜の断面に対応するエッジの多い領域を示している。
上記ステップ3~5において、エッジ検出は、高いエッジ密度を有するカメラ画像の少なくとも1つの「第1サブ領域」を識別するために使用される。この第1サブ領域は、例えば、高い値を有するエッジ強度画像EまたはE´の画素に対応するか、または、2Dフーリエ変換に基づくエッジ検出が使用される場合、最も強い高周波スペクトル成分を有するサブ領域に対応する。同様に、低いエッジ密度を有する少なくとも1つの「第2サブ領域」が識別される。この第2サブ領域は、例えば、低い値を有するエッジ強度画像EまたはE´の画素に対応するか、または、2Dフーリエ変換に基づくエッジ検出が使用される場合、最も低い高周波スペクトル成分を有するサブ領域に対応する。
B=f1(Σi,jf2(Wij・Gij)) (7)
ここで、f1およびf2は単調関数である。換言すれば、輝度パラメータは積Wij・Gijに非線形に依存する可能性がある。
ものではなく、特許請求の範囲内で様々に具体化および実施できることを明確に理解され
たい。
[構成1]
眼科用顕微鏡装置において画像露光を制御する方法であって、前記眼科用顕微鏡装置はカメラ(22)および照明光源(4)を有し、前記方法は、
第1露光パラメータを用いて前記カメラ(22)でカメラ画像(M)を記録するステップと、
エッジ検出を用いて、前記カメラ画像(M)の少なくとも1つの第1サブ領域と少なくとも1つの第2サブ領域とを識別するステップであって、前記第1サブ領域は前記第2サブ領域よりも高いエッジ密度を有する、ステップと、
前記第1サブ領域の画素輝度を前記第2サブ領域の画素輝度よりも強く重み付けすることにより、前記カメラ画像(M)の輝度パラメータ(B)を計算するステップと、
前記輝度パラメータ(B)に応じて、前記第1露光パラメータを調整して第2露光パラメータを取得するステップと、
前記第2露光パラメータを用いて、前記カメラ(22)で調整された画像を記録するステップと、
を含む方法。
[構成2]
前記第1および第2サブ領域を決定するステップが、それぞれの画素における不連続性の存在を示す画素値を有するエッジ強度画像(E、E´)を計算するステップを含む、構成1に記載の方法。
[構成3]
前記エッジ強度画像(E、E´)は、前記カメラ画像(M)、または、前記カメラ画像(M)から導出された画像に離散畳み込み演算子を適用して計算される、構成2に記載の方法。
[構成4]
前記第1および第2サブ領域を識別するステップにおいて、前記画像の異なる所定の部分に異なる重みが割り当てられ、前記第1サブ領域および前記第2サブ領域を識別する前に、前記エッジ密度が前記異なる重みで重み付けされ、特に、前記画像の中心に近い部分が前記中心から遠い部分よりも強く重み付けされる、構成1乃至3のいずれか一項に記載の方法。
[構成5]
前記エッジ強度画像(E、E´)とフィルタ画像(F)とを乗算することにより重み画像(W、W´)を計算するステップを含み、前記フィルタ画像(F)が前記画像の前記所定の部分を示す画素値を有する、構成4および構成2または構成3のいずれかに記載の方法。
[構成6]
前記重み画像(W、W´)を前記カメラ画像(M)または前記カメラ画像(W)から導出された画像、特に、前記カメラ画像(M)のグレースケール画像(G)と乗算するステップを含む、構成5に記載の方法。
[構成7]
前記重み画像(W、W´)と前記カメラ画像(M)とを乗算する前に、前記重み画像を、前記画素値の合計が所定の予め定義された値に等しくなるようにスケーリングすることによって正規化し、
B=f 1 (Σ i,j f 2 (W ij ・G ij ))
から輝度パラメータBを計算し、
ここで、f 1 およびf 2 は単調関数である、
構成6に記載の方法。
[構成8]
前記カメラ画像(M)のグレースケール画像(G)を計算するステップを含み、前記第1および第2サブ領域が前記グレースケール画像(G)を用いて識別される、構成1乃至7のいずれか一項に記載の方法。
[構成9]
前記輝度パラメータ(B)に応じて、
前記照明光源(4)の輝度、
前記照明光源(4)のパルス長、
前記顕微鏡の開口径、
前記カメラ(22)のゲイン
前記カメラ(22)のサンプリング時間、
のパラメータの少なくとも1つを調整するステップを含む、構成1乃至8のいずれか一項に記載の方法。
[構成10]
照明光源(4)と、
カメラ(22)と、
前記照明光源(4)および前記カメラ(22)に接続された制御部(20)であって、前記制御部(20)が構成1乃至9のいずれか一項に記載の方法を実行するように適合されている、制御部(20)と、
を備える、眼科用顕微鏡装置。
Claims (10)
- 眼科用顕微鏡装置において画像露光を制御する方法であって、前記眼科用顕微鏡装置はカメラ(22)および照明光源(4)を有し、前記方法は、
第1露光パラメータを用いて前記カメラ(22)でカメラ画像(M)を記録するステップと、
エッジ検出を用いて、前記カメラ画像(M)の少なくとも1つの第1サブ領域と少なくとも1つの第2サブ領域とを識別するステップであって、前記第1サブ領域は前記第2サブ領域よりも高いエッジ密度を有する、ステップと、
前記第1サブ領域の画素輝度を前記第2サブ領域の画素輝度よりも強く重み付けすることにより、前記カメラ画像(M)の輝度パラメータ(B)を計算するステップと、
前記輝度パラメータ(B)に応じて、前記第1露光パラメータを調整して第2露光パラメータを取得するステップと、
前記第2露光パラメータを用いて、前記カメラ(22)で調整された画像を記録するステップと、
を含む方法。 - 前記第1および第2サブ領域を決定するステップが、それぞれの画素における不連続性の存在を示す画素値を有するエッジ強度画像(E、E´)を計算するステップを含む、請求項1に記載の方法。
- 前記エッジ強度画像(E、E´)は、前記カメラ画像(M)、または、前記カメラ画像(M)から導出された画像に離散畳み込み演算子を適用して計算される、請求項2に記載の方法。
- 前記第1および第2サブ領域を識別するステップにおいて、前記画像の異なる所定の部分に異なる重みが割り当てられ、前記第1サブ領域および前記第2サブ領域を識別する前に、前記エッジ密度が前記異なる重みで重み付けされ、特に、前記画像の中心に近い部分が前記中心から遠い部分よりも強く重み付けされる、請求項1乃至3のいずれか一項に記載の方法。
- 前記エッジ強度画像(E、E´)とフィルタ画像(F)とを乗算することにより重み画像(W、W´)を計算するステップを含み、前記フィルタ画像(F)が前記画像の前記所定の部分を示す画素値を有する、請求項4および請求項2または請求項3のいずれかに記載の方法。
- 前記重み画像(W、W´)を前記カメラ画像(M)または前記カメラ画像(W)から導出された画像、特に、前記カメラ画像(M)のグレースケール画像(G)と乗算するステップを含む、請求項5に記載の方法。
- 前記重み画像(W、W´)と前記カメラ画像(M)とを乗算する前に、前記重み画像を、前記画素値の合計が所定の予め定義された値に等しくなるようにスケーリングすることによって正規化し、
B=f1(Σi,jf2(Wij・Gij))
から輝度パラメータBを計算し、
ここで、f1およびf2は単調関数である、
請求項6に記載の方法。 - 前記カメラ画像(M)のグレースケール画像(G)を計算するステップを含み、前記第1および第2サブ領域が前記グレースケール画像(G)を用いて識別される、請求項1乃至7のいずれか一項に記載の方法。
- 前記輝度パラメータ(B)に応じて、
前記照明光源(4)の輝度、
前記照明光源(4)のパルス長、
前記顕微鏡の開口径、
前記カメラ(22)のゲイン
前記カメラ(22)のサンプリング時間、
のパラメータの少なくとも1つを調整するステップを含む、請求項1乃至8のいずれか一項に記載の方法。 - 照明光源(4)と、
カメラ(22)と、
前記照明光源(4)および前記カメラ(22)に接続された制御部(20)であって、前記制御部(20)が請求項1乃至9のいずれか一項に記載の方法を実行するように適合されている、制御部(20)と、
を備える、眼科用顕微鏡装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2021/051481 WO2022156904A1 (en) | 2021-01-22 | 2021-01-22 | Image exposure techniques for ophthalmic microscope devices |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024505182A true JP2024505182A (ja) | 2024-02-05 |
Family
ID=74505192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023544398A Pending JP2024505182A (ja) | 2021-01-22 | 2021-01-22 | 眼科用顕微鏡装置のための画像露光技術 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230379589A1 (ja) |
EP (1) | EP4236760B1 (ja) |
JP (1) | JP2024505182A (ja) |
CN (1) | CN116547983A (ja) |
WO (1) | WO2022156904A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI449416B (zh) * | 2010-09-10 | 2014-08-11 | Altek Corp | 數位相機的拍攝參數的調整方法 |
EP3644044B1 (en) * | 2018-10-24 | 2020-12-23 | Leica Biosystems Imaging, Inc. | Camera exposure control when acquiring fluorescence in situ hybridization images |
-
2021
- 2021-01-22 JP JP2023544398A patent/JP2024505182A/ja active Pending
- 2021-01-22 WO PCT/EP2021/051481 patent/WO2022156904A1/en active Application Filing
- 2021-01-22 US US18/265,851 patent/US20230379589A1/en active Pending
- 2021-01-22 EP EP21702887.7A patent/EP4236760B1/en active Active
- 2021-01-22 CN CN202180080596.9A patent/CN116547983A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4236760A1 (en) | 2023-09-06 |
CN116547983A (zh) | 2023-08-04 |
WO2022156904A1 (en) | 2022-07-28 |
US20230379589A1 (en) | 2023-11-23 |
EP4236760B1 (en) | 2024-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11986156B2 (en) | System with endoscope and image sensor and method for processing medical images | |
CN110505459B (zh) | 适用于内窥镜的图像颜色校正方法、装置和存储介质 | |
US10203585B2 (en) | Focus assist system and method | |
CN105378538B (zh) | 用于多频谱成像的自动聚焦方法和系统 | |
JP5953187B2 (ja) | 合焦制御装置、内視鏡システム及び合焦制御方法 | |
JP4747163B2 (ja) | 人物画像における赤目補正 | |
US8274026B2 (en) | Focus assist system and method | |
JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
TWI462054B (zh) | Estimation Method of Image Vagueness and Evaluation Method of Image Quality | |
JP2014226514A5 (ja) | ||
JP6803355B2 (ja) | カラー画像の拡張方法並びにその方法の実行機構 | |
JP5911296B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
Tang et al. | What does an aberrated photo tell us about the lens and the scene? | |
CN114531846A (zh) | 用于浊度分析的系统、设备和方法 | |
US20240196099A1 (en) | Apparatuses, systems, and methods for gaze-based auto-exposure management of images | |
Nouri et al. | Calibration and test of a hyperspectral imaging prototype for intra-operative surgical assistance | |
US10481378B2 (en) | Interactive graphical representation of image quality and control thereof | |
EP3289956A1 (en) | Image analysis device, image analysis system, and operation method for image analysis device | |
JP2024505182A (ja) | 眼科用顕微鏡装置のための画像露光技術 | |
CN110675325A (zh) | 一种增强眼底图像的方法和装置 | |
JP2016209133A5 (ja) | ||
US11050931B2 (en) | Control device and control method | |
CN112740262B (zh) | 使用局部信噪比的去卷积装置和方法 | |
JP2020153759A (ja) | 評価装置、本物感評価方法およびプログラム | |
Tchelet et al. | Blind De-Blurring of Microscopy Images for Cornea Cell Counting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20241023 |