초해상도 이미징

Super-resolution imaging

초해상도 이미징(SR)은 이미징 시스템의 해상도를 향상(향상)하는 기술입니다.광학 SR에서는 시스템의 회절 한계를 초월하는 반면, 기하학적 SR에서는 디지털 이미징 센서의 분해능이 향상됩니다.

일부 레이더 및 음파 이미징 애플리케이션(예: 자기 공명 영상(MRI), 고해상도 컴퓨터 단층 촬영), 부분 공간 분해 기반 방법(예[1]: MUSIC) 및 압축 감지 기반 알고리즘(예: SAMV[2])은 표준 주기율 알고리즘에 대한 SR을 달성하기 위해 사용된다.

초해상도 이미징 기술은 일반 화상 처리 및 초해상도 현미경 검사에 사용됩니다.

기본 개념

초해상도 관련 아이디어 중 일부는 근본적인 문제를 제기하기 때문에, 처음에는 관련 물리적 및 정보 이론적 원칙을 검토할 필요가 있다.

  • 회절 한계:광학 기구가 이미지에서 재현할 수 있는 물리적 물체의 세부 사항은 빛의[3] 파동 이론의 회절 방정식이나 [4]양자 역학에서 광자에 대한 등가 불확도 원리에 의해 공식화된 물리 법칙에 의해 요구되는 한계를 가지고 있습니다.이 경계를 넘어서는 정보 전송을 늘릴 수 없습니다.단, 제한을 넘는 패킷은,[5] 정보 전송 내부의 일부와 교묘하게 교환(또는 멀티플렉스)할 수 있습니다.회절 한계치를 "파괴"하는 것보다 "주변"하는 것이 더 많다.분자 수준(이른바 근접장)[6]에서 전자기 장애를 조사하는 새로운 과정은 맥스웰의 방정식과 완전히 일치합니다.
    • 공간 주파수 영역:회절 한계의 간결한 표현은 공간 주파수 영역에서 주어진다.푸리에광학에서 광분포는 프린지폭 범위, 기술적으로 공간주파수에서의 일련의 격자광 패턴의 중첩으로 표현된다.일반적으로 회절 이론은 패턴 요소가 광학 이미지로 전달되지 않는, 즉 분해되지 않는 상한인 차단 공간 주파수를 규정하는 것으로 알려져 있다.하지만 사실 회절 이론에 의해 정해진 것은 고정된 상한이 아니라 통과 대역의 폭입니다.단절된 공간 주파수를 초과하는 공간 주파수 대역을 내부 대역으로 바꿀 때 물리 법칙은 깨지지 않습니다. 이는 오랫동안 암시장 현미경 검사에서 구현되어 왔습니다.또한 여러 개의 [7][8][9]밴드를 중첩하여 수신된 이미지에 분리할 때 정보 이론 규칙이 깨지는 것은 다중 노출 동안 객체 불변성의 가정, 즉 한 종류의 불확실성을 다른 것으로 대체해야 한다.
  • 정보:예를 들어 다중 노출의 평균화와 같이 이미지의 통계 처리에서 객체 세부사항을 추론하는 기법에 초해상도라는 용어를 사용하는 경우, 한 종류의 정보(노이즈에서 신호 추출)를 다른 정보(표적이 불변하게 유지된다는 가정)와 교환해야 한다.
  • 해상도 및 현지화:진정한 분해능은 표적(예: 별 또는 스펙트럼 라인)이 단일인지 이중인지 구별하는 것을 포함하며, 일반적으로 영상에서 분리 가능한 피크를 필요로 한다.대상이 단일인 것으로 알려진 경우 영상 광 분포의 중심(중심)을 찾아 영상 폭보다 더 높은 정밀도로 위치를 결정할 수 있습니다.이 과정에서[10] 초해상도라는 단어가 제안되었지만 인기를 끌지 못했고, 고정밀 현지화 절차는 일반적으로 초해상도라고 불립니다.

현재 초해상도로 분류되는 이미지 형성 및 감지 장치의 성능을 향상시킨 기술적 성과는 최대한 활용하지만 항상 물리 법칙과 정보 이론의 범위 내에 있습니다.

기술

광학 또는 회절 초해상도

공간 주파수 대역 대체:회절에 의해 허용되는 대역폭은 고정되어 있지만 공간 주파수 스펙트럼의 어디에나 배치할 수 있습니다.현미경 검사에서 다크필드 조명이 그 예입니다.조리개 합성도 참조하십시오.

초고해상도의 '구조화 조명' 기법은 모이레 패턴과 관련이 있다.대상(상단 열)이 회절 한계를 벗어납니다.다소 거칠어진 분해능 프링(2열)의 밴드를 인위적으로 중첩하면 조합(3열)은 회절 한계 내에 있는 모이레 성분을 특징으로 하며, 따라서 이미지(하단 열)에 포함된 모이레 성분이 이미지에 표시되지 않더라도 미세한 프링의 존재를 추론할 수 있다..

공간 주파수 대역 다중화

광디바이스의 통상 패스밴드를 이용해 화상을 형성한다.그런 다음 알려진 빛 구조, 예를 들어 통과 대역 내에 있을 필요가 없는 일련의 빛 테두리가 [11][9]타겟에 중첩됩니다.이제 이미지에는 대상과 중첩 조명 구조의 조합으로 인한 구성 요소(예: moiré fringes)가 포함되며 단순하고 구조화되지 않은 조명에는 포함되지 않는 대상 세부 정보에 대한 정보가 포함됩니다.그러나 "초해상" 구성요소는 밝혀져야 합니다.예를 들어, 구조화된 조명(왼쪽 그림)을 참조하십시오.

기존 회절 한계 내에서 다중 매개 변수 사용

타겟이 특별한 편파 또는 파장 특성을 가지지 않는 경우, 2개의 편파 상태 또는 비중복 파장 영역을 사용해 타겟의 상세를 부호화할 수 있으며, 한쪽은 컷오프 한계 내의 공간 주파수 대역에 속하고 다른 한쪽은 그 너머에 속합니다.둘 다 통상적인 패스밴드 전송을 이용하지만, 이후 개별적으로 디코딩되어 확장된 분해능으로 타깃 구조를 재구성합니다.

근접장 전자파 장애 프로빙

초해상도에 대한 일반적인 논의는 광학 시스템에 의한 물체의 일반적인 이미지를 포함했다.그러나 현대 기술은 뛰어난 분해능 특성을 가진 소스의[6] 분자 거리 내에서 전자파 교란을 조사할 수 있게 합니다. 또한 일시적인 파동 및 새로운 슈퍼 렌즈의 개발을 참조하십시오.

기하학적 또는 이미지 처리 초해상도

취득 또는 송신중에 노이즈로 얼룩진 단일 화상(왼쪽)에 비해, 신호 대 잡음비는, 복수의 별도 취득 화상(오른쪽)의 적절한 조합에 의해서 향상된다.이러한 세부 정보를 노출하기 위한 영상 프로세스의 고유 분해능 기능 내에서만 가능합니다.

멀티노출 이미지 노이즈 저감

노이즈에 의해 이미지가 저하되면, 회절 한계 이내에서도 많은 노출의 평균에 보다 상세한 정보가 있을 수 있습니다.오른쪽의 예를 참조해 주세요.

싱글 프레임 디블러링

주요 기사:디블러링

포커스 또는 이상과 같은 특정 영상 상황에서 알려진 결함은 단일 영상의 적절한 공간 주파수 필터링을 통해 전체 또는 일부를 완화할 수 있습니다.이러한 순서는 모두 회절요구 패스밴드 내에 머무르며 확장하지 않습니다.

두 기능 모두 3픽셀 이상으로 확장되지만 양적으로는 다르기 때문에 픽셀 치수보다 정밀하게 현지화할 수 있습니다.

서브픽셀 이미지 현지화

단일 선원의 위치는 여러 인접 픽셀로 확장되는 광 분포의 "중심"(중심)을 계산하여 결정할 수 있습니다(왼쪽 그림 참조).충분한 빛이 있으면, 검출 장치의 화소폭이나 선원이 싱글인지 더블인지를 판정하기 위한 해상도 한계보다 훨씬 좋은 임의의 정밀도로 이것을 실현할 수 있다.모든 빛이 단일 소스에서 나온다는 전제를 필요로 하는 이 기술은 초해상도 현미경법(STORM)으로 알려진 것에 기초하고 있습니다. 예를 들어, 분자에 부착된 형광 탐침이 나노 스케일 거리 정보를 제공하는 것입니다.그것은 또한 시각 과잉의 [12]기초가 되는 메커니즘이다.

기존 회절 한계를 벗어난 베이지안 유도

주요 기사:베이지안 추론

일부 객체 피쳐는 회절 한계를 벗어나지만 제한 범위 내에 있는 다른 객체 피쳐와 연관되어 이미지에 포함되어 있는 것으로 알려져 있습니다.그런 다음 통계적 방법을 사용하여 [13]전체 개체의 존재에 대한 사용 가능한 영상 데이터에서 결론을 도출할 수 있습니다.전형적인 예는 토랄도 디 프랑시아의 명제로[14], 이미지가 단일 별에서 퍼지는 폭을 초과하는지 여부를 판단함으로써 단일 별인지 이중 별인지를 판단한다.이는 기존의 분해능 한계보다 훨씬 낮은 분리에서 달성될 수 있으며, "싱글 또는 더블?" 선택에 대한 사전 제한이 필요하다.

이 접근방식은 오브젝트가 해석함수라고 가정하고 일정 간격으로 함수값을 정확하게 알 수 있다고 가정함으로써 주파수 영역의 이미지를 추정하는 형태를 취할 수 있습니다.이 방법은 디지털 이미징 시스템에서 지속적으로 발생하는 소음에 의해 크게 제한되지만 레이더, 천문학, 현미경 또는 자기 공명 [15]이미징에 사용할 수 있습니다.최근에는 § - 2 (\ _ _ 문제에 대한 폐쇄형 솔루션을 기반으로 한 빠른 단일 영상 초해상도 알고리즘이 제안되어 기존 베이지안 초해상도 방법을 크게 [16]가속화하기 위해 입증되었다.

앨리어싱

기하학적 SR 재구성 알고리즘은 입력 저해상도 영상이 언더 샘플링되어 앨리어싱을 포함하는 경우에만 가능합니다.이 에일리어싱에 의해 원하는 재구성 화상의 고주파 함량이 관찰된 각 화상의 저주파 함량에 포함된다.충분한 수의 관찰 영상이 주어지고 관찰 세트가 위상(즉, 장면의 이미지가 하위 픽셀 양만큼 이동되는 경우)에서 변화할 경우 위상 정보를 사용하여 별칭화된 고주파 컨텐츠를 실제 저주파 컨텐츠에서 분리할 수 있으며, 최대 해상도 이미지를 정확하게 재구성할 수 있습니다.cted.[17]

실제로 이 주파수 기반 접근방식은 재구성에 사용되지 않지만 공간적 접근방식(예: 시프트 추가 융합[18])의 경우에도 앨리어싱의 존재는 여전히 SR 재구성에 필요한 조건이다.

기술 구현

SR에는 싱글프레임과 멀티프레임의 양쪽 베리안트가 있습니다.다중 프레임 SR은 동일한 씬(scene)의 여러 저해상도 영상 간에 하위 픽셀 이동을 사용합니다.그러면 모든 저해상도 영상에서 정보를 융합하는 향상된 해상도 영상이 생성되며, 생성된 고해상도 영상이 씬(scene)을 더 잘 설명합니다.싱글 프레임 SR 방식에서는 흐릿하지 않고 이미지를 확대하려고 합니다.이러한 방법에서는 저해상도 이미지의 다른 부분 또는 관련 없는 다른 이미지를 사용하여 고해상도 이미지의 모양을 추측합니다.알고리즘은 주파수 영역 또는 공간 영역별로 나눌 수도 있습니다.원래 초해상도 방법은 그레이스케일 [19]이미지에서만 잘 작동했지만 연구자들은 컬러 카메라 이미지에 [18]적응하는 방법을 찾아냈다.최근에는 3D 데이터에 대한 초해상도 사용도 나타났다.[20]

조사.

초해상도를 [21]수행하기 위해 심층 컨볼루션 네트워크를 사용하는 것에 대한 유망한 연구가 있다.특히 꽃가루 알갱이의 20배 현미경 이미지가 그것을 [22]이용한 1500배 주사 전자 현미경 이미지로 변환되는 것이 실증되었다.이 기술은 이미지의 정보 내용을 증가시킬 수 있지만, 원래 이미지에 업스케일된 피쳐가 존재한다는 보장은 없으며 입력이 애매한 분석 애플리케이션에서 딥 컨볼루션 업스케일러를 사용하지 않아야 합니다.이러한 방법은 이미지 기능을 환각시켜 [23]의료용으로 안전하지 않게 만들 수 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Schmidt, R.O, "Multiple Emitter Location and Signal Parameter Estimation", IEEE Trans.안테나 전파, Vol. AP-34(1986년 3월), 페이지 276-280.
  2. ^ Abeida, Habti; Zhang, Qilin; Li, Jian; Merabtine, Nadjim (2013). "Iterative Sparse Asymptotic Minimum Variance Based Approaches for Array Processing" (PDF). IEEE Transactions on Signal Processing. 61 (4): 933–944. arXiv:1802.03070. Bibcode:2013ITSP...61..933A. doi:10.1109/tsp.2012.2231676. ISSN 1053-587X. S2CID 16276001.
  3. ^ M, Wolf E 출생, 케임브리지 대학교 광학 원리임의의 에디션을 누릅니다.
  4. ^ 폭스 M, 2007년 퀀텀 옵틱스 옥스퍼드
  5. ^ 잘레프스키 Z, Mendlovic D. 2003 광학 초해상도 스프링어
  6. ^ a b Betzig, E; Trautman, JK (1992). "Near-field optics: microscopy, spectroscopy, and surface modification beyond the diffraction limit". Science. 257 (5067): 189–195. Bibcode:1992Sci...257..189B. doi:10.1126/science.257.5067.189. PMID 17794749. S2CID 38041885.
  7. ^ 루코즈, W., 1966년분해능이 기존의 한계를 넘는 광학 시스템.J. opt. soc.암 56, 1463~1472
  8. ^ Guerra, John M. (1995-06-26). "Super‐resolution through illumination by diffraction‐born evanescent waves". Applied Physics Letters. 66 (26): 3555–3557. Bibcode:1995ApPhL..66.3555G. doi:10.1063/1.113814. ISSN 0003-6951.
  9. ^ a b 구스타프슨, M., 2000년구조화된 조명 현미경을 사용하여 가로 해상도 한계를 2배 초과합니다.J. 현미경 198, 82-87.
  10. ^ 콕스, IJ, 쉐퍼드, CJR, 1986년광학 시스템의 정보 용량과 해상도.J.opt. Soc. Am.A 3, 1152 – 1158
  11. ^ Guerra, John M. (1995-06-26). "Super‐resolution through illumination by diffraction‐born evanescent waves". Applied Physics Letters. 66 (26): 3555–3557. Bibcode:1995ApPhL..66.3555G. doi:10.1063/1.113814. ISSN 0003-6951.
  12. ^ Westheimer, G (2012). "Optical superresolution and visual hyperacuity". Prog Retin Eye Res. 31 (5): 467–80. doi:10.1016/j.preteyeres.2012.05.001. PMID 22634484.
  13. ^ Harris, J.L., 1964년해결력 및 의사결정J. opt. soc.암 54, 606-611
  14. ^ 토랄도 디 프랑시아, G., 1955년파워와 정보 해결.J. opt. soc.암 45, 497~501
  15. ^ D. Poot, B.Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, P. M. Pari젤 및 J. Sijbers, "다슬라이스 확산 텐서 이미징을 위한 초해상도", 의학에서의 자기 공명(2012)
  16. ^ N. Zhao, Q.Wei, A. Basarab, N. Dobigeon, D. Kouamé, J-Y.Tourneret, " 2 - 2 ( \ style _ {2 - \_ { } 문제에 대한 새로운 분석 솔루션을 사용하여 빠른 단일 이미지 초해상도", IEEE Trans.Image Process., 2016, 등장 예정.
  17. ^ J. Simpkins, R.L. Stevenson, "초해상도 이미지 입문" 수학 광학: 고전, 양자 및 계산 방법, Ed. V. Lakshminarayan, M. Calvo 및 T.알리예바CRC 프레스, 2012. 539-564.
  18. ^ a b S. Farsiu, D.로빈슨, M. Elad, P.Milanfar, "빠르고 견고한 다중 프레임 초해상도", IEEE Transactions on Image Processing, vol. 13, No. 10, 페이지 1327–1344, 2004년 10월.
  19. ^ P. Cheeseman, B. Kanefsky, R. Kraft 및 J. Stutz, 1994
  20. ^ S. 슈온, C.시오발트, J. 데이비스, S.IEEE CVPR 2009 진행 중, "LidarBoost: ToF 3D 형상 스캔을 위한 깊이 초해상도"
  21. ^ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (2016-03-26). "Perceptual Losses for Real-Time Style Transfer and Super-Resolution". arXiv:1603.08155 [cs.CV].
  22. ^ Grant-Jacob, James A; Mackay, Benita S; Baker, James A G; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (2019-06-18). "A neural lens for super-resolution biological imaging". Journal of Physics Communications. 3 (6): 065004. Bibcode:2019JPhCo...3f5004G. doi:10.1088/2399-6528/ab267d. ISSN 2399-6528.
  23. ^ Cohen, Joseph Paul (2018). "Distribution Matching Losses Can Hallucinate Features in Medical Image Translation". Medical Image Computing and Computer Assisted Intervention – MICCAI 2018. Lecture Notes in Computer Science. 11070: 529–536. arXiv:1805.08841. doi:10.1007/978-3-030-00928-1_60. ISBN 978-3-030-00927-4. S2CID 43919703. Retrieved 1 May 2022.

기타 관련 작업