Articles

빠르고 정확한 sCMOS 소음 수정을 위한 형광 현미경

by admin 11월 23, 2021

ACsN 알고리즘 framework

ACsN 결합한 카메라 구경측정,소음 estimation and sparse 필터링하는 올바른 대부분의 관련 소음 출처에서 생성된 sCMOS 카메라(Fig. 1a 및 보충 노트 1 및 2.1). 특히,ACsN 은 먼저 sCMOS 픽셀의 오프셋 및 게인의 맵을 사용하여 고정 패턴 노이즈를 보정합니다. 의 존재 고정 패턴에 소음 sCMOS 카메라를 생성하는 다른 픽셀(p)의 다른 번호를 photoelectrons 에서 같은 수의 침해하는 광자(Sp). 이 효과는 조명 레벨에 비례하며 Poisson-distributed variable Sp 의 매개 변수에 적용된 곱셈 계수 yp 로 모델링 할 수 있습니다. 에서,같은 시간 동안 아날로그-디지털(AD)를 변환하는 전압을 생성하여 각 픽셀의 차이를 읽에서 참조 수준을 나타내는 부재의 빛입니다. 실제로,이 기준 전압에는 측정 된 강도 값에서 바이어스(ßp)를 담당하는 양의 값이 할당됩니다. 따라서,의 취득 sCMOS 카메라할 수 있으로 모델링 방정식:20

$$Z_p=\감마 _p{\mathrm{관심 장소}}\left\{{S_p\left(\tau\오른쪽)}\right\}+N\left({0,\sigma_R}\right)+\베타 _p,$$

(1)

어디 Zp 은 값의 픽셀 p,τ 노출시간,N(0,σR)가우시안 배 판독값의 소음을 의미 µR=0,표준 편차 σR. 고려의 실용성 형광 현미경,이 모델에서 우리가 생략의 기여도 어두운 현재할 수 있는 무시에 대한 노출 시간 아래 1 의,그리고 양자화 노이즈로 인해 광고를 전환하는 무시할에 비해 판독 noise3,21 조(보충 Note2.2).

이후로 고정 패턴잡음에 따라 카메라 회로로,ßp 및 yp 예상할 수 있습을 통해 한 시간 보정(방법을 참조하십시오). 그러나,주의의 평가는 두 가우시안 배 판독 소음,N(0,σR),그리고 변동으로 인해 Poisson-산 광양자 샷 소음,관심 장소{Sp(τ)},을 얻기 위해 필요한 정확한 예측의 근본적인 신호 Sp. 을 수행하이 평가,우리는 우리 고안 잡음 모델을 허용하는 합의 추정된 노이즈 차이를 분석하여 주파수의 반응을 현미경 시스템입니다. 이는 사실을 기반으로 포아송 분포의 광양자를 촬영하거나 종료할 수 있습 feasibly 에 의해 접근 가우시안 배우 photon flux 은>3 광당 pixel22. 특히,오류에 의해 도입에 가깝게 포아송 분산,$\sigma_P^2$,과 가우시안산,$\sigma_G^2$,된<1%할 때 photon flux 은 5 개 이상의 광 픽셀당(보충 2.3 참고). 현저하게,광자 플럭스에 대한 전술 한 조건은 일반적으로 형광 현미경 23,24 에서 많은 응용 분야에 만족합니다. 따라서,우리는 고려 카메라 관련 소음의 결과로 합의 두 개의 독립적인 가우시안산수,누구의 분산$\sigma_N^2=\sigma_R^2+\sigma_G^2$. 이러한 배포로 구성된 일정한 전력 스펙트럼 밀도하는 동안,신호에서 나오는 샘플에 포함된 광학 전송 기능(OTF)25. 따라서,우리는 활용하는 지식의 광학 시스템을 평가하는 픽셀의 변동부 OTF 로 인해 소음만,그리고 우리가 사용하여 얻은 값을 도출하 σN 에는 원본 이미지(보충 2.3 참고).

다음에,알고리즘을 사용하여 이러한 잡음에 대한 통계가 아닌 지역 평가의 자기의 유사성 및 샘플 수행하는 협력파스 필터링에 입력 순서가 있습니다. 과는 달리 이전 구현의 협업 필터링을 채택하고 계층적 방법을 순차적으로 프로브의 이미지 자기의 유사성에서 시간과 공간을 향상시키기 위해 소음 교정 정확도에 영향을 끼치지 않고 및 런타임입니다. 간단히 말해서,필터는 패치에서 이미지를 분해하고 유사성에 따라 3 차원(3D)그룹으로 정렬합니다 26. 그런 다음 3D 변환을 사용하여 각 그룹을 한꺼번에 처리합니다. 의 노이즈 제거에 의해 수행되는 하드 임계값 및 향상된다는 사실에 의해,유사성으로 인해 사 패치,3 차원 변환의 결과에서는 심지어 더 부족의 표현은 원래의 패치는 반면,소음 파워 스펙트럼 남아 constant27. 그 후,탈질 된 패치는 원래의 위치로 반환되어 중간 이미지를 형성한다. 이 시점에서 협업 필터는 두 번째로 실행되지만 하드 임계 값을 위너 필터로 대체합니다. 필터는 잡음과 중간 이미지 모두를 사용하여 수행되며 최종 탈노 화 된 이미지를 생성합니다(보충 주 2.4). 이미지를 가로 지르는 노이즈의 공간적 변화가 위너 필터의 성능에 영향을 미칠 수 있음에 유의해야한다. 그러나,이것은 상당히 완화의 사용에 의하여 패치 기반 처리,비교하여 전체 이미지 강화도 균일 이내에 개별적인 패치 그룹 전시,훌륭한 안정성에 대한 공간적으로 변 noise9.

마지막으로,이웃 프레임에서도 유사한 패치를 찾는 또 다른 협업 필터가 수행됩니다. 이 방법으로,느린 노이즈 될 수 있습니다 추가 감소의 활용 샘플 셀프 시간에 유사성을 유지하면서 시간적 resolution18(보조모 2.5).

ACsN 의 특성화

다음으로,우리는 수치 및 실험 데이터를 모두 사용하여 ACsN 의 성능을 특성화했다. 특히,ACsN 협업 필터링에 따라 달라집 추정 σN 뿐만 아니라,에서 선택 매개 변수에 algorithm28 는 선택을 최적화하기 위해 모두 소음 교정 및 런타임(보조모 3.1). 우리가 관찰하는 우리의 전략은 크게 약화의 해로운 영향의 카메라 노이즈를 피하고,탈모의 이미지 해상도,특히 존재에서의 공간적으로 변형 잡음(보충 3.2 참고). 또한,카메라 노이즈를 유도할 수 있는 일시적 변동이의 픽셀값과 관련이 없는 샘플 따라서,영향을 미치는량 분석-시간의 경과 데이터입니다. ACsN 노이즈 제거 감소 효과에 의해 약 크기의 순서,잔류 변동을 이상적인 카메라(Fig. 1b-g 및 보충 노트 3.3). 또한,그것은 주목해야한다는 것에서 낮은 광양자수 샘플의 세부 사항을 시작하여 비교할 수 있다 변화와 더을 검색 할 수 있습니다. 따라서,이미지 복원의 성능은 본질적으로 입력 이미지의 광자 플럭스와 관련이있다. 그럼에도 불구하고,모두 사용하여 시뮬레이션 및 실험적 데이터,우리는 검증된 견고한 ACsN 소음 교정에서 낮은 빛 레벨 아래로 5~10 광 픽셀당(보조모 3.4).

또한,우리는 유효하의 성능 ACsN 에서 다양한 샘플링 속도 정상적으로 채택을 위한 형광 현미경. 실제로 Nyquist 기준에 가까운 샘플링 속도는 SNR(signal to noise ratio)과 세부 보존 사이의 좋은 절충점을 나타냅니다. 여기에서 검사,숫자 및 통해 실험적으로 다양한 범위의 샘플링 속도,우리는 시연의 생존 ACsN 낮은 SNR 과 오버샘플링과 눈에 띄는 손실의 신호를 아래와 샘플링(보조모 3.5).

자연의 이미지와 달리,형광등의 이미지를 생물학적 샘플이 고정된 전시 정확하게 표시된 분자상 또는 구조입니다. 따라서 각 형광 이미지는 일반적으로 기능이 특정 개체에 걸쳐 반복야에 공급하는 충분한 아닌 현지 자기의 유사성을 확인 알고리즘은 특히 효율적이를 위한 형광 현미경. 과 수치적 및 실험적 데이터,우리는 특징인 의존성의 ACsN 성능의 사용에 자기의 유사성 입력을 이미지(보조모 3.6). 또한,다음과 같이,우리는 우리 정량적 평가에게 다양한 생물학적 및 생물학적 샘플을 확인 생존의 방법에 걸쳐 다양한 차원 형태학,임의성 및 밀도와 같은 구경 목표를,형광성 입자를,하나의 분자,microtubules,필라멘트,미토콘드리아,filopodia,lamellipodia,그리고 작은 동물입니다.

넓 분야 microscopy

광 현미경 분야,특히 총 내부 반사 fluorescence(TIRF)현미경의 가장 널리 사용되는 기술 셀 imaging29. TIRF 사용하는 현상을 총 내부 빛의 반사 유리/물 인터페이스를 만들기 위해 사라져가 전파하는 파일의 수백을 나노미터에 coverslip. 이것은 샘플의 하단에있는 형광 라벨의 선택적 여기를 허용합니다(보충 그림 2). 1a). 그러나,경우에는 약자의 형광체 저 빛의 강도 또는 짧은 노출 시간이 sCMOS 관련 소음이 심각한 악화질 이미지(보충 Fig. 1b). ACsN 노이즈 제거할 수 있습 효과적으로 이러한 기여 및 복구에서 신호를 왜곡되지 않은 소음이 수 있도록 빠르게 획득을 손상시키지 않고 근본적인 신호 조(보충 Fig. 1c,디).

우리는 입증 ACsN 노이즈 제거리의 넓은 분야 현미경 모두에서 피 형광고 TIRF 구성을 사용하여 다양한 고정,라이브 그리고 다색 sub-cellular 샘플을 포함하여 microtubules(Fig. 1 및 보충도. 1),미토콘드리아 2 충 영화 1,2),F-말라(Fig. 2). 의 사용 ACsN 을 유지할 수 있습니다 같은 이미지 품질 짧은 노출 시간(즉,더 나은 시간적 해상도)및 낮은 여기준(즉,적은 사진 손상). 따라서 성능은 주로 형광 이미 터의 광 물리학에 의해 제한됩니다. 를 사용하여 정량 지표,우리가 보는 방법을 복구 할 수 있습니다 넓은 이미지와 광자 예산은 두 개의 주문 크기의 없이 낮은 손실의 이미지 품질(보조 표 1).

Deconvolution 및 가벼운 필드 microscopy

이미지 deconvolution 이에서 널리 이용되는 광학 현미경에서의 복원은 낮은 품질의 이미지를 개선 초고해상도 techniques30. 그러나 노이즈는 디콘 볼 루션 아티팩트를 생성하여 많은 일반적인 알고리즘의 성능을 쉽게 저하시킬 수 있습니다. 대신에,우리는 관찰되는 놀라운의 감소 등의 유물에 deconvolved 이미지를 사용하여 ACsN 노이즈 제거하기 전에 다른 방법에 따라 리처드슨–루시 algorithm31,기계 learning32,그리고 광선 fluctuation33(보조모 4.1). 의 향상 이미지 복원 반도하여 개선의 이미지 품질을 평가하는 메트릭을 사용하는 등의 해상도를 조정 피어슨의 계수(RSP)34. 예를 들어,결합 ACsN 및 반경 방향 변화,우리가 생성된 최고해상도 이미지와 잘 RSP 값에서 시간적 해상도로 두 가지 명령의 크기보다 더 높은 현재 reported33(보충 Fig. 2).

이미지 deconvolution 은 또한 lfm(light-field microscopy)에서 3 차원 재구성의 기초에 있습니다. 철 남자를 채용 microlens 의 배열이 현미경 검사 시스템을 구하 모두 two-dimensional(2D)공간 및 2D 각 정보를 사건의 빛을 할 수 있도록,전체의 재건 전체 3D 볼륨의 표본에서 하나의 카메라 frame35. 그러나 deconvolution 기반 재구성 프로세스는 특히 LFM 의 넓은 필드,체적 및 빠른 이미징 방식으로 인해 SNR 에 매우 민감합니다. 이러한 이유로 acsn 을 사용하여 원시 이미지의 노이즈를 보정합니다(그림 1). 도 3a,b)는 3D 광-필드 재구성에서 명확하게 눈에 띄는 개선을 초래한다(도 3b). 3c,디). 실제로,노이즈의 존재는 3 차원 물체의 계산 착오 또는 비 플루오로 포어 관련 피크의 전파를 초래한다. 전자는 축 방향 치수를 따라 샘플링에 영향을 미치고 불균일 한 축 해상도를 초래할 수 있습니다(그림 1). 3e,f). 후자는 형광 신호를 덮는 추가 배경을 생성하여 측면 분해능도 손상시킵니다(그림 1). 3g-i). ACsN 을 사용하면 두 가지 결함이 모두 완화되어 세포 구조의 3d 체적 렌더링이 실질적으로 개선 될 수 있습니다.

그림 3 — Fig. 3: ACsN denoising 은 광 필드 현미경 검사에서 3D 재구성의 품질을 향상시킵니다.

단일 분자 현지화 현미경

유효성을 검사하의 타당성 ACsN 한 분자를 현지화 현미경(SMLM)36,우리가 수행 폭풍 화상 진찰의 미토콘드리아 HeLa 세포에서(보충 Fig. 3). 의 효과 sCMOS 관련 소음에 하나의 분자 현지화에서 볼 수 있는 두 가지 측면의 존재를 틀린 네거티브,의 손실로 인해 약하게 발광 분자에 의해 덮여 잡음(보충 Fig. 3c,d),그리고 핫 픽셀 또는 단순히 노이즈 분포로 인한 오 탐지(false positive)의 존재(Supplementary Fig. 3e,f). 을 제거에서 소음을 원 단일 분자 데이터 수 있습을 억제를 위한 두 형식 모두 현지화의 오류,결과로 크게 향상 폭풍 이미지 품질 및 메트릭과 같은 RSP 및 해상 확장 오류가(RSE)34(Fig. 4a,b). 또한,이러한 개선 효율성의 현지화를 이끌고 더 나은 대조와 기능을 명확하게 표시되어 있지 않에 재건 없이 노이즈 제거(Fig. 4c-f). 또한,의 감소는 픽셀의 변동과 관련이 없는 샘플 허가를 얻도 fluorophores’깜박 평가하는 데 사용할 수 있는 영향을 완화의 불완전한 레테르를 붙이(보충 Fig. 4).

Fig. 4:ACsN 은 폭풍 및 단일 입자 추적에서 현지화 성능을 향상시킵니다.

좋아 하나의 분자 화상 진찰,현지화에서 정밀도 단 하나 입자 추적(SPT)은 밀접하게 관련된 광 수를 검출합니다. 따라서 SPT 의 성능에 영향을 미치는 중요한 요소 중 하나는 이미지 data37 의 SNR 입니다. 우리가 보는 ACsN 사용할 수 있습을 최소화하는 지역화의 오류에 대한 책임이 오인의 입자를 잘못된 궤도(Fig. 4g,h 및 보충 영화 3). 이 SNR 개선은 더 나은 결과 입자의 현지화 정확성,즉,더 나은 추정의 구슬의 횡 방향 변위와 하위 화소 감도가 있습니다. 이는 3d 추적의 정확도가 초점 외 image38 의 품질에 따라 달라지는 복엽 비행기 SPT 에서도 큰 도움이 될 수 있습니다(그림 3). 4i,보충영화 4,보충노트 4.2).

형광 현미경으로 저렴한 비용으로는 CMOS 카메라

최근의 발전 high-end 산업용 등급의 CMOS 카메라의 관심을 촉발 과학계에서 가능성 접근하의 성능 sCMOS 카메라에서 더 많은 저렴한 price39,40,41,42. 이러한 CMOS 카메라는 SMLM imaging41,42 에 활용 될 수 있음이 입증되었습니다. 그러나,더 낮은 양자 효율성이 더 높은 해독음 제한 이미지 품질 및 일반 유용성에 대한 정량적 의 연구에서는 많은 지역이다. 해결에 도전과 적절한 노이즈 제거 전략을 제공할 것이 중요하고 적절한 솔루션을 변환하는 산업용 카메라에 대한 폭 넓은 이미징 응용 프로그램. 여기서 우리는 첫 번째 구현 ACsN 으로 high-end 산업용 카메라 다양한 분야 현미경을 모두 사용하여 피고 TIRF 조명(Fig. 5a-h). 모두 구성 ACsN 노이즈 제거 실질적으로 개선의 이미지 품질을 달성하는 눈에 띄는 계약서와 이미지를 통해 얻은 sCMOS 카메라(보조 무화과. 5 및 6,및 보충 표 2).

Fig. 5: ACsN 은 저비용 CMOS 카메라로 형광 현미경 검사를 향상시킵니다.

single-photon-여자 기반의 소형화 현미경 또는 miniscope,해 개발되었을 수행하는 넓은 칼슘 이미징에서 자유롭게 작동하 animals43,44,45. 필요한 소형화 되었에 의해 달성 화합물 대체물렌즈와 그라디언트 색인(웃음)대 렌즈를 제공하는 여러 가지 이점을 포함하여,저렴한 비용,가벼운 무게,그리고 상대적으로 높은 숫자의 조리개. 이러한 기능의 miniscope 사용을 최소로 침략적인상의 상당한 양의 두뇌와 세포 수준의 해상도는 동안 복잡한 행동,인지 및 감성적 states46,47,48. 그러나 낮은 비용 CMOS 센서(MT9V032C12STM,반도체,가격~$15)현재 채택된 수익률이 가난한 화질을 얻기 위해서는 상대적으로 높은 이미징 속도할 수 있는 심각한 제한에 대한 광범위한 응용 프로그램에서 세포 이미징. 여기,우리의 타당성을 검증 ACsN 에 대한 miniscope 센서에 의해 수행 single-photon-여기를 기반으로,폭 넓은 분야의 이미징 GFP-스테인드 글라스 calcein 에서 라이브 Adipocytes(Fig. 5i-p).

선택적 비행기 조명을 현미경

에 대비하여 넓은 현미경,선택적 비행기 조명을 현미경(SPIM)점등으로 샘플트의 빛에 수직으로의 방향이 관찰. 이것은 불필요한 조명을 피하여 동적 생물학적 specimens49,50,51 의 비교할 수없는 장기 이미징을 허용합니다. 격자 광 장 현미경(LLSM)한을 최적화하는 광학 시스템에 의해 조명으로 샘플 여러 비행기를 파도는 조각을 전파 고정 광학 lattice52. 그러나는 동안,새로운 전략 조사가 이루어지고 있다 거래와 샘플 관 issues53,54,카메라 노이즈에 남아 있는 가장 관련성에 제한이 SPIM 및 LLSM 이미징 기능으로 인해 그들의 상대적으로 낮은 배경 신호입니다.

우리는 ACsN denoising 이 고정 된 염수 새우의 SPIM 체적 스캔을 수행함으로써이 한계를 극복 할 수 있음을 처음으로 입증했다. 여기에서는 스캔 방향을 따라 3D 스파 스 필터링을 사용하여 자체 유사성을 향상 시켰습니다. 후 ACsN 처리,우리가 관찰하는 잡음 제거은 샘플의 정보가 더 잘 보이는 각 개별 조(보충 Fig. 7). 특히,고정 패턴 노이즈의 보정은 최대 강도 프로젝션 이미지에서 특히 두드러진다(그림 1). 6a,e 및 보충 영화 5). 또한,스캔 된 부피의 직교 단면의 명확한 개선을 관찰하는 것이 현저하다(그림 1). 6b-d,f-h),샘플의 3D 구조의 더 나은 평가를 허용.

Fig. 6: SPIM 및 LLSM 으로 얻은 체적 데이터의 ACsN 처리.

유효성을 검사하 ACsN 처리에 대한 LLSM,우리는 먼저 이미지 고정 피부 세포를 위한 각질 EGFP 에 다른 노출 시간(5,10,20ms)을 이용하여 일정한 레이저 조명의 힘 27mW(에 측정되는 다시 초기의 조명 목적). 이러한 이미지를 취득했을 사용하여 샘플을 스캔 모드고,그에 따라,조각을 했을 기울기 보정이 적용하여 검색하는 원래의 위치(는 방법을 참조하십시오). 우리는 3D 스파 스 필터링을 위해 z 를 따라 자기 유사성을 활용하기 위해 ACsN denoising 전에 이러한 작업을 수행했습니다. 우리가 관찰하는 이미지 품질을 잘 유지될 수 있습여 노이즈 제거 후에도 배의 감소 노출시간(보충 Fig. 8 및 보충 표 3).

또한,우리는 시간 경과 라이브 셀 llsm 이미징의 ACsN 이미지 복원을 시연했다. 첫째,우리가 이미지 라이브는 인간의 폐암 세포(NCI-H1299NSCLC)에서 샘플 검사 형태의 간격으로 18.4s over30 분 이상(그림. 6i-k,보충 그림. 9,및 보충 영화 6 및 7). 명시된 바와 같이,샘플 스캔 모드가 필요합 deskewing 의 부피 측정,조각을 증가시키는 데이터 세트의 크기 그리고,처리하는 복잡합니다. 대조적으로 이전하는 경우에,그러나,시간 경과에 대한 이미 우리는 할 수 있었을 활용하는 현세적 자성,결과는 보다 효율적인 소음 교정에 비해 부피 측정 one55. 따라서,우리는 각 개별 슬라이스의 해당 시간적 스택을 처리함으로써 시간 경과 체적 스캔을 denoised. 이 방법,ACsN 사용될 수 있습기 전에 deskewing,효과적으로 보존 노이즈 제거 성능을 저장하는 동안 계산 시간(보충 Fig. 10). 다음으로,우리는 관동의 생 F 말라에서 라이브 마우스 배아 섬유아세포를 사용하여 LLSM 시트 스캔 모드(는 방법을 참조하십시오). 특히,이 모드를 생성하지 않는 모든 이동 사이의 조각과 체적 측정 정보를 검색할 수 있습없이 deskewing(보충 Fig. 11). 특히,세포 주위의 모든 필로 포디 아의 움직임은 탈노이징 후 더 높은 선명도로 관찰 될 수있다(보충 영화 8).

be settled