Rask Og nøyaktig sCMOS støy korreksjon for fluorescens mikroskopi
ACsN algoritmisk rammeverk
ACsN kombinerer kamera kalibrering, støy estimering og sparsom filtrering for å korrigere de mest relevante støykilder generert av en sCMOS kamera (Fig. 1a Og Tilleggsnotater 1 og 2.1). Spesielt korrigerer ACsN først fastmønsterstøyen ved hjelp av et kart over offset og forsterkning av sCMOS-pikslene. Tilstedeværelsen av støy med fast mønster i sCMOS-kameraer genererer i forskjellige piksler (p) et annet antall fotoelektroner fra samme antall impinging fotoner (Sp). Denne effekten er proporsjonal med belysningsnivået og kan modelleres som en multiplikativ faktor yp påført parameteren For Den Poisson-distribuerte variabelen Sp. Samtidig, under analog-til-digital (AD) konvertering, blir spenningen produsert av hver piksel lest som forskjellen fra et referansenivå, som representerer fravær av lys. I praksis er denne referansespenningen tildelt en positiv verdi som er ansvarlig for en bias (ß) i de målte intensitetsverdiene. Derfor kan oppkjøpet av et sCMOS-kamera modelleres av ligningen:20
hvor zp er verdien av pikselet p, τ eksponeringstiden og n (0, σ) den gaussiske distribuerte avlesningsstøyen til gjennomsnittlig Hryvr = 0 Og standardavvik σ. Tatt i betraktning det praktiske ved fluorescensmikroskopi, har vi i denne modellen utelatt bidraget fra mørk strøm, som kan ignoreres for eksponeringstider under 1 s, og kvantiseringsstøyen på GRUNN av AD-konverteringen,som er ubetydelig i forhold til avlesningsstøyen3, 21 (Tilleggsnotat 2.2).
siden støy med fast mønster bare avhenger av kamerakretsen, kan ßp og yp estimeres gjennom en engangs kalibrering (Se Metoder). Imidlertid er en nøye vurdering av Både Gauss-distribuert avlesningsstøy, N(0, σ) og svingningen på Grunn Av Poisson-distribuert fotonstøy, Pois{Sp(τ)}, nødvendig for å oppnå et nøyaktig estimat av det underliggende signalet Sp. For å utføre denne vurderingen utviklet vi en støymodell som muliggjør en felles estimering av støyavviket ved å analysere frekvensresponsen til mikroskopisystemet. Dette er basert på Det faktum At Poisson-fordelingen av fotonstøystøyen kan tilnærmet tilnærmet Ved En Gaussisk fordeling når fotonfluxen er >3 fotoner per pixel22. Spesielt blir feilen introdusert ved å tilnærme Poisson-variansen, \(\sigma _P^2\), med En Gaussisk varians, \(\sigma _G^2\), < 1% når fotonfluxen er mer enn 5 fotoner per piksel (Tilleggsnotat 2.3). Spesielt er de ovennevnte forholdene på fotonflux vanligvis fornøyd for mange applikasjoner i fluorescensmikroskopi23, 24. Derfor vurderer vi den kamerarelaterte støyen som et resultat av summen av to uavhengige gauss-distribuerte tilfeldige variabler, hvis varians er \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\). En slik fordeling består av en konstant strømspektral tetthet, mens signalene som kommer fra prøven er inneholdt i den optiske overføringsfunksjonen (OTF)25. Derfor utnytter vi kunnskapen om det optiske systemet for å evaluere pikselfluktuasjonen utenfor OTF, som bare skyldes støy, og deretter bruker vi verdien som er oppnådd for å utlede σ i det opprinnelige bildet (Tilleggsnotat 2.3).
deretter bruker algoritmen disse støystatistikkene for en ikke-lokal vurdering av samplingens selvlikhet og for å utføre samarbeidende sparsom filtrering på inngangssekvensen. I motsetning til tidligere implementeringer av samarbeidsfiltrering, vedtok vi en lagdelt tilnærming som sekvensielt probes bildet selvlikhet i rom og tid for å forbedre støykorrigering uten å ofre nøyaktighet og kjøretid. Kort sagt dekomponerer filteret bildet i patcher og sorterer dem i tredimensjonale (3D) grupper i henhold til deres likhet26. DERETTER bruker DEN EN 3d-transformasjon for å behandle hver gruppe på en gang. Denoising er utført av hard-terskel og forsterket av det faktum AT, på grunn av likheten mellom patcher, 3d transform resulterer i en enda sparser representasjon av de opprinnelige patcher, mens støyspekteret forblir konstant27. Etterpå blir de denoiserte patchene returnert til sine opprinnelige steder for å danne et mellomliggende bilde. På dette punktet, samarbeid filter kjøres en gang, men erstatte hard-terskel med En Wiener filter. Filteret utføres med både støyende og mellomliggende bilder og genererer det endelige denoiserte bildet (Tilleggsnotat 2.4). Det skal bemerkes at den romlige variasjonen av støyen over bildet kan påvirke Ytelsen Til Wiener-filteret. Dette er imidlertid betydelig redusert ved bruk av patch-basert behandling, som, sammenlignet med hele bildet, forbedrer intensiteten ensartethet i enkelte patch grupper, viser en stor stabilitet mot romlig variant noise9.
Til Slutt utføres et annet samarbeidsfilter på jakt etter lignende patcher også i de nærliggende rammene. På denne måten kan dvelende støy reduseres ytterligere ved å utnytte prøvens selvlikhet i tid, samtidig som den temporale oppløsningen18 (Tilleggsnotat 2.5) bevares.
Karakterisering Av ACsN
Deretter karakteriserte vi ytelsen Til ACsN ved hjelp av både numeriske og eksperimentelle data. Acsn-samarbeidsfiltrering er spesielt avhengig av estimeringen av σ, samt valg av parametere i algoritmen28, som ble valgt for å optimalisere både støykorrigering og kjøretid (Tilleggsnotat 3.1). Vi observerte at vår strategi kan betydelig dempe den skadelige effekten av kamerastøy, unngå tap av bildeoppløsning, spesielt i nærvær av svært romlig variantstøy (Tilleggsnotat 3.2). Videre kan kamerastøyen indusere tidsmessige svingninger av pikselverdiene som ikke er relatert til prøven, og dermed påvirke kvantitativ analyse av tidsforløpsdata. ACsN denoising reduserer denne effekten med omtrent en størrelsesorden, med restfluktuasjoner som er sammenlignbare med et ideelt kamera (Fig. 1b-g og Tilleggsnotat 3.3). Videre bør det bemerkes at ved lave foton teller, prøvens detaljer begynner å være sammenlignbare med støy svingninger og bli vanskeligere å hente. Dermed er ytelsen til bildegjenoppretting egentlig relatert til fotonfluxen av inngangsbildet. Likevel, ved hjelp av både simuleringer og eksperimentelle data, bekreftet vi en robust ACsN-støykorrigering ved lavt lysnivå ned til 5-10 fotoner per piksel (Tilleggsnotat 3.4).Videre validerte vi ytelsen Til ACsN under ulike samplingsfrekvenser som normalt ble vedtatt for fluorescensmikroskopi. I praksis representerer en samplingsfrekvens nær nyquist-kriteriet en god avveining mellom signal til støyforhold (SNR) og detaljbevaring. Her undersøkte vi numerisk og eksperimentelt over et bredt spekter av samplingsfrekvenser, viste vi levedyktigheten Til ACsN for lav SNR med oversampling og ingen merkbart tap av signaler med underprøvetaking (Tilleggsnotat 3.5).I Motsetning til naturlige bilder er fluorescerende bilder av biologiske prøver svært spesifisert, og viser nøyaktig merkede molekylære mål eller strukturer i celler. Derfor har hvert fluorescerende bilde vanligvis bestemte objekter som gjentas over synsfeltet, noe som gir tilstrekkelig ikke-lokal selvlikhet for å gjøre algoritmen spesielt effektiv for fluorescensmikroskopi. Med numeriske og eksperimentelle data karakteriserte vi avhengigheten Av ACsN-ytelsen på bruken av selvlikhet av et inngangsbilde (Tilleggsnotat 3.6). Videre, som vist i det følgende, vurderte vi kvantitativt en rekke ikke-biologiske og biologiske prøver for å verifisere levedyktigheten av metoden, som spenner over ulike dimensjonalitet, morfologi, tilfeldighet og tetthet, for eksempel kalibermål, fluorescerende partikler, enkeltmolekyler, mikrotubuli, aktinfilamenter, mitokondrier, filopodi, lamellipodia og små dyr.
Wide-field mikroskopi
Wide-field mikroskopi, spesielt total intern refleksjon fluorescens (TIRF) mikroskopi, er en av de mest brukte teknikkene i celle imaging29. TIRF bruker fenomenet total intern refleksjon av lys ved glass / vanngrensesnittet for å skape en evanescent bølge som forplanter seg bare for noen få hundre nanometer over dekselet. Dette tillater selektiv eksitering av fluorescerende etiketter på bunnen Av prøven (Supplerende Fig. 1a). Ved svake fluorescerende emittere, lav lysintensitet eller kort eksponeringstid blir imidlertid scmos-relatert støy alvorlig og forringes bildekvaliteten (Fig. 1b). ACsN denoising kan effektivt redusere slike bidrag og gjenopprette uforstyrrede signaler fra støy, slik at raskere oppkjøp uten at det underliggende signalet (Supplerende Fig. 1c, d).Vi demonstrerte ACsN denoising av wide-field mikroskopi i både epi-fluorescens og TIRF konfigurasjoner ved hjelp av ulike faste, levende og multi-farge sub-cellulære prøver, inkludert mikrotubuli(Fig. 1 Og Utfyllende Fig. 1), mitokondrier (Fig. 2 Og Supplerende Filmer 1 og 2), Og F-actin (Fig. 2). Bruk Av ACsN kan opprettholde samme bildekvalitet med kortere eksponeringstid (dvs.bedre tidsmessig oppløsning) og lavere eksitasjonsnivå (dvs. mindre fotoskade). Ytelsen er derfor begrenset hovedsakelig av fotofysikken til fluorescerende emittere. Ved hjelp av kvantitative beregninger viste vi at metoden kan gjenopprette bredfeltbilder med et fotonbudsjett to størrelsesordener lavere uten tap av bildekvalitet (Supplerende Tabell 1).
Dekonvolusjon Og lys-feltet mikroskopi
Bilde dekonvolusjon er mye brukt i optisk mikroskopi, fra restaurering av bilder av lav kvalitet til forbedring av super-oppløsning teknikker30. Imidlertid kan støy lett forringe ytelsen til mange vanlige algoritmer ved å produsere dekonvolusjonsartefakter. I stedet observerte vi en bemerkelsesverdig reduksjon av slike gjenstander i dekonvolverte bilder ved å bruke ACsN denoising før forskjellige metoder basert På Richardson-Lucy algorithm31, machine learning32 og radial fluktuation33 (Tilleggsnotat 4.1). Forbedringen av bildegjenoppretting gjenspeiles også av en forbedring av den globale bildekvaliteten, evaluert ved hjelp av beregninger som Oppløsning Skalert Pearson koeffisient (RSP)34. For eksempel, ved å kombinere ACsN og radial svingning, genererte vi superoppløsningsbilder med en bedre RSP-verdi ved en tidsmessig oppløsning på opptil to størrelsesordener høyere enn for tiden rapportert33 (Supplerende Fig. 2).Bilde dekonvolusjon er også på grunnlag av tredimensjonal rekonstruksjon i lysfeltmikroskopi (LFM). LFM benytter en microlens array i et mikroskopi system for å oppnå både todimensjonal (2D) romlig og 2d vinkel informasjon av hendelsen lys, noe som åpner for beregnings rekonstruksjon av hele 3d volumet av en prøve fra et enkelt kamera ramme35. Den dekonvolusjonsbaserte rekonstruksjonsprosessen er imidlertid svært følsom for SNR, spesielt på GRUNN AV LFMS brede felt, volumetriske og raske bildeskjema. Av denne grunn, bruk Av ACsN for å korrigere støyen i raw-bildene(Fig. 3a, b) resulterer i tydelig merkbar forbedring I 3d-lysfeltkonstruksjonene (Fig. 3c, d). Faktisk fører tilstedeværelsen av støy til feilberegning AV 3d-objektet eller forplantningen av ikke-fluorofore-tilknyttede topper. Førstnevnte påvirker prøvetaking langs den aksiale dimensjonen og kan resultere i en ujevn aksial oppløsning (Fig. 3e, f). Sistnevnte produserer ytterligere bakgrunn som dekker fluorescenssignalet, og svekker også den laterale oppløsningen(Fig. 3g-i). Ved Hjelp Av ACsN kan begge manglene reduseres, noe som resulterer i vesentlig forbedret 3d-volumetrisk gjengivelse av cellulære strukturer.
Single-molekyl lokalisering mikroskopi
for å validere muligheten For ACsN for single-molekyl lokalisering mikroskopi (SMLM)36, utførte VI STORM avbildning av mitokondrier I HeLa celler (Supplerende Fig. 3). Effekten av sCMOS-relatert støy i enkeltmolekyl lokalisering kan ses i to aspekter: tilstedeværelsen av falske negativer, på grunn av tap av svakt emitterende molekyler dekket av støy (Supplerende Fig. 3c, d), og tilstedeværelsen av falske positiver, på grunn av de varme piksler eller bare støyfordelingen (Supplerende Fig. 3e, f). Fjerne støy fra rå enkelt molekyl data tillater undertrykkelse av begge typer lokalisering feil, noe som resulterer i betydelig forbedret STORM bildekvalitet og beregninger SOM RSP og Oppløsning Skalert Feil (RSE)34 (Fig. 4a, b). Også slik forbedret effektivitet av lokalisering fører til en bedre kontrast og utseendet på funksjoner som ikke er tydelig synlige i rekonstruksjonen uten denoising (Fig. 4c-f). Videre tillater reduksjonen av pikselfluktuasjoner som ikke er relatert til prøven å få et kart over fluoroforernes blinkende hastighet som kan brukes til å lindre effekten av ufullkommen merking (Supplerende Fig. 4).
som enkeltmolekylbilder er lokaliseringspresisjonen i enkeltpartikkelsporing (SPT) nært knyttet til antall fotoner som oppdages. Derfor er EN kritisk faktor som påvirker ytelsen TIL SPT SNR av bildedata37. Vi viste At ACsN kan brukes til å minimere lokaliseringsfeilene som er ansvarlige for feilidentifisering av partikler og feilaktige baner (Fig. 4g, h og Supplerende Film 3). DENNE SNR forbedring resulterer i en bedre partikkel lokalisering nøyaktighet, dvs. en bedre estimering av perle lateral forskyvning med sub-pixel følsomhet. Dette kan være til stor nytte også i biplan SPT, hvor nøyaktigheten AV 3d-sporing avhenger av kvaliteten på ut-av-fokus image38(Fig. 4i, Supplerende Film 4 og Tilleggsnotat 4.2).
Fluorescensmikroskopi med lavpris CMOS-kameraer
nylig har fremskrittene av high-end industrielle CMOS-kameraer utløst interessen til det vitenskapelige samfunn ved muligheten til å nærme seg ytelsen til sCMOS-kameraer til en rimeligere pris39, 40, 41, 42. Det har vist seg at slike CMOS-kameraer kan benyttes FOR SMLM imaging41, 42. Den lavere kvanteffektiviteten og den høyere avlesningsstøyen begrenser imidlertid bildekvaliteten og den generelle brukervennligheten for kvantitativ biomedisinsk forskning på mange områder. Å adressere utfordringen med en riktig denoising-strategi vil gi en kritisk og rettidig løsning for å transformere industrikameraene for bredere bildebehandlingsapplikasjoner. Her implementerte Vi Først ACsN med et high-end industrielt kamera for bredfeltmikroskopi ved bruk av både epi – og TIRF-belysning (Fig. 5a-h). I Begge konfigurasjonene forbedret ACsN denoising vesentlig bildekvaliteten, og oppnådde fremtredende avtale med bildene som ble oppnådd av sCMOS-kameraet (Supplerende Figs. 5 og 6, Og Supplerende Tabell 2).
det enkeltfoton-eksitasjonsbaserte miniatyriserte mikroskopet, eller miniskop, er utviklet for å utføre bredfeltkalsiumavbildning i fritt oppførte dyr43,44,45. Den nødvendige miniatyriseringen ble oppnådd ved å erstatte sammensatte objektivlinser med en gradientindeks (GRIN) stanglinse, som gir flere fordeler, inkludert lav pris, lett vekt og relativt høy numerisk blenderåpning. Disse funksjonene i miniskopen muliggjør minimal invasiv avbildning av et betydelig volum av hjernen med en cellulær oppløsning under komplekse atferdsmessige, kognitive og emosjonelle tilstander46,47,48. Men den rimelige CMOS-sensoren (MT9V032C12STM, On Semiconductor, pris ~$15) som for tiden er vedtatt, gir en dårlig bildekvalitet for å oppnå en relativt høy bildehastighet, noe som kan være svært restriktiv for bredere applikasjoner i celleavbildning. Her validerte vi muligheten For ACsN for miniskopsensoren ved å utføre enkeltfoton-eksitasjonsbasert, bredfeltavbildning AV GFP-farget kalsein i levende Adipocytter(Fig . 5i-p).
Selective plane illumination mikroskopi
i motsetning til wide-field mikroskopi, selective plane illumination mikroskopi (SPIM) lyser prøven med et ark av lys vinkelrett på retningen av observasjon. Dette unngår unødvendig belysning, noe som tillater en enestående langsiktig avbildning av dynamiske biologiske prøver49,50, 51. Gitter lys-ark mikroskopi (LLSM) optimaliserer ytterligere det optiske systemet ved å belyse prøven med flere plan bølger som forme en forplantning-invariant optisk gitter 52. Derimot,mens nye strategier blir undersøkt for å håndtere sample-relaterte issues53, 54, kamera støy er fortsatt den mest relevante begrensning TIL SPIM OG LLSM imaging evner på grunn av deres relativt lav bakgrunn signal.Vi viste først At acsn denoising kan overvinne denne begrensningen ved å utføre EN SPIM volumetrisk skanning av en fast saltlake reker. Her forbedret vi selvlikheten ved Å bruke 3d sparsom filtrering langs skanneretningen. Etter ACsN-behandling observerte vi at støyreduksjon gjør at prøvens detaljer skiller seg bedre ut i hvert enkelt stykke (Supplerende Fig. 7). Spesielt er korreksjonen av fastmønsterstøyen spesielt merkbar i maksimal intensitetsprojeksjonsbilder(Fig. 6a, e og Supplerende Film 5). I tillegg er det bemerkelsesverdig å observere en klar forbedring i de ortogonale tverrsnittene av det skannede volumet(Fig. 6b-d, f-h), noe som gir en bedre vurdering AV prøvens 3d-strukturer.
for å validere ACsN-behandling FOR LLSM, avbildet vi først faste hudceller farget For Keratin MED EGFP ved forskjellige eksponeringstider (5, 10 og 20 ms) ved hjelp av en konstant laserbelysningskraft på 27 mW (målt på baksiden av fokusplanet til belysningsmålet). Disse bildene ble anskaffet ved hjelp av prøveskannemodus, og følgelig måtte skivene deskewed for å hente de opprinnelige posisjonene (Se Metoder). Vi utførte en slik operasjon før ACsN denoising for å utnytte selvlikheten langs z FOR 3d sparsom filtrering. Vi observerte at bildekvaliteten kan opprettholdes godt ved denoising selv etter en firedoblet reduksjon av eksponeringstiden (Supplerende Fig. 8 Og Utfyllende Tabell 3).Videre demonstrerte Vi ACsN image restaurering av time-lapse live-celle LLSM imaging. Først avbildet vi levende humane lungekreftceller (NCI-H1299 NSCLC) i prøveskanningsmodus med intervaller på 18,4 s over mer enn 30 min (Fig. 6i-k, Supplerende Fig. 9, Og Supplerende Filmer 6 og 7). Som nevnt ovenfor krever prøveskannemodus deskewing av volumetriske skiver, noe som øker størrelsen på datasettet og deretter prosesseringskompleksiteten. I motsetning til det forrige tilfellet var vi imidlertid i stand til å utnytte den tidsmessige selvlikheten, noe som gir en mer effektiv støykorrigering sammenlignet med den volumetriske one55. Derfor, vi denoised time-lapse volumetriske skanninger ved å behandle de tilsvarende tidsmessige stabler av hver enkelt skive. På Denne måten Kan ACsN brukes før deskewing, effektivt bevare denoising ytelse mens du lagrer beregnings tid(Supplerende Fig. 10). Deretter observert vi bevegelsen av endogen F-actin i levende musembryonale fibroblaster ved BRUK AV LLSM i arkskannemodus (Se Metoder). Spesielt gir denne modusen ikke noe skifte mellom skivene, og den volumetriske informasjonen kan hentes uten deskewing(Supplerende Fig. 11). Spesielt kan bevegelsen av filopodi rundt cellen observeres med høyere klarhet etter denoising (Supplerende Film 8).
Leave a Reply