Articles

snabb och exakt sCMOS-bruskorrigering för fluorescensmikroskopi

by admin november 23, 2021

acsn algoritmisk ram

ACsN kombinerar kamerakalibrering, brusuppskattning och gles filtrering för att korrigera de mest relevanta ljudkällorna som genereras av en sCMOS-kamera (Fig. 1a och kompletterande anmärkningar 1 och 2.1). I synnerhet korrigerar ACsN först bruset med fast mönster med hjälp av en karta över offset och förstärkning av sCMOS-pixlarna. Närvaron av bruset med fast mönster i sCMOS-kameror genererar i olika pixlar (p) ett annat antal fotoelektroner från samma antal impingande fotoner (Sp). Denna effekt är proportionell mot belysningsnivån och kan modelleras som en multiplikativ faktor yp applicerad på parametern för den Poisson-distribuerade variabeln Sp. Samtidigt läses spänningen som produceras av varje pixel under den analoga till digitala (AD) omvandlingen som skillnaden från en referensnivå, vilket representerar frånvaron av ljus. I praktiken tilldelas denna referensspänning ett positivt värde som är ansvarigt för en bias (USP) i de uppmätta intensitetsvärdena. Därför kan förvärvet av en sCMOS-kamera modelleras med ekvationen:20

$$Z_p = \gamma _p{\mathrm{Pois}}\left\{ {s_p\left( \tau \right)} \right\} + n\left( {0,\sigma _r} \right) + \beta _p,$$

(1)

var ZP är värdet på pixeln p, exponeringstiden för CI, och n (0, ci) det gaussiska distribuerade avläsningsbruset av medelvärdet för CI = 0 och standardavvikelsen ci. Med tanke på det praktiska med fluorescensmikroskopi har vi i denna modell utelämnat bidraget från mörk ström, vilket kan ignoreras för exponeringstider under 1 s, och kvantiseringsbruset på grund av AD-omvandlingen,vilket är försumbart jämfört med avläsningsljudet3, 21 (kompletterande anmärkning 2.2).

eftersom bruset med fast mönster endast beror på kamerakretsarna, kan man uppskatta genom en engångskalibrering (se metoder). En noggrann bedömning av både det gaussiska distribuerade avläsningsbruset, N(0, audr) och fluktuationen på grund av det Poisson-distribuerade fotonskottbruset, Pois{SP (Kubi)}, är nödvändigt för att få en exakt uppskattning av den underliggande signalen Sp. För att utföra denna bedömning utarbetade vi en brusmodell som möjliggör en gemensam uppskattning av bullervariansen genom att analysera frekvensresponsen hos mikroskopisystemet. Detta baseras på det faktum att Poisson-fördelningen av fotonskottbruset kan approximeras med en Gaussisk fördelning när fotonflödet är >3 fotoner per pixel22. I synnerhet blir felet som infördes genom att approximera Poisson-variansen, $\Sigma _P^2$, med en Gaussisk varians, $\Sigma _G^2$ <1% när fotonflödet är mer än 5 fotoner per pixel (kompletterande anmärkning 2.3). I synnerhet är de ovan nämnda förhållandena på fotonflödet vanligtvis nöjda för många applikationer i fluorescensmikroskopi23, 24. Därför betraktar vi det kamerarelaterade bruset som resultatet av summan av två oberoende gaussiska distribuerade slumpmässiga variabler, vars varians är $\Sigma _n^2 = \Sigma _R^2 + \Sigma _G^2$. En sådan fördelning består av en konstant effektspektral densitet, medan signalerna som kommer från provet finns i optisk överföringsfunktion (OTF)25. Därför utnyttjar vi kunskapen om det optiska systemet för att utvärdera pixelfluktuationen utanför OTF, vilket bara beror på buller, och sedan använder vi det erhållna värdet för att härleda agn i originalbilden (kompletterande anmärkning 2.3).

därefter använder algoritmen dessa brusstatistik för en icke-lokal bedömning av samplets självlikhet och för att utföra gemensam gles filtrering på ingångssekvensen. Till skillnad från tidigare implementeringar av samarbetsfiltrering antog vi ett skiktat tillvägagångssätt som sekventiellt sonderar bildens självlikhet i rymden och tiden för att förbättra ljudkorrigeringen utan att offra noggrannhet och körtid. I korthet sönderdelar filtret bilden i patchar och sorterar dem i tredimensionella (3D) grupper enligt deras likhet26. Sedan använder den en 3D-Transformation för att bearbeta varje grupp på en gång. Denoising utförs av hårdtröskel och förstärks av det faktum att 3D-transformationen på grund av likheten mellan patcharna resulterar i en ännu glesare representation av de ursprungliga patcharna, medan bruseffektspektrumet förblir konstant27. Därefter returneras de denoiserade patcharna till sina ursprungliga platser för att bilda en mellanliggande bild. Vid denna tidpunkt körs samarbetsfiltret en andra gång men ersätter hårdtröskeln med ett wienerfilter. Filtret utförs med både bullriga och mellanliggande bilder och genererar den slutliga denoised bilden (kompletterande anmärkning 2.4). Det bör noteras att den rumsliga variationen av bruset över bilden kan påverka prestanda för Wiener-filtret. Detta mildras emellertid avsevärt genom användning av patchbaserad bearbetning, vilket, jämfört med hela bilden, förbättrar intensitetsuniformiteten inom enskilda patchgrupper, vilket uppvisar en stor stabilitet mot rumsligt variantbuller9.

slutligen utförs ett annat samarbetsfilter som letar efter liknande patchar också i de närliggande ramarna. På så sätt kan kvardröjande ljud minskas ytterligare genom att utnyttja provets självlikhet i tid samtidigt som den temporala upplösningen18 bevaras (kompletterande anmärkning 2.5).

karakterisering av ACsN

därefter karakteriserade Vi prestanda för ACsN med hjälp av både numeriska och experimentella data. ACsN: s samarbetsfiltrering beror särskilt på uppskattningen av ACN, liksom på valet av parametrarna i algoritmen28, som valdes för att optimera både ljudkorrigering och körtid (kompletterande anmärkning 3.1). Vi observerade att vår strategi avsevärt kan dämpa den skadliga effekten av kameraljud och undvika förlust av bildupplösning, särskilt i närvaro av mycket rumsligt variantbrus (kompletterande anmärkning 3.2). Dessutom kan kameraljudet inducera temporala fluktuationer av pixelvärdena som inte är relaterade till provet, vilket påverkar den kvantitativa analysen av tidsfördröjningsdata. ACsN-denoisering minskar denna effekt med ungefär en storleksordning, med återstående fluktuationer jämförbara med den för en idealisk kamera (Fig. 1b-g och kompletterande anmärkning 3.3). Vidare bör det noteras att vid låga fotontal börjar provets detaljer vara jämförbara med bullerfluktuationerna och blir svårare att hämta. Således är utförandet av bildåterställning i sig relaterat till fotonflödet i ingångsbilden. Men med hjälp av både simuleringar och experimentella data verifierade vi en robust ACsN-bruskorrigering vid låga ljusnivåer ner till 5-10 fotoner per pixel (kompletterande anmärkning 3.4).

vidare validerade vi prestanda för ACsN under olika samplingshastigheter som normalt antogs för fluorescensmikroskopi. I praktiken representerar en samplingsfrekvens nära Nyquist-kriteriet en god avvägning mellan signal-brusförhållande (SNR) och detaljbevarande. Här, genom att undersöka numeriskt och experimentellt över ett brett spektrum av samplingshastigheter, visade vi acsn: s livskraft för låg SNR med översampling och ingen märkbar förlust av signaler med underprovtagning (kompletterande anmärkning 3.5).

till skillnad från naturliga bilder är fluorescerande bilder av biologiska prover mycket specificerade och uppvisar exakt märkta molekylära mål eller strukturer i celler. Därför har varje fluorescerande bild vanligtvis specifika objekt som återkommer över synfältet, vilket ger tillräcklig icke-lokal självlikhet för att göra algoritmen särskilt effektiv för fluorescensmikroskopi. Med numeriska och experimentella data karakteriserade vi beroendet av ACsN-prestanda på användningen av självlikhet hos en inmatningsbild (kompletterande anmärkning 3.6). Vidare, som visas i det följande, bedömde vi kvantitativt en mängd icke-biologiska och biologiska prover för att verifiera metodens livskraft, som spänner över olika dimensionalitet, morfologi, slumpmässighet och densitet, såsom kalibermål, fluorescerande partiklar, enstaka molekyler, mikrotubuli, aktinfilament, mitokondrier, filopodia, lamellipodia och små djur.

Bredfältmikroskopi

Bredfältmikroskopi, särskilt total intern reflektionsfluorescens (TIRF) mikroskopi, är en av de mest använda teknikerna vid cellbildning29. TIRF använder fenomenet total intern reflektion av ljus vid glas/vattengränssnittet för att skapa en evanescent våg som sprider sig endast för några hundra nanometer över täckglaset. Detta möjliggör selektiv excitering av de fluorescerande etiketterna längst ner i provet (kompletterande Fig. 1a). Vid svaga fluorescerande emittrar, låg ljusintensitet eller kort exponeringstid blir sCMOS-relaterat brus allvarligt och försämrar bildkvaliteten (kompletterande Fig. 1b). ACsN-denoising kan effektivt minska sådant bidrag och återställa de ostörda signalerna från bruset, vilket möjliggör snabbare förvärv utan att kompromissa med den underliggande signalen (kompletterande Fig. 1c, d).

vi demonstrerade ACsN-denoisering av bredfältmikroskopi i både epi-fluorescens och TIRF-konfigurationer med olika fasta, levande och flerfärgade subcellulära prover, inklusive mikrotubuli (Fig. 1 och kompletterande Fig. 1), mitokondrier (Fig. 2 och kompletterande Filmer 1 och 2), och F-aktin (Fig. 2). Användningen av ACsN kan bibehålla samma bildkvalitet med en kortare exponeringstid (dvs. bättre tidsupplösning) och en lägre exciteringsnivå (dvs. mindre fotoskador). Prestandan begränsas således främst av de fluorescerande emitterarnas fotofysik. Med hjälp av kvantitativa mätvärden visade vi att metoden kan återställa bredfältsbilder med en fotonbudget två storleksordningar lägre utan förlust av bildkvalitet (Tilläggstabell 1).

Fig. 2: ACsN-bruskorrigering förbättrar fluorescensmikroskopi med brett fält.

Deconvolution och ljusfältmikroskopi

Bilddekonvolution används ofta i optisk mikroskopi, från restaurering av bilder av låg kvalitet till förbättring av superupplösningstekniker30. Buller kan emellertid lätt försämra prestandan hos många vanliga algoritmer genom att producera deconvolutionartefakter. Istället observerade vi en anmärkningsvärd minskning av sådana artefakter i avvecklade bilder genom att använda ACsN–denoising före olika metoder baserade på Richardson-Lucy algorithm31, machine learning32 och radial fluctuation33 (kompletterande anmärkning 4.1). Förbättringen av bildåterställning återspeglas också av en förbättring av den globala bildkvaliteten, utvärderad med hjälp av mätvärden som upplösningen skalad Pearsons koefficient (RSP)34. Till exempel, genom att kombinera ACsN och radiell fluktuation, genererade vi superupplösningsbilder med ett bättre RSP-värde vid en temporär upplösning upp till två storleksordningar högre än för närvarande rapporterade33 (kompletterande Fig. 2).

Bilddekonvolution är också baserad på tredimensionell rekonstruktion i ljusfältmikroskopi (LFM). LFM använder en mikrolens array i ett mikroskopisystem för att erhålla både den tvådimensionella (2D) rumsliga och 2D vinkelinformation av infallande ljus, vilket möjliggör beräkningsrekonstruktion av hela 3D-volymen av ett prov från en enda kamera ram35. Den deconvolutionsbaserade rekonstruktionsprocessen är emellertid mycket känslig för SNR, särskilt på grund av LFM: s breda fält, volymetriska och snabba avbildningsschema. Av denna anledning används ACsN för att korrigera bruset i de råa bilderna (Fig. 3a, b) resulterar i tydligt märkbar förbättring av 3D-ljusfältrekonstruktionerna (Fig. 3c, d). Faktum är att närvaron av bruset leder till felberäkning av 3D-objektet eller förökning av icke-fluorofor-associerade toppar. Den förstnämnda påverkar provtagningen längs den axiella dimensionen och kan resultera i en ojämn axiell upplösning (Fig. 3e, f). Den senare producerar ytterligare bakgrund som täcker fluorescenssignalen, vilket också försämrar den laterala upplösningen (Fig. 3g-i). Med hjälp av ACsN kan båda bristerna mildras, vilket resulterar i väsentligt förbättrad 3D-volymetrisk återgivning av cellulära strukturer.

Fig. 3: ACsN-denoising förbättrar kvaliteten på 3D-rekonstruktion i ljusfältmikroskopi.

lokaliseringsmikroskopi med en molekyl

för att validera genomförbarheten av ACsN för mikroskopi med en molekyl lokalisering (SMLM)36 utförde vi STORMAVBILDNING av mitokondrier i HeLa-celler (kompletterande Fig. 3). Effekten av sCMOS-relaterat brus vid lokalisering av en molekyl kan ses i två aspekter: närvaron av falska negativ på grund av förlusten av svagt emitterande molekyler täckta av buller (kompletterande Fig. 3C, d), och förekomsten av falska positiva, på grund av de heta pixlar eller helt enkelt brusfördelningen (kompletterande Fig. 3e, f). Att ta bort bruset från de råa enmolekyldata möjliggör undertryckande av båda typerna av lokaliseringsfel, vilket resulterar i signifikant förbättrad STORMBILDKVALITET och mätvärden som RSP och upplösning Scaled Error (RSE)34 (Fig. 4a, b). En sådan förbättrad effektivitet av lokalisering leder också till en bättre kontrast och utseendet på funktioner som inte syns tydligt i rekonstruktionen utan denoising (Fig. 4c-f). Vidare tillåter minskningen av pixelfluktuationer som inte är relaterade till provet att få en karta över fluorophorernas blinkningshastighet som kan användas för att lindra effekterna av ofullkomlig märkning (kompletterande Fig. 4).

Fig. 4: ACsN förbättrar lokaliseringsprestanda vid STORM-och enkelpartikelspårning.

liksom bildbehandling med en molekyl är lokaliseringsprecisionen i spårning med en partikel (SPT) nära relaterad till antalet fotoner som detekteras. Därför är en kritisk faktor som påverkar prestanda för SPT SNR för bilddata37. Vi visade att ACsN kan användas för att minimera lokaliseringsfel som är ansvariga för felidentifiering av partiklar och felaktiga banor (Fig. 4G, h och kompletterande film 3). Denna SNR-förbättring resulterar i en bättre partikellokaliseringsnoggrannhet, dvs en bättre uppskattning av Pärlans sidoförskjutning med subpixelkänslighet. Detta kan vara till stor nytta även i biplan SPT, där noggrannheten i 3D-spårning beror på kvaliteten på out-of-focus image38 (Fig. 4i, kompletterande Film 4 och kompletterande anmärkning 4.2).

fluorescensmikroskopi med billiga CMOS-kameror

nyligen har framstegen för avancerade CMOS-kameror av industriell kvalitet väckt det vetenskapliga samhällets intresse för möjligheten att närma sig sCMOS-kamerans prestanda till ett mer överkomligt pris39,40,41,42. Det har visats att sådana CMOS-kameror kan användas för SMLM imaging41,42. Den lägre kvanteffektiviteten och det högre avläsningsbruset begränsar dock bildkvaliteten och den allmänna användbarheten för kvantitativ biomedicinsk forskning inom många områden. Att ta itu med utmaningen med en ordentlig denoising-strategi skulle ge en kritisk och snabb lösning för att omvandla kameror av industriell kvalitet för bredare bildbehandlingsapplikationer. Här implementerade vi först ACsN med en avancerad industriell kamera för bredfältmikroskopi med både epi – och TIRF-belysning (Fig. 5a-h). I båda konfigurationerna förbättrade ACsN denoising avsevärt bildkvaliteten och uppnådde framträdande överenskommelse med bilderna som erhållits av sCMOS-kameran (kompletterande Fig. 5 och 6, och kompletterande Tabell 2).

det enfoton-excitationsbaserade miniatyriserade mikroskopet, eller miniscope, har utvecklats för att utföra bredfältkalciumavbildning i fritt beteende djur43,44,45. Den erforderliga miniatyriseringen uppnåddes genom att ersätta sammansatta objektivlinser med en gradient-index (GRIN) stavlins, som erbjuder flera fördelar, inklusive låg kostnad, låg vikt och relativt hög numerisk bländare. Dessa funktioner i miniskopet möjliggör minimalt invasiv avbildning av en signifikant volym av hjärnan med en cellulär nivåupplösning under komplexa beteendemässiga, kognitiva och emotionella tillstånd46,47,48. Den billiga CMOS-sensorn (MT9V032C12STM, ON Semiconductor, price ~$15) som för närvarande antas ger emellertid en dålig bildkvalitet för att få en relativt hög bildhastighet, vilket kan vara allvarligt restriktivt för bredare applikationer vid cellavbildning. Här validerade vi genomförbarheten av ACsN för miniskopsensorn genom att utföra enfoton-excitationsbaserad, bredfältbildning av GFP-färgat kalcein i levande adipocyter (Fig. 5i-p).

selektiv planbelysningsmikroskopi

i motsats till bredfältmikroskopi lyser selektiv planbelysningsmikroskopi (SPIM) provet med ett ljusark vinkelrätt mot observationsriktningen. Detta undviker onödig belysning, vilket möjliggör en oöverträffad långsiktig avbildning av dynamiska biologiska exemplar49,50,51. Lattice light-sheet microscopy (LLSM) optimerar vidare det optiska systemet genom att belysa provet med flera planvågor som skulpterar en förökning-invariant optisk lattice52. Men medan nya strategier undersöks för att hantera provrelaterade problem53,54, är kameraljud fortfarande den mest relevanta begränsningen för SPIM-och LLSM-bildfunktioner på grund av deras relativt låga bakgrundssignal.

vi visade först att ACsN-denoising kan övervinna denna begränsning genom att utföra en SPIM-volymetrisk skanning av en fast saltlake räkor. Här förbättrade vi självlikheten med hjälp av 3D-gles filtrering längs skanningsriktningen. Efter ACsN-bearbetning observerade vi att brusreducering gör att provets detaljer sticker ut bättre i varje enskild skiva (kompletterande Fig. 7). I synnerhet är korrigeringen av bruset med fast mönster särskilt märkbar i projektionsbilderna med maximal intensitet (Fig. 6a, E och kompletterande Film 5). Dessutom är det anmärkningsvärt att observera en tydlig förbättring av de ortogonala tvärsnitten av den skannade volymen (Fig. 6b-d, f-h), vilket möjliggör en bättre bedömning av provets 3D-strukturer.

Fig. 6: ACsN-bearbetning av volymetrisk data erhållen med SPIM och LLSM.

för att validera ACsN-bearbetning för LLSM avbildade vi först fasta hudceller färgade för Keratin med EGFP vid olika exponeringstider (5, 10 och 20 ms) Med en konstant laserbelysningseffekt på 27 mW (mätt på belysningsobjektets bakre fokalplan). Dessa bilder förvärvades med hjälp av provsökningsläget och följaktligen måste skivorna skrivbord för att hämta de ursprungliga positionerna (se metoder). Vi utförde en sådan operation innan ACsN denoising för att utnyttja självlikheten längs z för 3D gles filtrering. Vi observerade att bildkvaliteten kan bibehållas väl genom att denoisera även efter en fyrfaldig minskning av exponeringstiden (kompletterande Fig. 8 och kompletterande tabell 3).

dessutom visade vi ACsN-bildåterställning av time-lapse live-cell LLSM imaging. Först avbildade vi levande humana lungcancerceller (NCI-H1299 NSCLC) i provsökningsläget med intervaller på 18,4 s över mer än 30 min (Fig. 6i-k, kompletterande Fig. 9, och kompletterande Filmer 6 och 7). Som nämnts ovan kräver provsökningsläget skrivbord av de volymetriska skivorna, vilket ökar storleken på datasetet och därefter bearbetningskomplexiteten. I motsats till det föregående fallet kunde vi emellertid för time-lapse imaging utnyttja den tidsmässiga självlikheten, vilket ger en effektivare ljudkorrigering jämfört med den volymetriska one55. Därför, vi denoised time-lapse volumetriska skanningar genom att bearbeta motsvarande temporala staplar av varje enskild skiva. På så sätt kan ACsN användas före skrivbord, vilket effektivt bevarar denoising-prestanda samtidigt som beräkningstiden sparas (kompletterande Fig. 10). Därefter observerade vi rörelsen av endogent F-aktin i levande mus embryonala fibroblaster med LLSM i arkskanningsläget (se metoder). I synnerhet ger detta läge ingen förskjutning mellan skivorna, och den volymetriska informationen kan hämtas utan skrivbord (kompletterande Fig. 11). I synnerhet kan filopodias rörelse runt cellen observeras med högre klarhet efter denoising (kompletterande film 8).

be settled