corecție rapidă și precisă a zgomotului sCMOS pentru microscopie fluorescentă
cadrul algoritmic ACsN
ACsN combină calibrarea camerei, estimarea zgomotului și filtrarea redusă pentru a corecta cele mai relevante surse de zgomot generate de o cameră sCMOS (Fig. 1a și notele suplimentare 1 și 2.1). În special, ACsN corectează mai întâi zgomotul cu model fix folosind o hartă a decalajului și câștigului pixelilor sCMOS. Prezența zgomotului cu model fix în camerele sCMOS generează în pixeli diferiți (p) un număr diferit de fotoelectroni din același număr de fotoni care afectează (Sp). Acest efect este proporțional cu nivelul de iluminare și poate fi modelat ca un factor multiplicativ yp aplicat parametrului variabilei distribuite Poisson Sp. În același timp, în timpul conversiei analog-digital (AD), tensiunea produsă de fiecare pixel este citită ca diferența față de un nivel de referință, care reprezintă absența luminii. În practică, acestei tensiuni de referință i se atribuie o valoare pozitivă care este responsabilă pentru o părtinire (centip) în valorile intensității măsurate. Prin urmare, achiziționarea unei camere sCMOS poate fi modelată prin ecuația:20
unde Zp este valoarea pixelului p, int.timpul de expunere si n (0, int. r) zgomotul de citire distribuit Gaussian al valorii medii a int. r = 0 si deviatia standard int. Având în vedere caracterul practic al microscopiei fluorescente, în acest model am omis contribuția curentului întunecat, care poate fi ignorat pentru timpii de expunere sub 1 s, și zgomotul de cuantificare datorat conversiei AD, care este neglijabil în comparație cu zgomotul de citire3,21 (nota suplimentară 2.2).
deoarece zgomotul cu model fix depinde doar de circuitele camerei, se poate estima printr-o calibrare unică (Vezi metode). Cu toate acestea, este necesară o evaluare atentă atât a zgomotului de citire distribuit Gaussian, N(0, xtroxr), cât și a fluctuației datorate zgomotului fotonic distribuit Poisson, POI{SP(xtrox)}, pentru a obține o estimare exactă a semnalului de bază Sp. Pentru a efectua această evaluare, am conceput un model de zgomot care permite o estimare comună a varianței zgomotului prin analizarea răspunsului în frecvență al sistemului de microscopie. Aceasta se bazează pe faptul că distribuția Poisson a zgomotului fotonic poate fi aproximată practic de o distribuție Gaussiană atunci când fluxul fotonic este >3 fotoni pe pixel22. În special, eroarea introdusă prin aproximarea varianței Poisson, \(\sigma _p^2\), cu o varianță Gaussiană, \(\sigma _g^2\), devine <1% când fluxul fotonic este mai mare de 5 fotoni pe pixel (nota suplimentară 2.3). În special, condițiile menționate mai sus privind fluxul de fotoni sunt de obicei îndeplinite pentru multe aplicații în microscopia fluorescentă23,24. Prin urmare, considerăm zgomotul legat de cameră ca rezultat al sumei a două variabile aleatorii distribuite Gaussian independente, a căror varianță este \(\sigma _n^2 = \sigma _r^2 + \sigma _g^2\). O astfel de distribuție constă într-o densitate spectrală de putere constantă, în timp ce semnalele provenite din eșantion sunt conținute în funcția de transfer optic (OTF)25. Prin urmare, profităm de cunoștințele sistemului optic pentru a evalua fluctuația pixelilor în afara OTF-ului, care se datorează numai zgomotului, și apoi folosim valoarea obținută pentru a deriva în imaginea originală (nota suplimentară 2.3).
în continuare, algoritmul folosește aceste statistici de zgomot pentru o evaluare non-locală a autosimilarității eșantionului și pentru a efectua o filtrare colaborativă rară pe secvența de intrare. Spre deosebire de implementările anterioare ale filtrării colaborative, am adoptat o abordare stratificată care sondează secvențial auto-similitudinea imaginii în spațiu și timp pentru a îmbunătăți corecția zgomotului fără a sacrifica precizia și timpul de rulare. Pe scurt, filtrul descompune imaginea în patch-uri și le sortează în grupuri tridimensionale (3D) în funcție de asemănarea lor26. Apoi, folosește o transformare 3D pentru a procesa fiecare grup dintr-o dată. Denoising-ul este realizat prin praguri dure și sporit de faptul că, datorită asemănării dintre patch-uri, transformarea 3D are ca rezultat o reprezentare și mai redusă a patch-urilor originale, în timp ce spectrul de putere de zgomot rămâne constant27. Ulterior, patch-urile denoizate sunt returnate în locațiile lor originale pentru a forma o imagine intermediară. În acest moment, filtrul colaborativ este rulat a doua oară, dar înlocuiește pragul greu cu un filtru Wiener. Filtrul se realizează utilizând atât imaginile zgomotoase, cât și cele intermediare și generează imaginea denoizată finală (nota suplimentară 2.4). Trebuie remarcat faptul că variația spațială a zgomotului de-a lungul imaginii poate afecta performanța filtrului Wiener. Cu toate acestea, acest lucru este atenuat considerabil prin utilizarea procesării pe bază de patch-uri, care, în comparație cu întreaga imagine, îmbunătățește uniformitatea intensității în cadrul grupurilor de patch-uri individuale, prezentând o mare stabilitate față de zgomotul variantei spațiale9.
în cele din urmă, un alt filtru colaborativ este realizat în căutarea unor patch-uri similare și în cadrele vecine. În acest fel, zgomotul persistent poate fi redus și mai mult, profitând de autosimilaritatea eșantionului în timp, păstrând în același timp rezoluția temporală18 (nota suplimentară 2.5).
caracterizarea ACsN
în continuare, am caracterizat performanța ACsN folosind atât date numerice, cât și experimentale. În mod deosebit, filtrarea colaborativă ACsN depinde de estimarea numărului de cifre al numărului de frecvențe x, precum și de alegerea parametrilor din algoritm28, care au fost aleși pentru a optimiza atât corecția zgomotului, cât și timpul de rulare (nota suplimentară 3.1). Am observat că strategia noastră poate atenua în mod semnificativ efectul dăunător al zgomotului camerei, evitând pierderea rezoluției imaginii, în special în prezența unui zgomot foarte variabil spațial (nota suplimentară 3.2). Mai mult, zgomotul camerei poate induce fluctuații temporale ale valorilor pixelilor care nu sunt legate de eșantion, afectând astfel analiza cantitativă a datelor time-lapse. Denoizarea ACsN reduce acest efect cu aproximativ un ordin de mărime, cu fluctuații reziduale comparabile cu cele ale unei camere ideale (Fig. 1b-g și nota suplimentară 3.3). Mai mult, trebuie remarcat faptul că la un număr redus de fotoni, detaliile eșantionului încep să fie comparabile cu fluctuațiile de zgomot și devin mai greu de recuperat. Astfel, performanța restaurării imaginii este intrinsec legată de fluxul foton al imaginii de intrare. Cu toate acestea, folosind atât simulări, cât și date experimentale, am verificat o corecție robustă a zgomotului ACsN la niveluri scăzute de lumină până la 5-10 fotoni pe pixel (nota suplimentară 3.4).mai mult, am validat performanța ACsN sub diferite rate de eșantionare adoptate în mod normal pentru microscopia fluorescentă. În practică, o rată de eșantionare apropiată de criteriul Nyquist reprezintă un compromis bun între raportul semnal / zgomot (SNR) și conservarea detaliilor. Aici, examinând numeric și experimental pe o gamă largă de rate de eșantionare, am demonstrat viabilitatea ACsN pentru SNR scăzut, cu supraeșantionare și fără pierderi vizibile de semnale cu subeșantionare (nota suplimentară 3.5).spre deosebire de imaginile naturale, imaginile fluorescente ale probelor biologice sunt foarte specificate, prezentând ținte sau structuri moleculare etichetate cu precizie în celule. Prin urmare, fiecare imagine fluorescentă prezintă de obicei obiecte specifice recurente pe câmpul vizual, care furnizează suficientă auto-similitudine non-locală pentru a face algoritmul deosebit de eficient pentru microscopia fluorescentă. Cu date numerice și experimentale, am caracterizat dependența performanței ACsN de utilizarea autosimilarității unei imagini de intrare (nota suplimentară 3.6). Mai mult, așa cum se arată în cele ce urmează, am evaluat cantitativ o varietate de probe non-biologice și biologice pentru a verifica viabilitatea metodei, acoperind diverse dimensionalitate, morfologie, aleatorie și densitate, cum ar fi ținte de calibru, particule fluorescente, molecule unice, microtubuli, filamente de actină, mitocondrii, filopodia, lamellipodia și animale mici.
microscopia cu câmp larg
microscopia cu câmp larg, în special microscopia cu fluorescență de reflexie internă totală (TIRF), este una dintre cele mai utilizate tehnici în imagistica celulară29. TIRF folosește fenomenul de reflectare internă totală a luminii la interfața sticlă/apă pentru a crea o undă evanescentă care se propagă doar pentru câteva sute de nanometri de-a lungul lamei. Aceasta permite excitarea selectivă a etichetelor fluorescente din partea inferioară a eșantionului (Fig suplimentar. 1a). Cu toate acestea, în cazul emițătorilor fluorescenți slabi, a intensității scăzute a luminii sau a unui timp de expunere scurt, zgomotul legat de sCMOS devine sever și deteriorează calitatea imaginii (suplimentar Fig. 1b). Acsn denoising poate reduce în mod eficient o astfel de contribuție și poate recupera semnalele nedistorsionate de zgomot, permițând o achiziție mai rapidă fără a compromite semnalul de bază (Fig suplimentar. 1c, d).
am demonstrat denoizarea ACsN A MICROSCOPIEI cu câmp larg atât în configurații epi-fluorescență, cât și TIRF folosind diferite probe subcelulare fixe, vii și multicolore, inclusiv microtubuli (Fig. 1 și suplimentar Fig. 1), mitocondriile (Fig. 2 și filmele suplimentare 1 și 2) și F-actina (Fig. 2). Utilizarea ACsN poate menține aceeași calitate a imaginii cu un timp de expunere mai scurt (adică o rezoluție temporală mai bună) și un nivel de excitație mai scăzut (adică mai puține daune foto). Performanța este, astfel, limitată în primul rând de fotofizica emițătorilor fluorescenți. Folosind valori cantitative, am arătat că metoda poate recupera imagini de câmp larg cu un buget fotonic cu două ordine de mărime mai mic, fără pierderi de calitate a imaginii (tabelul suplimentar 1).
deconvoluția și microscopia cu câmp luminos
deconvoluția imaginii este utilizată pe scară largă în microscopia optică, de la restaurarea imaginilor de calitate scăzută la îmbunătățirea tehnicilor de super-rezoluție30. Cu toate acestea, zgomotul poate degrada cu ușurință performanța multor algoritmi obișnuiți prin producerea de artefacte de deconvoluție. În schimb, am observat o reducere remarcabilă a acestor artefacte în imaginile deconvolved prin utilizarea acsn denoising înainte de diferite metode bazate pe algoritmul Richardson–Lucy 31, învățarea mașinii32 și fluctuația radială33 (nota suplimentară 4.1). Îmbunătățirea restaurării imaginii este reflectată și de o îmbunătățire a calității globale a imaginii, evaluată folosind valori precum rezoluția scalată coeficientul lui Pearson (RSP)34. De exemplu, combinând acsn și fluctuația radială, am generat imagini de super-rezoluție cu o valoare RSP mai bună la o rezoluție temporală de până la două ordine de mărime mai mare decât cea raportată în prezent33 (Fig suplimentar. 2).
deconvoluția imaginii este, de asemenea, la baza reconstrucției tridimensionale în microscopia cu câmp luminos (LFM). LFM utilizează o matrice de microleni într-un sistem de microscopie pentru a obține atât informațiile spațiale bidimensionale (2D), cât și informațiile unghiulare 2D ale luminii incidente, permițând reconstrucția computațională a volumului 3D complet al unui specimen dintr-un singur cadru al camerei35. Cu toate acestea, procesul de reconstrucție bazat pe deconvoluție este foarte sensibil la SNR, în special datorită schemei de imagistică cu câmp larg, volumetric și rapid a LFM. Din acest motiv, utilizarea ACsN pentru a corecta zgomotul din imaginile raw (Fig. 3a, b) are ca rezultat o îmbunătățire clar vizibilă a reconstrucțiilor câmpului luminos 3D (Fig. 3c, d). Într-adevăr, prezența zgomotului duce la calcularea greșită a obiectului 3D sau la propagarea vârfurilor asociate non-fluoroforului. Prima afectează eșantionarea de-a lungul dimensiunii axiale și poate duce la o rezoluție axială neuniformă (Fig. 3e, f). Acesta din urmă produce fundal suplimentar care acoperă semnalul de fluorescență, afectând și rezoluția laterală (Fig. 3g-i). Folosind ACsN, ambele deficiențe pot fi atenuate, rezultând o redare volumetrică 3D substanțial îmbunătățită a structurilor celulare.
microscopie de localizare cu o singură moleculă
pentru a valida fezabilitatea ACsN pentru microscopia de localizare cu o singură moleculă (SMLM)36, am efectuat imagistica de furtună a mitocondriilor în celulele HeLa (suplimentar Fig. 3). Efectul zgomotului legat de sCMOS în localizarea unei singure molecule poate fi văzut în două aspecte: prezența falsurilor negative, datorită pierderii moleculelor slab emițătoare acoperite de zgomot (Fig suplimentar. 3c, d) și prezența unor fals pozitive, datorită pixelilor fierbinți sau pur și simplu distribuției zgomotului (Fig suplimentar. 3e, f). Eliminarea zgomotului din datele brute cu o singură moleculă permite suprimarea ambelor tipuri de erori de localizare, rezultând o calitate a imaginii STORM îmbunătățită semnificativ și valori precum RSP și rezoluția eroare scalată (RSE)34 (Fig. 4a, b). De asemenea, o astfel de eficiență îmbunătățită a localizării duce la un contrast mai bun și la apariția unor caracteristici care nu sunt clar vizibile în reconstrucție fără denoizare (Fig. 4c-f). În plus, reducerea fluctuațiilor pixelilor care nu au legătură cu eșantionul permite obținerea unei hărți a ratei de clipire a fluoroforilor care poate fi utilizată pentru a atenua efectele etichetării imperfecte (Fig suplimentar. 4).
la fel ca imagistica cu o singură moleculă, precizia localizării în urmărirea unei singure particule (SPT) este strâns legată de numărul de fotoni detectați. Prin urmare, un factor critic care afectează performanța SPT este SNR-ul datelor de imagine37. Am arătat că ACsN poate fi utilizat pentru a minimiza erorile de localizare responsabile pentru identificarea greșită a particulelor și a traiectoriilor eronate (Fig. 4G, h și film suplimentar 3). Această îmbunătățire SNR are ca rezultat o precizie mai bună a localizării particulelor, adică o estimare mai bună a deplasării laterale a mărgelei cu sensibilitate sub-pixel. Acest lucru poate fi de mare folos și în SPT biplan, unde precizia urmăririi 3D depinde de calitatea imaginii în afara focalizării38 (Fig. 4i, filmul suplimentar 4 și nota suplimentară 4.2).
microscopie fluorescentă cu camere CMOS low-cost
recent, progresele camerelor CMOS de înaltă calitate industrială au stârnit interesul comunității științifice cu privire la posibilitatea de a aborda performanța camerelor sCMOS la un preț mai accesibil39,40,41,42. S-a demonstrat că astfel de camere CMOS pot fi utilizate pentru imagistica SMLM41,42. Cu toate acestea, eficiența cuantică mai mică și zgomotul de citire mai mare limitează calitatea imaginii și utilitatea generală pentru cercetarea biomedicală cantitativă în multe domenii. Abordarea provocării printr-o strategie adecvată de denoizare ar oferi o soluție critică și în timp util pentru a transforma camerele de calitate industrială pentru aplicații de imagistică mai largi. Aici, am implementat mai întâi ACsN cu o cameră de înaltă calitate industrială pentru microscopie cu câmp larg, utilizând atât iluminarea epi-cât și TIRF (Fig. 5a-h). În ambele configurații, acsn denoising a îmbunătățit substanțial calitatea imaginii, obținând un acord proeminent cu imaginile obținute de camera sCMOS (smochine suplimentare. 5 și 6, precum și tabelul suplimentar 2).
microscopul miniaturizat bazat pe excitație cu un singur foton, sau miniscopul, a fost dezvoltat pentru a efectua imagistica calciului în câmp larg în animale care se comportă liber43,44,45. Miniaturizarea necesară a fost realizată prin înlocuirea lentilelor obiective compuse cu o lentilă cu tijă cu indice de gradient (rânjet), care oferă mai multe avantaje, inclusiv costuri reduse, greutate redusă și deschidere numerică relativ ridicată. Aceste caracteristici ale miniscopului permit imagistica minim invazivă a unui volum semnificativ al creierului cu o rezoluție la nivel celular în timpul stărilor complexe comportamentale, cognitive și emoționale46,47,48. Cu toate acestea, senzorul CMOS cu costuri reduse (MT9V032C12STM, ON Semiconductor, preț ~15 USD) adoptat în prezent oferă o calitate slabă a imaginii pentru a obține o viteză de imagistică relativ mare, care poate fi sever restrictivă pentru aplicații mai largi în imagistica celulară. Aici, am validat fezabilitatea ACsN pentru senzorul de miniscop prin efectuarea de imagini pe bază de excitație cu un singur foton, pe câmp larg, a calceinei colorate cu GFP în adipocite vii (Fig. 5i-p).
microscopie selectivă de iluminare plană
spre deosebire de microscopia cu câmp larg, microscopia selectivă de iluminare plană (SPIM) luminează proba cu o foaie de lumină perpendiculară pe direcția de observare. Acest lucru evită iluminarea inutilă, permițând o imagine de neegalat pe termen lung a specimenelor biologice dinamice49,50,51. Microscopia cu tablă de lumină cu zăbrele (LLSM) optimizează în continuare sistemul optic prin iluminarea eșantionului cu unde plane multiple care sculptează o rețea optică invariantă de propagare52. Cu toate acestea,în timp ce sunt investigate noi strategii pentru a face față problemelor legate de eșantion53, 54, zgomotul camerei rămâne cea mai relevantă limitare a capacităților de imagistică SPIM și LLSM datorită semnalului lor de fundal relativ scăzut.
am demonstrat mai întâi că denoisingul ACsN poate depăși această limitare prin efectuarea unei scanări volumetrice SPIM a unui creveți cu saramură fixă. Aici, am îmbunătățit auto-similitudinea folosind filtrarea 3D rare de-a lungul direcției de scanare. După procesarea ACsN, am observat că anularea zgomotului face ca detaliile eșantionului să iasă în evidență mai bine în fiecare felie individuală (Fig suplimentar. 7). În special, corectarea zgomotului cu model fix este vizibilă în special în imaginile de proiecție cu intensitate maximă (Fig. 6a, E și filmul suplimentar 5). În plus, este remarcabil să se observe o îmbunătățire clară a secțiunilor transversale ortogonale ale volumului scanat (Fig. 6b – d, f-h), permițând o mai bună evaluare a structurilor 3D ale eșantionului.
pentru a valida procesarea ACsN pentru LLSM, am imaginat mai întâi celulele pielii fixe colorate pentru keratină cu EGFP la diferite perioade de expunere (5, 10 și 20 ms) folosind o putere constantă de iluminare laser de 27 mW (măsurată la planul focal din spate al obiectivului de iluminare). Aceste imagini au fost achiziționate folosind modul de scanare a eșantionului și, în consecință, feliile au trebuit să fie deskewed pentru a prelua pozițiile inițiale (vezi metode). Am efectuat o astfel de operație înainte de acsn denoising pentru a utiliza auto-similitudinea de-a lungul z pentru filtrarea 3D rare. Am observat că calitatea imaginii poate fi bine menținută prin denoising chiar și după o reducere de patru ori a timpului de expunere (Fig suplimentar. 8 și tabelul suplimentar 3).
Mai mult, am demonstrat restaurarea imaginii ACsN a imaginii LLSM cu celule vii în timp. În primul rând, am imaginat celule vii de cancer pulmonar uman (nci-H1299 NSCLC) în modul de scanare a probelor cu intervale de 18,4 s pe mai mult de 30 de minute (Fig. 6i-k, suplimentar Fig. 9 și filmele suplimentare 6 și 7). După cum sa menționat mai sus, modul de scanare a eșantionului necesită deskewing a feliilor volumetrice, ceea ce mărește dimensiunea setului de date și, apoi, complexitatea procesării. Spre deosebire de cazul precedent, totuși, pentru imagistica time-lapse am putut utiliza auto-similitudinea temporală, ceea ce produce o corecție mai eficientă a zgomotului în comparație cu cea volumetrică55. Prin urmare, am denoizat scanările volumetrice time-lapse prin procesarea stivelor temporale corespunzătoare fiecărei felii individuale. În acest fel, ACsN ar putea fi utilizat înainte de deskewing, păstrând în mod eficient performanța denoising în timp ce economisind timpul de calcul (Fig suplimentar. 10). Apoi, am observat mișcarea F-actinei endogene în fibroblastele embrionare vii de șoarece folosind LLSM în modul de scanare a foilor (vezi metode). În special, acest mod nu produce nicio schimbare între felii, iar informațiile volumetrice pot fi preluate fără deskewing (Fig suplimentar. 11). În special, mișcarea filopodiei în jurul celulei poate fi observată cu o claritate mai mare după denoizare (filmul suplimentar 8).
Leave a Reply