ACsN algorithmic framework

ACsN combineert camerakalibratie, ruisonderschatting en schaarse filtering om de meest relevante geluidsbronnen van een sCMOS-camera te corrigeren (Fig. 1a en aanvullende aantekeningen 1 en 2.1). In het bijzonder corrigeert ACsN eerst de ruis van het vaste patroon met behulp van een kaart van de offset en gain van de sCMOS-pixels. De aanwezigheid van het vaste patroon ruis in sCMOS camera ‘ s genereert in verschillende pixels (p) een verschillend aantal foto-elektronen van hetzelfde aantal indringende fotonen (Sp). Dit effect is evenredig met het verlichtingsniveau en kan worden gemodelleerd als een multiplicatieve factor yp toegepast op de parameter van de poisson-gedistribueerde variabele Sp. Tegelijkertijd, tijdens de analoog-naar-digitaal (AD) conversie, wordt de spanning die door elke pixel wordt geproduceerd gelezen als het verschil met een referentieniveau, dat de afwezigheid van licht vertegenwoordigt. In de praktijk wordt aan deze referentiespanning een positieve waarde toegekend die verantwoordelijk is voor een bias (ßp) in de gemeten intensiteitswaarden. Daarom kan de acquisitie van een sCMOS-camera gemodelleerd worden met de vergelijking:20

waarbij Zp de waarde van de pixel p, τ de belichtingstijd en n (0, σr) de gaussiaanse gedistribueerde uitleesruis van gemiddelde Μr = 0 en standaardafwijking σr. Rekening houdend met de bruikbaarheid van de fluorescentiemicroscopie, in dit model hebben wij de bijdrage van donkere stroom weggelaten, die voor blootstellingstijden onder 1 s kan worden genegeerd, en de kwantisatieruis toe te schrijven aan de AD conversie, die verwaarloosbaar is in vergelijking met het uitlezenruis3,21 (aanvullende nota 2.2).

een Concept van het ACsN-algoritme. De invoerafbeelding wordt geschaald met de pixelversterking en offset-kaarten van de camera om de ruis met vaste patronen (FP) te verwijderen. Vervolgens wordt met behulp van de experimentele parameters de OTF-grens berekend en gebruikt om een hoogdoorlaatfilterbeeld te produceren, waaruit de ruisonderschatting (NE) wordt verkregen. Tot slot wordt er spaarzaam filteren (SF) uitgevoerd om het gedonoiseerde beeld te genereren. B vergelijking van ruisvariaties voor (grijze vierkanten) en na (rode cirkels) ruiscorrectie. Alle gegevens werden gedeeld door de verwachte waarde voor pure Poissonruis. De stippellijn vertegenwoordigt de ideale cameraprestaties. Om dit plot te genereren werden drie verschillende reeksen beelden van HeLa microtubules gebruikt. De foutbalken vertegenwoordigen de temporele standaardafwijking (STD) die meer dan 100 afbeeldingen zijn geëvalueerd. C, d Fluctuatiekaarten, d.w.z. soa ‘ s evalueerden meer dan 100 sCMOS-beelden die zijn verkregen bij een belichtingstijd van 10 ms vóór (C) en na (d) ACsN-denoising. De intensiteit wordt uitgedrukt in Analoge naar digitale eenheden (ADU). E, f ingezoomd-afbeeldingen van de gebieden gemarkeerd door de witte vierkantjes in c en d, respectievelijk. g Tijdsfluctuatie van de intensiteitswaarden van de pixels die overeenkomen met de omcirkelde gebieden (1 en 2) in respectievelijk e en f. De waarden van de originele en de niet-geanoniseerde beelden zijn uitgezet in respectievelijk grijs en rood. Schaalstaven: 500 nm (a), 1 µm (b), 3 µm (d), 300 nm (f).

aangezien de ruis met vaste patronen alleen afhankelijk is van het cameracircuit, kunnen ßp en yp worden geschat door middel van een eenmalige kalibratie (zie methoden). Een zorgvuldige beoordeling van zowel de Gaussiaanse gedistribueerde uitleesruis, N (0, σR), als de fluctuatie ten gevolge van de poisson-gedistribueerde fotonopnameruis, Pois{Sp(τ)}, is echter noodzakelijk om een nauwkeurige schatting van het onderliggende signaal Sp te verkrijgen. Om deze beoordeling uit te voeren, hebben we een ruismodel ontwikkeld dat een gezamenlijke schatting van de ruisvariantie mogelijk maakt door de frequentierespons van het microscopiesysteem te analyseren. Dit is gebaseerd op het feit dat de Poissonverdeling van het fotonschot ruis gemakkelijk kan worden benaderd door een Gaussiaanse verdeling wanneer de fotonflux >3 fotonen per pixel22. In het bijzonder wordt de fout die wordt geïntroduceerd door het benaderen van de poissonvariantie \(\sigma _P^2\), met een Gaussiaanse variantie \(\sigma _G^2\), <1% wanneer de fotonflux meer dan 5 fotonen per pixel is (aanvullende Noot 2.3). Met name aan de bovengenoemde voorwaarden op de fotonflux wordt gewoonlijk voldaan voor vele toepassingen in de fluorescentiemicroscopie23,24. Daarom beschouwen we de camera-gerelateerde ruis als het resultaat van de som van twee onafhankelijke Gaussiaanse gedistribueerde willekeurige variabelen, waarvan de variantie \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\) is. Een dergelijke verdeling bestaat uit een constante spectrale vermogensdichtheid, terwijl de signalen die uit het monster komen binnen de optical transfer function (OTF)25 zitten. Daarom maken we gebruik van de kennis van het optische systeem om de pixelfluctuatie buiten de OTF te evalueren, wat alleen te wijten is aan ruis, en dan gebruiken we de verkregen waarde om σN in het oorspronkelijke beeld af te leiden (aanvullende Noot 2.3).

vervolgens gebruikt het algoritme deze ruisstatistieken voor een niet-lokale beoordeling van de zelfgelijkbaarheid van het monster en voor het uitvoeren van collaboratieve schaarse filtering op de invoerreeks. In tegenstelling tot eerdere implementaties van collaborative filtering, hebben we gekozen voor een gelaagde aanpak die sequentieel de zelf-gelijkenis van het beeld in ruimte en tijd onderzoekt om de ruiscorrectie te verbeteren zonder in te boeten aan nauwkeurigheid en runtime. Kortom, het filter ontleedt het beeld in patches en sorteert ze in driedimensionale (3D) groepen volgens hun gelijkenis 26. Vervolgens maakt het gebruik van een 3D-transformatie om elke groep in één keer te verwerken. De ontoising wordt uitgevoerd door hard-thressing en versterkt door het feit dat, als gevolg van de gelijkenis tussen de patches, de 3D-transformatie resulteert in een nog sparser weergave van de originele patches, terwijl het ruisvermogensspectrum constant blijft27. Daarna worden de niet-geanoniseerde patches teruggestuurd naar hun oorspronkelijke locatie om een tussenbeeld te vormen. Op dit punt wordt de collaborative filter een tweede keer uitgevoerd, maar het vervangen van de hard-thressing door een Wiener filter. Het filter wordt uitgevoerd met behulp van zowel de lawaaierige als de tussenliggende beelden en genereert het uiteindelijke verwijderde beeld (aanvullende Noot 2.4). Opgemerkt moet worden dat de ruimtelijke variatie van de ruis over het beeld de prestaties van het Wiener filter kan beïnvloeden. Dit wordt echter aanzienlijk verzacht door het gebruik van op patches gebaseerde processing, die, in vergelijking met het hele beeld, de intensiteitsuniformiteit binnen individuele patchgroepen verhoogt en een grote stabiliteit tegen ruimtelijk variante noise9 vertoont.

ten slotte wordt een ander collaboratief filter uitgevoerd op zoek naar soortgelijke patches ook in de naburige frames. Op deze manier kan slepende ruis verder worden verminderd door gebruik te maken van de zelfgelijkbaarheid van de steekproef in de tijd met behoud van de temporele resolutie18 (aanvullende Noot 2.5).

karakterisatie van de ACsN

vervolgens hebben we de prestaties van de ACsN gekarakteriseerd aan de hand van zowel numerieke als experimentele gegevens. ACsN collaborative filtering hangt met name af van de schatting van σN, evenals van de keuze van de parameters in de algoritm28, die werden gekozen om zowel de ruiscorrectie als de runtime te optimaliseren (aanvullende Noot 3.1). We merkten op dat onze strategie het schadelijke effect van cameraruis aanzienlijk kan verminderen en verlies van beeldresolutie Kan voorkomen, vooral in aanwezigheid van zeer ruimtelijk variante ruis (aanvullende Noot 3.2). Bovendien kan het cameraruis tijdelijke fluctuaties van de pixelwaarden veroorzaken die niet gerelateerd zijn aan het monster, waardoor de kwantitatieve analyse van time-lapse-gegevens wordt beïnvloed. ACsN-ontoisering vermindert dit effect met ongeveer een orde van grootte, met resterende fluctuaties vergelijkbaar met die van een ideale camera (Fig. 1b-g en aanvullende aantekening 3.3). Voorts moet worden opgemerkt dat bij lage-fotonentellingen, de details van de steekproef vergelijkbaar met de lawaaischommelingen beginnen te zijn en moeilijker worden om terug te krijgen. De prestaties van beeldherstel zijn dus intrinsiek gerelateerd aan de fotonflux van het invoerbeeld. Niettemin hebben we met behulp van zowel simulaties als experimentele gegevens een robuuste ACsN-ruiscorrectie bij weinig licht gecontroleerd tot 5-10 fotonen per pixel (aanvullende Noot 3.4).

verder hebben we de prestaties van ACsN gevalideerd onder verschillende bemonsteringssnelheden die normaal worden gebruikt voor fluorescentiemicroscopie. In de praktijk is een bemonsteringssnelheid die dicht bij het Nyquist-criterium ligt een goede afweging tussen signaal-ruisverhouding (SNR) en detailbehoud. Hier hebben we de levensvatbaarheid van ACsN voor lage SNR bij overbemonstering en geen merkbaar verlies van signalen bij onderbemonstering (aanvullende Noot 3.5) onderzocht.

In tegenstelling tot natuurlijke beelden, zijn fluorescerende beelden van biologische monsters zeer gespecificeerd, die nauwkeurig geëtiketteerde moleculaire doelwitten of structuren in cellen vertonen. Daarom kenmerkt elk fluorescerend beeld gewoonlijk specifieke voorwerpen die over het gebied van mening terugkeren, die voldoende niet-lokale zelf-gelijkenis levert om het algoritme in het bijzonder efficiënt voor de fluorescentiemicroscopie te maken. Met numerieke en experimentele gegevens karakteriseerden we de afhankelijkheid van de ACsN prestaties van het gebruik van zelfvergelijkendheid van een invoerbeeld (aanvullende Noot 3.6). Verder, zoals getoond in het volgende, beoordeelden wij kwantitatief een verscheidenheid van niet-biologische en biologische steekproeven om de levensvatbaarheid van de methode te verifiëren, die diverse dimensionaliteit, morfologie, willekeur en dichtheid, zoals kaliber doelen, fluorescente deeltjes, enige molecules, microtubules, actin filamenten, mitochondria, filopodia, lamellipodia, en kleine dieren overspannen.

Wide – field microscopy

Wide-field microscopy, in het bijzonder de totale interne reflectie fluorescentie (TIRF) microscopie, is een van de meest gebruikte technieken in celbeeld29. TIRF gebruikt het fenomeen van totale interne reflectie van licht bij de glas / water-interface om een vluchtige golf te creëren die zich slechts voor een paar honderden nanometers over de coverslip verspreidt. Dit staat de selectieve opwinding van de fluorescente etiketten bij de bodem van de steekproef toe (aanvullende Fig. 1 bis). In het geval van zwakke fluorescerende stralers, lage lichtintensiteit of een korte belichtingstijd wordt sCMOS-gerelateerde ruis echter ernstig en verslechtert de beeldkwaliteit (aanvullende Fig. 1 ter). ACsN denoising kan deze bijdrage effectief verminderen en de onvervormde signalen uit de ruis herstellen, waardoor snellere acquisitie mogelijk is zonder het onderliggende signaal in gevaar te brengen (aanvullende Fig. 1c, d).

we toonden aan dat ACsN-denoisering van wide-field microscopie in zowel epi-fluorescentie-als TIRF-configuraties met behulp van verschillende vaste, levende en meerkleurige subcellulaire monsters, waaronder microtubuli (Fig. 1 en aanvullende Fig. 1), mitochondriën (Fig. 2 en aanvullende films 1 en 2), en F-actin (Fig. 2). Het gebruik van ACsN kan dezelfde beeldkwaliteit behouden met een kortere belichtingstijd (d.w.z. een betere temporele resolutie) en een lager excitatieniveau (d.w.z. minder fotoschade). De prestaties worden dus voornamelijk beperkt door de fotofysica van de fluorescerende stralers. Met behulp van kwantitatieve metrics hebben we aangetoond dat de methode wide-field beelden kan herstellen met een foton budget twee ordes van grootte lager zonder verlies van beeldkwaliteit (aanvullende tabel 1).

een Epi-fluorescentie beeldvorming van mitochondriën in fixed bovine pulmonary artery endothelial (BPAE) cellen bij een blootstellingstijd van 1 ms. B hetzelfde beeld in a na ACsN-denoising. C-f ingezoomde beelden van de overeenkomstige boxed regio ‘ s in a en b. kwantitatieve resultaten en analyse worden gerapporteerd in aanvullende tabel 1. g representatief frame van een time-lapse van 100 beelden van mitochondria in levende menselijke embryonale nier (HEK) cellen opgenomen bij 50 Hz (belichtingstijd: 20 ms). h het overeenkomstige representatieve frame van de beeldreeks (g) verkregen na ACsN-verwerking. De inzetstukken in g en h tonen ingezoomde afbeeldingen van de overeenkomstige gebieden gemarkeerd in het gestippelde witte vak in g. i–n ingezoomde afbeeldingen van de overeenkomstige gebieden gemarkeerd in het Effen gele vak in g op verschillende tijdstippen van 200 ms (i, l), 800 ms (j, m), en 1200 ms (k, n). o, p tweekleurig beeld, respectievelijk, vóór (o) en na (p) ACsN-denoising van F-actine (cyaan) en mitochondriën (Oranje) in vaste bpae-cellen verkregen door TIRF-microscopie met een blootstellingstijd van 2 ms. q, r dwarsdoorsnede-intensiteitsprofielen van (o) en (p) langs de overeenkomstige stippellijn in o, respectievelijk, die aanzienlijk gedoniëniseerde en beter opgeloste cellulaire structuren tonen. Schaalstaven: 10 µm (b), 3 µm (f), 4 µm (h, p), 1 µm (h, inzet) en (l).

Deconvolutie en lichtveldmicroscopie

Beelddeconvolutie wordt veel gebruikt in de optische microscopie, van het herstel van beelden van lage kwaliteit tot de verbetering van superresolutie-technieken.30 Echter, ruis kan gemakkelijk de prestaties van veel voorkomende algoritmen degraderen door het produceren van deconvolution artefacten. In plaats daarvan zagen we een opmerkelijke vermindering van dergelijke artefacten in deconvolved beelden door gebruik te maken van ACsN–denoising voorafgaand aan verschillende methoden gebaseerd op Richardson-Lucy algoritm31, machine learning32, en radiale fluctuatie33 (aanvullende Noot 4.1). De verbetering van beeldherstel wordt ook weerspiegeld door een verbetering van de Globale beeldkwaliteit, geëvalueerd met behulp van statistieken zoals de resolutie geschaalde Pearson ‘ s coefficient (RSP)34. Door de combinatie van ACsN en radiale fluctuatie hebben we bijvoorbeeld superresolutie-beelden gegenereerd met een betere RSP-waarde bij een temporele resolutie tot twee ordes van grootte hoger dan op dit moment wordt33 (aanvullende Fig. 2).

Beelddeconvolutie ligt ook aan de basis van driedimensionale reconstructie in lichtveldmicroscopie (LFM). LFM maakt gebruik van een microlens serie in een microscopie systeem om zowel de tweedimensionale (2D) ruimtelijke en 2D hoekige informatie van het invallende licht te verkrijgen, waardoor voor computationele reconstructie van het volledige 3D volume van een specimen van een enkele camera frame35. Echter, de deconvolution-gebaseerde reconstructie proces is zeer gevoelig voor de SNR, vooral als gevolg van LFM ‘ s wide-field, volumetrische, en snelle beeldvorming schema. Om deze reden, het gebruik van ACsN om de ruis in de raw-beelden te corrigeren (Fig. 3a, b) resulteert in een duidelijke verbetering van de 3D lichtveldreconstructies (Fig. 3c, d). Inderdaad, leidt de aanwezigheid van het lawaai tot de misrekening van het 3D object of de verspreiding van niet-fluorophore-geassocieerde pieken. De eerste beïnvloedt de bemonstering langs de axiale dimensie en kan resulteren in een ongelijke axiale resolutie (Fig. 3e, f). Laatstgenoemde veroorzaakt extra achtergrond die het fluorescentiesignaal behandelt, die ook de zijresolutie (Fig. 3g-i). Met behulp van ACsN, kunnen beide tekortkomingen worden beperkt, resulterend in aanzienlijk verbeterde 3D volumetrische weergave van cellulaire structuren.

a, b ruwe lichtveldbeelden van microtubuli in een HeLa-cel voor (A) en na (b) ACsN-verwerking. Insets tonen de ingezoomde microlens beelden van de overeenkomstige boxed gebieden, waar ruis aanzienlijk is verminderd zoals te zien in b. c, d driedimensionale (3D) gereconstrueerde beelden verkregen uit respectievelijk a en b. De diepte informatie wordt gecodeerd volgens de kleur schaal bar. Insets tonen de ingezoomde beelden van de overeenkomstige witgestreepte boxed regio ‘ s, waar betere beeldkwaliteit en verbeterde 3D-resolutie worden waargenomen na ACsN-denoising. E, f dwarsdoorsneden op het YZ-vlak dat overeenkomt met de rode gestreepte lijnen in c en d, respectievelijk, waar microtubule structuren beter worden opgelost met minder artefacten met behulp van ACsN. g, h ingezoomd-beelden van de rode vaste doos gebieden in c en D, respectievelijk, bij z = 1,4 µm, waar microtubule structuren beter worden opgelost met behulp van ACsN. I dwarsdoorsnede profielen van (G, grijs) en (H, rood) overeenkomend met de witte gestreepte lijnen in g, h, respectievelijk. De filamenten die door niet fluorophore-geassocieerd achtergrondlawaai worden behandeld worden opgelost gebruikend ACsN. Schaalstaven: 8 µm (b, d), 800 nm (B, inzetstuk), 3 µm (d, inzetstuk), 1 µm (e, g).

single-molecule localization microscopy

om de haalbaarheid van ACsN voor single-molecule localization microscopy (SMLM)36 te valideren, hebben we STORMBEELDVORMING van mitochondriën in HeLa-cellen uitgevoerd (aanvullende Fig. 3). Het effect van scmos-gerelateerde ruis in single-molecule lokalisatie kan worden gezien in twee aspecten: de aanwezigheid van valse negatieven, toe te schrijven aan het verlies van zwak emitterende molecules die door lawaai worden behandeld (aanvullende Fig. 3c, d), en de aanwezigheid van valse positieven, als gevolg van de hete pixels of gewoon de ruisverdeling (aanvullende Fig. 3e, f). Het verwijderen van het lawaai van de ruwe enig-molecuulgegevens staat voor afschaffing van beide types van lokalisatiefouten toe, resulterend in beduidend betere kwaliteit van het ONWEERBEELD en metrics zoals RSP en de resolutie geschaalde fout (RSE)34 (Fig. 4a, b). Ook leidt een dergelijke verbeterde efficiëntie van lokalisatie tot een beter contrast en het verschijnen van functies die niet duidelijk zichtbaar zijn in de reconstructie zonder te denoiseren (Fig. 4c-f). Voorts staat de vermindering van pixelschommelingen niet verwant aan de steekproef toe om een kaart van het knipperende tarief van fluorophores te verkrijgen dat kan worden gebruikt om de gevolgen van imperfect etikettering te verlichten (aanvullend Fig. 4).

een STORMBEELD van mitochondriën in een vaste HeLa-cel (RSP: 0.81, RSE: 40.6). B STORMBEELD gereconstrueerd na ACsN denoising van ruwe single-molecule data van a (RSP: 0.85, RSE: 36.7). In beide gevallen, werden 5000 enig-molecuulkaders gebruikt. Representatieve frames van de onbewerkte gegevens vóór en na het ontkenneniseren zijn weergegeven in aanvullende Fig. 3. Kwantitatieve beeldanalyse met NanoJ-eekhoorn beoordeelde een verbetering van zowel RSP (+0,04) als RSE (-3,9) waarden in b vergeleken met a. Opgemerkt wordt dat het aantal lokalisaties in b is toegenomen in vergelijking met a, wat leidt tot een beter contrast in de eerste en tot het verschijnen van functies niet zichtbaar in de laatste (c–f). g het volgen van een fluorescerende parel met één deeltje, geregistreerd met een belichtingstijd van 1 ms. In het inzetstuk wordt een representatief frame getoond. Elke kleur komt overeen met een van de zes verschillende tracks gedetecteerd. h tracking met één deeltje van dezelfde parel in g Na ACsN-denoising (inzet). De verbeterde SNR levert een betere lokalisatie nauwkeurigheid, wat resulteert in een enkele, gladde baan (zwarte lijn). I representatief frame voor het volgen van tweedekkers met één deeltje bij 1 kHz framesnelheid (belichtingstijd: 1 ms) voor (links) en na (rechts) ACsN-denoising. Schaalstaven: 4 µm (a), 2 µm (c, e, i), 1 µm (g, inzet), 250 nm (h).

net als single-molecule imaging is de localisatieprecisie in single-particle tracking (SPT) nauw gerelateerd aan het aantal gedetecteerde fotonen. Een kritische factor die van invloed is op de prestaties van NBP is dan ook de SNR van de beeldgegeven37. We hebben aangetoond dat ACsN kan worden gebruikt om de lokalisatiefouten die verantwoordelijk zijn voor verkeerde identificatie van deeltjes en foutieve trajecten te minimaliseren (Fig. 4g, h en aanvullende film 3). Deze SNR-verbetering resulteert in een betere nauwkeurigheid van de deeltjeslokalisatie, d.w.z. een betere schatting van de zijdelingse verplaatsing van de kraal met subpixelgevoeligheid. Dit kan ook van groot nut zijn in tweedekker SPT, waar de nauwkeurigheid van de 3D-tracking afhankelijk is van de kwaliteit van de out-of-focus beeld38 (Fig. 4i, aanvullende Film 4, en aanvullende Noot 4.2).

fluorescentiemicroscopie met goedkope CMOS-camera ’s

onlangs heeft de vooruitgang van hoogwaardige industriële CMOS-camera’ s de belangstelling van de wetenschappelijke gemeenschap gewekt voor de mogelijkheid om de prestaties van sCMOS-camera ‘ s tegen een meer betaalbare prijs te benaderen39, 40,41,42. Er is aangetoond dat dergelijke CMOS-camera ‘ s kunnen worden gebruikt voor SMLM-beelden41,42. De lagere kwantumefficiëntie en de hogere uitleesruis beperken echter de beeldkwaliteit en de algemene bruikbaarheid voor kwantitatief biomedisch onderzoek op veel gebieden. Het aanpakken van de uitdaging met een goede denoiseringsstrategie zou een kritische en tijdige oplossing bieden om de industriële camera ‘ s te transformeren voor bredere beeldvormingstoepassingen. Hier hebben we eerst ACsN geà mplementeerd met een high-end industriële-grade camera voor wide-field microscopie met behulp van zowel epi – als TIRF verlichting (Fig. 5a-h). In beide configuraties verbeterde ACsN denoising de beeldkwaliteit aanzienlijk en bereikte het een opvallende overeenkomst met de beelden verkregen door de sCMOS-camera (aanvullende Fig ‘ s. 5 en 6, en aanvullende tabel 2).

een TIRF-beeld van F-actine in een vaste bpae-cel, genomen met een framesnelheid van 38 Hz (belichtingstijd: 26 ms). b hetzelfde beeld in a na ACsN-ontkenningen. C EPI-fluorescentie beeldvorming van mitochondria in een vaste boviene longslagader endothelial (BPAE) cel, genomen met een frame snelheid van 38 Hz (belichtingstijd: 26 ms). d hetzelfde beeld in c na ACsN-denoising. e-h ingezoomde beelden die overeenkomen met de in een doos geplaatste gebieden in a–d, wat de verbetering van de beeldkwaliteit laat zien na ACsN-denoising. In het bijzonder is een dergelijke verbetering vergelijkbaar met de beelden genomen met sCMOS-sensoren, zoals weergegeven in aanvullende Fig ‘ s. 5 en 6. i, j beelden van GFP-bevlekt calcein in levende Adipocytes (lipocytes) die met low-cost CMOS voor geminiaturiseerde microscopie vóór (i) en na (j) ACsN het denoising worden genomen. De gegevens werden genomen door een miniscoop onder te dompelen in levende-celcultuur. K-n ingezoomd-afbeeldingen van de overeenkomstige boxed regio ‘ s in i en j. O, p Plots van de dwarsdoorsnede intensiteitsprofielen van cellulaire structuren voor (grijs) en na (rood) ACsN denoising langs de stippellijnen in k, l en M, n, respectievelijk. Schaalstaven: 10 µm (a, c), 4 µm (e, g), 50 µm (i), 20 µm (k).

De op een foton gebaseerde miniaturisatiemicroscoop, of miniscoop, is ontwikkeld voor het maken van Breedveld-calciumbeeldvorming bij dieren die zich vrij gedragen 43,44,45. De vereiste miniaturisatie werd bereikt door samengestelde objectieven te vervangen door een gradient-index (GRIN) staaflens, die verschillende voordelen biedt, waaronder lage kosten, lichtgewicht en relatief hoog-numerieke diafragma. Deze kenmerken van de miniscoop maken minimaal invasieve weergave van een significant volume van de hersenen met een cellulaire resolutie tijdens complexe gedrags -, cognitieve en emotionele states46,47,48 mogelijk. Echter, de low-cost CMOS-sensor (MT9V032C12STM, op halfgeleider, prijs ~$15) die momenteel wordt aangenomen, levert een slechte beeldkwaliteit op om een relatief hoge beeldvormingssnelheid te verkrijgen, die ernstig beperkend kan zijn voor bredere toepassingen in celbeeldvorming. Hier, hebben wij de haalbaarheid van ACsN voor de miniscope sensor gevalideerd door single-photon-excitation-based, wide-field weergave van GFP-bevlekt calcein in levende adipocytes uit te voeren (Fig. 5i-p).

Selective plane illumination microscopy

in tegenstelling tot wide-field microscopy, selective plane illumination microscopy (SPIM) verlicht het monster met een vel licht loodrecht op de waarnemingsrichting. Dit vermijdt onnodige verlichting, waardoor een ongeëvenaarde lange termijn beeldvorming van dynamische biologische specimens mogelijk is49, 50, 51. De Lattice licht-bladmicroscopie (LLSM) optimaliseert verder het optische systeem door de steekproef met veelvoudige vlakke golven te verlichten die een propagatie-invariant optisch lattice52 beeldhouwen. Echter, terwijl nieuwe strategieën worden onderzocht om te gaan met steekproef-gerelateerde issues 53, 54, camera ruis blijft de meest relevante beperking voor SPIM en LLSM imaging mogelijkheden als gevolg van hun relatief lage achtergrond signaal.

we hebben eerst aangetoond dat ACsN-denoising deze beperking kan overwinnen door een spim volumetrische scan van een vaste pekelgarnaal uit te voeren. Hier, we verbeterde de zelf-gelijkenis met behulp van 3D sparse filtering langs de scanrichting. Na de ACsN-verwerking merkten we op dat ruisonderdrukking de details van het monster beter doet opvallen in elke afzonderlijke schijf (aanvullende Fig. 7). In het bijzonder is de correctie van het vaste-patroonruis vooral merkbaar in de projectiebeelden met maximale intensiteit (Fig. 6a, e en aanvullende film 5). Bovendien is het opmerkelijk om een duidelijke verbetering te zien in de orthogonale dwarsdoorsneden van het gescande volume (Fig. 6b-d, f-h), waardoor een betere beoordeling van de 3D-structuren van de steekproef mogelijk is.

maximale intensiteit projecties (MIP) van SPIM-beelden van een fluorescerend geëtiketteerde volwassen pekelgarnaal voor (A) en na (e) ACsN-denoising. Orthogonale weergaven langs het XZ-vlak van de ruwe (b–d) en niet–geanoniseerde (f-h) volumetrische scans bij y = 237 mm (b, f), y = 904 mm (c, g), en y = 1491 mm (d, h). Plakjes langs het xy-en YZ-vlak zijn in aanvullende Fig. 7. i driedimensionale weergave van levende menselijke longkankercellen (NCI-H1299 NSCLC) verworven met LLSM en verwerkt met ACsN denoising. Ingezoomde afbeeldingen van het gebied dat overeenkomt met het witte kader in I voor (j) En Na (k) ACsN-denoising. De bijbehorende time-lapse-reeks is verstrekt in aanvullende Films 6 en 7. MIP-afbeeldingen en representatieve plakjes worden afgebeeld in aanvullende vijgen. 9 en 10. Schaalstaven: 400 µm (a, e), 100 µm (b, f), 10 µm (i), 4 µm (k).

om de ACsN-verwerking voor LLSM te valideren, hebben we eerst vaste huidcellen met EGFP op verschillende belichtingstijden (5, 10 en 20 ms) afgebeeld met behulp van een constant laserbelichtingsvermogen van 27 mW (gemeten aan de achterkant van het brandpuntsvlak van het verlichtingsdoel). Deze beelden werden verkregen met behulp van de sample scan mode en, dienovereenkomstig, de slices moesten worden deskewed om de oorspronkelijke posities op te halen (zie methoden). We hebben een dergelijke operatie uitgevoerd voordat de ACSN-ontoising werd uitgevoerd om de zelf-gelijkenis langs z te gebruiken voor 3D-schaarse filtering. We merkten op dat de beeldkwaliteit ook na een verviervoudiging van de belichtingstijd (aanvullende Fig. 8 en aanvullende tabel 3).

verder hebben we ACsN beeldherstel van time-lapse live-cell LLSM beeldvorming aangetoond. Ten eerste, we imaged levende menselijke longkankercellen (NCI-H1299 NSCLC) in de sample scan modus met intervallen van 18.4 s over meer dan 30 min (Fig. 6i-k, aanvullende Fig. 9, en aanvullende Films 6 en 7). Zoals hierboven vermeld, vereist de voorbeeldscanmodus deskewing van de volumetrische slices, die de grootte van de dataset en vervolgens de verwerkingscomplexiteit verhoogt. In tegenstelling tot het vorige geval, echter, voor time-lapse imaging waren we in staat om gebruik te maken van de temporele zelf-gelijkenis, die een efficiëntere ruiscorrectie oplevert in vergelijking met de volumetrische one55. Daarom hebben we de time-lapse volumetrische scans gedonoiseerd door de overeenkomstige temporele stapels van elke afzonderlijke slice te verwerken. Op deze manier kan ACsN worden gebruikt voor deskewing, waardoor de denoiseringsprestaties effectief worden behouden en de computationele tijd wordt bespaard (aanvullende Fig. 10). Vervolgens observeerden we de beweging van endogeen F-actine in levende muizen embryonale fibroblasten met behulp van LLSM in de sheet scan modus (zie methoden). Deze modus veroorzaakt met name geen verschuiving tussen de plakjes en de volumetrische informatie kan worden opgehaald zonder deskewing (aanvullende Fig. 11). In het bijzonder kan de beweging van filopodia rondom de cel met hogere helderheid worden waargenomen na denoising (aanvullende film 8).