ACSN algorithmic Framework

ACsN kombiniert Kamerakalibrierung, Rauschschätzung und Sparse-Filterung, um die relevantesten von einer sCMOS-Kamera erzeugten Rauschquellen zu korrigieren (Abb. 1a und ergänzende Anmerkungen 1 und 2.1). Insbesondere korrigiert ACsN zuerst das Rauschen mit festem Muster unter Verwendung einer Karte des Offsets und der Verstärkung der sCMOS-Pixel. Das Vorhandensein des Rauschens mit festem Muster in sCMOS-Kameras erzeugt in verschiedenen Pixeln (p) eine unterschiedliche Anzahl von Photoelektronen aus derselben Anzahl von auftreffenden Photonen (Sp). Dieser Effekt ist proportional zum Beleuchtungsniveau und kann als multiplikativer Faktor yp modelliert werden, der auf den Parameter der Poisson-verteilten Variablen Sp angewendet wird. Gleichzeitig wird während der Analog-Digital-Wandlung (AD) die von jedem Pixel erzeugte Spannung als Differenz zu einem Referenzpegel gelesen, der die Abwesenheit von Licht darstellt. In der Praxis wird dieser Referenzspannung ein positiver Wert zugeordnet, der für eine Vorspannung (ßp) in den gemessenen Intensitätswerten verantwortlich ist. Daher kann die Erfassung einer sCMOS-Kamera durch die Gleichung modelliert werden:20

wobei Zp der Wert des Pixels p , τ die Belichtungszeit und N(0, σR) das Gauß-verteilte Ausleserauschen von Mittelwert µR = 0 und Standardabweichung σR. In Anbetracht der Praktikabilität der Fluoreszenzmikroskopie haben wir in diesem Modell den Beitrag des Dunkelstroms, der für Belichtungszeiten unter 1 s außer Acht gelassen werden kann, und das Quantisierungsrauschen aufgrund der AD-Wandlung, das im Vergleich zum Ausleserauschen vernachlässigbar ist, ausgelassen3,21 (Ergänzende Anmerkung 2.2).

ein Konzept des ACsN-Algorithmus. Das Eingangsbild wird mit den Pixelverstärkungs- und Offsetkarten der Kamera skaliert, um das Fixed Pattern Noise (FP) zu entfernen. Dann wird unter Verwendung der experimentellen Parameter die OTF-Grenze berechnet und verwendet, um ein hochpassgefiltertes Bild zu erzeugen, aus dem die Rauschschätzung (NE) erhalten wird. Schließlich wird eine Sparse-Filterung (SF) durchgeführt, um das rauscharme Bild zu erzeugen. b Vergleich der Rauschvariationen vor (graue Quadrate) und nach (rote Kreise) Rauschkorrektur. Alle Daten wurden durch den erwarteten Wert für reines Poisson-Rauschen dividiert. Die gestrichelte Linie stellt die ideale Kameraleistung dar. Um diesen Plot zu erzeugen, wurden drei verschiedene Sätze von Bildern von HeLa-Mikrotubuli verwendet. Die Fehlerbalken stellen die zeitliche Standardabweichung (STD) dar, die über 100 Bilder ausgewertet wurde. c, d Fluktuationskarten, d. h. STD ausgewertet über 100 sCMOS-Bilder, die bei einer Belichtungszeit von 10 ms vor (c) und nach (d) ACsN-Rauschunterdrückung aufgenommen wurden. Intensitäten werden in Analog-Digital-Einheiten (ADU) ausgedrückt. e, f Vergrößerte Bilder der Bereiche, die durch die weißen Quadrate in c bzw. g Zeitliche Schwankung der Intensitätswerte der den eingekreisten Bereichen (1 und 2) in e bzw. f entsprechenden Pixel. Die Werte aus dem Original- und dem rauschfreien Bild sind grau bzw. rot dargestellt. Maßstabsbalken: 500 nm (a), 1 µm (b), 3 µm (d), 300 nm (f).

Da das Rauschen mit festem Muster nur von der Kameraschaltung abhängt, können ßp und yp durch eine einmalige Kalibrierung geschätzt werden (siehe Methoden). Eine sorgfältige Bewertung sowohl des Gaußschen verteilten Ausleserauschens, N(0, σR), als auch der Fluktuation aufgrund des Poisson-verteilten Photonenschussrauschens, Pois{Sp(τ)}, ist jedoch erforderlich, um eine genaue Schätzung des zugrunde liegenden Signals Sp zu erhalten. Um diese Bewertung durchzuführen, haben wir ein Rauschmodell entwickelt, das eine gemeinsame Schätzung der Rauschvarianz durch Analyse des Frequenzgangs des Mikroskopiesystems ermöglicht. Dies basiert auf der Tatsache, dass die Poisson-Verteilung des Photonenschussrauschens durch eine Gaußsche Verteilung angenähert werden kann, wenn der Photonenfluss >3 Photonen pro Pixel22 beträgt. Insbesondere wird der Fehler, der durch Approximation der Poisson-Varianz \(\sigma _P^2\) mit einer Gaußschen Varianz \(\sigma _G^2\) eingeführt wird, <1%, wenn der Photonenfluss mehr als 5 Photonen pro Pixel beträgt (Ergänzende Anmerkung 2.3). Insbesondere sind die oben genannten Bedingungen an den Photonenfluss für viele Anwendungen in der Fluoreszenzmikroskopie in der Regel erfüllt23,24. Daher betrachten wir das kamerabezogene Rauschen als Ergebnis der Summe zweier unabhängiger Gauß-verteilter Zufallsvariablen, deren Varianz \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\) . Eine solche Verteilung besteht aus einer konstanten Leistungsspektraldichte, während die von der Probe kommenden Signale innerhalb der optischen Übertragungsfunktion (OTF)25 enthalten sind. Daher nutzen wir die Kenntnis des optischen Systems, um die Pixelschwankung außerhalb der OTF zu bewerten, die nur auf Rauschen zurückzuführen ist, und verwenden dann den erhaltenen Wert, um σN im Originalbild abzuleiten (Ergänzende Anmerkung 2.3).

Als nächstes verwendet der Algorithmus diese Rauschstatistiken für eine nicht-lokale Bewertung der Selbstähnlichkeit der Stichprobe und um eine kollaborative Sparse-Filterung der Eingabesequenz durchzuführen. Im Gegensatz zu früheren Implementierungen der kollaborativen Filterung haben wir einen mehrschichtigen Ansatz gewählt, der die Selbstähnlichkeit des Bildes nacheinander in Raum und Zeit untersucht, um die Rauschkorrektur zu verbessern, ohne die Genauigkeit und Laufzeit zu beeinträchtigen. Kurz gesagt, der Filter zerlegt das Bild in Patches und sortiert sie in dreidimensionale (3D) Gruppen nach ihrer Ähnlichkeit26. Dann verwendet es eine 3D-Transformation, um jede Gruppe auf einmal zu verarbeiten. Die Rauschunterdrückung erfolgt durch Hard-Thresholding und wird dadurch verstärkt, dass die 3D-Transformation aufgrund der Ähnlichkeit zwischen den Patches zu einer noch dünneren Darstellung der Original-Patches führt, während das Rauschleistungsspektrum konstant bleibt27. Anschließend werden die entrauschten Patches an ihre ursprünglichen Positionen zurückgebracht, um ein Zwischenbild zu bilden. Zu diesem Zeitpunkt wird das kollaborative Filter ein zweites Mal ausgeführt, wobei jedoch die harte Schwelle durch ein Wiener-Filter ersetzt wird. Das Filter wird sowohl unter Verwendung der verrauschten als auch der Zwischenbilder durchgeführt und erzeugt das endgültige entrauschte Bild (Ergänzende Anmerkung 2.4). Es ist zu beachten, dass die räumliche Variation des Rauschens über das Bild die Leistung des Wiener-Filters beeinflussen kann. Dies wird jedoch durch die Verwendung einer Patch-basierten Verarbeitung erheblich gemildert, die im Vergleich zum Gesamtbild die Intensitätsgleichmäßigkeit innerhalb einzelner Patch-Gruppen erhöht und eine große Stabilität gegen räumlich variierendes Rauschen zeigt9.

Schließlich wird ein weiterer kollaborativer Filter durchgeführt, der auch in den benachbarten Frames nach ähnlichen Patches sucht. Auf diese Weise kann das verweilende Rauschen unter Ausnutzung der zeitlichen Selbstähnlichkeit der Probe unter Beibehaltung der zeitlichen Auflösung18 weiter reduziert werden (Ergänzende Anmerkung 2.5).

Charakterisierung von ACsN

Als nächstes charakterisierten wir die Leistung von ACsN anhand numerischer und experimenteller Daten. Insbesondere hängt die kollaborative ACSN-Filterung von der Schätzung von σN sowie von der Wahl der Parameter im Algorithmus28 ab, die ausgewählt wurden, um sowohl die Rauschkorrektur als auch die Laufzeit zu optimieren (Ergänzende Anmerkung 3.1). Wir haben beobachtet, dass unsere Strategie die nachteiligen Auswirkungen von Kamerarauschen erheblich dämpfen und einen Verlust der Bildauflösung vermeiden kann, insbesondere bei stark räumlich variierendem Rauschen (Ergänzende Anmerkung 3.2). Darüber hinaus kann das Kamerarauschen zeitliche Schwankungen der Pixelwerte induzieren, die nicht mit der Probe zusammenhängen, was sich auf die quantitative Analyse von Zeitrafferdaten auswirkt. Die ACsN-Rauschunterdrückung reduziert diesen Effekt um etwa eine Größenordnung, wobei die Restschwankungen vergleichbar mit denen einer idealen Kamera sind (Abb. 1b-g und ergänzende Anmerkung 3.3). Darüber hinaus ist zu beachten, dass bei niedrigen Photonenzahlen die Details der Probe mit den Rauschschwankungen vergleichbar sind und schwieriger abzurufen sind. Somit ist die Leistung der Bildwiederherstellung intrinsisch mit dem Photonenfluss des Eingangsbildes verbunden. Nichtsdestotrotz haben wir anhand von Simulationen und experimentellen Daten eine robuste ACsN-Rauschkorrektur bei schlechten Lichtverhältnissen bis zu 5-10 Photonen pro Pixel verifiziert (Ergänzende Anmerkung 3.4).

Darüber hinaus haben wir die Leistung von ACsN unter verschiedenen Abtastraten validiert, die normalerweise für die Fluoreszenzmikroskopie verwendet werden. In der Praxis stellt eine Abtastrate nahe dem Nyquist-Kriterium einen guten Kompromiss zwischen Signal-Rausch-Verhältnis (SNR) und Detailerhaltung dar. Hier haben wir numerisch und experimentell über einen weiten Bereich von Abtastraten hinweg die Realisierbarkeit von ACsN für niedriges SNR mit Überabtastung und keinen merklichen Verlust von Signalen mit Unterabtastung nachgewiesen (Ergänzende Anmerkung 3.5).

Im Gegensatz zu natürlichen Bildern sind Fluoreszenzbilder von biologischen Proben hochspezifiziert und zeigen genau markierte molekulare Ziele oder Strukturen in Zellen. Daher weist jedes Fluoreszenzbild normalerweise spezifische Objekte auf, die sich über das Sichtfeld wiederholen, was eine ausreichende nicht-lokale Selbstähnlichkeit liefert, um den Algorithmus für die Fluoreszenzmikroskopie besonders effizient zu machen. Mit numerischen und experimentellen Daten charakterisierten wir die Abhängigkeit der ACsN-Leistung von der Verwendung der Selbstähnlichkeit eines Eingabebildes (Ergänzende Anmerkung 3.6). Darüber hinaus haben wir, wie im Folgenden gezeigt, eine Vielzahl von nicht-biologischen und biologischen Proben quantitativ bewertet, um die Durchführbarkeit der Methode zu überprüfen, die verschiedene Dimensionalitäten, Morphologien, Zufälligkeiten und Dichten umfasst, z. B. Kalibertargets, Fluoreszenzpartikel, Einzelmoleküle, Mikrotubuli, Aktinfilamente, Mitochondrien, Filopodien, Lamellipodien und Kleintiere.

Weitfeldmikroskopie

Die Weitfeldmikroskopie, insbesondere die TIRF-Mikroskopie (Total Internal Reflection Fluorescence), ist eine der am weitesten verbreiteten Techniken in der Zellbildgebung29. TIRF nutzt das Phänomen der Totalreflexion von Licht an der Grenzfläche Glas / Wasser, um eine evaneszente Welle zu erzeugen, die sich nur für einige hundert Nanometer über das Deckglas ausbreitet. Dies ermöglicht die selektive Anregung der Fluoreszenzmarkierungen am Boden der Probe (Ergänzende Fig. 1a). Bei schwachen fluoreszierenden Emittern, geringer Lichtintensität oder kurzer Belichtungszeit wird das sCMOS-bedingte Rauschen jedoch stark und verschlechtert die Bildqualität (Ergänzende Abb. 1b). ACsN-Rauschunterdrückung kann diesen Beitrag effektiv reduzieren und die unverzerrten Signale aus dem Rauschen wiederherstellen, was eine schnellere Erfassung ermöglicht, ohne das zugrunde liegende Signal zu beeinträchtigen (Ergänzende Abb. 1c, d).

Wir demonstrierten die ACsN-Rauschunterdrückung der Weitfeldmikroskopie sowohl in Epi-Fluoreszenz- als auch in TIRF-Konfigurationen unter Verwendung verschiedener fester, lebender und mehrfarbiger subzellulärer Proben, einschließlich Mikrotubuli (Abb. 1 und ergänzend Fig. 1), Mitochondrien (Abb. 2 und Ergänzungsfilme 1 und 2) und F-Aktin (Fig. 2). Die Verwendung von ACsN kann die gleiche Bildqualität mit einer kürzeren Belichtungszeit (d. H. Einer besseren zeitlichen Auflösung) und einem niedrigeren Anregungspegel (d. h. weniger Fotoschäden) aufrechterhalten. Die Leistungsfähigkeit wird somit primär durch die Photophysik der fluoreszierenden Emitter begrenzt. Mit quantitativen Metriken haben wir gezeigt, dass die Methode Weitfeldbilder mit einem um zwei Größenordnungen niedrigeren Photonenbudget ohne Verlust der Bildqualität wiederherstellen kann (ergänzende Tabelle 1).

a Epi-Fluoreszenz-Bildgebung von Mitochondrien in fixierten bovinen Lungenarterien-Endothelzellen (BPAE) bei einer Belichtungszeit von 1 ms. b Das gleiche Bild in a nach ACsN-Rauschunterdrückung. c-f Gezoomte Bilder der entsprechenden Box-Regionen in a und b. Quantitative Ergebnisse und Analysen sind in der ergänzenden Tabelle 1 angegeben. g Repräsentativer Rahmen aus einem Zeitraffer von 100 Bildern von Mitochondrien in lebenden humanen embryonalen Nierenzellen (HEK), aufgenommen bei 50 Hz (Belichtungszeit: 20 ms). h Der entsprechende repräsentative Rahmen der nach ACsN-Verarbeitung erhaltenen Bildsequenz (g). Die Einfügungen in g und h zeigen gezoomte Bilder der entsprechenden, im gestrichelten weißen Kasten markierten Bereiche in g. i-n Gezoomte Bilder der entsprechenden, im durchgezogenen gelben Kasten markierten Bereiche in g zu unterschiedlichen Zeitpunkten von 200 ms (i, l), 800 ms (j, m) und 1200 ms (k, n). o, p Zweifarbiges Bild vor (o) und nach (p) ACsN-Denoising von F-Aktin (Cyan) und Mitochondrien (orange) in fixierten BPAE-Zellen, erhalten durch TIRF-Mikroskopie mit einer Belichtungszeit von 2 ms. q, r Querschnittsintensitätsprofile von (o) bzw. (p) entlang der entsprechenden gestrichelten Linie in o zeigen wesentlich entrauschte und besser aufgelöste zelluläre Strukturen. Maßstabsbalken: 10 µm (b), 3 µm (f), 4 µm (h, p), 1 µm (h, Einsatz) und (l).

Dekonvolution und Lichtfeldmikroskopie

Die Bilddekonvolution wird häufig in der optischen Mikroskopie eingesetzt, von der Wiederherstellung von Bildern mit geringer Qualität bis zur Verbesserung von Techniken mit hoher Auflösung30. Rauschen kann jedoch die Leistung vieler gängiger Algorithmen leicht beeinträchtigen, indem es Dekonvolutionsartefakte erzeugt. Stattdessen beobachteten wir eine bemerkenswerte Reduktion solcher Artefakte in dekonvolvierten Bildern durch den Einsatz von ACsN–Rauschunterdrückung vor verschiedenen Methoden, die auf dem Richardson-Lucy-Algorithmus31, maschinellem Lernen32 und radialer Fluktuation33 basieren (Ergänzende Anmerkung 4.1). Die Verbesserung der Bildwiederherstellung spiegelt sich auch in einer Verbesserung der globalen Bildqualität wider, die anhand von Metriken wie dem Resolution Scaled Pearson’s Coefficient (RSP)34 bewertet wird. Durch die Kombination von ACsN und radialer Fluktuation erzeugten wir beispielsweise hochauflösende Bilder mit einem besseren RSP-Wert bei einer zeitlichen Auflösung von bis zu zwei Größenordnungen höher als derzeit berichtet33 (Ergänzende Abb. 2).

Die Bilddekonvolution ist auch die Grundlage der dreidimensionalen Rekonstruktion in der Lichtfeldmikroskopie (LFM). LFM verwendet ein Mikrolinsenarray in einem Mikroskopiesystem, um sowohl die zweidimensionalen (2D) räumlichen als auch die 2D-Winkelinformationen des einfallenden Lichts zu erhalten, was eine rechnerische Rekonstruktion des gesamten 3D-Volumens einer Probe aus einem einzigen Kamerarahmen ermöglicht35. Der dekonvolutionsbasierte Rekonstruktionsprozess ist jedoch sehr empfindlich gegenüber dem SNR, insbesondere aufgrund des Weitfeld-, volumetrischen und schnellen Bildgebungsschemas von LFM. Aus diesem Grund ist die Verwendung von ACsN, um das Rauschen in den RAW-Bildern zu korrigieren (Abb. 3a, b) führt zu einer deutlich spürbaren Verbesserung der 3D-Lichtfeldrekonstruktionen (Fig. 3c, d). Tatsächlich führt das Vorhandensein des Rauschens zur Fehlberechnung des 3D-Objekts oder zur Ausbreitung von nicht Fluorophor-assoziierten Peaks. Ersteres beeinflusst die Abtastung entlang der axialen Dimension und kann zu einer ungleichmäßigen axialen Auflösung führen (Abb. 3e, f). Letzteres erzeugt einen zusätzlichen Hintergrund, der das Fluoreszenzsignal überdeckt, wodurch auch die laterale Auflösung beeinträchtigt wird (Fig. 3g-i). Mit ACsN können beide Mängel gemildert werden, was zu einer wesentlich verbesserten volumetrischen 3D-Wiedergabe von Zellstrukturen führt.

a, b Rohe Lichtfeldbilder von Mikrotubuli in einer HeLa-Zelle vor (a) und nach (b) ACsN-Verarbeitung. Insets zeigen die gezoomten Mikrolinsenbilder der entsprechenden Boxed-Bereiche, in denen das Rauschen wesentlich reduziert wurde, wie in b. c, d Dreidimensionalen (3D) rekonstruierten Bildern von a bzw. b zu sehen ist. Die Tiefeninformationen sind entsprechend der Farbskala codiert. Einfügungen zeigen die vergrößerten Bilder der entsprechenden weiß gestrichelten Kastenbereiche, in denen nach der ACSN-Rauschunterdrückung eine bessere Bildqualität und eine verbesserte 3D-Auflösung beobachtet werden. e, f Querschnitte auf der YZ-Ebene entsprechend den roten gestrichelten Linien in c bzw. d, wobei Mikrotubulistrukturen mit reduzierten Artefakten unter Verwendung von ACsN besser aufgelöst werden. g, h Gezoomte Bilder der roten, festen Kastenbereiche in c bzw. d bei z = 1,4 µm, wo Mikrotubuli-Strukturen mit ACsN besser aufgelöst werden. i Querschnittsprofile von (g, grau) und (h, rot) entsprechend den weißen gestrichelten Linien in g, h. Filamente, die von nicht Fluorophor-assoziiertem Hintergrundrauschen bedeckt sind, werden mit ACsN aufgelöst. Maßstabsbalken: 8 µm (b, d), 800 nm (b, Einsatz), 3 µm (d, Einsatz), 1 µm (e, g).

Single-molecule localization microscopy

Um die Machbarkeit von ACsN für die Single-Molecule localization Microscopy (SMLM)36 zu validieren, führten wir STORM Imaging von Mitochondrien in HeLa-Zellen durch (Ergänzende Abb. 3). Der Effekt von sCMOS-bezogenem Rauschen bei der Lokalisierung von Einzelmolekülen kann in zwei Aspekten gesehen werden: das Vorhandensein von falsch negativen Ergebnissen aufgrund des Verlusts von schwach emittierenden Molekülen, die von Rauschen bedeckt sind (Ergänzende Abb. 3c, d) und das Vorhandensein von Fehlalarmen aufgrund der heißen Pixel oder einfach der Rauschverteilung (ergänzende Fig. 3e, f). Das Entfernen des Rauschens aus den rohen Einzelmoleküldaten ermöglicht die Unterdrückung beider Arten von Lokalisierungsfehlern, was zu einer signifikant verbesserten Sturmbildqualität und Metriken wie dem RSP und dem Resolution Scaled Error (RSE)34 (Abb. 4a, b). Eine solche verbesserte Lokalisierungseffizienz führt auch zu einem besseren Kontrast und dem Auftreten von Merkmalen, die in der Rekonstruktion ohne Rauschunterdrückung nicht deutlich sichtbar sind (Abb. 4c-f). Darüber hinaus ermöglicht die Reduzierung von Pixelschwankungen, die nicht mit der Probe zusammenhängen, eine Karte der Blinkrate der Fluorophore zu erhalten, die verwendet werden kann, um die Auswirkungen einer unvollständigen Markierung zu mildern (ergänzende Fig. 4).

ein Sturmbild von Mitochondrien in einer festen HeLa-Zelle (RSP: 0,81, RSE: 40,6). b) Bild rekonstruiert nach ACsN-Rauschunterdrückung von rohen Einzelmoleküldaten von a (RSP: 0,85, RSE: 36,7). In beiden Fällen wurden 5000 Einzelmolekülrahmen verwendet. Repräsentative Rahmen der Rohdaten vor und nach der Rauschunterdrückung sind in der ergänzenden Fig. 3. Quantitative Bildanalyse mit NanoJ-EICHHÖRNCHEN bewertet eine Verbesserung der beiden RSP (+ 0,04) und RSE (-3,9) Werte in b im Vergleich zu a. Es wird beobachtet, dass die Anzahl der Lokalisierungen in b im Vergleich zu a erhöht ist, was zu einem besseren Kontrast in ersterem und zum Auftreten von Merkmalen führt, die in letzterem nicht sichtbar sind (c–f). g Einzelpartikelverfolgung eines fluoreszierenden Beads, aufgenommen mit einer Belichtungszeit von 1 ms. Ein repräsentativer Rahmen ist in der Einfügung gezeigt. Jede Farbe entspricht einer der sechs verschiedenen Spuren erkannt. h Einzelpartikelverfolgung der gleichen Perle in g nach ACsN-Entrauschung (Inset). Das verbesserte SNR führt zu einer besseren Lokalisierungsgenauigkeit, was zu einer einzigen, glatten Trajektorie (schwarze Linie) führt. i Repräsentativer Rahmen für Doppeldecker-Einzelpartikelverfolgung bei 1 kHz Bildrate (Belichtungszeit: 1 ms) vor (links) und nach (rechts) ACsN-Rauschunterdrückung. Maßstabsbalken: 4 µm (a), 2 µm (c, e, i), 1 µm (g, Einsatz), 250 nm (h).

Wie bei der Einzelmolekül-Bildgebung hängt die Lokalisierungsgenauigkeit beim Single-Particle Tracking (SPT) eng mit der Anzahl der detektierten Photonen zusammen. Daher ist ein kritischer Faktor, der die Leistung von SPT beeinflusst, der SNR der Bilddaten37. Wir haben gezeigt, dass ACsN verwendet werden kann, um die Lokalisierungsfehler zu minimieren, die für die Fehlidentifikation von Partikeln und fehlerhaften Trajektorien verantwortlich sind (Abb. 4g, h und Ergänzende Film 3). Diese SNR-Verbesserung führt zu einer besseren Genauigkeit der Partikellokalisierung, d. h. einer besseren Schätzung der lateralen Verschiebung der Perle mit Subpixelempfindlichkeit. Dies kann auch in der Doppeldecker-SPT von großem Nutzen sein, wo die Genauigkeit des 3D-Trackings von der Qualität des unscharfen Bildes abhängt38 (Abb. 4i, Ergänzende Anmerkung 4 und ergänzende Anmerkung 4.2).

Fluoreszenzmikroskopie mit kostengünstigen CMOS-Kameras

In jüngster Zeit haben die Fortschritte von High-End-CMOS-Kameras in Industriequalität das Interesse der wissenschaftlichen Gemeinschaft an der Möglichkeit geweckt, sich der Leistung von sCMOS-Kameras zu einem günstigeren Preis anzunähern39,40,41,42. Es hat sich gezeigt, dass solche CMOS-Kameras für die SMLM-Bildgebung verwendet werden können41,42. Die geringere Quanteneffizienz und das höhere Ausleserauschen begrenzen jedoch in vielen Bereichen die Bildqualität und die allgemeine Verwendbarkeit für die quantitative biomedizinische Forschung. Die Bewältigung der Herausforderung mit einer geeigneten Rauschunterdrückungsstrategie wäre eine kritische und zeitnahe Lösung, um die industrietauglichen Kameras für breitere Bildgebungsanwendungen umzuwandeln. Hier implementierten wir zuerst ACsN mit einer High-End-Industriekamera für die Weitfeldmikroskopie mit Epi- und TIRF-Beleuchtung (Abb. 5a-h). In beiden Konfigurationen verbesserte die ACsN-Rauschunterdrückung die Bildqualität erheblich und erzielte eine deutliche Übereinstimmung mit den von der sCMOS-Kamera erhaltenen Bildern (Ergänzende Fig. 5 und 6 sowie ergänzende Tabelle 2).

ein TIRF-Bild von F-Aktin in einer festen BPAE-Zelle, aufgenommen mit einer Bildrate von 38 Hz (Belichtungszeit: 26 ms). b Das gleiche Bild in a nach ACsN Rauschunterdrückung. c Epi-Fluoreszenz-Bildgebung von Mitochondrien in einer fixierten bovinen Pulmonalarterien-Endothelzelle (BPAE), aufgenommen mit einer Bildrate von 38 Hz (Belichtungszeit: 26 ms). d Das gleiche Bild in c nach der ACSN-Rauschunterdrückung. e-h Zoomed-in Bilder entsprechend den boxed Regionen in a-d, zeigt die Verbesserung der bildqualität nach ACsN Rauschunterdrückung. Insbesondere ist eine solche Verbesserung vergleichbar mit den mit sCMOS-Sensoren aufgenommenen Bildern, wie sie in den ergänzenden Fig. 5 und 6. i, j Bilder von GFP-gefärbtem Calcein in lebenden Adipozyten (Lipozyten), aufgenommen mit kostengünstigem CMOS für die miniaturisierte Mikroskopie vor (i) und nach (j) ACsN-Entrauschung. Die Daten wurden durch Eintauchen eines Miniskops in Lebendzellkultur aufgenommen. k-n Gezoomte Bilder der entsprechenden Box-Regionen in i und j. o, p Diagramme der Querschnittsintensitätsprofile zellulärer Strukturen vor (grau) und nach (rot) ACsN-Entrauschung entlang der gestrichelten Linien in k, l bzw. m, n. Skalierungsbalken: 10 µm (a, c), 4 µm (e, g), 50 µm (i), 20 µm (k).

Das auf Einzelphotonenanregung basierende miniaturisierte Mikroskop oder Miniscope wurde entwickelt, um Weitfeld-Calcium-Bildgebung bei sich frei benehmenden Tieren durchzuführen43,44,45. Die erforderliche Miniaturisierung wurde erreicht, indem zusammengesetzte Objektivlinsen durch eine Gradientenindex-Stablinse (GRIN) ersetzt wurden, die mehrere Vorteile bietet, darunter niedrige Kosten, geringes Gewicht und relativ hohe numerische Apertur. Diese Merkmale des Miniskops ermöglichen die minimalinvasive Bildgebung eines signifikanten Volumens des Gehirns mit einer Auflösung auf zellulärer Ebene während komplexer Verhaltens-, kognitiver und emotionaler Zustande46,47,48. Der derzeit eingesetzte kostengünstige CMOS-Sensor (MT9V032C12STM, ON Semiconductor, Preis ~ $ 15) liefert jedoch eine schlechte Bildqualität, um eine relativ hohe Abbildungsgeschwindigkeit zu erhalten, die für breitere Anwendungen in der Zellbildgebung stark einschränkend sein kann. Hier validierten wir die Machbarkeit von ACsN für den Miniscope-Sensor durch einzelphotonenanregungsbasierte Weitfeldbildgebung von GFP-gefärbtem Calcein in lebenden Adipozyten (Abb. 5i-p).

Selective plane illumination microscopy

Im Gegensatz zur Weitfeldmikroskopie beleuchtet die Selective Plane Illumination Microscopy (SPIM) die Probe mit einem Lichtbogen senkrecht zur Beobachtungsrichtung. Dies vermeidet unnötige Beleuchtung und ermöglicht eine beispiellose Langzeitabbildung dynamischer biologischer Proben49,50,51. Die Gitterlichtblattmikroskopie (LLSM) optimiert das optische System weiter, indem sie die Probe mit mehreren ebenen Wellen beleuchtet, die ein ausbreitungsinvariantes optisches Gitter bilden52. Während jedoch neue Strategien zur Behandlung von Stichprobenproblemen untersucht werden53,54, bleibt das Kamerarauschen aufgrund ihres relativ niedrigen Hintergrundsignals die relevanteste Einschränkung der SPIM- und LLSM-Bildgebungsfunktionen.

Wir haben zuerst gezeigt, dass ACsN Denoising diese Einschränkung überwinden kann, indem es einen SPIM-Volumenscan einer festen Salzgarnele durchführt. Hier haben wir die Selbstähnlichkeit durch 3D-Sparse-Filterung entlang der Scanrichtung verbessert. Nach der ACsN-Verarbeitung beobachteten wir, dass die Rauschunterdrückung die Details der Probe in jeder einzelnen Schicht besser hervorhebt (Ergänzende Abb. 7). Insbesondere macht sich die Korrektur des Rauschens mit festem Muster besonders in den Projektionsbildern mit maximaler Intensität bemerkbar (Fig. 6a, e und Ergänzungsfilm 5). Bemerkenswert ist zudem eine deutliche Verbesserung der orthogonalen Querschnitte des abgetasteten Volumens (Fig. 6b-d, f-h), was eine bessere Beurteilung der 3D-Strukturen der Probe ermöglicht.

Maximale Intensitätsprojektionen (MIP) von SPIM-Bildern einer fluoreszenzmarkierten erwachsenen Salzgarnele vor (a) und nach (e) ACsN-Rauschunterdrückung. Orthogonale Ansichten entlang der XZ-Ebene der rohen (b–d) und entrauchten (f–h) Volumenscans bei y = 237 mm (b, f), y = 904 mm (c, g) und y = 1491 mm (d, h). Schnitte entlang der XY- und YZ-Ebene sind in ergänzender Fig. 7. Dreidimensionales Rendering von lebenden menschlichen Lungenkrebszellen (NCI-H1299 NSCLC), die mit LLSM aufgenommen und mit ACsN Denoising verarbeitet wurden. Gezoomte Bilder des Bereichs, der dem weißen Feld in i vor (j) und nach (k) ACsN-Rauschunterdrückung entspricht. Die entsprechende Zeitraffersequenz ist in den Zusatzfilmen 6 und 7 vorgesehen. MIP-Bilder und repräsentative Slices sind in ergänzenden Fig. 9 und 10. Maßstabsbalken: 400 µm (a, e), 100 µm (b, f), 10 µm (i), 4 µm (k).

Um die ACsN-Verarbeitung für LLSM zu validieren, haben wir zunächst fixierte Hautzellen, die mit EGFP für Keratin gefärbt wurden, bei verschiedenen Belichtungszeiten (5, 10 und 20 ms) mit einer konstanten Laserbeleuchtungsleistung von 27 mW (gemessen in der hinteren Brennebene des Beleuchtungsobjektivs) abgebildet. Diese Bilder wurden im Sample-Scan-Modus aufgenommen, und dementsprechend mussten die Slices neu ausgerichtet werden, um die ursprünglichen Positionen abzurufen (siehe Methoden). Wir haben eine solche Operation vor der ACsN-Rauschunterdrückung durchgeführt, um die Selbstähnlichkeit entlang z für die 3D-Sparse-Filterung zu nutzen. Wir haben beobachtet, dass die Bildqualität durch Rauschunterdrückung auch nach einer Vervierfachung der Belichtungszeit gut erhalten werden kann (Ergänzende Abb. 8 und ergänzende Tabelle 3).

Darüber hinaus demonstrierten wir die ACsN-Bildwiederherstellung der Zeitraffer-Lebendzellen-LLSM-Bildgebung. Zuerst haben wir lebende menschliche Lungenkrebszellen (NCI-H1299 NSCLC) im Proben-Scan-Modus mit Intervallen von 18,4 s über mehr als 30 min abgebildet (Abb. 6i-k, Ergänzend Fig. 9 und ergänzende Filme 6 und 7). Wie oben erwähnt, erfordert der Sample-Scan-Modus ein Deskewing der volumetrischen Slices, was die Größe des Datensatzes und damit die Verarbeitungskomplexität erhöht. Im Gegensatz zum vorherigen Fall konnten wir jedoch für die Zeitraffer-Bildgebung die zeitliche Selbstähnlichkeit nutzen, die im Vergleich zur volumetrischen eine effizientere Rauschkorrektur erbringt55. Daher haben wir die Zeitraffer-Volumenscans denoisiert, indem wir die entsprechenden zeitlichen Stapel jedes einzelnen Slices verarbeitet haben. Auf diese Weise konnte ACsN vor dem Deskewing verwendet werden, wodurch die Rauschunterdrückungsleistung effektiv erhalten und gleichzeitig die Rechenzeit gespart wurde (Ergänzende Abb. 10). Als nächstes beobachteten wir die Bewegung von endogenem F-Aktin in lebenden mausembryonalen Fibroblasten unter Verwendung von LLSM im Sheet-Scan-Modus (siehe Methoden). Bemerkenswerterweise erzeugt dieser Modus keine Verschiebung zwischen den Schichten, und die volumetrischen Informationen können ohne Verzerrung abgerufen werden (Ergänzende Abb. 11). Insbesondere die Bewegung von Filopodien um die Zelle herum kann nach dem Entrauschen mit höherer Klarheit beobachtet werden (Ergänzender Film 8).