struktura algorytmiczna ACsN

ACsN łączy kalibrację kamery, szacowanie szumów i rzadkie filtrowanie, aby skorygować najbardziej istotne źródła szumów generowane przez kamerę sCMOS (rys. 1a oraz uwagi uzupełniające 1 i 2.1). W szczególności, ACsN najpierw koryguje szum o stałym wzorze za pomocą mapy przesunięcia i wzmocnienia pikseli sCMOS. Obecność szumu o stałym wzorze w aparatach sCMOS generuje w różnych pikselach (p) inną liczbę fotoelektronów z tej samej liczby uderzających fotonów (Sp). Efekt ten jest proporcjonalny do poziomu oświetlenia i może być modelowany jako współczynnik mnożnikowy YP zastosowany do parametru zmiennej rozproszonej Poissona Sp. Jednocześnie, podczas konwersji analogowo-cyfrowej (AD), napięcie wytwarzane przez każdy piksel jest odczytywane jako różnica w stosunku do poziomu odniesienia, co oznacza brak światła. W praktyce temu napięciu odniesienia przypisuje się wartość dodatnią, która odpowiada za odchylenie (ßp) w zmierzonych wartościach natężenia. Zatem pozyskanie kamery sCMOS można modelować za pomocą równania:20

gdzie ZP jest wartością piksela p, τ czasu ekspozycji i N (0, σr) rozkładu Gaussa szumu odczytu średniego µr = 0 i odchylenia standardowego σr. Biorąc pod uwagę praktyczność mikroskopii fluorescencyjnej, w tym modelu pominęliśmy udział ciemnego prądu, który może być pominięty dla czasów ekspozycji poniżej 1 s, oraz szum kwantyzacji spowodowany konwersją AD, który jest znikomy w porównaniu do szumu odczytu3,21 (Uwaga uzupełniająca 2.2).

ys. 1: koncepcja i wydajność ACsN.

koncepcja algorytmu ACsN. Obraz wejściowy jest skalowany za pomocą map wzmocnienia pikseli i przesunięcia kamery w celu usunięcia szumu o stałym wzorze (FP). Następnie, wykorzystując parametry eksperymentalne, granica OTF jest obliczana i wykorzystywana do wytworzenia wysoko-przelotowego filtrowanego obrazu, z którego uzyskuje się oszacowanie szumu (NE). Wreszcie, filtrowanie sparse (SF) jest wykonywane w celu wygenerowania obrazu denoised. B porównanie zmian szumów przed (szare kwadraty) i po (czerwone kółka) korekcja szumów. Wszystkie dane zostały podzielone przez wartość oczekiwaną dla czystego szumu Poissona. Linia przerywana reprezentuje idealną wydajność aparatu. Do wygenerowania tego wykresu wykorzystano trzy różne zestawy obrazów mikrotubul HeLa. Paski błędów reprezentują czasowe odchylenie standardowe (STD) ocenione na ponad 100 obrazach. mapy fluktuacji c, d, tj. STD oceniały ponad 100 obrazów sCMOS uzyskanych w czasie ekspozycji 10 ms przed (c) i po (d) denoizacji ACsN. Natężenia są wyrażone w jednostkach analogowo-cyfrowych (ADU). E, F powiększone obrazy obszarów oznaczonych białymi kwadratami odpowiednio w c i D. G temporalne wahania wartości intensywności pikseli odpowiadających zakreskowanym obszarom (1 i 2) odpowiednio w e i F. Wartości z obrazów oryginalnych i denoised są wykreślane odpowiednio w kolorze szarym i czerwonym. Paski skali: 500 nm (a), 1 µm (b), 3 µm (d), 300 nm (f).

ponieważ szum o stałym wzorze zależy tylko od obwodu kamery, ßp i yp można oszacować za pomocą jednorazowej kalibracji (patrz metody). Jednak dokładna ocena zarówno szumu odczytu rozproszonego Gaussa, N(0, σR), jak i fluktuacji spowodowanej szumem fotonu rozproszonego Poissona, Pois{SP(τ)}, jest konieczna do uzyskania dokładnego oszacowania sygnału wyjściowego Sp. W celu przeprowadzenia tej oceny opracowaliśmy model szumu, który pozwala na wspólne oszacowanie wariancji szumu poprzez analizę odpowiedzi częstotliwościowej układu mikroskopowego. Jest to oparte na fakcie, że rozkład Poissona szumu fotonu może być prawdopodobnie przybliżony przez rozkład Gaussa, gdy strumień fotonu wynosi >3 fotony na piksel22. W szczególności, błąd wprowadzony przez przybliżenie wariancji Poissona, \(\sigma _p^2\), z wariancją Gaussa, \(\sigma _g^2\), staje się <1%, gdy strumień fotonów jest większy niż 5 fotonów na piksel (Uwaga uzupełniająca 2.3). W szczególności, wyżej wymienione warunki dotyczące strumienia fotonów są zwykle spełnione dla wielu zastosowań w mikroskopie fluorescencyjnym23, 24. Dlatego uważamy, że szum związany z kamerą jest wynikiem sumy dwóch niezależnych zmiennych losowych rozproszonych Gaussa, których wariancja wynosi \(\sigma _n^2 = \ sigma _r^2 + \ sigma _g^2\). Taki rozkład składa się ze stałej gęstości widmowej mocy, podczas gdy sygnały pochodzące z próbki są zawarte w funkcji transferu optycznego (OTF)25. Dlatego wykorzystujemy znajomość układu optycznego do oceny fluktuacji pikseli poza OTF, która jest spowodowana tylko szumem, a następnie wykorzystujemy uzyskaną wartość do uzyskania σN na oryginalnym obrazie (Uwaga uzupełniająca 2.3).

następnie algorytm wykorzystuje te statystyki szumu do nielokalnej oceny samopodobieństwa próbki i do przeprowadzenia wspólnego filtrowania na sekwencji wejściowej. W przeciwieństwie do poprzednich implementacji filtrowania opartego na współpracy, przyjęliśmy podejście warstwowe, które sekwencyjnie bada samopodobieństwo obrazu w przestrzeni i czasie w celu poprawy korekcji szumów bez poświęcania dokładności i czasu pracy. Krótko mówiąc, filtr rozkłada obraz w plastry i sortuje go w trójwymiarowe (3D) grupy zgodnie z ich podobieństwo26. Następnie wykorzystuje transformację 3D, aby przetworzyć każdą grupę naraz. Denoising jest wykonywany przez twarde progowanie i wzmocniony przez fakt, że ze względu na podobieństwo między łat, transformacja 3D powoduje jeszcze rzadszą reprezentację oryginalnych łat, podczas gdy widmo mocy szumu pozostaje stałe27. Następnie odbarwione łaty są zwracane do swoich pierwotnych lokalizacji, tworząc pośredni obraz. W tym momencie filtr współpracujący jest uruchamiany po raz drugi, ale zastępuje twardy próg filtrem Wienera. Filtr jest wykonywany przy użyciu zarówno głośnych, jak i pośrednich obrazów i generuje końcowy odbarwiony obraz (Uwaga uzupełniająca 2.4). Należy zauważyć, że przestrzenna zmienność szumu na obrazie może wpływać na działanie filtra Wienera. Jest to jednak znacznie złagodzone przez zastosowanie przetwarzania opartego na łatach, które w porównaniu z całym obrazem zwiększa jednolitość intensywności w poszczególnych grupach łatek, wykazując dużą stabilność w stosunku do przestrzennego wariantu szumu9.

wreszcie wykonywany jest kolejny filtr współpracujący szukający podobnych łat również w sąsiednich klatkach. W ten sposób można jeszcze bardziej ograniczyć utrzymujący się hałas, wykorzystując samopodobieństwo próbki w czasie, przy zachowaniu rozdzielczości czasowej18 (Uwaga uzupełniająca 2.5).

charakterystyka ACsN

następnie scharakteryzowaliśmy wydajność ACsN zarówno na podstawie danych numerycznych, jak i eksperymentalnych. W szczególności, wspólne filtrowanie ACsN zależy od estymacji σN, jak również od wyboru parametrów w algorytmie28, które zostały wybrane w celu optymalizacji zarówno korekcji szumu, jak i czasu pracy (Uwaga uzupełniająca 3.1). Zauważyliśmy, że nasza strategia może znacznie złagodzić szkodliwy wpływ szumu kamery, unikając utraty rozdzielczości obrazu, zwłaszcza w przypadku zakłóceń o dużym wariancie przestrzennym (Uwaga uzupełniająca 3.2). Co więcej, szum kamery może wywoływać czasowe wahania wartości pikseli, które nie są związane z próbką, wpływając w ten sposób na ilościową analizę danych poklatkowych. Odazotowanie ACsN zmniejsza ten efekt o około jeden rząd wielkości, z resztkowymi fluktuacjami porównywalnymi do idealnego aparatu fotograficznego (rys. 1b-g i Uwaga uzupełniająca 3.3). Ponadto należy zauważyć, że przy niskiej liczbie fotonów szczegóły próbki zaczynają być porównywalne z fluktuacjami szumów i stają się trudniejsze do odzyskania. W ten sposób wydajność przywracania obrazu jest nieodłącznie związana ze strumieniem fotonów obrazu wejściowego. Niemniej jednak, wykorzystując zarówno symulacje, jak i dane eksperymentalne, zweryfikowaliśmy solidną korekcję szumów ACsN przy słabym oświetleniu do 5-10 fotonów na piksel (Uwaga uzupełniająca 3.4).

ponadto zwalidowaliśmy wydajność ACsN przy różnych częstotliwościach próbkowania normalnie przyjętych do mikroskopii fluorescencyjnej. W praktyce częstotliwość próbkowania zbliżona do kryterium Nyquista stanowi dobrą kompromis między stosunkiem sygnału do szumu (SNR) a zachowaniem szczegółów. Tutaj, badając numerycznie i doświadczalnie w szerokim zakresie częstotliwości próbkowania, wykazaliśmy żywotność ACsN dla niskiego SNR z oversamplingiem i bez zauważalnej utraty sygnałów z niedostatecznym próbkowaniem (Uwaga uzupełniająca 3.5).

w przeciwieństwie do naturalnych obrazów, fluorescencyjne obrazy próbek biologicznych są wysoce określone, wykazując precyzyjnie oznaczone cele molekularne lub struktury w komórkach. Dlatego każdy obraz fluorescencyjny zwykle zawiera określone obiekty powtarzające się w polu widzenia, które zapewnia wystarczające nielokalne samopodobieństwo, aby algorytm był szczególnie skuteczny w mikroskopii fluorescencyjnej. Na podstawie danych numerycznych i eksperymentalnych scharakteryzowaliśmy zależność działania ACsN od zastosowania samopodobieństwa obrazu wejściowego (Uwaga uzupełniająca 3.6). Ponadto, jak pokazano poniżej, oceniliśmy ilościowo wiele niebiologicznych i biologicznych próbek w celu weryfikacji żywotności metody, obejmujących różne wymiarowość, morfologię, losowość i gęstość, takie jak cele kalibru, cząsteczki fluorescencyjne, pojedyncze cząsteczki, mikrotubule, włókna aktyny, mitochondria, filopodia, lamellipodia i małe zwierzęta.

mikroskopia szerokokątna

mikroskopia szerokokątna, w szczególności mikroskopia TIRF (Total internal reflection fluorescence), jest jedną z najczęściej stosowanych technik w obrazowaniu komórkowym29. TIRF wykorzystuje zjawisko całkowitego wewnętrznego odbicia światła na styku szkło-woda w celu stworzenia fali ulotnej, która rozchodzi się tylko przez kilkaset nanometrów w poprzek pokrywy. Umożliwia to selektywne wzbudzenie etykiet fluorescencyjnych na dole próbki(dodatkowe rys. 1a). Jednak w przypadku słabych emiterów fluorescencyjnych, słabego natężenia światła lub krótkiego czasu ekspozycji szum związany z sCMOS staje się poważny i pogarsza jakość obrazu (dodatkowe rys. 1B). Odszumianie ACsN może skutecznie zmniejszyć taki wkład i odzyskać niezakłócone sygnały z szumu, umożliwiając szybszą akwizycję bez narażania sygnału bazowego(dodatkowe rys. 1c, d).

zademonstrowaliśmy denoizację mikroskopii szerokokątnej ACsN zarówno w konfiguracjach epi-fluorescencji, jak i TIRF przy użyciu różnych stałych, żywych i wielokolorowych próbek subkomórkowych, w tym mikrotubul (Fig. 1 i dodatkowe rys. 1), mitochondria (rys. 2 i dodatkowe filmy 1 i 2) oraz F-aktyna (rys. 2). Zastosowanie ACsN może utrzymać tę samą jakość obrazu przy krótszym czasie ekspozycji (tj. lepszej rozdzielczości czasowej) i niższym poziomie wzbudzenia (tj. mniej uszkodzeń zdjęć). Wydajność jest więc ograniczona przede wszystkim przez fotofizykę emiterów fluorescencyjnych. Korzystając z metryk ilościowych, pokazaliśmy, że metoda może odzyskać obrazy o szerokim polu przy budżecie fotonu o dwa rzędy wielkości mniejszej bez utraty jakości obrazu (tabela uzupełniająca 1).

ys. 2: korekcja szumów ACsN poprawia mikroskopię fluorescencyjną w szerokim polu.

obrazowanie EPI-fluorescencyjne mitochondriów w stacjonarnych komórkach śródbłonka bydlęcej tętnicy płucnej (bpae) w czasie ekspozycji 1 ms. B ten sam obraz w a po denoizacji ACsN. C-f powiększone obrazy odpowiednich regionów pudełkowych w a i b. wyniki ilościowe i analizy przedstawiono w dodatkowej Tabeli 1. G reprezentatywna ramka z upływu czasu 100 obrazów mitochondriów w żywych ludzkich embrionalnych komórkach nerek (HEK) rejestrowanych przy 50 Hz (Czas ekspozycji: 20 ms). H odpowiednia reprezentatywna Klatka sekwencji obrazu (g) uzyskana po przetworzeniu ACsN. Wstawki w g I h pokazują powiększone obrazy odpowiednich regionów zaznaczonych w przerywanym białym polu W g. i-n powiększone obrazy odpowiednich regionów zaznaczonych w pełnym żółtym polu W g w różnych punktach czasowych 200 ms (i, l), 800 ms (j, m) i 1200 ms (k, n). O, P dwukolorowy obraz, odpowiednio, przed (o) i po (P) acsn denoising F-aktyny (cyjan) i mitochondriów (pomarańczowy) w stałych komórkach BPAE uzyskanych przez mikroskopię TIRF z czasem ekspozycji 2 ms. q, r przekrojowe profile intensywności (o) I (p) wzdłuż odpowiadającej linii przerywanej w o, odpowiednio, pokazując znacznie denoizowane i lepiej rozdzielone struktury komórkowe. Paski skali: 10 µm (b), 3 µm (f), 4 µm (h, p), 1 µm (H, P) I (l).

dekonwolucja i mikroskopia pola świetlnego

dekonwolucja obrazu jest szeroko stosowana w mikroskopii optycznej, od przywrócenia obrazów o niskiej jakości do poprawy technik superrozdzielczości30. Jednak hałas może łatwo pogorszyć wydajność wielu popularnych algorytmów, wytwarzając artefakty dekonwolucyjne. Zamiast tego zaobserwowaliśmy znaczną redukcję takich artefaktów w zdekonwolfikowanych obrazach poprzez zastosowanie denoizacji ACsN przed różnymi metodami opartymi na algorytmie Richardsona-Lucy 31, uczeniu maszynowym32 i fluktuacji promieniowej33 (Uwaga uzupełniająca 4.1). Poprawa przywracania obrazu jest również odzwierciedlona przez poprawę globalnej jakości obrazu, ocenianej przy użyciu takich wskaźników, jak współczynnik Pearsona skalowany rozdzielczością (RSP)34. Na przykład, łącząc acsn i fluktuację radialną, wygenerowaliśmy obrazy w superrozdzielczości o lepszej wartości RSP przy rozdzielczości czasowej do dwóch rzędów wielkości wyższej niż obecnie zgłaszane33 (dodatkowe rys. 2).

dekonwolucja obrazu jest również podstawą trójwymiarowej rekonstrukcji w mikroskopii pola świetlnego (LFM). LFM wykorzystuje w systemie mikroskopowym matrycę mikrolenów, aby uzyskać zarówno dwuwymiarową (2D) przestrzenną, jak i kątową informację o padającym świetle, co pozwala na obliczeniową rekonstrukcję pełnej objętości próbki 3D z pojedynczej klatki kamery35. Jednak proces rekonstrukcji oparty na dekonwolucji jest bardzo wrażliwy na SNR, zwłaszcza dzięki szerokokątnemu, objętościowemu i szybkiemu schematowi obrazowania LFM. Z tego powodu zastosowanie ACsN do korygowania szumów w obrazach raw (rys. 3a, b) powoduje wyraźnie zauważalną poprawę rekonstrukcji pola świetlnego 3D (rys. 3c, d). Rzeczywiście, obecność szumu prowadzi do błędnego obliczenia obiektu 3D lub propagacji pików nie związanych z fluoroforami. Pierwszy z nich wpływa na próbkowanie wzdłuż wymiaru osiowego i może skutkować nierównomierną rozdzielczością osiową (rys. 3e, f). Ten ostatni wytwarza dodatkowe tło, które zakrywa sygnał fluorescencji, pogarszając również rozdzielczość boczną (rys. 3g-i). Korzystając z ACsN, oba niedobory można złagodzić, co skutkuje znacznie ulepszonym objętościowym renderowaniem struktur komórkowych w 3D.

ys. 3: Acsn denoising poprawia jakość rekonstrukcji 3D w mikroskopii pola świetlnego.

A, b surowe obrazy mikrotubul w komórce HeLa przed (a) i po (B) przetwarzaniu ACsN. Wstawki pokazują powiększone obrazy mikrolenów odpowiednich obszarów pudełkowych, w których hałas został znacznie zmniejszony, jak widać w trójwymiarowych (3D) zrekonstruowanych obrazach B.C, D, uzyskanych odpowiednio z a i b. Informacje o głębi są kodowane zgodnie z paskiem skali kolorów. Wstawki pokazują powiększone obrazy odpowiednich białych przerywanych obszarów pudełkowych, w których obserwuje się lepszą jakość obrazu i lepszą rozdzielczość 3D po odcięciu ACsN. przekroje E, f na płaszczyźnie YZ odpowiadające czerwonym przerywanym liniom odpowiednio w c i d, gdzie struktury mikrotubulowe są lepiej rozwiązywane z zredukowanymi artefaktami za pomocą ACsN. G, H Zoomed-in images of the red solid boxed regions in C and D, odpowiednio, at z = 1.4 µm, where microtubule structures are better resolved using ACsN. i profile przekrojowe (g, szary) i (H, czerwony) odpowiadające białym przerywanym liniom odpowiednio w g, h. Włókna pokryte szumem tła Nie związanym z fluoroforami są rozwiązywane za pomocą ACsN. Paski skali: 8 µm (b, d), 800 nm (B, wstawka), 3 µm (d, wstawka), 1 µm (e, g).

mikroskopia lokalizacji pojedynczej cząsteczki

aby zweryfikować wykonalność ACsN dla mikroskopii lokalizacji pojedynczej cząsteczki (SMLM)36, wykonaliśmy obrazowanie burzowe mitochondriów w komórkach HeLa (dodatkowe rys. 3). Efekt szumu związanego z sCMOS w lokalizacji pojedynczej cząsteczki można zobaczyć w dwóch aspektach: obecność fałszywych negatywów, z powodu utraty słabo emitujących cząsteczek objętych hałasem (dodatkowe rys. 3c, d) i obecność fałszywie alarmów, ze względu na gorące piksele lub po prostu rozkład szumów (dodatkowe rys. 3e, f). Usunięcie szumu z nieprzetworzonych danych jednocząsteczkowych pozwala na tłumienie obu typów błędów lokalizacyjnych, co skutkuje znacznie lepszą jakością obrazu burzy i metrykami, takimi jak RSP i błąd skalowania rozdzielczości (RSE)34 (rys. 4a, b). Ponadto taka poprawa wydajności lokalizacji prowadzi do lepszego kontrastu i pojawienia się cech nie wyraźnie widocznych w rekonstrukcji bez denoisingu (rys. 4c-f). Ponadto zmniejszenie fluktuacji pikseli niezwiązanych z próbką pozwala uzyskać mapę szybkości migania fluoroforów, która może być wykorzystana do złagodzenia skutków niedoskonałego etykietowania (dodatkowe rys. 4).

ys. 4: ACsN poprawia wydajność lokalizacji w burzy i śledzenia pojedynczych cząstek.

obraz burzowy mitochondriów w stałej komórce HeLa (RSP: 0.81, RSE: 40.6). obraz burzy B zrekonstruowany po Denoizacji przez ACsN surowych danych z pojedynczej cząsteczki a (RSP: 0,85, RSE: 36,7). W obu przypadkach wykorzystano 5000 jednocząsteczkowych ramek. Reprezentatywne ramy surowych danych przed i po denoizacji przedstawiono na Rys. uzupełniającym. 3. Ilościowa analiza obrazu za pomocą NanoJ-SQUIRREL oceniła poprawę zarówno wartości RSP ( + 0,04), jak i RSE (-3,9) w b w porównaniu do a. Obserwuje się, że liczba lokalizacji w b jest zwiększona w porównaniu z a, co prowadzi do lepszego kontrastu w pierwszym i do pojawienia się cech niewidocznych w drugim (c–f). g śledzenie pojedynczych cząstek fluorescencyjnego koralika rejestrowanego z czasem ekspozycji 1 ms. Reprezentatywna ramka jest pokazana we wstawce. Każdy kolor odpowiada jednej z sześciu różnych ścieżek wykrytych. h śledzenie pojedynczych cząstek tego samego koralika w g po denoizacji ACsN (inset). Ulepszony SNR daje lepszą dokładność lokalizacji, co skutkuje pojedynczą, gładką trajektorią (czarna linia). i reprezentatywna ramka do śledzenia pojedynczych cząstek dwupłatowych przy częstotliwości klatek 1 kHz (czas ekspozycji: 1 ms) przed (po lewej) i po (po prawej) odszranianiu ACsN. Paski skali: 4 µm (a), 2 µm (c, e, i), 1 µm (G, w), 250 nm (h).

podobnie jak obrazowanie jednocząsteczkowe, precyzja lokalizacji w śledzeniu pojedynczych cząstek (SPT) jest ściśle związana z liczbą wykrytych fotonów. Dlatego jednym z kluczowych czynników wpływających na wydajność SPT jest SNR danych obrazowych37. Pokazaliśmy, że ACsN może być stosowany w celu zminimalizowania błędów lokalizacyjnych odpowiedzialnych za błędną identyfikację cząstek i błędnych trajektorii (rys. 4G, h i dodatkowy film 3). Ta poprawa SNR skutkuje lepszą dokładnością lokalizacji cząstek, tj. lepszym oszacowaniem bocznego przemieszczenia kulki z czułością subpikseli. Może to być bardzo przydatne również w dwupłatowym SPT, gdzie dokładność śledzenia 3D zależy od jakości nieostrego obrazu38 (rys. 4i, film uzupełniający 4 i Uwaga uzupełniająca 4.2).

mikroskopia Fluorescencyjna z tanimi kamerami CMOS

ostatnio postępy wysokiej klasy przemysłowych kamer CMOS wzbudziły zainteresowanie społeczności naukowej możliwością podejścia do wydajności kamer sCMOS po bardziej przystępnej cenie39, 40,41,42. Wykazano, że takie kamery CMOS można wykorzystać do obrazowania SMLM41,42. Jednak niższa wydajność kwantowa i wyższy szum odczytu ograniczają jakość obrazu i ogólną użyteczność dla ilościowych badań biomedycznych w wielu obszarach. Podjęcie tego wyzwania za pomocą odpowiedniej strategii odszumiania zapewniłoby krytyczne i terminowe rozwiązanie umożliwiające przekształcenie kamer przemysłowych w szersze zastosowania obrazowania. Tutaj po raz pierwszy wdrożyliśmy ACsN z wysokiej klasy kamerą przemysłową do mikroskopii szerokokątnej z wykorzystaniem oświetlenia epi-i TIRF (rys. 5a-h). W obu konfiguracjach Denoising ACsN znacznie poprawił jakość obrazu, osiągając wyraźną zgodność z obrazami uzyskanymi przez kamerę sCMOS(Fig. 5 i 6 oraz dodatkowa Tabela 2).

ys. 5: ACsN poprawia mikroskopię fluorescencyjną za pomocą tanich kamer CMOS.

obraz TIRF f-aktyny w stałej komórce BPAE, wykonany z częstotliwością klatek 38 Hz (czas ekspozycji: 26 ms). b ten sam obraz w a po denoizacji ACsN. c EPI-fluorescencyjne obrazowanie mitochondriów w stałej komórce śródbłonka tętnicy płucnej bydła (bpae), wykonane z częstotliwością klatek 38 Hz (czas ekspozycji: 26 ms). d ten sam obraz w c po denoizacji ACsN. powiększone obrazy E-h odpowiadające obszarom pudełkowym w a-d, pokazujące poprawę jakości obrazu po odmowie ACsN. W szczególności taka poprawa jest porównywalna z obrazami wykonanymi za pomocą czujników sCMOS, jak pokazano na dodatkowych Fig. 5 i 6. i, J wizerunki GFP-barwione kalceina w żywych Adipocytes (lipocytes) pobrane z low-cost CMOS dla zminiaturyzowanych mikroskopii przed (i) i po (j) acsn denoising. Dane zostały pobrane przez zanurzenie miniskopu w hodowli żywych komórek. powiększone obrazy K-n odpowiadających im obszarów pudełkowych w i I j. O, P wykresy przekrojowych profili intensywności struktur komórkowych przed (szarym) i po (czerwonym) denoising ACsN wzdłuż przerywanych linii odpowiednio w k, l I m, n. Paski skali: 10 µm (A, c), 4 µm (e, g), 50 µm (i), 20 µm (k).

miniaturyzowany mikroskop oparty na wzbudzeniu pojedynczych fotonów został opracowany do wykonywania obrazowania wapnia w szerokim polu u swobodnie zachowujących się zwierząt43, 44, 45. Wymagana miniaturyzacja została osiągnięta przez zastąpienie obiektywów złożonych soczewkami z gradientowym indeksem (GRIN), który oferuje kilka zalet, w tym niski koszt, niewielką wagę i stosunkowo wysoką aperturę numeryczną. Te cechy miniskopu umożliwiają małoinwazyjne obrazowanie znacznej objętości mózgu z rozdzielczością na poziomie komórkowym podczas złożonych stanów behawioralnych,poznawczych i emocjonalnych46,47, 48. Jednak tani sensor CMOS (MT9V032C12STM, na półprzewodnikach, cena ~15 USD) obecnie przyjęty daje słabą jakość obrazu w celu uzyskania stosunkowo wysokiej prędkości obrazowania, co może być poważnie restrykcyjne w szerszych zastosowaniach w obrazowaniu komórek. W tym miejscu zweryfikowaliśmy wykonalność ACsN dla czujnika miniskopowego, wykonując oparte na wzbudzeniu jednofotonowym, szerokie pole obrazowania kalceiny barwionej GFP w żywych adipocytach (rys. 5i-p).

Selective plane illumination microscopy

w przeciwieństwie do mikroskopii szerokokątnej, selective plane illumination microscopy (SPIM) oświetla próbkę arkuszem światła prostopadłym do kierunku obserwacji. Pozwala to uniknąć niepotrzebnego oświetlenia, umożliwiając niezrównane długoterminowe obrazowanie dynamicznych próbek biologicznych49, 50, 51. Siatkowa mikroskopia świetlna (ang. Lattice light-sheet microscopy, LLSM)dodatkowo optymalizuje układ optyczny, oświetlając próbkę wieloma falami płaskimi, które rzeźbią niezmienną w propagacji siatkę optyczną52. Jednak podczas gdy nowe strategie są badane w celu rozwiązania problemów związanych z próbkami53,54, szum kamery pozostaje najbardziej istotnym ograniczeniem możliwości obrazowania SPIM i LLSM ze względu na ich stosunkowo niski sygnał tła.

Po raz pierwszy zademonstrowaliśmy, że odazotowanie ACsN może przezwyciężyć to ograniczenie, wykonując SPIM volumetric scan stałej krewetki solankowej. Tutaj poprawiliśmy samopodobieństwo za pomocą rzadkiego filtrowania 3D wzdłuż kierunku skanowania. Po przetworzeniu ACsN zauważyliśmy, że redukcja szumów sprawia, że szczegóły próbki wyróżniają się lepiej w każdym kawałku (dodatkowe rys. 7). W szczególności korekcja szumu o stałym wzorze jest szczególnie zauważalna w przypadku obrazów projekcyjnych o maksymalnej intensywności (rys. 6a, e i Film dodatkowy 5). Ponadto godne uwagi jest obserwowanie wyraźnej poprawy prostopadłych przekrojów skanowanej objętości (rys. 6B–d, f-h), co pozwala na lepszą ocenę struktur 3D próbki.

ys. 6: ACsN przetwarzanie danych wolumetrycznych uzyskanych za pomocą SPIM i LLSM.

projekcje maksymalnej intensywności (MIP) obrazów SPIM dorosłych krewetek solankowych znakowanych fluorescencyjnie przed (a) i po (E) denoising ACsN. Widok ortogonalny wzdłuż płaszczyzny XZ skanów wolumetrycznych surowych (b–d) i denozowanych (f–h) przy y = 237 mm (b, f), y = 904 mm (c, g) i y = 1491 mm (d, h). Plastry wzdłuż płaszczyzny XY i YZ przedstawiono na rysunku uzupełniającym. 7. i trójwymiarowe renderowanie żywych ludzkich komórek raka płuc (NCI-H1299 NSCLC) nabytych za pomocą LLSM i przetwarzanych za pomocą denoisingu ACsN. Powiększone-obrazy obszaru odpowiadającego białej ramce w i przed (j) i po (k) odmowie ACsN. Odpowiednia Sekwencja poklatkowa została przedstawiona w dodatkowych filmach 6 i 7. Obrazy MIP i reprezentatywne plastry są przedstawione na fig uzupełniających. 9 i 10. Paski skali: 400 µm (A, e), 100 µm (b, f), 10 µm (i), 4 µm (k).

aby zweryfikować przetwarzanie ACsN dla LLSM, najpierw zobrazowaliśmy stałe komórki skóry zabarwione na keratynę za pomocą EGFP w różnych czasach ekspozycji (5, 10 i 20 ms) przy użyciu stałej mocy oświetlenia laserowego 27 mW (mierzonej w tylnej płaszczyźnie ogniskowej obiektywu oświetleniowego). Obrazy te zostały uzyskane za pomocą trybu skanowania próbki i w związku z tym plasterki musiały być odklejone, aby odzyskać oryginalne pozycje (patrz metody). Wykonaliśmy taką operację przed denoisingiem ACsN, aby wykorzystać samopodobieństwo wzdłuż z do filtrowania 3D. Zauważyliśmy, że jakość obrazu może być dobrze utrzymana przez denoising nawet po czterokrotnym skróceniu czasu ekspozycji (dodatkowe rys. 8 i tabela uzupełniająca 3).

ponadto zademonstrowaliśmy Przywracanie obrazu ACsN w obrazowaniu poklatkowym LLSM na żywo. Po pierwsze, obrazowaliśmy żywe ludzkie komórki raka płuc (NCI-H1299 NSCLC)w trybie skanowania próbki w odstępach 18,4 s W ciągu ponad 30 minut (rys. 6i-k, dodatkowe rys. 9, oraz Filmy uzupełniające 6 i 7). Jak wspomniano powyżej, tryb skanowania próbki wymaga deskowania plastrów objętościowych, co zwiększa rozmiar zbioru danych,a następnie złożoność przetwarzania. W przeciwieństwie jednak do poprzedniego przypadku, w przypadku obrazowania poklatkowego udało nam się wykorzystać samopodobieństwo temporalne, co daje skuteczniejszą korekcję szumu w porównaniu z objętościowym55. W związku z tym odcięliśmy skany wolumetryczne poklatkowe, przetwarzając odpowiednie stosy czasowe każdego pojedynczego kawałka. W ten sposób ACsN może być używany przed deskowaniem, skutecznie zachowując wydajność odszumiania przy jednoczesnym oszczędzaniu czasu obliczeniowego (dodatkowe rys. 10). Następnie obserwowaliśmy ruch endogennej f-aktyny u żywych mysich fibroblastów embrionalnych przy użyciu LLSM w trybie skanowania arkuszy (patrz metody). Warto zauważyć, że tryb ten nie powoduje żadnych przesunięć między plasterkami, a informacje objętościowe mogą być pobierane bez odklejania (dodatkowe rys. 11). W szczególności ruch filopodii wokół komórki można zaobserwować z większą klarownością po denozacji (film dodatkowy 8).