Rychlé a přesné sCMOS hluku korekce pro fluorescenční mikroskopii
ACsN algoritmický rámec
ACsN kombinuje kamera kalibrace, hluk odhad a řídké filtrování, jaká nejvýznamnější zdroje hluku generované sCMOS kamery (Obr. 1a a doplňkové poznámky 1 a 2.1). Zejména ACsN nejprve koriguje šum s pevným vzorem pomocí mapy offsetu a zisku Pixelů sCMOS. Přítomnost fixní-vzor hluku v sCMOS kamery generuje v různých pixelů (p) jiný počet elektronů ze stejného množství dopadající fotony (Sp). Tento efekt je úměrný úrovni osvětlení a může být modelován jako multiplikativní faktor yp aplikovaný na parametr poissonově distribuované proměnné Sp. Současně se během převodu analogově-digitální (AD) odečte napětí produkované každým pixelem jako rozdíl od referenční úrovně, což představuje nepřítomnost světla. V praxi je tomuto referenčnímu napětí přiřazena kladná hodnota, která je zodpovědná za zkreslení (ßp) v měřených hodnotách intenzity. Proto, získání sCMOS kamera může být modelován rovnicí:20
kde Zp je hodnota pixelu p, τ je doba expozice, a N (0, opakovatelnosti σr) Gaussova-distribuované odečet hluku říct, µR = 0 a směrodatná odchylka opakovatelnosti σr. S ohledem na praktičnost fluorescenční mikroskopie, v tomto modelu zanedbáváme příspěvek temný proud, který může být ignorována pro expoziční časy pod 1 s, a kvantizační šum v důsledku AD konverze, která je zanedbatelná ve srovnání s hodnotou noise3,21 (Doplňující Poznámka 2.2).
protože hluk pevného vzoru závisí pouze na obvodech kamery, ßp a yp lze odhadnout jednorázovou kalibrací (viz metody). Nicméně, pečlivé posouzení obou Gaussových-distribuované odečet šumu N(0, opakovatelnosti σr), a kolísání v důsledku Poisson-distribuované photon výstřel hluk, Poi{Sp(τ)}, je nutné získat přesný odhad základní signál Sp. K provedení tohoto hodnocení jsme navrhli šumový model, který umožňuje společný odhad rozptylu šumu analýzou frekvenční odezvy mikroskopického systému. To je založeno na skutečnosti, že Poissonovo rozdělení fotonu výstřel hluk může být reálně aproximovat Gaussovo rozdělení, kdy photon flux je >3 fotonů za pixel22. Zejména, chyba zavedena aproximace Poissonova rozptyl, \(\sigma _P^2\), s Gaussův rozptyl, \(\sigma _G^2\), stává <1%, když photon flux je více než 5 fotonů na pixel (Doplňující Poznámka 2.3). Zejména výše uvedené podmínky na fotonovém toku jsou obvykle splněny pro mnoho aplikací ve fluorescenční mikroskopii23, 24. Proto považujeme fotoaparát-související hluk jako výsledek součtu dvou nezávislých Gaussových-distribuované náhodné proměnné, jejichž rozptyl je \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\). Takové rozdělení sestává z konstantní výkonové spektrální hustoty, zatímco signály přicházející ze vzorku jsou obsaženy v rámci optické přenosové funkce (OTF)25. Proto využíváme znalosti optického systému k vyhodnocení fluktuace Pixelů mimo OTF, která je způsobena pouze šumem, a poté použijeme získanou hodnotu k odvození σN v původním obrazu(doplňková Poznámka 2.3).
dále algoritmus používá tyto statistiky šumu pro nelokální hodnocení podobnosti vzorku a pro provádění kolaborativního řídkého filtrování na vstupní sekvenci. Na rozdíl od předchozích implementací kolaborativního filtrování jsme přijali vrstvený přístup, který postupně sonduje podobnost obrazu v prostoru a čase, aby se zlepšila korekce šumu bez ztráty přesnosti a běhu. Stručně řečeno, filtr rozkládá obraz v záplatách a třídí je do trojrozměrných (3D) skupin podle jejich podobnosti26. Poté využívá 3D transformaci ke zpracování každé skupiny najednou. Na odstranění šumu se provádí tvrdé prahování a umocňuje skutečnost, že vzhledem k podobnosti mezi záplaty, 3D transformovat výsledky v ještě řidší zastoupení původního patche, vzhledem k tomu, že výkonové spektrum šumu zůstává constant27. Poté jsou denoizované záplaty vráceny na původní místa, aby vytvořily mezilehlý obraz. V tomto okamžiku je kolaborativní filtr spuštěn podruhé, ale nahrazuje hard-thresholding Wienerovým filtrem. Filtr se provádí pomocí hlučného i mezilehlého obrazu a generuje konečný denoizovaný obraz (doplňková Poznámka 2.4). Je třeba poznamenat, že prostorová změna šumu v obraze může ovlivnit výkon Wienerova filtru. Nicméně, to je značně zmírnit pomocí patch-based zpracování, které ve srovnání s celou image, zvyšuje intenzitu jednotnost v rámci jednotlivých patch skupin, které vykazuje velkou stabilitu proti prostorově varianta noise9.
nakonec se provede další kolaborativní filtr hledající podobné záplaty také v sousedních rámcích. Tímto způsobem může být dále snížen přetrvávající šum s využitím Časové podobnosti vzorku při zachování časového rozlišení18 (doplňková Poznámka 2.5).
charakterizace ACsN
dále jsme charakterizovali výkon ACsN pomocí numerických i experimentálních dat. Zejména, ACsN kolaborativní filtrování závisí na odhad σN, stejně jako na volbě parametrů v algorithm28, které byly vybrány s cílem optimalizovat hluku korekce a runtime (Doplňující Poznámka 3.1). Pozorovali jsme, že naše strategie může výrazně zmírnit negativní vliv šumu fotoaparátu, aby se zabránilo ztrátě rozlišení obrazu, a to zejména v přítomnosti vysoce prostorově varianta hluku (Doplňující Poznámka 3.2). Kromě toho může hluk kamery vyvolat Časové výkyvy hodnot pixelů, které nesouvisejí se vzorkem, což ovlivňuje kvantitativní analýzu časosběrných dat. Acsn denoising snižuje tento účinek přibližně o jeden řád, se zbytkovými výkyvy srovnatelnými s ideálními kamerami (obr. 1b-g a doplňková Poznámka 3.3). Dále je třeba poznamenat, že při nízkém počtu fotonů začínají být podrobnosti vzorku srovnatelné s fluktuacemi šumu a je těžší je získat. Výkon restaurování obrazu je tedy vnitřně spojen s fotonovým tokem vstupního obrazu. Nicméně pomocí simulací i experimentálních dat jsme ověřili robustní korekci šumu ACsN při nízkých úrovních osvětlení až na 5-10 fotonů na pixel (doplňková Poznámka 3.4).
dále jsme ověřili výkon ACsN při různých vzorkovacích rychlostech normálně přijatých pro fluorescenční mikroskopii. V praxi představuje vzorkovací frekvence blízká nyquistovu kritériu dobrý kompromis mezi poměrem signálu k šumu (SNR) a zachováním detailů. Zde, zkoumání numericky a experimentálně napříč širokým rozsahem odběru vzorků sazby, jsme prokázali životaschopnost ACsN pro nízké SNR s převzorkováním a bez znatelné ztráty signálu s pod-vzorků (Doplňující Poznámka 3.5).
na rozdíl od přirozených obrazů jsou fluorescenční obrazy biologických vzorků vysoce specifikovány a vykazují přesně označené molekulární cíle nebo struktury v buňkách. Proto, každý fluorescenční obraz obvykle obsahuje specifické objekty opakující se napříč zorným polem, což poskytuje dostatečnou nelokální podobnost, aby byl algoritmus pozoruhodně účinný pro fluorescenční mikroskopii. Pomocí numerických a experimentálních dat jsme charakterizovali závislost výkonu ACsN na použití podobnosti vstupního obrazu (doplňková Poznámka 3.6). Dále, jak je znázorněno v následujícím textu jsme se kvantitativně hodnotí různé non-biologických a biologických vzorků k ověření životaschopnosti metoda, zahrnující různé dimenzionality, morfologie, náhodnost a hustotou, jako ráže cíle, fluorescenční částice, jediné molekuly, mikrotubuly, aktinová filamenta, mitochondrie, filopodia, lamellipodia a malá zvířata.
Wide-field mikroskopie
Wide-field mikroskopie, a to zejména celkový vnitřní odraz fluorescence (TIRF) mikroskopie, je jedním z nejvíce používaných technik v buněčné imaging29. TIRF používá jev totálního odrazu světla na sklo/voda rozhraní s cílem vytvořit evanescentní vlny, která se šíří pouze na několik stovek nanometrů přes krycí sklo. To umožňuje selektivní excitaci fluorescenčních štítků ve spodní části vzorku (Doplňkový obr. 1a). V případě slabých fluorescenčních zářičů, nízké intenzity světla nebo krátké doby expozice se však šum související se sCMOS stává závažným a zhoršuje kvalitu obrazu (Doplňkový obr. 1b). Acsn denoising může účinně snížit takový příspěvek a obnovit nezkreslené signály z šumu, což umožňuje rychlejší získávání bez ohrožení podkladového signálu (Doplňkový obr. 1c, d).
Jsme ukázali, ACsN šumu z wide-field mikroskopie v obou epi-fluorescence a TIRF konfigurace pomocí různých pevné, živé a multi-barevný sub-buněčných vzorků, včetně mikrotubulů (Obr. 1 a doplňkový obr. 1), mitochondrie (obr. 2 a doplňkové Filmy 1 a 2) A F-aktin (obr. 2). Použití ACsN může udržovat stejnou kvalitu obrazu s kratší expoziční dobou (tj. lepší časové rozlišení) a nižší úrovní buzení (tj. Výkon je tedy omezen především fotofyzikou fluorescenčních zářičů. Pomocí kvantitativních metrik jsme ukázali, že metoda dokáže obnovit širokoúhlé snímky s fotonovým rozpočtem o dva řády nižším bez ztráty kvality obrazu (doplňková Tabulka 1).
Dekonvoluce a light-field mikroskopie
Obrazu dekonvoluce je široce používán v optické mikroskopii, od restaurování obrazů nízké kvality ke zlepšování super-rozlišení techniques30. Šum však může snadno snížit výkon mnoha běžných algoritmů vytvářením artefaktů dekonvoluce. Místo toho, jsme zaznamenali pozoruhodné snížení těchto artefaktů v deconvolved snímky tím, že zaměstná ACsN šumu před různé metody založené na Richardson–Lucy algorithm31, stroj learning32, a radiální fluctuation33 (Doplňující Poznámka 4.1). Zlepšení obnovy obrazu se odráží také zlepšením globální kvality obrazu, hodnocené pomocí metrik, jako je Pearsonův koeficient rozlišení (RSP) 34. Například, kombinující ACsN a radiální kolísání, jsme vytvořili super-rozlišení snímků s lepší RSP hodnotu na časové rozlišení až dva řády vyšší, než v současné době reported33 (Doplňkový Obr. 2).
dekonvoluce obrazu je také základem trojrozměrné rekonstrukce v mikroskopii světelného pole (LFM). LFM zaměstnává mikročočkové pole v mikroskopii systém získat oba dva-dimenzionální (2D) prostorové a 2D úhlové informace dopadajícího světla, což pro výpočetní rekonstrukce 3D full objemu vzorku z jedné kamery frame35. Proces rekonstrukce založený na dekonvoluci je však vysoce citlivý na SNR, zejména díky širokému poli, volumetrickému a rychlému zobrazovacímu schématu LFM. Z tohoto důvodu je použití ACsN k opravě šumu v surových obrazech (obr. 3A, b) vede k jasně znatelnému zlepšení rekonstrukcí 3D světelného pole (obr. 3c, d). Přítomnost šumu skutečně vede k nesprávnému výpočtu 3D objektu nebo šíření vrcholů spojených s nefluoroforem. Bývalý ovlivňuje odběr vzorků podél axiální rozměr a může mít za následek nerovnoměrné axiální rozlišení (Obr. 3e, f). Ten vytváří další pozadí, které pokrývá fluorescenční signál a zhoršuje také boční rozlišení (obr. 3g–i). Pomocí ACsN lze oba nedostatky zmírnit, což má za následek podstatně lepší 3D objemové Vykreslování buněčných struktur.
jednomolekulové lokalizační mikroskopie
ověřit proveditelnost ACsN pro jednomolekulové lokalizační mikroskopie (SMLM)36, jsme provedli BOUŘE zobrazení mitochondrie v HeLa buňkách (Doplňkový Obr. 3). Účinek sCMOS-související hluk v single-molecule localization lze vidět ve dvou aspektech: přítomnost falešně negativní, v důsledku ztráty slabě emitující molekuly, na které se vztahuje hluku (Doplňkový Obr. 3c, d) a přítomnost falešných pozitiv v důsledku horkých pixelů nebo jednoduše distribuce šumu (Doplňkový obr. 3e, f). Odstranění hluku z raw single-molecule dat umožňuje potlačení obou typů lokalizačních chyb, což má za následek výrazně zlepšila BOUŘE kvalitu obrazu a metriky, jako je RSP a Usnesení Zmenšen Chyba (RSE)34 (Obr. 4a, b). Taková zlepšená účinnost lokalizace také vede k lepšímu kontrastu a vzhledu prvků, které nejsou při rekonstrukci jasně viditelné bez denoizace(obr. 4c–f). Kromě toho snížení fluktuací Pixelů nesouvisejících se vzorkem umožňuje získat mapu rychlosti blikání fluoroforů, kterou lze použít ke zmírnění účinků nedokonalého označování (Doplňkový obr. 4).
stejně jako zobrazování s jednou molekulou, přesnost lokalizace v sledování jednotlivých částic (SPT) úzce souvisí s počtem detekovaných fotonů. Proto je jedním z kritických faktorů ovlivňujících výkon SPT SNR obrazových dat37. Ukázali jsme, že ACsN lze použít k minimalizaci lokalizačních chyb odpovědných za nesprávnou identifikaci částic a chybných trajektorií (obr. 4g, h a doplňkový film 3). Toto zlepšení SNR má za následek lepší přesnost lokalizace částic, tj. lepší odhad bočního posunutí patky s citlivostí subpixelů. To může být velmi užitečné také v dvouplošníku SPT, kde přesnost 3D sledování závisí na kvalitě obrazu mimo zaostření38 (obr. 4i, Doplňkový Film 4 a doplňková Poznámka 4.2).
Fluorescenční mikroskopie s low-cost CMOS kamery
v Poslední době, zálohy na high-end průmyslové-grade CMOS kamery, vyvolaly zájem vědecké komunity na možnost přiblížit výkon sCMOS kamery na více přijatelnou price39,40,41,42. Bylo prokázáno, že tyto CMOS kamery mohou být použity pro smlm imaging41, 42. Nižší kvantová účinnost a vyšší odečtový šum však omezují kvalitu obrazu a obecnou použitelnost pro kvantitativní biomedicínský výzkum v mnoha oblastech. Řešení výzvy pomocí správné strategie denoizace by poskytlo kritické a včasné řešení transformace průmyslových kamer pro širší zobrazovací aplikace. Zde jsme poprvé implementovali ACsN s high-end průmyslovou kamerou pro širokoúhlou mikroskopii s použitím EPI-i tirf osvětlení (obr. 5a–h). V obou konfiguracích, ACsN šumu podstatně lepší kvalitu obrazu, dosažení významných dohodě s obrázky získané sCMOS kamera (Doplňkový Obr. 5 a 6 a doplňková Tabulka 2).
single-photon-excitace na bázi miniaturní mikroskop, nebo miniscope, byl vyvinut k provedení wide-field vápníku zobrazování ve chová svobodně animals43,44,45. Požadované miniaturizace bylo dosaženo tím, že nahradí složené objektivy s gradient-index (ÚSMĚV) rod objektiv, který nabízí několik výhod, včetně nízké náklady, nízká hmotnost a relativně vysoké numerické apertury. Tyto vlastnosti miniscope povolit minimálně invazivní zobrazovací významného objemu mozku buněčné úrovni rozlišení při komplexní behaviorální, kognitivní a emocionální states46,47,48. V současné době přijatý nízkonákladový snímač CMOS (MT9V032C12STM, ON Semiconductor, cena ~15$) však přináší špatnou kvalitu obrazu, aby se dosáhlo relativně vysoké rychlosti zobrazování,což může být pro širší aplikace v buněčném zobrazování silně omezující. Zde jsme ověřena proveditelnost ACsN pro miniscope senzor provedením single-photon-excitace-založené, wide-field imaging ONZP-barevné kalceinu v živých tukových buněk (Obr. 5i–p).
Selektivní letadlo osvětlení mikroskopie
na rozdíl od wide-field mikroskopie, selektivní letadlo osvětlení mikroskopie (SPIM) osvětluje vzorek s listem světlo kolmo na směr pozorování. Tím se zabrání zbytečnému osvětlení, což umožňuje bezkonkurenční dlouhodobé zobrazování dynamických biologických vzorků49, 50, 51. Lattice light-sheet mikroskopie (LLSM) dále optimalizuje optický systém osvětlení vzorku s více rovinných vln, které vyřezávat šíření-invariantní optické lattice52. Nicméně, zatímco nové strategie jsou vyšetřovány řešit vzorku-související issues53,54, hlučnost fotoaparátu zůstává nejdůležitější omezení SPIM a LLSM zobrazovací schopnosti vzhledem k jejich relativně nízké pozadí signálu.
Jsme první prokázal, že ACsN šumu může překonat toto omezení provedením SPIM objemové skenování pevné artemie. Tady, Vylepšili jsme vlastní podobnost pomocí 3D řídkého filtrování ve směru skenování. Po ACsN zpracování, pozorovali jsme, že šumu je ve vzorku detaily lépe vynikly v každé jednotlivé plátek (Doplňkový Obr. 7). Korekce šumu s pevným vzorem je zvláště patrná u projekčních obrazů s maximální intenzitou (obr. 6a, e a doplňkový Film 5). Kromě toho je pozoruhodné pozorovat jasné zlepšení v ortogonálních průřezech snímaného objemu(obr. 6b-d, f-h), umožňující lepší posouzení 3D struktur vzorku.
ověřit ACsN zpracování pro LLSM, jsme se poprvé zobrazen pevné kožní buňky obarví na Keratin s EGFP v různých expoziční časy (5, 10 a 20 ms), pomocí konstantní laserové osvětlení výkonu 27 mW (měřeno v zadní ohniskové rovině osvětlení cíle). Tyto obrazy byly získány pomocí vzorku scan režim, a proto, plátky měl být narovnán načíst původní polohy (viz Metody). Takovou operaci jsme provedli před denoizováním ACsN, abychom využili vlastní podobnost podél Z Pro 3D řídké filtrování. Pozorovali jsme, že kvalita obrazu může být dobře udržována šumu i po čtyřnásobné snížení doby expozice (Doplňkový Obr. 8 a doplňková Tabulka 3).
dále jsme demonstrovali ACsN obnovu obrazu časosběrného zobrazení LLSM živých buněk. Nejprve jsme zobrazili živé lidské buňky rakoviny plic (NCI-H1299 NSCLC) v režimu skenování vzorků s intervaly 18, 4 s po dobu delší než 30 minut (obr. 6i-k, Doplňkový obr. 9, a doplňující Filmy 6 a 7). Jak je uvedeno výše, režim skenování vzorků vyžaduje deskewing volumetrických řezů, což zvyšuje velikost datové sady a poté složitost zpracování. Na rozdíl od předchozího případu jsme však pro časosběrné zobrazování dokázali využít časovou sebepodobnost, která poskytuje účinnější korekci šumu ve srovnání s volumetrickým one55. Proto jsme denoizovali časosběrné volumetrické skenování zpracováním odpovídajících časových hromádek každého jednotlivého řezu. Tímto způsobem, ACsN by mohly být použity dříve, než korekce zešikmení, účinně zachování šumu výkon a zároveň šetří výpočetní čas (Doplňkový Obr. 10). Dále jsme pozorovali pohyb endogenního F-aktinu v živých myších embryonálních fibroblastech pomocí LLSM v režimu skenování listů (viz metody). Zejména tento režim neprodukuje žádný posun mezi řezy a volumetrické informace mohou být načteny bez deskewingu (Doplňkový obr. 11). Zejména pohyb filopodie po celé buňce lze pozorovat s vyšší jasností po denoizaci (Doplňkový film 8).
Leave a Reply