Uma vez que o ruído de padrão fixo depende apenas dos circuitos da Câmara, ßp e yp podem ser estimados através de uma calibração única (Ver métodos). No entanto, uma avaliação cuidadosa do ruído de leitura distribuído pela Gaussiana, N(0, σR), e da flutuação devido ao ruído de tiro de fótons distribuído por Poisson, Pois{Sp(τ)}, é necessária para obter uma estimativa precisa do sinal subjacente Sp. Para realizar esta avaliação, concebemos um modelo de ruído que permite uma estimativa conjunta da variância de ruído através da análise da resposta de frequência do sistema de microscopia. Isto é baseado no fato de que a distribuição de Poisson do fóton tiro de ruído pode ser viável aproximada por uma distribuição Gaussiana quando o fluxo de fótons é >3 fótons por pixel22. Em particular, o erro introduzido pela aproximação da variância de Poisson, \(\sigma _P^2\), com uma variância Gaussiana, \(\sigma _G^2\), torna-se <1% quando o fluxo de fótons é mais de 5 fotões por pixel (Nota suplementar 2.3). Notavelmente,as condições acima mencionadas sobre o fluxo de fótons são geralmente satisfeitas para muitas aplicações em microscopia de fluorescência 23, 24. Portanto, nós consideramos o ruído relacionado com a câmera como o resultado da soma de duas variáveis aleatórias distribuídas Gaussianas independentes, cuja variância é \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\). Tal distribuição consiste de uma densidade espectral de potência constante, enquanto os sinais provenientes da amostra estão contidos dentro da função de transferência óptica (OTF)25. Portanto, aproveitamos o conhecimento do sistema óptico para avaliar a flutuação de pixels fora do OTF, que se deve apenas ao ruído, e então usamos o valor obtido para derivar σN na imagem original (Nota suplementar 2.3).

em seguida, o algoritmo usa estas estatísticas de ruído para uma avaliação Não-local da auto-semelhança da amostra e para realizar filtragem colaborativa esparsa na sequência de entrada. Ao contrário de implementações anteriores de filtragem colaborativa, adotamos uma abordagem em camadas que sequencialmente sonda a auto-semelhança da imagem no espaço e no tempo, a fim de melhorar a correção do ruído sem sacrificar a precisão e o tempo de execução. Em resumo, o filtro decompõe a imagem em patches e classifica-a em grupos tridimensionais (3D) de acordo com a sua similaridade 26. Em seguida, emprega uma transformação 3D para processar cada grupo de uma vez. O denoising é realizada por e-limiar e reforçada pelo fato de que, devido à semelhança entre os patches, o 3D transformação resulta em um mesmo esparso representação do original patches, considerando que o ruído do espectro de potência permanece constant27. Posteriormente, os patches desnoisados são devolvidos aos seus locais originais para formar uma imagem intermediária. Neste ponto, o filtro colaborativo é executado uma segunda vez, mas substituindo a debulha dura por um filtro de salsicha. O filtro é executado utilizando as imagens ruidosas e intermédias e gera a imagem final desnoisada (Nota complementar 2.4). Note-se que a variação espacial do ruído através da imagem pode afetar o desempenho do filtro Wiener. No entanto, isso é consideravelmente mitigado pelo uso de processamento baseado em patch, que, em comparação com a imagem inteira, aumenta a uniformidade de intensidade dentro de grupos de patch individuais, exibindo uma grande estabilidade contra a variante espacial noise9.

finalmente, outro filtro colaborativo é realizado procurando por patches semelhantes também nas molduras vizinhas. Desta forma, o ruído persistente pode ser ainda mais reduzido, aproveitando a auto-semelhança da amostra no tempo, preservando a resolução temporal 18 (Nota suplementar 2.5).

Caracterization of ACsN

Next, we characterized the performance of ACsN using both numerical and experimental data. Notavelmente, a filtragem colaborativa ACsN depende da estimativa de σN, bem como da escolha dos parâmetros do algoritmo 28, que foram escolhidos para otimizar tanto a correção de ruído quanto o tempo de execução (Nota suplementar 3.1). Observamos que nossa estratégia pode atenuar significativamente o efeito prejudicial do ruído da câmera, evitando a perda de resolução da imagem, especialmente na presença de ruído altamente variante espacialmente (Nota complementar 3.2). Além disso, o ruído da câmera pode induzir flutuações temporais dos valores dos pixels que não estão relacionados com a amostra, afetando assim a análise quantitativa dos dados de lapso de tempo. A desnoising da ACsN reduz este efeito em aproximadamente uma ordem de magnitude, com flutuações residuais comparáveis às de uma câmera ideal (Fig. 1b-g E Nota complementar 3.3). Além disso, deve-se notar que em contagens de fotões baixos, os detalhes da amostra começam a ser comparáveis com as flutuações de ruído e tornam-se mais difíceis de recuperar. Assim, o desempenho da restauração da imagem está intrinsecamente relacionado com o fluxo de fótons da imagem de entrada. No entanto, utilizando tanto as simulações como os dados experimentais, verificámos uma correcção robusta do ruído ACsN a níveis de luz baixos até 5-10 fótons por pixel (Nota suplementar 3.4).além disso, validámos o desempenho da ACsN com base em várias taxas de amostragem normalmente adoptadas para microscopia de fluorescência. Na prática, uma taxa de amostragem próxima do critério Nyquist representa uma boa troca entre a razão sinal / ruído (SNR) e a preservação dos detalhes. Aqui, examinando numericamente e experimentalmente uma vasta gama de taxas de amostragem, demonstrámos a viabilidade da ACsN para a baixa SNR com excesso de amostragem e sem perda perceptível de Sinais com subamostragem (Nota suplementar 3.5).ao contrário das imagens naturais, imagens fluorescentes de amostras biológicas são altamente especificadas, exibindo alvos moleculares ou estruturas marcadas com precisão nas células. Portanto, cada imagem fluorescente geralmente apresenta objetos específicos recorrentes em todo o campo de visão, o que fornece suficiente auto-similaridade Não-local para tornar o algoritmo notavelmente eficiente para microscopia de fluorescência. Com dados numéricos e experimentais, caracterizamos a dependência do desempenho ACsN do uso de auto-semelhança de uma imagem de entrada (nota suplementar 3.6). Além disso, como mostrado no seguinte, nós quantitativamente avaliada uma variedade de não-biológicos e amostras biológicas para verificar a viabilidade do método, abrangendo várias dimensões, morfologia, a aleatoriedade e a densidade, tais como o calibre metas, partículas fluorescentes, moléculas individuais, microtúbulos, filamentos de actina, mitocôndrias, filopodia, lamellipodia, e pequenos animais.microscopia de Campo Largo microscopia de Campo Largo microscopia de Campo Largo, especialmente a fluorescência de reflexão interna total (TIRF), é uma das técnicas mais utilizadas nas imagens Celulares 29. A TIRF utiliza o fenômeno da reflexão interna total da luz na interface vidro/água, a fim de criar uma onda evanescente que se propaga apenas por algumas centenas de nanômetros através da cobertura. Isto permite a excitação selectiva das etiquetas fluorescentes na parte inferior da amostra (Figo suplementar. 1a). No entanto, no caso de emissores fluorescentes fracos, de baixa intensidade luminosa ou de um curto período de exposição, o ruído relacionado com o sCMOS torna-se grave e deteriora a qualidade da imagem (figura suplementar. 1b). A denoising da ACsN pode efetivamente reduzir essa contribuição e recuperar os sinais não distorcidos do ruído, permitindo uma aquisição mais rápida sem comprometer o sinal subjacente (Fig suplementar. 1c, d).demonstrámos a desnocisão ACsN de microscopia de Campo Largo em ambas as configurações de epi-fluorescência e TIRF, utilizando várias amostras subcelulares fixas, vivas e multicores, incluindo microtúbulos(Fig. 1 e Figo suplementar. 1), mitocôndria (Fig. 2 e filmes suplementares 1 e 2), E F-actin (Fig. 2). O uso de ACsN pode manter a mesma qualidade de imagem com um tempo de exposição mais curto (ou seja, uma melhor resolução temporal) e um nível de excitação mais baixo (ou seja, menos danos fotográficos). O desempenho é, assim, limitado principalmente pela foto-física dos emissores fluorescentes. Usando métricas quantitativas, mostramos que o método pode recuperar imagens de campo amplo com um orçamento de fótons duas ordens de magnitude menor, sem perda de qualidade de imagem (tabela suplementar 1).

A, b imagens Raw de campo de luz de microtúbulos numa célula HeLa antes (a) e após (b) processamento de ACsN. Os Insets mostram as imagens amplificadas em microlentes das regiões encaixotadas correspondentes, onde o ruído foi substancialmente reduzido, como visto em B. C, d imagens tridimensionais (3D) reconstruídas obtidas a partir de A E b, respectivamente. A informação de profundidade é codificada de acordo com a barra de escala de cores. Os Insets mostram as imagens ampliadas das correspondentes regiões de caixa em branco, onde uma melhor qualidade de imagem e uma melhor resolução 3D são observadas após a denoising do ACsN. E, f secções cruzadas no plano YZ correspondentes às linhas tracejadas vermelhas em c E d, respectivamente, onde as estruturas microtúbulas são melhor resolvidas com artefactos reduzidos usando ACsN. g, h zoomed-in images of the red solid boxed regions in c and d, respectively, at z = 1,4 µm, where microtubule structures are better resolved using ACsN. i perfis transversais de (G, cinza) e (H, vermelho) correspondentes às linhas tracejadas brancas em g, h, respectivamente. Os filamentos abrangidos pelo ruído de fundo não associado ao fluoróforo são resolvidos utilizando ACsN. Barras de escala: 8 µm (b, d), 800 nm (b, inset), 3 µm (d, inset), 1 µm (e, g).

Único-localização molécula de microscopia

Para validar a viabilidade de ACsN única molécula de localização de microscopia (SMLM)36, realizamos TEMPESTADE de imagens de mitocôndrias nas células HeLa (Complementar Fig. 3). O efeito do ruído relacionado com o sCMOS na localização de moléculas únicas pode ser visto em dois aspectos: a presença de falsos negativos, devido à perda de moléculas de emissão fraca cobertas pelo ruído (figura suplementar. 3c, d), e a presença de falsos positivos, devido aos pixels quentes ou simplesmente a distribuição de ruído (Fig. suplementar. 3e, f). A remoção do ruído dos dados de uma única molécula permite a supressão de ambos os tipos de erros de localização, resultando em uma melhoria significativa da qualidade da imagem de tempestade e métricas, como o RSP e a resolução Scaled Error (RSE)34 (Fig. 4a, b). Além disso, essa eficiência melhorada de localização leva a um melhor contraste e o aparecimento de características não claramente visíveis na reconstrução sem desnoising (Fig. 4c-f). Além disso, a redução das flutuações de pixels não relacionadas com a amostra permite obter um mapa da taxa de piscar dos fluoróforos que pode ser usado para aliviar os efeitos da rotulagem imperfeita (Fig. suplementar. 4).

a STORM image of mitochondria in a fixed HeLa (RSP: 0.81, RSE: 40.6). B STORM image reconstructed after ACsN denosing of raw single-molecule data of a (RSP: 0.85, RSE: 36.7). Em ambos os casos, foram utilizadas 5000 molduras de molécula simples. Os quadros representativos dos dados brutos antes e depois da desnoising são apresentados na figura suplementar. 3. A análise quantitativa da imagem com NanoJ-Esquilo avaliou uma melhoria tanto dos valores RSP ( + 0.04) quanto RSE (-3.9) em b em comparação com A. Observa–se que o número de localizações em b é aumentado em comparação com a, o que leva a um melhor contraste no primeiro e à aparência de características não visíveis no segundo (c-f). g registo de uma única partícula de uma conta fluorescente com um tempo de exposição de 1 ms. Uma moldura representativa é mostrada no inset. Cada cor corresponde a uma das seis faixas diferentes detectadas. h seguimento de partículas únicas da mesma conta em g, após a desnoising do ACsN (inset). A SNR melhorada produz uma melhor precisão de localização, o que resulta em uma única trajetória suave (linha preta). I quadro representativo para o rastreio biplano de partículas únicas a uma taxa de 1 kHz (tempo de exposição: 1 ms) Antes (à esquerda) e depois (à direita) da denoising ACsN. Barras de escala: 4 µm (a), 2 µm (C, e, i), 1 µm (g, inset), 250 nm (h).

Like single-molecule imaging, the localization precision in single-particle tracking (SPT) is closely related to the number of photons detected. Portanto, um fator crítico que afeta o desempenho dos TSC é o SNR da imagem data37. Nós mostramos que o ACsN pode ser usado para minimizar os erros de localização responsáveis por erros de identificação de partículas e trajetórias errôneas (Fig. 4G, h E Filme complementar 3). Esta melhoria SNR resulta em uma melhor precisão de localização de partículas, ou seja, uma melhor estimativa do deslocamento lateral da bead com sensibilidade sub-pixel. Isso pode ser de grande uso também em SPT biplano, onde a precisão do rastreamento 3D depende da qualidade da imagem fora de foco38 (Fig. 4i, filme suplementar 4 e Nota complementar 4.2).recentemente, os avanços das câmeras de alta qualidade industrial CMOS despertaram o interesse da comunidade científica na possibilidade de se aproximar do desempenho das câmeras sCMOS a um preço mais acessível 39,40,41,42. Foi mostrado que tais câmeras CMOS podem ser utilizadas para as imagens SMLM 41,42. No entanto, a menor eficiência quântica e o maior ruído de leitura limitam a qualidade da imagem e a usabilidade geral para a pesquisa biomédica quantitativa em muitas áreas. Enfrentar o desafio com uma estratégia adequada de desnoising proporcionaria uma solução crítica e oportuna para transformar as câmeras de qualidade industrial para aplicações de imagem mais amplas. Aqui, nós primeiro implementamos ACsN com uma câmera de alta qualidade industrial para microscopia de Campo Largo usando tanto epi – e tirf illumination(Fig. 5a-h). Em ambas as configurações, a denoising da ACsN melhorou substancialmente a qualidade da imagem, conseguindo um acordo proeminente com as imagens obtidas pela Câmara sCMOS (figos suplementares. 5 e 6, e quadro complementar 2).

a TIRF image of F-actin in a fixed BPAE cell, taken at a frame rate of 38 Hz (exposure time: 26 ms). b a mesma imagem em a após a denoising ACsN. c imagem de Epi-fluorescência da mitocôndria numa célula endotelial da artéria pulmonar bovina fixa( BPAE), tomada a uma taxa de imagens de 38 Hz (Tempo de exposição: 26 ms). d a mesma imagem em c após a denoising ACsN. imagens ampliadas e-h correspondentes às regiões boxadas em A-d, mostrando a melhoria da qualidade da imagem após a desnoising ACsN. Em particular, essa melhoria é comparável às imagens obtidas com sensores sCMOS, como mostrado em figos suplementares. 5 e 6. imagens I, j de calceína manchada com GFP em adipócitos vivos (lipócitos) tiradas com CMOS de baixo custo para microscopia miniaturizada antes (i) e depois (j) de denoising ACsN. Os dados foram obtidos imergindo um minúsculo na cultura de células vivas. imagens ampliadas de k-n das regiões boxadas correspondentes em i e J. O, P gráficos dos perfis de intensidade transversal das estruturas celulares antes (cinza) e depois (vermelho) ACsN denoising ao longo das linhas tracejadas em k, l E m, N, respectivamente. Barras de escala: 10 µm (A, c), 4 µm (e, g), 50 µm (i), 20 µm (k).

o microscópio miniaturizado com um único fotão, ou mini-microscópio, foi desenvolvido para realizar imagens de amplo campo de cálcio em animais43,44,45. A miniaturização necessária foi alcançada através da substituição de lentes objetivas compostas por uma lente Rod gradiente-index (GRIN), que oferece várias vantagens, incluindo baixo custo, peso leve e abertura numérica relativamente alta. Estas características do miniscópio permitem imagiologia minimamente invasiva de um volume significativo do cérebro com uma resolução de nível celular durante Estados complexos comportamentais, cognitivos e emocionais 46,47,48. No entanto, o sensor CMOS de baixo custo (MT9V032C12STM, ON Semiconductor, price ~$15) atualmente adotado produz uma baixa qualidade de imagem, a fim de obter uma velocidade de imagem relativamente alta, o que pode ser severamente restritivo para aplicações mais amplas em imagens Celulares. Aqui, Nós validamos a viabilidade da ACsN para o sensor miniscope através da realização de imagens de campo amplo e único de excitação de fótons de calceína manchada de GFP em adipócitos vivos(Fig. 5i-p).microscopia de iluminação planificada selectiva

em contraste com microscopia de Campo Largo, microscopia de iluminação planificada selectiva (SPIM) ilumina a amostra com uma folha de luz perpendicular à direcção de observação. Isto evita iluminação desnecessária, permitindo uma imagem a longo prazo sem paralelo de espécimes biológicos dinâmicos 49,50,51. A microscopia de folha de luz reticulada (LLSM) otimiza ainda mais o sistema óptico iluminando a amostra com múltiplas ondas planas que esculpem uma lattice52 de propagação invariante. No entanto,enquanto novas estratégias estão sendo investigadas para lidar com questões relacionadas com amostras 53, 54, O ruído de câmera continua a ser a limitação mais relevante para as capacidades de imagem de SPIM e LLSM devido ao seu sinal de fundo relativamente baixo.demonstrámos pela primeira vez que a desnoising da ACsN pode ultrapassar esta limitação através da realização de um scan volumétrico ESPIM de um camarão salmoura fixo. Aqui, nós aumentamos a auto-semelhança usando filtragem esparsa 3D ao longo da direção de digitalização. Após o processamento do ACsN, observamos que o cancelamento do ruído faz com que os detalhes da amostra se destacam melhor em cada fatia individual (Figo suplementar. 7). Em particular, a correção do ruído de padrão fixo é especialmente notável nas imagens de projeção de intensidade máxima (Fig. 6a, e e filme complementar 5). Além disso, é notável observar uma clara melhoria nas secções transversais ortogonais do volume escaneado (Fig. 6b-d, f-h), permitindo uma melhor avaliação das estruturas 3D da amostra.

a Máxima intensidade projeções (MIP) da SPIM imagens de um microesferas rotulado de adultos artémia antes (a) e após (e) ACsN denoising. Vistas ortogonais ao longo do plano XZ do raw (b-d) e varreduras volumétricas denoizadas (f–h) em y = 237 mm (b, f), y = 904 mm (C, g), E y = 1491 mm (d, h). Fatias ao longo do plano XY e YZ foram fornecidas em Figo suplementar. 7. I renderização tridimensional de células cancerígenas do pulmão humano vivas (NCI-H1299 NSCLC) adquiridas com o LLSM e processadas com o ACsN denosing. Imagens ampliadas da área correspondente à caixa branca em i antes da alínea j) e depois da alínea k) do ACsN denoising. A sequência de lapso de tempo correspondente foi fornecida nos filmes suplementares 6 e 7. As imagens MIP e as fatias representativas são representadas em figos suplementares. 9 e 10. Barras de escala: 400 µm (A, e), 100 µm (b, f), 10 µm (i), 4 µm (k).

Para validar ACsN de processamento para LLSM, temos a primeira imagem fixa as células da pele manchada por Queratina com EGFP em diferentes tempos de exposição (5, 10 e 20 ms) usando uma constante de iluminação laser de potência de 27 mW (medida na parte de trás de plano focal da iluminação objetivo). Estas imagens foram adquiridas usando o modo de varredura de amostras e, consequentemente, as fatias tiveram que ser deskewed para recuperar as posições originais (ver Métodos). Realizamos tal operação antes da denoising ACsN, a fim de utilizar a auto-similaridade ao longo de z para filtragem esparsa 3D. Observamos que a qualidade da imagem pode ser bem mantida, mesmo após uma redução quadruplicada do tempo de exposição (Fig. adicional. 8 e quadro complementar 3).

além disso, demonstrámos a restauração da imagem ACsN de imagens LLSM de células vivas com lapso de tempo. Em primeiro lugar, analisámos as células vivas do cancro do pulmão humano (NCI-H1299 NSCLC) no modo de análise da amostra com intervalos de 18,4 s durante mais de 30 minutos (Fig. 6i-k, Suplemento Fig. 9, e filmes suplementares 6 e 7). Como indicado acima, o modo de varredura de amostras requer deskewing das fatias volumétricas, o que aumenta o tamanho do conjunto de dados e, em seguida, a complexidade de processamento. Em contraste com o caso anterior, no entanto, para a imagem de tempo-lapso fomos capazes de utilizar a auto-semelhança temporal, que produz uma correção de ruído mais eficiente em comparação com o one55 volumétrico. Portanto, nós desnoizamos os scans volumétricos de tempo-lapso processando as pilhas temporais correspondentes de cada fatia individual. Desta forma, o ACsN poderia ser usado antes de deskewing, efetivamente preservando o desempenho denoising, enquanto economizava o tempo computacional (Fig. suplementar. 10). Em seguida, observamos o movimento da F-actina endógena em fibroblastos embrionários do rato vivos utilizando LLSM no modo de varrimento da folha (ver Métodos). Notavelmente, este modo não produz qualquer deslocamento entre as fatias, e a informação volumétrica pode ser recuperada sem deskewing (figura suplementar. 11). Em particular, o movimento de filopodia em torno da célula pode ser observado com maior clareza após a desnoising (filme suplementar 8).