Correction rapide et précise du bruit sCMOS pour la microscopie à fluorescence
Cadre algorithmique ACsN
L’ACsN combine l’étalonnage de la caméra, l’estimation du bruit et le filtrage clairsemé pour corriger les sources de bruit les plus pertinentes générées par une caméra sCMOS (Fig. 1a et Notes complémentaires 1 et 2.1). En particulier, ACsN corrige d’abord le bruit à motif fixe à l’aide d’une carte du décalage et du gain des pixels sCMOS. La présence du bruit à motif fixe dans les caméras sCMOS génère dans différents pixels (p) un nombre différent de photoélectrons à partir du même nombre de photons impactants (Sp). Cet effet est proportionnel au niveau d’éclairement et peut être modélisé comme un facteur multiplicatif yp appliqué au paramètre de la variable distribuée de Poisson Sp. En même temps, lors de la conversion analogique-numérique (AD), la tension produite par chaque pixel est lue comme la différence par rapport à un niveau de référence, ce qui représente l’absence de lumière. En pratique, on attribue à cette tension de référence une valeur positive responsable d’une polarisation (ßp) des valeurs d’intensité mesurées. Par conséquent, l’acquisition d’une caméra sCMOS peut être modélisée par l’équation : 20
où Zp est la valeur du pixel p, τ le temps d’exposition, et N(0, σR) le bruit de lecture distribué gaussien de µR moyen = 0 et d’écart type σR. Compte tenu de l’aspect pratique de la microscopie à fluorescence, nous avons omis dans ce modèle la contribution du courant d’obscurité, qui peut être négligée pour des temps d’exposition inférieurs à 1 s, et le bruit de quantification dû à la conversion AD, qui est négligeable par rapport au bruit de lecture 3,21 (Note supplémentaire 2.2).
Étant donné que le bruit à motif fixe ne dépend que des circuits de la caméra, ßp et yp peuvent être estimés par un étalonnage unique (voir Méthodes). Cependant, une évaluation minutieuse à la fois du bruit de lecture distribué par Gauss, N(0, σR), et de la fluctuation due au bruit de tir de photons distribué par Poisson, Pois{Sp(τ)}, est nécessaire pour obtenir une estimation précise du signal sous-jacent Sp. Pour réaliser cette évaluation, nous avons conçu un modèle de bruit qui permet une estimation conjointe de la variance du bruit en analysant la réponse en fréquence du système de microscopie. Ceci est basé sur le fait que la distribution de Poisson du bruit de tir de photons peut être approchée de manière réalisable par une distribution gaussienne lorsque le flux de photons est > 3 photons par pixel22. En particulier, l’erreur introduite en approximant la variance de Poisson, \(\sigma_P^2\), avec une variance gaussienne, \(\sigma _G^2\), devient < 1% lorsque le flux de photons est supérieur à 5 photons par pixel (Note supplémentaire 2.3). Notamment, les conditions précitées sur le flux de photons sont généralement satisfaites pour de nombreuses applications en microscopie à fluorescence 23,24. Par conséquent, nous considérons le bruit lié à la caméra comme le résultat de la somme de deux variables aléatoires indépendantes à distribution gaussienne, dont la variance est \(\sigma _N^2 = \sigma _R^2 + \sigma _G^2\). Une telle distribution consiste en une densité spectrale de puissance constante, tandis que les signaux provenant de l’échantillon sont contenus dans la fonction de transfert optique (OTF) 25. Par conséquent, nous profitons de la connaissance du système optique pour évaluer la fluctuation des pixels en dehors de l’OTF, qui est due uniquement au bruit, puis nous utilisons la valeur obtenue pour dériver σN dans l’image d’origine (Note supplémentaire 2.3).
Ensuite, l’algorithme utilise ces statistiques de bruit pour une évaluation non locale de l’auto-similarité de l’échantillon et pour effectuer un filtrage collaboratif clairsemé sur la séquence d’entrée. Contrairement aux implémentations précédentes de filtrage collaboratif, nous avons adopté une approche en couches qui sonde séquentiellement l’auto-similitude de l’image dans l’espace et le temps afin d’améliorer la correction du bruit sans sacrifier la précision et l’exécution. En bref, le filtre décompose l’image en patchs et les trie en groupes tridimensionnels (3D) selon leur similarité26. Ensuite, il utilise une transformation 3D pour traiter chaque groupe en même temps. Le débruitage est effectué par seuillage dur et renforcé par le fait que, en raison de la similitude entre les patchs, la transformation 3D se traduit par une représentation encore plus clairsemée des patchs d’origine, alors que le spectre de puissance de bruit reste constant 27. Ensuite, les patchs débruités sont retournés à leur emplacement d’origine pour former une image intermédiaire. À ce stade, le filtre collaboratif est exécuté une deuxième fois mais en remplaçant le seuillage dur par un filtre Wiener. Le filtre est réalisé en utilisant à la fois les images bruitées et intermédiaires et génère l’image débruitée finale (Note supplémentaire 2.4). Il est à noter que la variation spatiale du bruit à travers l’image peut affecter les performances du filtre de Wiener. Cependant, ceci est considérablement atténué par l’utilisation d’un traitement basé sur des patchs, qui, par rapport à l’image entière, améliore l’uniformité d’intensité au sein de groupes de patchs individuels, présentant une grande stabilité contre le bruit spatialement variant 9.
Enfin, un autre filtre collaboratif est effectué à la recherche de correctifs similaires également dans les trames voisines. De cette façon, le bruit persistant peut être encore réduit en tirant parti de l’auto-similitude de l’échantillon dans le temps tout en préservant la résolution temporelle18 (Note supplémentaire 2.5).
Caractérisation de l’ACsN
Ensuite, nous avons caractérisé la performance de l’ACsN à l’aide de données numériques et expérimentales. Notamment, le filtrage collaboratif ACsN dépend de l’estimation de σN, ainsi que du choix des paramètres de l’algorithme28, qui ont été choisis pour optimiser à la fois la correction du bruit et le temps d’exécution (Note supplémentaire 3.1). Nous avons observé que notre stratégie peut atténuer de manière significative l’effet néfaste du bruit de la caméra, en évitant la perte de résolution de l’image, en particulier en présence de bruits très variables spatialement (Note supplémentaire 3.2). De plus, le bruit de la caméra peut induire des fluctuations temporelles des valeurs de pixels qui ne sont pas liées à l’échantillon, affectant ainsi l’analyse quantitative des données en accéléré. Le débruitage ACsN réduit cet effet d’environ un ordre de grandeur, avec des fluctuations résiduelles comparables à celles d’une caméra idéale (Fig. 1b-g et Note supplémentaire 3.3). De plus, il convient de noter qu’à faible nombre de photons, les détails de l’échantillon commencent à être comparables aux fluctuations du bruit et deviennent plus difficiles à récupérer. Ainsi, la performance de restauration d’image est intrinsèquement liée au flux de photons de l’image d’entrée. Néanmoins, à l’aide de simulations et de données expérimentales, nous avons vérifié une correction du bruit ACsN robuste à des niveaux de faible luminosité allant jusqu’à 5-10 photons par pixel (Note supplémentaire 3.4).
De plus, nous avons validé les performances de l’ACsN sous différentes fréquences d’échantillonnage normalement adoptées pour la microscopie à fluorescence. En pratique, un taux d’échantillonnage proche du critère de Nyquist représente un bon compromis entre le rapport signal sur bruit (SNR) et la préservation des détails. Ici, en examinant numériquement et expérimentalement une large gamme de taux d’échantillonnage, nous avons démontré la viabilité de l’ACsN pour un faible SNR avec un suréchantillonnage et aucune perte notable de signaux avec un sous-échantillonnage (Note supplémentaire 3.5).
Contrairement aux images naturelles, les images fluorescentes d’échantillons biologiques sont hautement spécifiées, présentant des cibles ou des structures moléculaires marquées avec précision dans les cellules. Par conséquent, chaque image fluorescente comporte généralement des objets spécifiques récurrents dans le champ de vision, ce qui fournit une auto-similarité non locale suffisante pour rendre l’algorithme particulièrement efficace pour la microscopie à fluorescence. Avec des données numériques et expérimentales, nous avons caractérisé la dépendance de la performance de l’ACsN à l’utilisation de l’auto-similarité d’une image d’entrée (Note supplémentaire 3.6). De plus, comme le montre ce qui suit, nous avons évalué quantitativement une variété d’échantillons non biologiques et biologiques pour vérifier la viabilité de la méthode, couvrant diverses dimensions, morphologie, caractère aléatoire et densité, telles que des cibles de calibre, des particules fluorescentes, des molécules uniques, des microtubules, des filaments d’actine, des mitochondries, des filopodes, des lamellipodes et de petits animaux.
La microscopie à grand champ
La microscopie à grand champ, en particulier la microscopie à fluorescence par réflexion interne totale (TIRF), est l’une des techniques les plus utilisées en imagerie cellulaire 29. TIRF utilise le phénomène de réflexion interne totale de la lumière à l’interface verre/eau afin de créer une onde évanescente qui ne se propage que sur quelques centaines de nanomètres à travers la lamelle. Ceci permet l’excitation sélective des marqueurs fluorescents en bas de l’échantillon (fig. 1 bis). Cependant, en cas d’émetteurs fluorescents faibles, de faible intensité lumineuse ou de temps d’exposition court, le bruit lié aux sCMOS devient sévère et détériore la qualité d’image (Fig. 1b). Le débruitage ACsN permet de réduire efficacement cette contribution et de récupérer les signaux non déformés du bruit, permettant une acquisition plus rapide sans compromettre le signal sous-jacent (Fig. 1c, d).
Nous avons démontré le débruitage ACsN de la microscopie à grand champ dans des configurations d’épi-fluorescence et de TIRF en utilisant divers échantillons sous-cellulaires fixes, vivants et multicolores, y compris des microtubules (Fig. 1 et la Fig. 1), les mitochondries (Fig. 2 et Films supplémentaires 1 et 2), et F-actine (Fig. 2). L’utilisation de l’ACsN peut maintenir la même qualité d’image avec un temps d’exposition plus court (c’est-à-dire une meilleure résolution temporelle) et un niveau d’excitation plus faible (c’est-à-dire moins de dommages photo). Les performances sont donc limitées principalement par la phot physique des émetteurs fluorescents. En utilisant des mesures quantitatives, nous avons montré que la méthode peut récupérer des images à grand champ avec un budget de photons inférieur de deux ordres de grandeur sans perte de qualité d’image (tableau supplémentaire 1).
Déconvolution et microscopie en champ lumineux
La déconvolution d’image est largement utilisée en microscopie optique, de la restauration d’images de mauvaise qualité à l’amélioration des techniques de super-résolution30. Cependant, le bruit peut facilement dégrader les performances de nombreux algorithmes courants en produisant des artefacts de déconvolution. Au lieu de cela, nous avons observé une réduction remarquable de ces artefacts dans les images déconvolvées en utilisant le débruitage ACsN avant différentes méthodes basées sur l’algorithme de Richardson–Lucy 31, l’apprentissage machine 32 et la fluctuation radiale33 (Note supplémentaire 4.1). L’amélioration de la restauration d’image se traduit également par une amélioration de la qualité globale de l’image, évaluée à l’aide de métriques telles que le coefficient de Pearson (RSP) 34 de la Résolution mise à l’échelle. Par exemple, en combinant ACsN et fluctuation radiale, nous avons généré des images en super-résolution avec une meilleure valeur RSP à une résolution temporelle jusqu’à deux ordres de grandeur supérieure à celle actuellement rapportée33 (Fig. supplémentaire. 2).
La déconvolution de l’image est également à la base de la reconstruction tridimensionnelle en microscopie à champ lumineux (LFM). LFM utilise un réseau de microlentilles dans un système de microscopie pour obtenir à la fois les informations spatiales (2D) bidimensionnelles et angulaires 2D de la lumière incidente, ce qui permet une reconstruction informatique du volume 3D complet d’un échantillon à partir d’une seule image de caméra 35. Cependant, le processus de reconstruction basé sur la déconvolution est très sensible au SNR, en particulier en raison du schéma d’imagerie à grand champ, volumétrique et rapide de LFM. Pour cette raison, l’utilisation de l’ACsN pour corriger le bruit dans les images brutes (Fig. 3a, b) se traduit par une amélioration nettement notable des reconstructions en champ lumineux 3D (Fig. 3c, d). En effet, la présence du bruit conduit à une erreur de calcul de l’objet 3D ou à la propagation de pics non fluorophores associés. Le premier affecte l’échantillonnage le long de la dimension axiale et peut entraîner une résolution axiale inégale (Fig. 3e, f). Ce dernier produit un arrière-plan supplémentaire qui recouvre le signal de fluorescence, altérant également la résolution latérale (Fig. 3g-i). En utilisant ACsN, les deux déficiences peuvent être atténuées, ce qui permet d’améliorer considérablement le rendu volumétrique 3D des structures cellulaires.
Microscopie de localisation à molécule unique
Pour valider la faisabilité de l’ACsN pour la microscopie de localisation à molécule unique (SMLM)36, nous avons réalisé une imagerie ORAGEUSE des mitochondries dans les cellules HeLa (Fig. supplémentaire. 3). L’effet du bruit lié aux sCMOS dans la localisation d’une molécule unique peut être observé sous deux aspects: la présence de faux négatifs, dus à la perte de molécules faiblement émettrices couvertes par le bruit (fig. 3c, d), et la présence de faux positifs, dus aux pixels chauds ou simplement à la répartition du bruit (fig. supplémentaire. 3e, f). La suppression du bruit des données brutes à molécule unique permet de supprimer les deux types d’erreurs de localisation, ce qui se traduit par une amélioration significative de la qualité de l’image de TEMPÊTE et des métriques telles que le RSP et l’erreur d’échelle de résolution (RSE) 34 (Fig. 4 bis, b). En outre, une telle efficacité de localisation améliorée conduit à un meilleur contraste et à l’apparition de caractéristiques non clairement visibles dans la reconstruction sans débruitage (Fig. 4c-f). De plus, la réduction des fluctuations de pixels sans rapport avec l’échantillon permet d’obtenir une carte du taux de clignotement des fluorophores qui peut être utilisée pour atténuer les effets d’un marquage imparfait (Fig. supplémentaire. 4).
Tout comme l’imagerie à une seule molécule, la précision de localisation dans le suivi d’une seule particule (SPT) est étroitement liée au nombre de photons détectés. Par conséquent, un facteur critique affectant les performances du SPT est le SNR des données d’image37. Nous avons montré que l’ACsN peut être utilisé pour minimiser les erreurs de localisation responsables d’une mauvaise identification des particules et de trajectoires erronées (Fig. 4g, h et Film supplémentaire 3). Cette amélioration du SNR se traduit par une meilleure précision de localisation des particules, c’est-à-dire une meilleure estimation du déplacement latéral du cordon avec une sensibilité sous-pixel. Cela peut également être d’une grande utilité dans le biplan SPT, où la précision du suivi 3D dépend de la qualité de l’image floue 38 (Fig. 4i, Film supplémentaire 4 et Note supplémentaire 4.2).
La microscopie à fluorescence avec des caméras CMOS à faible coût
Récemment, les progrès des caméras CMOS industrielles haut de gamme ont suscité l’intérêt de la communauté scientifique pour la possibilité d’approcher les performances des caméras sCMOS à un prix plus abordable 39,40,41,42. Il a été montré que de telles caméras CMOS peuvent être utilisées pour l’imagerie SMLM41,42. Cependant, l’efficacité quantique plus faible et le bruit de lecture plus élevé limitent la qualité de l’image et la facilité d’utilisation générale pour la recherche biomédicale quantitative dans de nombreux domaines. Relever le défi avec une stratégie de débruitage appropriée fournirait une solution critique et opportune pour transformer les caméras de qualité industrielle pour des applications d’imagerie plus larges. Ici, nous avons d’abord mis en œuvre ACsN avec une caméra de qualité industrielle haut de gamme pour la microscopie à grand champ utilisant à la fois l’éclairage epi et TIRF (Fig. 5 bis-h). Dans les deux configurations, le débruitage ACsN a considérablement amélioré la qualité de l’image, obtenant un accord proéminent avec les images obtenues par la caméra sCMOS (Figs supplémentaires. 5 et 6, et Tableau supplémentaire 2).
Le microscope miniaturisé à excitation monophotonique, ou miniscope, a été développé pour effectuer une imagerie du calcium à grand champ chez des animaux se comportant librement.43,44,45. La miniaturisation requise a été réalisée en remplaçant les objectifs composés par une lentille à tige à indice de gradient (GRIN), qui offre plusieurs avantages, notamment un faible coût, un poids léger et une ouverture numérique relativement élevée. Ces caractéristiques du miniscope permettent une imagerie mini-invasive d’un volume significatif du cerveau avec une résolution au niveau cellulaire lors d’états comportementaux, cognitifs et émotionnels complexes46,47,48. Cependant, le capteur CMOS à faible coût (MT9V032C12STM, SUR semi-conducteur, prix ~ 15$) actuellement adopté donne une qualité d’image médiocre afin d’obtenir une vitesse d’imagerie relativement élevée, ce qui peut être très restrictif pour des applications plus larges en imagerie cellulaire. Ici, nous avons validé la faisabilité de l’ACsN pour le capteur miniscope en effectuant une imagerie en champ large basée sur l’excitation d’un photon unique de la calcéine colorée par GFP dans les Adipocytes vivants (Fig. 5i-p).
Microscopie à éclairage plan sélectif
Contrairement à la microscopie à grand champ, la microscopie à éclairage plan sélectif (SPIM) éclaire l’échantillon avec une feuille de lumière perpendiculaire à la direction d’observation. Cela évite un éclairage inutile, permettant une imagerie à long terme inégalée d’échantillons biologiques dynamiques49,50, 51. La microscopie à feuille de lumière en treillis (LLSM) optimise davantage le système optique en éclairant l’échantillon avec de multiples ondes planes qui sculptent un réseau optique invariant à la propagation52. Cependant, alors que de nouvelles stratégies sont à l’étude pour traiter les problèmes liés à l’échantillon53,54, le bruit de la caméra reste la limitation la plus pertinente pour les capacités d’imagerie SPIM et LLSM en raison de leur signal de fond relativement faible.
Nous avons d’abord démontré que le débruitage ACsN peut surmonter cette limitation en effectuant un balayage volumétrique SPIM d’une crevette en saumure fixe. Ici, nous avons amélioré l’auto-similitude en utilisant un filtrage 3D clairsemé le long de la direction de balayage. Après le traitement ACsN, nous avons observé que la suppression du bruit permet aux détails de l’échantillon de mieux ressortir dans chaque tranche individuelle (Fig. 7). En particulier, la correction du bruit à motif fixe est particulièrement perceptible dans les images de projection d’intensité maximale (Fig. 6a, e et Film supplémentaire 5). De plus, il est remarquable d’observer une nette amélioration des sections orthogonales du volume balayé (Fig. 6b-d, f-h), permettant une meilleure évaluation des structures 3D de l’échantillon.
Pour valider le traitement ACsN pour le LLSM, nous avons d’abord imité des cellules de peau fixes colorées pour la kératine avec EGFP à différents temps d’exposition (5, 10 et 20 ms) en utilisant une puissance d’éclairage laser constante de 27 mW (mesurée au plan focal arrière de l’objectif d’éclairage). Ces images ont été acquises à l’aide du mode de balayage d’échantillons et, par conséquent, les tranches ont dû être désenregistrées pour retrouver les positions d’origine (voir Méthodes). Nous avons effectué une telle opération avant le débruitage ACsN afin d’utiliser l’auto-similitude le long de z pour un filtrage 3D clairsemé. Nous avons observé que la qualité d’image peut être bien maintenue par le débruitage même après une réduction par quatre du temps d’exposition (Fig. 8 et Tableau supplémentaire 3).
En outre, nous avons démontré la restauration d’images ACsN d’imagerie LLSM à cellules vivantes en accéléré. Tout d’abord, nous avons imité des cellules cancéreuses du poumon humaines vivantes (CPNPC NCI-H1299) en mode de balayage d’échantillons avec des intervalles de 18,4 s sur plus de 30 min (Fig. 6i-k, Fig. supplémentaire. 9, et Films supplémentaires 6 et 7). Comme indiqué ci-dessus, le mode de numérisation d’échantillons nécessite un désendettement des tranches volumétriques, ce qui augmente la taille de l’ensemble de données et, ensuite, la complexité du traitement. Contrairement au cas précédent, cependant, pour l’imagerie en accéléré, nous avons pu utiliser l’auto-similarité temporelle, ce qui donne une correction du bruit plus efficace par rapport à la correction volumétrique 55. Par conséquent, nous avons débruité les analyses volumétriques en accéléré en traitant les piles temporelles correspondantes de chaque tranche individuelle. De cette façon, l’ACsN pourrait être utilisé avant la décolletage, préservant efficacement les performances de débruitage tout en économisant le temps de calcul (fig. supplémentaire. 10). Ensuite, nous avons observé le mouvement de la F-actine endogène dans des fibroblastes embryonnaires de souris vivantes en utilisant LLSM en mode balayage de feuille (voir Méthodes). Notamment, ce mode ne produit aucun décalage entre les tranches, et l’information volumétrique peut être récupérée sans dépoussiérage (Fig. supplémentaire. 11). En particulier, le mouvement des filopodes tout autour de la cellule peut être observé avec une plus grande clarté après le débruitage (Film supplémentaire 8).
Leave a Reply