Articles

蛍光顕微鏡用の高速かつ正確なsCMOSノイズ補正

by admin 11月 23, 2021

ACsN algorithmic framework

ACsNは、カメラキャリブレーション、ノイズ推定、スパースフィルタリングを組み合わせて、sCMOSカメラによって生成される最も関連性の高いノイズ源を補正します(図1)。 1aおよび補足ノート1および2.1）。特に、ACsNはまず、sCMOSピクセルのオフセットとゲインのマップを使用して固定パターンノイズを補正します。Ｓｃｍｏｓカメラにおける固定パターンノイズの存在は，同じ数の衝突光子（Ｓｐ）とは異なる数の光電子を異なる画素（ｐ）で生成する。この効果は照明レベルに比例し、ポアソン分布変数Spのパラメータに適用される乗法因子ypとしてモデル化することができます。同時に、アナログ-デジタル（AD）変換中に、各ピクセルによって生成される電圧が基準レベルからの差として読み取られ、これは光がないことを表します。実際には、この基準電圧には、測定された強度値のバイアス（θ p）の原因となる正の値が割り当てられます。したがって、sCMOSカメラの取得は、次の式でモデル化することができます：20

$ $z_P=\gamma_p{\mathrm{pois}}\left\{{s_P\left（\tau\right）}\right\}+n\left（{0、\sigma_R}\right）+\beta_p、$ $

（1）

ここで、zpはピクセルpの値であり、exposure露光時間、exposure p=\gamma_p{\mathrm{pois}}\left\{{s_P\left（\tau\right）}\right\}+n\left（{0、\sigma_R}\right）+\beta_p、$ $

そして、n(0,θ r)は、平均μ r=0および標準偏差θ rのガウス分布読み出しノイズです。蛍光顕微鏡の実用性を考慮して、このモデルでは、1秒以下の露光時間では無視できる暗電流の寄与と、読み出しノイズ3,21(補足注2.2)と比較して無視できるAD変換に起因する量子化ノイズを省略しました。

図。 1:ACsNの概念および性能。Figcaption>

ACsNアルゴリズムの概念。入力画像は、固定パターンノイズ（FP）を除去するために、カメラのピクセルゲインとオフセットマップでスケーリングされます。次に，実験パラメータを用いて，ＯＴＦ境界を計算し，ハイパスフィルタ画像を生成するために使用し，そこから雑音推定（ＮＥ）を得た。最後に、疎フィルタリング（ＳＦ）が、ノイズ除去画像を生成するために実行される。 bノイズ補正前（灰色の正方形）と後（赤い円）のノイズ変動の比較。すべてのデータを純粋なポアソンノイズの期待値で除算しました。破線は理想的なカメラ性能を表しています。このプロットを生成するために、Ｈｅｌａ微小管の３つの異なる画像セットを使用した。誤差バーは、100以上の画像で評価された時間標準偏差(STD)を表します。 c、dゆらぎマップ、すなわち、STDは、（c）の前と（d）ACsNノイズ除去後に100msの露光時間で取得されたsCMOS画像を評価しました。強度は、アナログ-デジタル単位(ADU)で表されます。 e、fは、それぞれcとdの白い四角でマークされた領域のズームイン画像。 gは、それぞれeおよびfにおける丸で囲まれた領域（1および2）に対応する画素の強度値の時間的変動を示す。元の画像とノイズ除去された画像の値は、それぞれ灰色と赤でプロットされます。スケールバー：500nm（a）、1μ m（b）、3μ m（d）、300nm（f）。

固定パターンノイズはカメラ回路にのみ依存するため、σ pとypはワンタイム校正によって推定できます（方法を参照）。しかし，基礎となる信号Ｓｐの正確な推定を得るためには，Ｇａｕｓｓ分布読み出し雑音Ｎ（０，θ ｒ）とＰｏｉｓｓｏｎ分布光子ショット雑音Ｐｏｉｓ｛Ｓｐ（θ）｝に起因するゆらぎの両方を慎重に評価する必要がある。この評価を行うために，顕微鏡システムの周波数応答を解析することにより，ノイズ分散の共同推定を可能にするノイズモデルを考案した。これは、光子束が>3個の光子である場合、光子ショットノイズのポアソン分布をガウス分布で近似できるという事実に基づいています22。特に、ポアソン分散$\sigma_P^2$をガウス分散$\sigma_G^2$で近似することによってもたらされる誤差は、光子束がピクセルあたり5光子を超える場合、<1%になります(補足注2.3)。特に、光子流束に関する上記の条件は、通常、蛍光顕微鏡における多くの用途で満たされる23,24。したがって、カメラ関連のノイズは、分散が$\sigma_N^2=\sigma_R^2+\sigma_G^2$である2つの独立したガウス分布確率変数の合計の結果として考えます。このような分布は一定のパワースペクトル密度で構成され、試料からの信号は光学伝達関数（ＯＴＦ）２５内に含まれる。したがって、光学系の知識を活用して、ノイズのみによるOTF外のピクセル変動を評価し、得られた値を使用して元の画像のσ nを導出します（補足注2.3）。

次に、アルゴリズムは、サンプルの自己類似性の非局所的な評価のためにこれらのノイズ統計を使用し、入力シーケンスに協調スパースフィルタを実これまでの協調フィルタリングの実装とは異なり，精度とランタイムを犠牲にすることなくノイズ補正を強化するために，空間と時間における画像自己類似性を順次プローブする階層化アプローチを採用した。簡単に言えば、フィルタは、パッチ内の画像を分解し、それらの類似性に従って三次元（3D）グループに分類する26。次に、各グループを一度に処理するために3D変換を採用しています。ノイズ除去は、ハードしきい値処理によって実行され、パッチ間の類似性のために、3D変換は元のパッチの均一なスパース表現をもたらすが、ノイズパワースペクトルは定数27のままであるという事実によって強化される。その後、ノイズ除去されたパッチは、中間画像を形成するために、元の場所に戻されます。この時点で、協調フィルタは2回目に実行されますが、ハードしきい値処理はウィーナーフィルタに置き換えられます。フィルタは、ノイズの多い画像と中間画像の両方を使用して実行され、最終的なノイズのない画像を生成します（補足ノート2.4）。画像全体のノイズの空間的変化は、ウィーナーフィルタの性能に影響を与える可能性があることに留意すべきである。しかし、これはかなり全体の画像と比較して、空間的にバリアントnoise9に対して大きな安定性を示す、個々のパッチグループ内の強度の均一性を向上させ、パッチベースの処理を使用することによって軽減されます。

最後に、隣接するフレームでも同様のパッチを探して、別の共同フィルタが実行されます。このようにして、時間的分解能を維持しながら、サンプルの自己類似性を時間的に利用して残留ノイズをさらに低減することができる18（補足注2.5）。

ACsNの特性評価

次に、数値データと実験データの両方を使用してACsNの性能を特性化しました。特に、ACsN協調フィルタリングは、σ nの推定と、ノイズ補正とランタイムの両方を最適化するために選択されたアルゴリズム28のパラメータの選択に依存我々は、我々の戦略は、特に非常に空間的にバリアントノイズ（補足ノート3.2）の存在下で、画像解像度の損失を回避し、カメラノイズの有害な影響を大幅に減さらに、カメラノイズは、サンプルに関連しないピクセル値の時間的変動を誘発し、タイムラプスデータの定量分析に影響を与える可能性があります。 ACsNノイズ除去は、理想的なカメラのそれに匹敵する残留ゆらぎで、この効果を約1桁減少させます（図2）。 1b-gおよび補足ノート3.3)。さらに、低光子数では、サンプルの詳細はノイズの変動に匹敵し始め、取得が困難になることに注意する必要があります。したがって、画像復元の性能は、入力画像の光子束に本質的に関連している。それにもかかわらず、シミュレーションと実験データの両方を使用して、我々はピクセルあたり5-10光子までの低光レベルで堅牢なACsNノイズ補正を検証しました（補足注3.4）。

さらに、我々は通常、蛍光顕微鏡に採用されている様々なサンプリングレートでACsNの性能を検証しました。実際には、ナイキスト基準に近いサンプリングレートは、信号対雑音比（SNR）と詳細保存との間の良好なトレードオフを表します。ここでは、サンプリングレートの広い範囲にわたって数値的および実験的に調べると、我々はオーバーサンプリングと低SNRのためのACsNの実行可能性とアンダーサンプリングと信号の顕著な損失（補足ノート3.5）を実証しました。

自然な画像とは異なり、生物学的サンプルの蛍光画像は非常に特定され、細胞内の正確に標識された分子標的または構造を示す。したがって、各蛍光画像は、通常、蛍光顕微鏡のためのアルゴリズムを特に効率的にするのに十分な非局所的な自己類似性を提供する、視野を横切って数値および実験データを用いて、入力画像の自己類似性の使用法に対するACsN性能の依存性を特徴付けた（補足ノート3.6）。さらに、以下に示すように、我々は定量的にキャリバーターゲット、蛍光粒子、単一分子、微小管、アクチンフィラメント、ミトコンドリア、糸状体、ラメリポディア、小動物などの様々な次元、形態、ランダム性、密度にまたがる、方法の実行可能性を検証するために、非生物学的および生物学的サンプルの様々な評価しました。

広視野顕微鏡

広視野顕微鏡、特に全内部反射蛍光（TIRF）顕微鏡は、細胞イメージングにおいて最も広く使用されている技術の一つです29。 TIRFはガラス/水インターフェイスでライトの全内部反射の現象をcoverslipを渡る少数の何百ものナノメートルのためにだけ伝播するエバネセント波を作成すこれにより、試料の底部での蛍光標識の選択的励起が可能になる（補足図４）。 1a）。しかし、蛍光発光体が弱い場合、光強度が低い場合、または露光時間が短い場合、sCMOS関連のノイズが深刻になり、画質が低下する（補足図）。 1b）。 ACsNノイズ除去は、このような寄与を効果的に低減し、歪みのない信号をノイズから回復することができ、基礎となる信号を損なうことなくより高速な集 1c、d）。

我々は、微小管を含む様々な固定、ライブおよびマルチカラーサブ細胞サンプルを使用して、epi蛍光およびTIRF構成の両方における広視野顕微鏡のACsN脱図1および補足図。図1）、ミトコンドリア（図1）、ミトコンドリア（図2）、ミトコンドリア（図2および補足ムービー1および2)、およびF-アクチン(図2および補足ムービー1および2)、およびF-アクチン(図2および補足ムービー 2). Ａｃｓｎの使用は、より短い露光時間（すなわち、より良い時間分解能）およびより低い励起レベル（すなわち、より少ない光損傷）で同じ画質を維持することがで従って性能は蛍光エミッターの光物理学によって主に限られます。定量的なメトリックを使用して、我々は方法が画質の損失なしで二桁低い光子バジェットで広視野画像を回復することができることを示した（補足表1）。

デコンボリューションと明視野顕微鏡

画像デコンボリューションは、低品質の画像の復元から超解像技術の改善まで、光学顕微鏡で広く使用されている30。しかし、ノイズはデコンボリューションアーティファクトを生成することによって、多くの一般的なアルゴリズムの性能を容易に低下させる可能性があります。代わりに、我々はリチャードソン*ルーシーアルゴリズム31、機械学習32、および半径変動33（補足ノート4.1）に基づいて、異なる方法の前にACsNノイズ除去を採用するこ画像復元の強化は、解像度スケーリングされたピアソン係数（ＲＳＰ）３４などのメトリックを使用して評価される、全体的な画像品質の改善によっても反映さ例えば、ACsNと放射状ゆらぎを組み合わせることで、現在報告されている33よりも二桁高い時間分解能で、より良いRSP値を持つ超解像画像を生成しました（補 2).

画像デコンボリューションは、光場顕微鏡（LFM）における三次元再構成の基礎にもあります。 LFMは顕微鏡システムのマイクロレンズアレイを採用して、入射光の二次元（2D）空間情報と2D角度情報の両方を取得し、単一のカメラフレーム35から標本の完全な3D体積の計算再構成を可能にする。しかし、デコンボリューションベースの再構成プロセスは、特にLFMの広視野、体積、および高速イメージングスキームのために、SNRに非常に敏感です。このため、Ｒａｗ画像中のノイズを補正するためにＡｃｓｎを使用する（図３）。 3A、b)は、3D光場再構成において明らかに顕著な改善をもたらす(図3a、b)。 3c、d）。実際、ノイズの存在は、3Dオブジェクトの誤算または非蛍光体関連ピークの伝播につながります。前者は軸方向の寸法に沿ったサンプリングに影響を与え、軸方向の分解能が不均一になる可能性があります(図1)。 3e、f）。後者は、蛍光信号を覆う追加の背景を生成し、横方向の分解能も損なう（図１０）。 3g-i）。 ACsNを使用すると、両方の欠陥を軽減することができ、細胞構造の大幅に改善された3D体積レンダリングが得られます。

図。 3: ACsNノイズ除去は、光フィールド顕微鏡における3D再構成の品質を向上させます。

単一分子局在顕微鏡

単一分子局在顕微鏡（SMLM）36のためのACsNの実現可能性を検証するために、我々はHeLa細胞におけるミトコンドリア 3). 単一分子局在化におけるsCMOS関連ノイズの効果は、ノイズによって覆われた弱い発光分子の損失による偽陰性の存在（補足図）の二つの側面で見ることがホットピクセルまたは単にノイズ分布に起因する偽陽性の存在（補足図3c、d）、および偽陽性の存在（補足図3c、d）、および偽陽性の存在（補足図3c、d）、および偽 3e、f）。生の単一分子データからノイズを除去することは、両方のタイプの局在化誤差を抑制することを可能にし、その結果、ＲＳＰおよびＲｓｅ（ＲｅｓｏｌｕｔｉｏｎＳｃａｌｅｄＥｒｒｏｒ）３４のようなストーム 4a、b）。また、このような局在化効率の改善は、ノイズを除去することなく、より良いコントラストおよび再構成において明確に見えない特徴の外観をもたらす（図 4c-f）。さらに、サンプルとは無関係のピクセル変動の減少は、不完全なラベリングの影響を軽減するために使用することができる蛍光色素の点滅速度のマッ 4).

単一分子イメージングと同様に、単一粒子追跡（SPT）における局在化精度は、検出された光子の数と密接に関連しています。したがって、SPTの性能に影響を与える重要な要因の一つは、画像データ37のSNRです。我々は、ACsNを使用して、粒子の誤識別および誤った軌道の原因となる局在誤差を最小限に抑えることができることを示した（図10）。 4g、hおよび補足の映画3）。このＳＮＲの改善により，より良い粒子局在精度，すなわちサブピクセル感度を有するビードの横方向変位のより良い推定が得られる。これは、3Dトラッキングの精度が焦点外画像の品質に依存する複葉機SPTでも非常に役立ちます38（図。 4i、補足ムービー4、および補足ノート4.2）。

低コストCMOSカメラを用いた蛍光顕微鏡

最近、ハイエンドの産業用CMOSカメラの進歩は、より手頃な価格でsCMOSカメラの性能に近づく可能性に科学界の関心を引き起こしている39,40,41,42。このようなＣＭＯＳカメラがＳＭＬＭ画像化に利用できることが示されている４１、４２。しかし、より低い量子効率と高い読み出しノイズは、多くの分野で定量的な生物医学研究のための画像品質と一般的な使いやすさを制限します。適切なノイズ除去戦略で課題に対処することは、より広範なイメージング用途のために産業用グレードのカメラを変換するための重要でタイムリーなソリここでは、まず、epi-とTIRF照明の両方を使用して広視野顕微鏡用のハイエンド産業グレードのカメラでACsNを実装しました（図。 5a-h）。両方の構成において、Ａｃｓｎノイズ除去は、画質を大幅に改善し、ＳＣＭＯＳカメラによって得られた画像と顕著な一致を達成した（補足図１、２、３、４、５、６、７、８、９、１０、１１、図5および図6、および補足表2)。

単一光子励起ベースの小型顕微鏡、またはミニスコープは、自由に行動animals43、44、45で広視野カルシウムイメージングを行うために開発され複合対物レンズをグラデーションインデックス（ＧＲＩＮ）ロッドレンズに置き換えることにより，低コスト，軽量，比較的高い開口数を含むいくつかの利点を有することにより，必要な小型化を達成した。 Miniscopeのこれらの特徴は複雑な行動の、認識および感情的なstates46、47、48の間に細胞レベルの決断の頭脳の重要な容積の低侵襲的なイメージ投射を可能にする。しかし、現在採用されている低コストのCMOSセンサー（MT9V032C12STM、On Semiconductor、価格-$15）は、比較的高い撮像速度を得るために画質が悪く、セルイメージングの広範なここでは、ライブ脂肪細胞におけるGFP染色カルセインの単一光子励起ベース、広視野イメージングを行うことにより、ミニスコープセンサーのACsNの実現可能性を 5i-p）。

選択的平面照明顕微鏡

広視野顕微鏡とは対照的に、選択的平面照明顕微鏡（SPIM）は、観察方向に垂直な光のシートでサンプルを照明します。これにより、不要な照明が回避され、動的な生物標本の比類のない長期イメージングが可能になります49,50,51。格子光シート顕微鏡（LLSM）は、伝搬不変光学格子を彫刻する複数の平面波で試料を照明することによって光学系をさらに最適化する52。しかし、サンプル関連の問題に対処するための新しい戦略が検討されています53,54,カメラノイズは、比較的低いバックグラウンド信号のため、SPIMおよびLLSM

我々は最初にACsNノイズ除去は、固定塩水エビのSPIM体積スキャンを実行することによって、この制限を克服することができることを実証しました。ここでは、スキャン方向に沿って3Dスパースフィルタを使用して自己類似性を強化しました。 ACsN処理の後、ノイズキャンセリングにより、個々のスライスごとにサンプルの詳細がより目立つようになることが観察されました（補足図。 7). 特に、固定パターンノイズの補正は、最大強度投影画像において特に顕著である（図２）。および補足動画５）。さらに、走査された体積の直交断面の明確な改善を観察することは顕著である（図10）。図６Ｂ−ｄ、ｆ−ｈ）に示すように、試料の３Ｄ構造のより良好な評価を可能にする。

LLSMのACsN処理を検証するために、我々は最初に（照明対物レンズの背面焦点面で測定）27mWの一定のレーザー照明パワーを使用して、異なる露光時間（5、10、およこれらの画像は、サンプルスキャンモードを使用して取得されたため、元の位置を取得するためにスライスをdeskewedする必要がありました（方法を参照）。我々は、3Dスパースフィルタリングのためにzに沿った自己類似性を利用するために、ACsNノイズ除去の前にこのような操作を行った。我々は、露光時間を四倍に短縮した後でさえも、ノイズを除去することによって画質を良好に維持することができることを観察した（補足図）。図8および補足表3)。

さらに、我々は、タイムラプス生細胞LLSMイメージングのACsN画像復元を実証しました。最初に、本発明者らは、30分以上にわたって18.4秒の間隔でサンプル走査モードで生きたヒト肺癌細胞（NCI-H1299NSCLC）を撮像した（図10B）。図６Ｉ−ｋ、補足図６ｉ−ｋ、補足図６ｉ−ｋ図9、および補足映画6および7）。前述のように、サンプルスキャンモードでは体積スライスのデスクウィングが必要になり、データセットのサイズが大きくなり、処理の複雑さが増します。しかし、前のケースとは対照的に、タイムラプスイメージングのために、我々は体積one55と比較して、より効率的なノイズ補正をもたらす時間的自己相似性を利用することができました。したがって、我々は、個々のスライスの対応する時間スタックを処理することにより、タイムラプス体積スキャンを非表示にしました。このようにして、ACsNはdeskewingの前に使用することができ、計算時間を節約しながらノイズ除去性能を効果的に維持することができます（補足図）。 10). 次に、シートスキャンモードでLLSMを使用して、生きているマウス胚線維芽細胞における内因性F-アクチンの動きを観察した（方法を参照）。特に、このモードはスライス間のシフトを生成せず、体積情報はdeskewingなしで取得することができる（補足図）。 11). 特に、細胞の周りの糸状体の動きは、ノイズ除去後により高い明瞭さで観察することができる（補足動画８）。

be settled