Il materiale di cui sopra, per sottolineare nuovamente il punto, si applica solo a dati indipendenti. Tuttavia, i dati del mondo reale spesso non soddisfano questo requisito; sono autocorrelati (noti anche come correlazione seriale). Ad esempio, le letture successive di uno strumento di misura che incorpora una qualche forma di processo di “smoothing” (più correttamente, filtro passa-basso) saranno autocorrelate, poiché qualsiasi valore particolare viene calcolato da una combinazione delle letture precedenti e successive.

Le stime della varianza e della deviazione standard dei dati autocorrelati saranno distorte. Il valore atteso della varianza campionaria è

E = σ 2 {\displaystyle {\rm {E}}\left=\sigma ^{2}\left}

dove n è la dimensione del campione (numero di misure) e ρ k {\displaystyle \rho _{k}}

è la funzione di autocorrelazione (ACF) dei dati. (Si noti che l’espressione tra parentesi è semplicemente uno meno l’autocorrelazione media prevista per le letture.) Se l’ACF è costituito da valori positivi, la stima della varianza (e la sua radice quadrata, la deviazione standard) sarà bassa. Cioè, la variabilità effettiva dei dati sarà maggiore di quella indicata da un calcolo della varianza o della deviazione standard non corretto. È essenziale riconoscere che, se questa espressione deve essere usata per correggere il bias, dividendo la stima s 2 {\displaystyle s^{2}}

per la quantità tra parentesi sopra, allora l’ACF deve essere conosciuto analiticamente, non tramite stima dai dati. Questo perché l’ACF stimato sarà di per sé prevenuto.

Esempio di bias in standard deviationEdit

Per illustrare la grandezza della corrente di polarizzazione della deviazione standard, prendere in considerazione un set di dati che consiste in sequenziale letture da uno strumento che utilizza uno specifico filtro digitale di cui ACF è noto per essere dato da

ρ k = ( 1 − α ) k {\displaystyle \rho _{k}=(1-\alpha )^{k}}

dove α è il parametro del filtro, e assume valori da zero a unità. Quindi l’ACF è positivo e geometricamente decrescente.

Bias nella deviazione standard per i dati autocorrelati.

La figura mostra il rapporto tra la deviazione standard stimata e il suo valore noto (che può essere calcolato analiticamente per questo filtro digitale), per diverse impostazioni di α in funzione della dimensione del campione n. Modifica α altera la varianza rapporto di riduzione del filtro, che è noto per essere

V R R = α 2 − α {\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}

in modo che i più piccoli valori di α risultato in più di riduzione della varianza, o “smoothing.”Il bias è indicato da valori sull’asse verticale diversi dall’unità; cioè, se non ci fossero pregiudizi, il rapporto tra la deviazione standard stimata e nota sarebbe unità. Chiaramente, per campioni di dimensioni modeste può esserci un pregiudizio significativo (un fattore di due o più).

Varianza della mediamodifica

È spesso interessante stimare la varianza o la deviazione standard di una media stimata piuttosto che la varianza di una popolazione. Quando i dati sono autocorrelati, ciò ha un effetto diretto sulla varianza teorica della media del campione, che è

V a r = σ 2 n . Per maggiori informazioni clicca qui. il nostro sito utilizza cookie tecnici e di terze parti per migliorare la tua esperienza di navigazione.}

La varianza della media campione può quindi essere stimata sostituendo una stima di σ2. Una di queste stime può essere ottenuta dall’equazione per E di cui sopra. Per prima cosa definire le seguenti costanti, assumendo, ancora una volta, un ACF noto:

γ 1 ≡ 1 − 2 n − 1 ∑ k = 1 n − 1 ( 1 − k n ) r k {\displaystyle \gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}

γ 2 ≡ 1 + 2 ∑ k = 1 n − 1 ( 1 − k n ) r k {\displaystyle \gamma _{2}\equiv 1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}

che

E = σ 2 γ 1 ⇒ E = σ 2 {\displaystyle {\rm {E}}\left=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left=\sigma ^{2}}

Questo dice che il valore atteso della quantità ottenuta dividendo il campione osservata varianza per il fattore di correzione γ 1 {\displaystyle \gamma _{1}}

fornisce una stima non distorta della varianza. Allo stesso modo, ri-scrivere l’espressione di cui sopra per la varianza della media, V a r = σ 2 n γ 2 {\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\gamma _{2}}

e sostituendo il preventivo per σ 2 {\displaystyle \sigma ^{2}}

dà V a r = E = E {\displaystyle {\rm {Var}}\left={\rm {E}}\left={\rm {E}}\left}

che è un stimatore imparziale della varianza della media in termini di varianza del campione osservata e quantità note. Se le autocorrelazioni ρ k {\displaystyle \ rho _{k}}

sono identicamente nulle, questa espressione si riduce al risultato noto per la varianza della media per dati indipendenti. L’effetto dell’operatore di aspettativa in queste espressioni è che l’uguaglianza vale nella media (cioè, in media).

Stimare la deviazione standard della populationEdit

Avendo le espressioni di cui sopra comportano la varianza della popolazione, e di una stima della media della popolazione, sembrerebbe logico semplicemente prendere la radice quadrata di queste espressioni per ottenere stime imparziali delle rispettive deviazioni standard. Tuttavia è il caso che, da quando le aspettative sono integrali,

E ≠ E ≠ γ σ 1 {\displaystyle {\rm {E}}\neq {\sqrt {{\rm {E}}\left}}\neq \sigma {\sqrt {\gamma _{1}}}}

Invece, assume una funzione di θ esiste che uno stimatore corretto per la deviazione standard può essere scritto

E = σ θ γ 1 ⇒ σ ^ = s q γ 1 {\displaystyle {\rm {E}}=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}}

e θ dipende dalla dimensione del campione n e dall’ACF. Nel caso di dati NID (distribuiti normalmente e indipendentemente), il radicand è unity e θ è solo la funzione c4 data nella prima sezione sopra. Come con c4, θ si avvicina all’unità all’aumentare della dimensione del campione (così come γ1).

può essere dimostrato attraverso modelli di simulazione, che ignorando θ (che è, prendendo per unità) e l’utilizzo di

E ≈ γ σ 1 ⇒ σ ^ ≈ s γ 1 {\displaystyle {\rm {E}}\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}}

rimuove tutti, ma una piccola percentuale delle distorsioni causate dall’autocorrelazione, rendendo questo un ridotto il bias di stimatore, piuttosto che uno stimatore corretto. In situazioni di misurazione pratica, questa riduzione del bias può essere significativa e utile, anche se rimane un bias relativamente piccolo. La figura sopra, che mostra un esempio del bias nella deviazione standard rispetto alla dimensione del campione, si basa su questa approssimazione; il bias effettivo sarebbe leggermente più grande di quanto indicato in quei grafici poiché il bias di trasformazione θ non è incluso lì.

Stimare la deviazione standard di un campione meanEdit

imparziale varianza della media in termini di varianza della popolazione e l’ACF è dato da

V a r = σ 2 n γ 2 {\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\gamma _{2}}

e dato che non ci sono valori attesi qui, in questo caso la radice quadrata può essere assunto, in modo che

σ x = σ n γ 2 {\displaystyle \sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}}

Utilizzando la stima non distorta espressione di σ, una stima della deviazione standard della media sarà quindi

s ^ x = s, q, n, γ γ 2 1 {\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}}

Se i dati sono NID, così che l’ACF svanisce, questo si riduce a

s ^ x = s c 4 n {\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}}