Articles

Puolueeton estimointi keskihajonnasta

edellä oleva aineisto, jotta asiaa voidaan korostaa uudelleen, koskee vain riippumattomia tietoja. Reaalimaailman data ei kuitenkaan useinkaan täytä tätä vaatimusta, vaan se on autokorrelaatiosidonnainen (tunnetaan myös nimellä sarjakorrelaatio). Esimerkiksi mittalaitteen peräkkäiset lukemat, jotka sisältävät jonkinlaisen ”tasoituksen” (oikeammin alipäästösuodatuksen) prosessin, autokorrelated, koska mikä tahansa tietty arvo lasketaan jostakin aikaisempien ja myöhempien lukemien yhdistelmästä.

arviot autokorrelatoitujen tietojen varianssista ja keskihajonnasta ovat puolueellisia. Otosvarianssin odotusarvo on

e = σ 2 {\displaystyle {\rm {E}}\left=\sigma ^{2}\left}

{\displaystyle {\rm {E}}\left=\sigma ^{2}\left}

missä n on otoksen koko (mittausten lukumäärä) ja ρ K {\displaystyle \Rho _{k}}

\Rho _{k}

on aineiston autokorrelaatiofunktio (ACF). (Huomaa, että suluissa oleva lauseke on yksinkertaisesti yksi miinus lukemien keskimääräinen odotettu autokorrelaatio.) Jos ACF koostuu positiivisista arvoista, varianssin estimaatti (ja sen neliöjuuri, keskihajonta) on puolueellinen pieni. Toisin sanoen tietojen todellinen vaihtelu on suurempi kuin korjaamattomalla varianssi-tai keskihajontalaskelmalla ilmoitettu. On tärkeää huomata, että jos tätä lauseketta käytetään Biasin korjaamiseen jakamalla estimaatti s 2 {\displaystyle S^{2}}

s^{2}

edellä suluissa olevalla suureella, on ACF tunnettava analyyttisesti, ei estimoimalla aineistosta. Tämä johtuu siitä, että arvioitu VAIHTOVELKAKIRJALAINAKIN on puolueellinen.

esimerkki standardipoikkeaman vinoumasta

havainnollistaakseen keskihajonnan vinouman suuruutta tarkastellaan tietojoukkoa, joka koostuu peräkkäisistä lukemista instrumentilta, joka käyttää tiettyä digitaalista suodatinta, jonka ACF: n tiedetään olevan

ρ K = ( 1 − α ) k {\displaystyle \rho _{K}=(1-\alpha )^{k}}

{\displaystyle \rho _{k}=(1-\alpha )^{k}}{\displaystyle \rho _{k}=(1-\alpha )^{k}}displaystyle \ Rho _ {K} = (1 – \ alpha) ^ {k}}

missä α on suodattimen parametri, ja se vie arvot nollasta ykseyteen. Näin ACF on positiivinen ja geometrisesti laskeva.

Automaattikorrelaatiotietojen keskihajonta.

kuvassa näkyy arvioidun keskihajonnan suhde sen tunnettuun arvoon (joka voidaan laskea analyyttisesti tälle digitaaliselle suodattimelle) usealle asetukselle α otoskoon n funktiona. Α: n muuttaminen muuttaa suodattimen varianssin pienenemissuhdetta, jonka tiedetään olevan

V r r = α2 − α {\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}

{\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}

niin, että α: n pienemmät arvot johtavat enemmän varianssin pienenemiseen eli ”silottumiseen.”Harha ilmaistaan pystyakselin arvoilla, jotka poikkeavat ykseydestä; toisin sanoen jos ei olisi vinoumaa, estimoidun ja tunnetun keskihajonnan suhde olisi ykseys. On selvää, että vaatimattomissa otoskooissa voi olla merkittävä vinouma (kerroin kaksi tai enemmän).

keskiarvon varianssi

on usein kiinnostavaa arvioida estimoidun keskiarvon varianssi tai keskihajonta populaation varianssin sijaan. Kun aineisto on autokorrelatoitunut, tällä on suora vaikutus otoksen keskiarvon teoreettiseen varianssiin, joka on

V a R = σ 2 n . {\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\left.}

{\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\left.}

otoksen keskiarvon varianssi voidaan sitten arvioida korvaamalla estimaatti σ2. Yksi tällainen estimaatti voidaan saada edellä esitetystä yhtälöstä E: lle. Määrittele ensin seuraavat vakiot, olettaen, jälleen, tunnettu ACF:

γ 1 ≡ 1 − 2 n − 1 ∑ K = 1 n − 1 ( 1 − k n ) ρ K {\displaystyle \gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}

{\\displaystyle\gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{K=1}^{n-1} {\left(1-{\frac {k}{n}}\right)} \Rho _{k}

γ 2 ≡ 1 + 2 ∑ K = 1 n − 1 ( 1 − K n ) ρ k {\displaystyle\gamma _{2}\equiv 1+2\sum _{K=1}^{n-1} {\left(1-{\frac {k} {n}}\right)}\Rho _{k}}

{\displaystyle\gamma _{2}\equiv 1+2\sum _{K=1}^{n-1} {\left(1-{\frac {K} {n}}\right)} \ Rho _{k}}

siten, että

E = σ 2 γ 1 ⇒ E = σ 2 {\displaystyle {\rm {E}}\Left=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left=\sigma ^{2}}

{\displaystyle {\rm {E}}\left=\Sigma ^{2}\gamma _{1}\rightarrow {\rm {e}}\left=\sigma ^{2}}

tämän mukaan sen suureen odotusarvo, joka saadaan jakamalla havaittu otosvarianssi korjauskertoimella γ 1 {\displaystyle \gamma _{1}}

\gamma _{1}

antaa puolueettoman arvion varianssista. Vastaavasti kirjoitetaan yllä oleva lauseke uudelleen keskiarvon varianssille, V a R = σ 2 n γ 2 {\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\gamma _{2}}

{\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\gamma _{2}}

ja korvaamalla σ 2 {\displaystyle \sigma ^{2}}

\sigma ^{2}

antaa V A R = E = E {\displaystyle {\rm {Var}}\left={\RM {e}}\left={\rm {e}}\left}

{\displaystyle {\rm {var}}\left={\rm {e}}\Left={\rm {e}}\Left}

joka on keskiarvon varianssin puolueeton estimaattori Havaittujen otosvarianssien ja tunnettujen suureiden osalta. Jos autokorrelaatiot ρ k {\displaystyle \rho _{k}}

\rho _{k}

ovat identtisesti nolla, tämä lauseke pelkistyy riippumattomien tietojen keskiarvon varianssin tunnettuun tulokseen. Odotusoperaattorin vaikutus näissä lausekkeissa on, että tasa-arvo pätee keskiarvossa (eli keskimäärin).

arvioitaessa populaation keskihajontaa

, Kun yllä olevat lausekkeet sisältävät perusjoukon varianssin, ja arvioitaessa perusjoukon keskiarvoa, olisi loogista yksinkertaisesti ottaa näiden lausekkeiden neliöjuuri, jotta saadaan puolueettomia arvioita vastaavista keskihajonnoista. On kuitenkin niin, että koska odotukset ovat integraaleja,

E ≠ E ≠ σ γ 1 {\displaystyle {\rm {E}}\neq {\sqrt {{\rm {E}}\left}}\neq \sigma {\sqrt {\gamma _{1}}}

{\displaystyle {\rm {E}}\neq {\sqrt {{{\RM {e}}\Left}}\neq \Sigma {\sqrt {\gamma _{1}}}}

sen sijaan oletetaan, että funktio θ on olemassa siten, että keskihajonnan puolueeton estimaattori voidaan kirjoittaa

e = σ θ γ 1 ⇒ σ ^ = S θ γ 1 {\displaystyle {\rm {e}}=\Sigma \Theta {\sqrt {\Gamma _{1}}}\rightarrow {\Hat {\Sigma}} ={\frac {s} {\Theta {\sqrt {\gamma _{1}}}}}}

{\displaystyle {\rm {E}}=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}}

ja θ riippuvat otoskoosta n ja ACF: stä. Nid: n (normaalisti ja itsenäisesti hajautetun) datan tapauksessa radicand on ykseys ja θ on vain ensimmäisessä jaksossa annettu C4-funktio. Kuten C4: ssä, θ lähestyy ykseyttä otoskoon kasvaessa (samoin kuin γ1: ssä).

se voidaan osoittaa simulaatiomallinnuksella, jossa jätetään θ huomiotta (eli pidetään yhtenäisyyttä) ja käytetään

E ≈ σ γ 1 ⇒ σ ^ ≈ S γ 1 {\displaystyle {\rm {E}}\approx \sigma {\sqrt {\gamma _{1}}}\rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}

{\displaystyle {\rm {e}}\approx \Sigma {\sqrt {\gamma _{1}}}\rightarrow {\hat {\Sigma}} \approx {\frac {s} {\sqrt {\gamma _{1}}}}}

poistaa muutamaa prosenttia lukuun ottamatta autokorrelaation aiheuttaman harhan, mikä tekee tästä pelkistetyn harhan estimaattorin puolueettoman estimaattorin sijaan. Käytännön mittaustilanteissa tämä harhan väheneminen voi olla merkittävää ja hyödyllistä, vaikka jokin suhteellisen pieni harha jäisi jäljelle. Yllä oleva luku, joka esittää esimerkin keskihajonnan ja otoskoon vinoumasta, perustuu tähän likiarvoon; todellinen vinouma olisi jonkin verran suurempi kuin näissä kuvioissa on esitetty, koska muunnos bias θ ei sisälly tähän.

otoksen keskihajonnan estimointi

keskiarvon puolueeton varianssi perusjoukon varianssin ja ACF: n suhteen saadaan kaavalla

V a R = σ 2 n γ 2 {\displaystyle {\rm {Var}}\left={\frac {\sigma ^{2}}{n}}\gamma _{2}}

{\displaystyle {\rm {var}}\Left={\frac {\sigma ^{2}}{n}}\Gamma _{2}}

ja koska tässä ei ole odotusarvoja, voidaan tässä tapauksessa ottaa neliöjuuri siten, että

σ x = σ n γ 2 {\displaystyle \Sigma _{\overline {x}}={\frac {\Sigma }{\sqrt {n}}} {\\sqrt {\Gamma _{2}}}

{\displaystyle \sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}

käyttäen yllä olevaa puolueetonta estimaattilauseketta σ: lle keskiarvon keskihajonnan estimaatti on tällöin

σ ^ x = S θ n γ 2 γ 1 {\displaystyle {\hat {\Sigma}} _{\overline {x}}={\frac {s} {\Theta {\sqrt {\gamma _{2}}} {\sqrt {\gamma _{1}}}}

{\displaystyle {\Hat {\Sigma}} _{\overline {x}}={\frac {s} {\theta{\sqrt {n}}} {\frac {\sqrt {\Gamma _{2}}} {\sqrt {\gamma _{1}}}}}

Jos tiedot ovat NID, niin että ACF katoaa, tämä pienenee muotoon

σ ^ x = S C 4 n {\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}

{\displaystyle {\hat {\sigma}} _{\overline {x}}={\frac {s} {C_{4} {\sqrt {n}}}}