Care este relația dintre estimator și estimare?
On februarie 10, 2021 by adminCare este relația dintre estimator și estimare?
Comentarii
- ” În statistici, un estimator este o regulă pentru calcularea unei estimări a unei cantități date pe baza datelor observate: astfel se disting regula și rezultatul acesteia (estimarea). ” (Prima linie a articolului Wikipedia en.wikipedia.org/wiki/Estimator ).
- + 1 Susțin această întrebare (în ciuda prezenței unui răspuns bine formulat pe o pagină Wikipedia evidentă), deoarece încercările inițiale de a răspunde aici au arătat câteva subtilități.
- @whuber, pot spune parametrii modelului estimările sunt estimatorul?
- @loganecolss Un estimator este o funcție matematică. Aceasta se distinge de valoarea (estimarea) pe care ar putea să o obțină pentru orice set de date. O modalitate de a aprecia diferența este de a observa că anumite seturi de date vor produce aceleași estimări de, să zicem, panta într-o regresie liniară folosind estimatori diferiți (cum ar fi Maximum Probabilitatea sau cele mai puțin pătrate reiterate în mod iterativ, de exemplu). Fără a distinge estimările de estimatorii folosiți pentru a produce aceste estimări, nu am putea înțelege ce spune chiar afirmația respectivă.
- @whuber, chiar și cu un anumit set de date $ D $, un estimator diferit ar putea, de asemenea, să dea diferite estimări, nu ‘ nu?
Răspunde
E . L. Lehmann, în clasicul său Theory of Point Estimation , răspunde la această întrebare la paginile 1-2.
Observațiile sunt acum postulat a fi valorile luate de variabilele aleatorii care se presupune că urmează o distribuție de probabilitate comună, $ P $ , aparținând unei clase cunoscute …
… să ne specializăm acum în estimarea punctelor … să presupunem că $ g $ este o funcție cu valoare reală definită [pe clasa de distribuții stipulată ] și că am dori să cunoaștem valoarea $ g $ [la orice distribuție efectivă, $ \ theta $ ]. Din păcate, $ \ theta $ și, prin urmare, $ g (\ theta) $ , este necunoscut. Cu toate acestea, datele pot fi folosite pentru a obține o estimare de $ g (\ theta) $ , o valoare care se speră că va fi aproape de $ g (\ theta) $ .
În cuvinte: un estimator este un matematic definit procedură care vine cu un număr ( estimarea ) pentru orice set posibil de date pe care o anumită problemă l-ar putea produce. Acest număr este destinat să reprezinte o anumită proprietate numerică ( $ g (\ theta) $ ) a procesului de generare a datelor; s-ar putea numi acest lucru ” estimand. ”
Estimatorul în sine nu o variabilă aleatorie: este doar o funcție matematică. Cu toate acestea, estimarea pe care o produce se bazează pe date care sunt ele însele modelate ca variabile aleatorii. Aceasta face ca estimarea (considerată ca fiind în funcție de date) într-o variabilă aleatorie și o estimare specială pentru un anumit set de date devine o realizare a acelei variabile aleatoare.
Într-o singură (convențională) formulare pătrate, datele constau în perechi ordonate $ (x_i, y_i) $ . $ x_i $ au a fost determinată de experimentator (pot fi cantități de medicament administrat, de exemplu). Fiecare $ y_i $ (un răspuns la medicament, de exemplu) se presupune că provin dintr-o distribuție de probabilitate normală, dar cu media necunoscută $ \ mu_i $ și common varianță $ \ sigma ^ 2 $ . Mai mult, se presupune că mijloacele sunt legate de $ x_i $ printr-o formulă $ \ mu_i = \ beta_0 + \ beta_1 x_i $ . Acești trei parametri – $ \ sigma $ , $ \ beta_0 $ și $ \ beta_1 $ –determinați distribuția subiacentă a $ y_i $ pentru orice valoare $ x_i $ . Prin urmare, orice proprietate a acestei distribuții poate fi considerată ca o funcție a $ (\ sigma, \ beta_0, \ beta_1) $ .Exemple de astfel de proprietăți sunt interceptarea $ \ beta_0 $ , panta $ \ beta_1 $ , valoarea $ \ cos (\ sigma + \ beta_0 ^ 2 – \ beta_1) $ , sau chiar media la valoarea $ x = 2 $ , care (conform acestei formulări) trebuie să fie $ \ beta_0 + 2 \ beta_1 $ .
În acest OLS context, un non-exemplu al unui estimator ar fi o procedură de ghicit la valoarea $ y $ dacă $ x $ au fost setate egal cu 2. Acesta este nu un estimator deoarece această valoare de $ y $ este aleatoriu (într-un mod complet separat de întâmplarea datelor): nu este o proprietate (numerică definită) a distribuției, chiar dacă este legată de distribuția respectivă. (După cum tocmai am văzut, totuși, așteptarea de $ y $ pentru $ x = 2 $ , egal cu $ \ beta_0 + 2 \ beta_1 $ , poate fi estimat.)
În formularea lui Lehmann, aproape orice formulă poate fi un estimator al aproape oricărei proprietăți. Nu există o legătură matematică inerentă între un estimator și un estimand. Cu toate acestea, putem evalua – în avans – șansa ca un estimator să fie rezonabil. aproape de cantitatea pe care se intenționează să o estimeze. Modalitățile de a face acest lucru și modul de exploatare a acestora fac obiectul teoriei estimării.
Comentarii
- (+ 1) Un răspuns foarte precis și detaliat.
- Nu este o funcție a unei variabile aleatoare în sine, de asemenea, o variabilă aleatoare?
- @jsk Cred că distincția pe care încercam să o fac face aici poate fi clarificat luând în considerare compoziția funcțiilor $$ \ Omega \ to \ mathbb {R} ^ n \ to \ mathbb {R}. $$ Prima funcție este o variabilă aleatorie $ X $; al doilea (numiți-l $ t $) este denumit aici un estimator și compoziția celor doi $$ t \ circ X: \ Omega \ to \ mathbb { R} $$ este o ” estimare ” sau ” procedură de estimare, ” care este – după cum spuneți corect – o variabilă aleatorie.
- @whuber În postarea dvs., spuneți ” Estimatorul în sine nu este o variabilă aleatorie. ” Am încercat o modificare a postării dvs. pentru a clarifica punctul pe care tu și cu mine parcă suntem de acord, dar se pare că cineva a respins editarea mea. Poate că ar prefera editarea dvs.!
- Permiteți-ne să continuăm această discuție în chat .
Răspuns
Pe scurt: un estimator este un funcție și o estimare este o valoare care rezumă un eșantion observat.
Un estimator este o funcție care mapează un eșantion aleatoriu la estimarea parametrului:
$$ \ hat {\ Theta} = t (X_1, X_2, …, X_n) $$ Rețineți că un estimator de n variabile aleatoare $ X_1, X_2, …, X_n $ este o variabilă aleatoare $ \ hat {\ Theta} $. De exemplu, un estimator este media eșantionului: $$ \ overline {X} = \ frac {1} {n} \ sum_ {n = 1} ^ nX_i $$ Un estimate $ \ hat {\ theta} $ este rezultatul aplicării funcției estimator la un eșantion observat cu litere mici $ x_1, x_2, …, x_n $:
$$ \ hat {\ theta} = t (x_1, x_2, …, x_n) $$ De exemplu, o estimare a eșantionului observat $ x_1, x_2, …, x_n $ este media eșantionului : $$ \ hat {\ mu} = \ overline {x} = \ frac {1} {n} \ sum_ {n = 1} ^ nx_i $$
Comentarii
- estimatorul este un RV, în timp ce estimarea este o constantă?
- Nu este ‘ concluzia dvs. în conflict cu @whuber ‘ s? Aici spuneți că estimatorul este RV, dar whuber spune altfel.
- Da, nu sunt de acord cu declarația @whuber ‘ s ” Estimatorul în sine nu este o variabilă aleatorie: este ‘ doar o funcție matematică „. O funcție de variabilă aleatorie este, de asemenea, o variabilă aleatorie. onlinecourses.science.psu.edu/stat414/node/128
Răspuns
Ar putea fi util să ilustreze răspunsul whuberului în contextul unui model de regresie liniară. Să spunem că aveți câteva date bivariate și că utilizați cele mai mici pătrate obișnuite pentru a veni cu următoarele model:
Y = 6X + 1
În acest moment, puteți lua orice valoare a lui X, conectați-o la model și prezice rezultatul, Y. În acest sens, s-ar putea să vă gândiți la componentele individuale ale formei generice a modelului ( mX + B ) ca estimatori .Datele eșantion (pe care probabil le-ați conectat la modelul generic pentru a calcula valorile specifice pentru m și B de mai sus) au oferit o bază pe care ați putea veni cu estimări pentru m și respectiv B .
În concordanță cu punctele @whuber din firul nostru de mai jos, indiferent de valorile Y un anumit set de estimatori vă generează sunt, în contextul regresiei liniare, considerate ca valori prezise.
(editat – de câteva ori – pentru a reflecta comentarii mai jos)
Comentarii
- Ați definit frumos un predictor. Este subtil (dar important ) diferit de un estimator. Estimatorul din acest context este formula celor mai mici pătrate utilizate pentru a calcula parametrii 1 și 6 din date.
- Hmm, nu am ‘ Nu vreau să spun așa, @whuber, dar cred că comentariul tău ilustrează o ambiguitate importantă în limba mea pe care nu am observat-o ‘ inainte de. Punctul principal aici este că vă puteți gândi la forma generică a ecuației Y = mX + B (așa cum este utilizată mai sus) ca un estimator, în timp ce valorile prezise particulare generate de exemple specifice ale formulei respective (de exemplu, 1 + 6X) sunt estimări. Permiteți-mi să încerc să editez paragraful de mai sus pentru a surprinde această distincție …
- btw, ‘ încerc să explic acest lucru fără a introduce ” pălărie ” notație pe care am ‘ am întâlnit-o în majoritatea discuțiilor de manuale despre acest concept. Poate că ‘ este cel mai bun traseu la urma urmei?
- Cred că ați găsit un mediu frumos între acuratețe și tehnicitate în răspunsul dvs. original: țineți-o! Nu aveți ‘ de care aveți nevoie de pălării, dar dacă puteți reuși să arătați cum se distinge un estimator de alte lucruri cu aspect similar, ar fi cel mai util. Dar vă rugăm să observați distincția dintre prezicerea unei valori Y și estimarea a unui parametru precum m sau b . Y ar putea fi interpretat ca o variabilă aleatorie; m și b nu sunt (cu excepția unui cadru Bayesian).
- într-adevăr, un punct foarte bun în ceea ce privește parametrii față de valori. Se editează din nou …
Răspuns
Să presupunem că ați primit câteva date și că ați observat o variabilă numită theta . Acum, datele dvs. pot fi dintr-o distribuție de date, pentru această distribuție, există o valoare corespunzătoare a theta pe care o deduceți care este o variabilă aleatorie. Puteți utiliza MAP sau media pentru calcularea estimării acestei variabile aleatorii ori de câte ori se schimbă distribuția datelor dvs. Deci, variabila aleatorie theta este cunoscută ca o estimare , o singură valoare a variabilei neobservate pentru un anumit tip de date.
În timp ce estimatorul este datele dvs., care este, de asemenea, o variabilă aleatorie. Pentru diferite tipuri de distribuții aveți diferite tipuri de date și astfel aveți o estimare diferită și astfel această variabilă aleatorie corespunzătoare se numește estimator .
Lasă un răspuns