Hvad er forholdet mellem estimator og estimat?
On februar 10, 2021 by adminHvad er forholdet mellem estimator og estimat?
Kommentarer
- ” I statistikker er en estimator en regel til beregning af et estimat af en given mængde baseret på observerede data: således skelnes der mellem reglen og dens resultat (estimatet). ” (Første linje i Wikipedia-artiklen da.wikipedia.org/wiki/Estimator ).
- + 1 Jeg stemmer op for dette spørgsmål (på trods af tilstedeværelsen af et godt formuleret svar på en åbenlys Wikipedia-side), fordi de første forsøg på at besvare det her har peget på nogle finesser.
- @whuber, kan jeg sige modelparametrene estimater er estimatoren?
- @loganecolss En estimator er en matematisk funktion. Det adskiller sig fra den værdi (estimatet), den kan opnå for ethvert datasæt. En måde at forstå forskellen på er at bemærke, at visse datasæt vil producere de samme estimater af f.eks. Hældningen i en lineær regression ved hjælp af forskellige estimatorer (såsom Maximum Sandsynlighed eller Iterativt vægtet mindste firkanter, for eksempel). Uden at skelne mellem estimater og estimatorer, der blev brugt til at producere disse estimater, ville vi ikke være i stand til at forstå, hvad denne erklæring overhovedet siger.
- @whuber, selv med et bestemt datasæt $ D $, kunne forskellige estimatorer også give forskellige estimater, ikke ‘ t de?
Svar
E . L. Lehmann svarer i sin klassiske Theory of Point Estimation dette spørgsmål på s. 1-2.
Observationerne er postuleres nu til at være de værdier, der er påtaget af tilfældige variabler, der antages at følge en fælles sandsynlighedsfordeling, $ P $ , der tilhører en eller anden kendt klasse …
… lad os nu specialisere os i punktestimering … antag at $ g $ er en reelle værdi defineret [på den angivne klasse af distributioner ] og at vi gerne vil vide værdien af $ g $ [uanset hvad der er den faktiske fordeling, $ \ theta $ ]. Desværre er $ \ theta $ og dermed $ g (\ theta) $ ukendt. Dataene kan dog bruges til at opnå et skøn over $ g (\ theta) $ , en værdi, som man håber, vil være tæt på $ g (\ theta) $ .
Med ord: en estimator er en bestemt matematisk procedure, der kommer med et tal ( estimatet ) for ethvert muligt datasæt, som et bestemt problem kan producere. Dette nummer er beregnet til at repræsentere en bestemt numerisk egenskab ( $ g (\ theta) $ ) af datagenereringsprocessen; vi kan kalde dette ” estimand. ”
Selve estimatoren er ikke en tilfældig variabel: det er bare en matematisk funktion. Det estimat, det producerer, er dog baseret på data, der selv er modelleret som tilfældige variabler. Dette gør estimatet (tænkt som afhængigt af dataene) til en tilfældig variabel og et bestemt estimat for et bestemt datasæt bliver en realisering af den tilfældige variabel.
I en (konventionel) almindelig mindst kvadrater formulering, dataene består af ordnede par $ (x_i, y_i) $ . $ x_i $ har er bestemt af eksperimentet (de kan f.eks. være mængder af et lægemiddel, der administreres). Hver $ y_i $ (et svar på f.eks. medikamentet) antages at være kommer fra en sandsynlighedsfordeling, der er normal, men med ukendt gennemsnit $ \ mu_i $ og fælles varians $ \ sigma ^ 2 $ . Desuden antages det, at midlerne er relateret til $ x_i $ via en formel $ \ mu_i = \ beta_0 + \ beta_1 x_i $ . Disse tre parametre – $ \ sigma $ , $ \ beta_0 $ og $ \ beta_1 $ – Bestem den underliggende distribution af $ y_i $ for enhver værdi på $ x_i $ . Derfor kan enhver egenskab ved denne distribution betragtes som en funktion af $ (\ sigma, \ beta_0, \ beta_1) $ .Eksempler på sådanne egenskaber er skæringspunktet $ \ beta_0 $ , hældningen $ \ beta_1 $ , værdien af $ \ cos (\ sigma + \ beta_0 ^ 2 – \ beta_1) $ , eller endda middelværdien til værdien $ x = 2 $ , som (ifølge denne formulering) skal være $ \ beta_0 + 2 \ beta_1 $ .
I denne OLS kontekst, ville et ikke-eksempel for en estimator være en procedure til at gætte på værdien af $ y $ hvis $ x $ blev sat til lig med 2. Dette er ikke en estimator, fordi denne værdi $ y $ er tilfældig (på en måde helt adskilt fra dataens tilfældighed): det er ikke en (bestemt numerisk) egenskab ved distributionen, selvom den er relateret til den distribution. (Som vi lige så, er forventningen for $ y $ for $ x = 2 $ , svarende til $ \ beta_0 + 2 \ beta_1 $ , kan estimeres.)
I Lehmanns formulering næsten enhver formel kan være en estimator af næsten enhver egenskab. Der er ingen iboende matematisk sammenhæng mellem en estimator og en estimand. Vi kan dog på forhånd vurdere muligheden for, at en estimator vil være rimelig tæt på den mængde, det er beregnet til at estimere. Måder at gøre dette, og hvordan man udnytter dem, er genstand for estimationsteori.
Kommentarer
- (+ 1) Et meget præcist og detaljeret svar.
- Er ikke en funktion af en tilfældig variabel i sig selv også en tilfældig variabel?
- @jsk Jeg tror, den forskel, jeg forsøgte at make her kan afklares ved at overveje sammensætningen af funktioner $$ \ Omega \ to \ mathbb {R} ^ n \ to \ mathbb {R}. $$ Den første funktion er en tilfældig variabel $ X $; den anden (kald det $ t $) kaldes en estimator her, og sammensætningen af de to $$ t \ circ X: \ Omega \ to \ mathbb { R} $$ er et ” estimat ” eller ” estimeringsprocedure, ” hvilket er – som du korrekt siger – en tilfældig variabel.
- @whuber I dit indlæg siger du ” Selve estimatoren er ikke en tilfældig variabel. ” Jeg forsøgte at redigere dit indlæg for at afklare det punkt, som du og jeg synes at være enige om, men det ser ud til, at nogen afviste min redigering. Måske foretrækker de din redigering!
- Lad os fortsætte denne diskussion i chat .
Svar
Kort sagt: en estimator er en funktion og et estimat er en værdi, der opsummerer en observeret prøve.
En estimator er en funktion, der kortlægger en tilfældig prøve til parameterestimatet:
$$ \ hat {\ Theta} = t (X_1, X_2, …, X_n) $$ Bemærk, at en estimator på n tilfældige variabler $ X_1, X_2, …, X_n $ er en tilfældig variabel $ \ hat {\ Theta} $. For eksempel er en estimator eksempelværdien: $$ \ overline {X} = \ frac {1} {n} \ sum_ {n = 1} ^ nX_i $$ An estimat $ \ hat {\ theta} $ er resultatet af anvendelse af estimatorfunktionen på en observeret prøve med små bogstaver $ x_1, x_2, …, x_n $:
$$ \ hat {\ theta} = t (x_1, x_2, …, x_n) $$ For eksempel er et estimat af den observerede prøve $ x_1, x_2, …, x_n $ eksemplets gennemsnit : $$ \ hat {\ mu} = \ overline {x} = \ frac {1} {n} \ sum_ {n = 1} ^ nx_i $$
Kommentarer
- estimator er en RV, mens estimatet er en konstant?
- Er ‘ t din konklusion i konflikt med @whuber ‘ s? Her siger du, at estimator er RV, men whuber siger ellers.
- Ja, jeg er uenig med @whuber ‘ s udsagn ” Selve estimatoren er ikke en tilfældig variabel: den ‘ er bare en matematisk funktion “. En funktion af tilfældig variabel er også en tilfældig variabel. onlinecourses.science.psu.edu/stat414/node/128
Svar
Det kan være nyttigt at illustrere whubers svar i sammenhæng med en lineær regressionsmodel. Lad os sige, at du har nogle bivariate data, og du bruger ordinære mindste firkanter til at komme med følgende model:
Y = 6X + 1
På dette tidspunkt kan du tage en hvilken som helst værdi af X, tilslutte den til modellen og forudsige resultatet, Y. I denne forstand kan du tænke på de enkelte komponenter i modelens generiske form ( mX + B ) som estimatorer .Eksempeldataene (som du formodentlig tilsluttede den generiske model for at beregne de specifikke værdier for m og B ovenfor) gav et grundlag, som du kunne komme med estimater for henholdsvis m og B .
I overensstemmelse med @whubers punkter i vores tråd nedenfor, uanset værdier af Y et bestemt sæt estimatorer genererer dig til, betragtes i sammenhæng med lineær regression som forudsagte værdier.
(redigeret – et par gange – for at afspejle kommentarer nedenfor)
Kommentarer
- Du har pænt defineret en forudsigelse. Det er subtilt (men vigtigt ) forskellig fra en estimator. Estimatoren i denne sammenhæng er formlen med de mindste kvadrater, der bruges til at beregne parametrene 1 og 6 ud fra dataene.
- Hmm, jeg gjorde ikke ‘ t mener det sådan, @whuber, men jeg synes, din kommentar illustrerer en vigtig tvetydighed på mit sprog, som jeg ikke ‘ ikke har lagt mærke til Før. Hovedpunktet her er, at du kan tænke på den generiske form for ligningen Y = mX + B (som brugt ovenfor) som en estimator, mens de særlige forudsagte værdier genereret af specifikke eksempler med den formel (f.eks. 1 + 6X) er skøn. Lad mig prøve at redigere afsnittet ovenfor for at fange denne skelnen …
- btw, jeg ‘ prøver at forklare dette uden at introducere ” hat ” notation, som jeg ‘ har stødt på i de fleste lærebogsdiskussioner om dette koncept. Måske er ‘ alligevel den bedre rute?
- Jeg synes, du har ramt et godt medium mellem nøjagtighed og tekniskitet i dit originale svar: Fortsæt! Du behøver ikke ‘ hatte, men hvis det lykkes dig at vise, hvordan en estimator adskiller sig fra andre lignende ting, ville det være mest nyttigt. Men bemærk forskellen mellem forudsigelse af en værdi Y og estimering af en parameter såsom m eller b . Y kunne fortolkes som en tilfældig variabel; m og b er ikke (undtagen i Bayesian-indstilling).
- faktisk et meget godt punkt med hensyn til parametre versus værdier der. Redigering igen …
Svar
Antag at du modtog nogle data, og at du havde en observeret variabel kaldet theta . Nu kan dine data komme fra en distribution af data, for denne distribution er der en tilsvarende værdi af theta, som du udleder, som er en tilfældig variabel. Du kan bruge MAP eller middel til at beregne estimatet for denne tilfældige variabel, hver gang distributionen af dine data ændres. Så den tilfældige variabel theta er kendt som et estimat , en enkelt værdi af den ikke-observerede variabel for en bestemt datatype.
Mens estimator er dine data, som også er en tilfældig variabel. For forskellige typer distributioner har du forskellige typer data, og derfor har du et andet estimat, og dermed kaldes denne tilsvarende tilfældige variabel estimator .
Skriv et svar