Jaka jest relacja między estymatorem a estymatorem?
On 10 lutego, 2021 by adminJaka jest relacja między estymatorem a oszacowaniem?
Komentarze
- ” W statystyce estymator jest regułą obliczania oszacowania danej wielkości na podstawie obserwowanych danych: w ten sposób rozróżnia się regułę i jej wynik (oszacowanie). ” (Pierwsza linijka artykułu Wikipedii en.wikipedia.org/wiki/Estimator ).
- + 1 Głosuję za tym pytaniem (pomimo obecności dobrze sformułowanej odpowiedzi na oczywistej stronie Wikipedii), ponieważ pierwsze próby odpowiedzi na to pytanie wskazały na pewne subtelności.
- @whuber, czy mogę powiedzieć parametry modelu czy szacunki są estymatorem?
- @loganecolss Estymator to funkcja matematyczna. Różni się to od wartości (szacunku), jaką może osiągnąć dla dowolnego zestawu danych. Jednym ze sposobów docenienia różnicy jest zauważenie, że pewne zbiory danych dadzą te same szacunki , powiedzmy, nachylenia w regresji liniowej przy użyciu różnych estymatorów (takich jak Maksimum Na przykład prawdopodobieństwo lub iteracyjnie ponownie ważone najmniejsze kwadraty). Bez rozróżnienia szacunków od estymatorów używanych do tworzenia tych szacunków, nie bylibyśmy w stanie zrozumieć, co mówi to stwierdzenie.
- @whuber, nawet z jednym określonym zestawem danych $ D $, inny estymator mógłby również podawać różne szacunki, nie ' czy oni?
Odpowiedź
E . L. Lehmann w swojej klasycznej Teorii szacowania punktów odpowiada na to pytanie na stronach 1-2.
Obserwacje są teraz postuluje się, że są to wartości przyjmowane przez zmienne losowe, które mają mieć wspólny rozkład prawdopodobieństwa, $ P $ , należące do jakiejś znanej klasy …
… specjalizujmy się teraz w estymacji punktowej … załóżmy, że $ g $ jest funkcją o wartościach rzeczywistych zdefiniowaną [na określonej klasie dystrybucji ] i chcielibyśmy poznać wartość $ g $ [niezależnie od tego, jaka jest rzeczywista dystrybucja, $ \ theta $ ]. Niestety $ \ theta $ , a zatem $ g (\ theta) $ jest nieznany. Jednak dane te mogą posłużyć do oszacowania $ g (\ theta) $ , wartości, która, jak można się spodziewać, będzie zbliżona do $ g (\ theta) $ .
Słowami: estymator to określony matematyczny procedura, która podaje liczbę ( oszacowanie ) dla dowolnego możliwego zestawu danych, które może wytworzyć określony problem. Ta liczba ma reprezentować pewną określoną właściwość liczbową ( $ g (\ theta) $ ) procesu generowania danych; możemy to nazwać szacunkiem „. ”
Sam estymator nie jest zmienna losowa: to tylko funkcja matematyczna. Jednak oszacowanie, które generuje, jest oparte na danych, które same są modelowane jako zmienne losowe. To sprawia, że oszacowanie (uważane za zależne od danych) do zmiennej losowej i określonego oszacowania dla określonego zbioru danych staje się realizacją tej zmiennej losowej.
W jednym (konwencjonalnym) zwykłym najmniejszym formułowanie kwadratów, dane składają się z uporządkowanych par $ (x_i, y_i) $ . $ x_i $ ma zostały określone przez eksperymentatora (mogą to być na przykład ilości podanego leku). Zakłada się, że każdy element $ y_i $ (na przykład odpowiedź na lek) pochodzą z rozkładu prawdopodobieństwa, który jest Normalny, ale z nieznaną średnią $ \ mu_i $ i powszechna wariancja $ \ sigma ^ 2 $ . Ponadto zakłada się, że średnie są powiązane z $ x_i $ za pomocą wzoru $ \ mu_i = \ beta_0 + \ beta_1 x_i $ . Te trzy parametry – $ \ sigma $ , $ \ beta_0 $ i $ \ beta_1 $ – określ podstawową dystrybucję $ y_i $ dla dowolnej wartości $ x_i $ . Dlatego każdą właściwość tej dystrybucji można traktować jako funkcję $ (\ sigma, \ beta_0, \ beta_1) $ .Przykładami takich właściwości są punkt przecięcia z osią $ \ beta_0 $ , nachylenie $ \ beta_1 $ , wartość $ \ cos (\ sigma + \ beta_0 ^ 2 – \ beta_1) $ , a nawet średnia przy wartości $ x = 2 $ , które (zgodnie z tym sformułowaniem) musi wynosić $ \ beta_0 + 2 \ beta_1 $ .
W tym OLS kontekst, nie przykład estymatora byłaby procedurą do odgadnięcia wartości $ y $ , jeśli $ x $ zostały ustawione na 2. To jest nie kalkulator, ponieważ ta wartość $ y $ jest losowy (w sposób całkowicie niezależny od losowości danych): nie jest (określoną liczbowo) własnością rozkładu, mimo że jest z nim powiązany. (Jak jednak właśnie widzieliśmy, oczekiwanie $ y $ dla $ x = 2 $ , równe $ \ beta_0 + 2 \ beta_1 $ , można oszacować.)
W sformułowaniu Lehmanna prawie każda formuła może być estymatorem prawie każdej właściwości. Nie ma nieodłącznego matematycznego powiązania między estymatorem a estymatorem. Możemy jednak z góry ocenić prawdopodobieństwo, że estymator będzie rozsądnie zbliżone do ilości, którą zamierzamy oszacować. Sposoby osiągnięcia tego celu i sposoby ich wykorzystania są przedmiotem teorii estymacji.
Komentarze
- (+ 1) Bardzo precyzyjna i szczegółowa odpowiedź.
- Czy sama funkcja zmiennej losowej nie jest również zmienną losową?
- @jsk Myślę, że rozróżnienie, które próbowałem make w tym miejscu można wyjaśnić, rozważając skład funkcji $$ \ Omega \ to \ mathbb {R} ^ n \ to \ mathbb {R}. $$ Pierwsza funkcja to zmienna losowa $ X $; drugi (nazwijmy go $ t $) nazywany jest tutaj estymatorem , a skład obu $$ t \ circ X: \ Omega \ to \ mathbb { R} $$ to ” oszacowanie ” lub ” procedura szacowania, ” co jest – jak słusznie powiesz – zmienną losową.
- @whuber W swoim poście mówisz ” Sam estymator nie jest zmienną losową. ” Próbowałem edytować Twój post, aby wyjaśnić kwestię, co do której ty i ja się zgadzamy, ale wygląda na to, że ktoś odrzucił moją zmianę. Być może woleliby twoją edycję!
- Pozwól nam kontynuować tę dyskusję na czacie .
Odpowiedź
W skrócie: estymatorem jest funkcja i oszacowanie to wartość podsumowująca zaobserwowaną próbkę.
estymator to funkcja, która odwzorowuje losową próbkę na oszacowanie parametru:
$$ \ hat {\ Theta} = t (X_1, X_2, …, X_n) $$ Zwróć uwagę, że estymator n zmienne losowe $ X_1, X_2, …, X_n $ to zmienna losowa $ \ hat {\ Theta} $. Na przykład estymatorem jest średnia próbki: $$ \ overline {X} = \ frac {1} {n} \ sum_ {n = 1} ^ nX_i $$ An oszacowanie $ \ hat {\ theta} $ jest wynikiem zastosowania funkcji estymatora do obserwowanej próbki małymi literami $ x_1, x_2, …, x_n $:
$$ \ hat {\ theta} = t (x_1, x_2, …, x_n) $$ Na przykład oszacowanie obserwowanej próbki $ x_1, x_2, …, x_n $ to średnia próbki : $$ \ hat {\ mu} = \ overline {x} = \ frac {1} {n} \ sum_ {n = 1} ^ nx_i $$
Komentarze
- estymator jest RV, a oszacowanie jest stałą?
- Czy nie ' t Twój wniosek jest sprzeczny z @whuber ' s? Tutaj mówisz, że estymatorem jest RV, ale Whuber mówi inaczej.
- Tak, nie zgadzam się z wyrażeniem @whuber ' s ” Sam estymator nie jest zmienną losową: jest ' jest tylko funkcją matematyczną „. Funkcja zmiennej losowej jest również zmienną losową. onlinecourses.science.psu.edu/stat414/node/128
Odpowiedź
Pomocne może być zilustrowanie odpowiedzi Whubera w kontekście modelu regresji liniowej. Powiedzmy, że masz jakieś dane dwuwymiarowe i używasz zwykłych najmniejszych kwadratów, aby uzyskać następujące dane model:
Y = 6X + 1
W tym momencie możesz wziąć dowolną wartość X, podłączyć ją do modelu i przewidzieć wynik, Y. W tym sensie możesz pomyśleć o poszczególnych składnikach ogólnej postaci modelu ( mX + B ) jako estymatory .Przykładowe dane (które prawdopodobnie podłączyłeś do modelu ogólnego w celu obliczenia określonych wartości dla m i B powyżej) stanowiły podstawę, na której mógłbyś wymyślić szacunki dla odpowiednio m i B .
Zgodnie z punktami @whuber w naszym wątku poniżej, niezależnie od wartości Y określony zestaw estymatorów generowanych dla Ciebie jest, w kontekście regresji liniowej, traktowany jako wartości przewidywane.
(edytowane – kilka razy – w celu odzwierciedlenia komentarze poniżej)
Komentarze
- Ładnie zdefiniowałeś predyktor. Jest subtelnie (ale ważne ) różni się od estymatora. Estymator w tym kontekście jest formułą najmniejszych kwadratów używaną do obliczenia parametrów 1 i 6 na podstawie danych.
- Hmm, nie ' nie mam tego na myśli, @whuber, ale myślę, że Twój komentarz ilustruje ważną dwuznaczność w moim języku, której ' nie zauważyłem przed. Głównym punktem jest to, że można myśleć o ogólnej postaci równania Y = mX + B (jak zastosowano powyżej) jako o estymatorze, podczas gdy poszczególne przewidywane wartości generowane przez konkretne przykłady tego wzoru (np. 1 + 6X) są szacunki. Spróbuję edytować powyższy akapit, aby uchwycić to rozróżnienie …
- btw, ja ' próbuję to wyjaśnić bez wprowadzania ” hat ” notacja, którą ' napotkałem w większości podręczników omawiających tę koncepcję. Może mimo wszystko ' jest lepszą trasą?
- Myślę, że w swojej pierwotnej odpowiedzi trafiłeś na niezły środek między dokładnością a technicznością: tak trzymaj! Nie ' nie potrzebujesz czapek, ale jeśli potrafisz pokazać, jak różni się estymator od innych, podobnie wyglądających rzeczy, byłoby to najbardziej pomocne. Zwróć jednak uwagę na różnicę między przewidywaniem wartości Y a szacowaniem parametru, takiego jak m lub b . Y można interpretować jako zmienną losową; m i b nie są (z wyjątkiem ustawienia bayesowskiego).
- rzeczywiście, bardzo dobry punkt pod względem parametrów w porównaniu z wartościami. Ponowna edycja …
Odpowiedź
Załóżmy, że otrzymałeś jakieś dane i zaobserwowałeś zmienną o nazwie theta . Teraz twoje dane mogą pochodzić z rozkładu danych, dla tego rozkładu istnieje odpowiednia wartość theta, którą wnioskujesz, która jest zmienną losową. Możesz użyć MAP lub średniej do obliczenia oszacowania tej zmiennej losowej, gdy zmieni się rozkład danych. Tak więc zmienna losowa theta jest znana jako oszacowanie , pojedyncza wartość nieobserwowanej zmiennej dla określonego typu danych.
Podczas gdy estymatorem są Twoje dane, które są również zmienną losową. Dla różnych typów rozkładów masz różne typy danych i dlatego masz różne oszacowania, dlatego ta odpowiadająca zmienna losowa nazywa się estymatorem .
Dodaj komentarz