W jaki sposób można zastosować test t do porównania rozkładów między grupami danych?
On 10 lutego, 2021 by adminRozumiem, że test t jest używany do testowania różnicy średnich dla dwóch populacji, gdy populacje mają względnie podobne wariancje, jednostki są niezależne i są normalne (zwłaszcza przy mniejszych rozmiarach próbek).
Jednak zastanawiałem się, w jaki sposób testy t są używane do spojrzenia na różnice w rozkładach danych między dwiema grupami? Pytam o to, ponieważ jest to w zasadzie sformułowanie używane w pytaniu, na które próbuję odpowiedzieć. Prosi o porównanie, czy rozkłady pozycji będącej przedmiotem zainteresowania różnią się za pomocą testu t.
Powodem, dla którego jestem zdezorientowany, jest to, że chociaż rozumiem, że średnia jest iloczynem rozkładu, a na testy t mogą mieć duży wpływ wartości odstające, więc test t może dać pewne informacje o dwóch rozkładach, może istnieć przypadek, w którym dwie dystrybucje były bardzo podobne, ale wielkość efektu była duża po prostu dlatego, że były wyśrodkowane na różnych środkach, i może być przypadek, w którym dwie dystrybucje wyglądałyby dziwnie z różnicami wariancji i tak dalej, co może prowadzić do ten sam t-stat. Jak więc można by cokolwiek stwierdzić na podstawie testu t?
Komentarze
- W trakcie pisania testy t porównują średnie. To jeden z aspektów dystrybucji. Testy T nie porównują wariancji, skośności, kurtozy ani innych aspektów dystrybucji. Daj nam znać, co próbujesz porównać.
- To ' to dobre pytanie: wiele osób, które nie są tak zaznajomione z ideami statystycznymi, jak powinny często używaj wyrażeń takich jak " (lub myśl, że tak jest), aby przetestować [lub porównać] dwie dystrybucje nawet jeśli porównuje dystrybucje (lub populacje) tylko w bardzo ograniczonym sensie porównywania ich średnich. Tak więc, gdy test t odrzuca hipotezę równych średnich, a fortiori rozkłady różnią się; ale w wielu przypadkach test t nie odrzuci hipotezy (być może dlatego, że średnie są naprawdę równe), nawet jeśli rozkłady są bardzo różne.
- Z założeniami, które są poczynione w celu wyprowadzenia rozkładu statystyki testowej pod wartością zerową, zwykły test t równej wariancji jest rzeczywiście porównaniem rozkładów, ponieważ jedynym sposobem, w jaki rozkłady mogą się wtedy różnić, jest różnica średnich.
Odpowiedź
Typowa konfiguracja testu t dla dwóch prób to:
$$ X_1, \ dots, X_n \ overset {iid} \ sim N (\ mu_x, \ sigma ^ 2) $$
$$ Y_1, \ dots, Y_m \ overset {iid} \ sim N (\ mu_x + \ delta, \ sigma ^ 2) $$
$ $ H_0: \ delta = 0 $$
$$ H_a: \ delta \ ne0 $$
$$ \ text {(Lub zrób to jednostronnie.)} $$
Jeśli przy tej konfiguracji okaże się, że bez różnych rozkładów, jedynym sposobem na to jest różnica w średniej.
Wtedy możesz powiedzieć, że wariancje są nierówne lub przynajmniej dopuszczać taką możliwość, a następnie przetestować średnią różnice w każdym razie. To trafia do testu Welcha … który wciąż sprawdza tylko różnice średnich. Może istnieć różnica w wariancji i to może być bardziej interesujące niż różnica średnich, ale test Welcha nie powinien wychwytywać różnic w wariancji.
Potwierdza to symulacja w R.
set.seed(2019) times <- 10000 N <- 1000 Ps <- rep(NA,times) for (i in 1:times){ #the default t-test in R is the Welch test Ps[i] <- t.test(rnorm(N,0,1),rnorm(N,0,5))$p.value } length(Ps[Ps<0.1])/times length(Ps[Ps<0.05])/times
Na poziomie 0,1 $ odrzucamy około 10% przypadków, a na 0,05 $ -level, odrzucamy w około 5% przypadków. Jest to dość duża próbka wynosząca 1000, więc nawet subtelne różnice powinny zostać wykryte, ale nie są . Więc masz rację, że test t nie robi wiele dla ciebie, jeśli chcesz zbadać różnice, które nie są tylko średnią.
Jednak inni też to zauważyli i tam są ogólnie testami na różnice w rozkładzie. Klasycznym testem pełnej dystrybucji jest test Kołmogorowa-Smirnnowa (KS). Bada największą (technicznie supremalną) odległość pionową między dwoma (empirycznymi) CDF. Wiadomo, że test KS ma brak mocy, aby odrzucić różnice, które znajdują się w ogonie, ale nadal jest to popularny test. Niektóre inne to Anderson-Darling i Kuiper. Niektóre zabawy z symulacjami wskazują mi, że Kuiper jest najlepszy z tych trzech w wykrywaniu różnic w ogonach, chociaż nie byłem szczególnie dokładny w moim badaniu.
To, co zdecydujesz się zbadać, będzie zależeć od tego, co chcesz wiedzieć. Być może to jest wystarczająco dobre, abyś wiedział, że środki są różne, w takim przypadku testy t lub testy Welcha mogą być całkowicie w porządku!
Odpowiedź
Częściowo udzielono odpowiedzi w komentarzach:
W trakcie pisania testy t porównują średnie. To jeden z aspektów dystrybucji. Testy T nie porównują wariancji, skośności, kurtozy ani innych aspektów dystrybucji. Daj nam znać, co próbujesz porównać.
– Peter Flom
To dobre pytanie: wiele osób, które nie są tak obeznane z ideami statystycznymi, jak powinny (lub myślą, że są), często używa wyrażeń typu „użyj testu t do przetestowania [lub porównania] dwóch rozkładów”, nawet chociaż to porównuje rozkłady (lub populacje) tylko w bardzo ograniczonym sensie porównywania ich średnich. Tak więc, gdy test t odrzuca hipotezę o równych średnich, a fortiori rozkłady różnią się; ale w wielu przypadkach test t nie odrzuci hipoteza (być może dlatego, że średnie są naprawdę równe), nawet jeśli rozkłady są bardzo różne.
– whuber
Przy założeniach, które są poczynione w celu wyprowadzenia rozkładu statystyki testowej pod wartością zerową , zwykły test równej wariancji jest rzeczywiście porównaniem dystrybucje, ponieważ onl Sposób, w jaki dystrybucje mogą się wtedy różnić, polega na tym, że są różne.
– Glen_b
Dodaj komentarz