Jak lze použít t-test k porovnání distribucí mezi skupinami dat?
On 10 února, 2021 by adminChápu, že t-test se používá k testování rozdílu průměrů pro dvě populace, když populace mají relativně podobné odchylky, jednotky jsou nezávislé a jsou normální (zejména u menších velikostí vzorků).
Zajímalo by mě, jak se používají t-testy k pohledu na rozdíl v distribuci dat mezi dvěma skupinami? Ptám se na to, protože jde v zásadě o frázi používanou otázkou, na kterou se snažím odpovědět. Ptá se porovnat, zda se distribuce položky zájmu liší pomocí t-testu.
Důvod, proč jsem zmatený, je, že i když chápu, že je to produkt distribuce a t-testy mohou být silně ovlivněny odlehlými hodnotami, takže t-test může poskytnout nějaké informace o dvou distribucích, mohl by nastat případ, kdy obě distribuce byly velmi podobné, ale velikost efektu byla velká jednoduše proto, že byly soustředěny různými způsoby, a mohl by nastat případ, kdy obě distribuce vypadaly funky s rozdílnými odchylkami a co ne, a to by mohlo vést k stejný t-stat. Jak by tedy bylo možné z t-testu zjistit cokoli?
Komentáře
- Jak píšete, t-testy porovnávají prostředky. To je jeden aspekt distribuce. T-testy nesrovnávají odchylky, šikmost, špičatost ani jiné aspekty distribuce. Dejte nám prosím vědět, o co se pokoušíte porovnávat.
- Je to ' dobrá otázka: mnoho lidí, kteří nejsou tak obeznámeni se statistickými nápady, jak by měli být (nebo si myslíte, že jsou) často používat fráze jako " použít t-test k otestování [nebo porovnání] dvou distribucí " i když to srovnává distribuce (nebo populace) pouze v extrémně omezeném smyslu pro srovnání jejich průměrů. Když tedy t-test odmítne hypotézu rovných průměrů, a fortiori rozdělení se liší; ale v mnoha případech t-test hypotézu nezavrhne (možná proto, že prostředky jsou skutečně stejné), i když je distribuce jinak velmi odlišná.
- S předpoklady, které jsou vytvořeny za účelem odvození distribuce z testovací statistiky pod nulou je obvyklým t-testem stejné variance srovnání distribucí, protože jediný způsob, jak se distribuce mohou lišit, je odlišný způsob.
Odpověď
Typické nastavení pro dvou ukázkový t-test je:
$$ X_1, \ dots, X_n \ overset {iid} \ sim N (\ mu_x, \ sigma ^ 2) $$
$$ Y_1, \ dots, Y_m \ overset {iid} \ sim N (\ mu_x + \ delta, \ sigma ^ 2) $$
$ $ H_0: \ delta = 0 $$
$$ H_a: \ delta \ ne0 $$
$$ \ text {(Nebo to jednostranně.)} $$
Tímto nastavením, pokud zjistíte, že existují wo different distributions, the only way for that happen to if if they vary in mean.
Pak možná budete chtít říci, že odchylky jsou nerovné, nebo alespoň počítat s touto možností, a poté otestovat průměr rozdíly stejně. Tím se dostane test „na Welcha“ … který stále testuje pouze rozdíly v průměru. Může existovat rozdíl v rozptylu, a to by mohlo být zajímavější než rozdíl v prostředcích, ale Welchův test by neměl odchytávat rozdíly v rozptylu.
Simulace v R to potvrzuje.
set.seed(2019) times <- 10000 N <- 1000 Ps <- rep(NA,times) for (i in 1:times){ #the default t-test in R is the Welch test Ps[i] <- t.test(rnorm(N,0,1),rnorm(N,0,5))$p.value } length(Ps[Ps<0.1])/times length(Ps[Ps<0.05])/times
Na úrovni $ 0,1 $ odmítáme asi 10% času a na $ 0,05 $ -level, odmítáme asi 5% času. Jedná se o poměrně velkou velikost vzorku 1000, takže by měly být objeveny i jemné rozdíly, přesto nejsou . Takže máte pravdu, že t-test pro vás moc nedělá, pokud chcete zkoumat rozdíly, které nejsou jen průměrné.
Všimli si to však i ostatní a tam jsou testy na rozdíly v distribuci obecně. Klasickým testem úplné distribuce je test Kolmogorov-Smirnnov (KS). Zkoumá největší (technicky supremum) vertikální vzdálenost mezi dvěma (empirickými) CDF. O KS testu je známo, že má nedostatek pravomoci odmítnout rozdíly, které se nacházejí v ocasu, ale stále je to populární test. Některé další zahrnují Anderson-Darling a Kuiper. Některé hraní simulací mi naznačuje, že Kuiper je nejlepší ze všech tří v detekci rozdílů ocasu, i když jsem nebyl při vyšetřování tohoto problému nijak důkladný.
To, co se rozhodnete prozkoumat, bude záviset na tom, co chcete vědět. Možná je to dost dobré na to, abyste věděli, že prostředky se liší, v takovém případě může být t-testování nebo Welchovo testování naprosto v pořádku!
Odpověď
Částečně zodpovězeno v komentářích:
Jak píšete, t-testy porovnávají prostředky. To je jeden aspekt distribuce. T-testy nesrovnávají odchylky, šikmost, špičatost ani jiné aspekty distribuce. Dejte nám prosím vědět, o co se pokoušíte porovnat.
– Peter Flom
Je to „dobrá otázka: mnoho lidí, kteří nejsou tak obeznámeni se statistickými nápady, jak by měli být (nebo si myslí, že jsou), často používají fráze jako„ použijte t-test k testování [nebo porovnání] dvou distribucí “, dokonce i když to porovnává distribuce (nebo populace) pouze v extrémně omezeném smyslu pro srovnání jejich průměrů. Když tedy t-test odmítne hypotézu rovných prostředků, tím spíše se distribuce liší; ale v mnoha případech t-test neodmítne hypotéza (možná proto, že prostředky jsou skutečně stejné), i když jsou distribuce jinak velmi odlišné.
– whuber
S předpoklady, které jsou vytvořeny za účelem odvození distribuce statistiky testu pod hodnotu null , je obvyklý t-test se stejnou odchylkou skutečně porovnáním distribuce, protože onl Způsob, jakým se distribuce mohou lišit, je tím, že se liší.
– Glen_b
Napsat komentář