Hogyan lehet egy t-tesztet felhasználni az adatcsoportok közötti eloszlások összehasonlítására?
On február 10, 2021 by adminMegértem, hogy a t-tesztet két populáció átlagának különbségének tesztelésére használják, amikor a populációk viszonylag hasonló szórásokkal rendelkeznek, az egységek függetlenek, és normálisak (főleg kisebb mintaméretek esetén).
Mindazonáltal kíváncsi voltam, hogyan használják a t-teszteket az adatok két csoport közötti eloszlásának különbségére? Azért kérdezem, mert ez alapvetően az a kérdés, amelyet megválaszolni próbálok. T-teszt segítségével kéri összehasonlítani, hogy az érdeklődő elem eloszlása eltér-e.
Összezavarodott okom, annak ellenére, hogy megértem, hogy az átlag az eloszlás szorzata, a t-teszteket erősen befolyásolhatják a kiugró értékek, így a t-teszt adhat információt két eloszlásról, előfordulhat olyan eset, hogy a két eloszlás nagyon hasonló volt, de a hatás nagysága nagy volt, egyszerűen azért, mert különböző eszközökre összpontosítottak, és előfordulhat olyan eset is, amikor a két eloszlás funky-nak tűnik, eltérés-eltérésekkel és mi mással, és ez ugyanaz a t-stat. Tehát hogyan lehet bármit megmondani egy t-tesztből?
Megjegyzések
- Amint írod, a t-tesztek összehasonlítják az eszközöket. Ez az elosztás egyik aspektusa. A T-tesztek nem hasonlítják össze a varianciákat, a ferdeséget, a kurtosist vagy az eloszlás egyéb aspektusait. Kérjük, ossza meg velünk, hogy mit próbál összehasonlítani.
- Ez ' jó kérdés: sok ember, aki nem ismeri annyira a statisztikai ötleteket, mint kellene legyenek (vagy gondolják, hogy vannak) gyakran használnak olyan kifejezéseket, mint a " t-tesztet használnak két eloszlás annak ellenére, hogy ez az eloszlásokat (vagy populációkat) csak az eszközeik összehasonlításának rendkívül korlátozott értelmében hasonlítja össze. Tehát, amikor a t-teszt elutasítja az egyenlő átlagok hipotézisét, a fortiori az eloszlások eltérnek; de sok esetben a t-teszt nem utasítja el a hipotézist (talán azért, mert az átlagok valóban egyenlőek), még akkor is, ha az eloszlások egyébként nagyon eltérőek.
- Azokkal a feltételezésekkel, amelyeket az eloszlás levezetése érdekében tesznek. a null statisztika statisztikájának a szokásos egyenlőtlen szórású t-próbája valóban az eloszlások összehasonlítása, mivel az eloszlások csak akkor különbözhetnek egymástól, ha különböznek egymástól.
Válasz
A kétmintás t-teszt tipikus beállítása:
$$ X_1, \ dots, X_n \ overset {iid} \ sim N (\ mu_x, \ sigma ^ 2) $$
$$ Y_1, \ dots, Y_m \ overset {iid} \ sim N (\ mu_x + \ delta, \ sigma ^ 2) $$
$ $ H_0: \ delta = 0 $$
$$ H_a: \ delta \ ne0 $$
$$ \ text {(Vagy csináld egyoldalúan.)} $$
Ezzel a beállítással, ha úgy találod, hogy vannak t két különböző eloszlás, ennek egyetlen módja az, ha különböznek az átlagtól.
Akkor érdemes azt mondani, hogy a szórások egyenlőtlenek, vagy legalább engedélyezni ezt a lehetőséget, majd tesztelni az átlagot amúgy is a különbségek. Ez eljut Welch tesztjéig … amely még mindig csak az átlag eltéréseit teszteli. Lehet, hogy eltérés van a varianciában, és ez érdekes lehet, mint az átlagok különbsége, de Welch tesztjének nem szabad megfognia a variancia különbségeket.
Az R szimuláció ezt megerősíti.
set.seed(2019) times <- 10000 N <- 1000 Ps <- rep(NA,times) for (i in 1:times){ #the default t-test in R is the Welch test Ps[i] <- t.test(rnorm(N,0,1),rnorm(N,0,5))$p.value } length(Ps[Ps<0.1])/times length(Ps[Ps<0.05])/times
A $ 0.1 $ szintnél az idő körülbelül 10% -át elutasítjuk, a $ 0.05 $ -szint, az esetek körülbelül 5% -át elutasítjuk. Ez meglehetősen nagy, 1000-es mintamérettel van, így még finom különbségeket is fel kell fedezni, mégsem Tehát igazad van abban, hogy a t-teszt nem sokat tesz érted, ha meg akarod vizsgálni azokat a különbségeket, amelyek nem csak az átlagot jelentik.
Ezt azonban mások is észrevették, és ott az eloszlási különbségek tesztjei általában. A klasszikus teljes eloszlási teszt a Kolmogorov-Smirnnov (KS) teszt. Két (empirikus) CDF közötti legnagyobb (technikailag legfelsõbb) függõleges távolságot vizsgál. A KS-tesztről hiányzik az erő, hogy visszautasítsa a farokban kifelé kerülő különbségeket, de ez még mindig népszerű teszt. Vannak mások, akik között van Anderson-Darling és Kuiper. Néhányan a szimulációkkal játszva rám utalnak, hogy Kuiper a legjobb a háromban a farokkülönbségek észlelésében, bár ezt nem vizsgáltam különösebben alaposan.
Amit felfedezni választ, attól függ, mit szeretne tudni. Talán ez elég jó ahhoz, hogy tudja, hogy az eszközök különbözőek, ebben az esetben a t-teszt vagy a Welch-teszt teljesen rendben lehet!
Válasz
Részben válaszolt a megjegyzésekben:
Amint írod, a t-tesztek összehasonlítják az átlagokat. Ez az elosztás egyik aspektusa. A T-tesztek nem hasonlítják össze a varianciákat, a ferdeséget, a kurtosist vagy az eloszlás egyéb aspektusait. Kérjük, ossza meg velünk, hogy mit próbál összehasonlítani.
– Peter Flom
Ez egy jó kérdés: sok olyan ember, aki nem ismeri annyira a statisztikai ötleteket, mint kellene (vagy azt gondolja), gyakran használ olyan kifejezéseket, mint például: „t-tesztet használ két eloszlás teszteléséhez [vagy összehasonlításához]”. bár ez az eloszlásokat (vagy populációkat) csak az átlaguk összehasonlításának rendkívül korlátozott értelmében hasonlítja össze. Tehát, amikor a t-teszt elutasítja az egyenlő átlagok hipotézisét, még inkább az eloszlások különböznek, de sok esetben a t-teszt nem utasítja el a hipotézis (talán azért, mert az átlagok valóban egyenlőek) akkor is, ha az eloszlások egyébként nagyon eltérőek.
– whuber
Azokkal a feltételezésekkel, amelyek a tesztstatisztika eloszlásának levezetése céljából a null alatt történnek, a szokásos egyenlőtényű variancia t-teszt valóban összehasonlítja a disztribúciók, mivel az onl y módon az eloszlások eltérhetnek, vagyis másképp vannak.
– Glen_b
Vélemény, hozzászólás?