Como um teste t pode ser usado para comparar as distribuições entre grupos de dados?
On Fevereiro 10, 2021 by adminEu entendo que o teste t é usado para testar a diferença nas médias de duas populações quando as populações têm variâncias relativamente semelhantes, as unidades são independentes e eles são normais (especialmente com tamanhos de amostra menores).
No entanto, gostaria de saber como os testes t são usados para observar a diferença nas distribuições de dados entre dois grupos. Estou perguntando isso porque é basicamente a frase usada pela pergunta que estou tentando responder. Ele pede para comparar se as distribuições do item de interesse são diferentes usando um teste t.
O motivo de estar confuso é que, embora eu entenda que a média é um produto da distribuição e os testes t podem ser fortemente afetados por outliers, portanto, o teste t pode fornecer algumas informações sobre duas distribuições, poderia haver um caso em que as duas distribuições fossem muito semelhantes, mas o tamanho do efeito era grande simplesmente porque eles estavam centrados em meios diferentes, e poderia haver um caso em que as duas distribuições parecessem estranhas com diferenças de variâncias e outros enfeites, e isso poderia levar a o mesmo t-stat. Então, como seria capaz de dizer alguma coisa de um teste t?
Comentários
- Conforme você escreve, os testes t comparam médias. Esse é um aspecto de uma distribuição. Os testes T não comparam variâncias, assimetria, curtose ou outros aspectos da distribuição. Informe-nos o que você está tentando comparar.
- É ' uma boa pergunta: muitas pessoas não estão tão familiarizadas com ideias estatísticas como deveriam ser (ou pensar que são) costumam usar frases como " usar um teste t para testar [ou comparar] duas distribuições " mesmo que compare distribuições (ou populações) apenas no sentido extremamente limitado de comparar suas médias. Assim, quando o teste t rejeita a hipótese de médias iguais, a fortiori as distribuições diferem; mas em muitos casos o teste t não rejeitará a hipótese (talvez porque as médias sejam realmente iguais), mesmo quando as distribuições são muito diferentes.
- Com as suposições feitas para derivar a distribuição da estatística de teste sob o nulo, o teste t usual de variância igual é de fato uma comparação de distribuições, uma vez que a única maneira em que as distribuições podem diferir é pelas médias serem diferentes.
Resposta
A configuração típica para um teste t de duas amostras é:
$$ X_1, \ dots, X_n \ overset {iid} \ sim N (\ mu_x, \ sigma ^ 2) $$
$$ Y_1, \ dots, Y_m \ overset {iid} \ sim N (\ mu_x + \ delta, \ sigma ^ 2) $$
$ $ H_0: \ delta = 0 $$
$$ H_a: \ delta \ ne0 $$
$$ \ text {(Ou unilateral.)} $$
Por esta configuração, se você achar que há duas distribuições diferentes, a única maneira de isso acontecer é se elas diferirem na média.
Então você pode querer dizer que as variâncias são desiguais, ou pelo menos permitir essa possibilidade, e então testar a média diferenças de qualquer maneira. Isso vai para o teste de Welch … que ainda testa apenas as diferenças de média. Pode haver uma diferença na variância, e isso pode ser mais interessante do que uma diferença nas médias, mas o teste de Welch não deve detectar as diferenças na variância.
Uma simulação em R confirma isso.
set.seed(2019) times <- 10000 N <- 1000 Ps <- rep(NA,times) for (i in 1:times){ #the default t-test in R is the Welch test Ps[i] <- t.test(rnorm(N,0,1),rnorm(N,0,5))$p.value } length(Ps[Ps<0.1])/times length(Ps[Ps<0.05])/times
No nível de $ 0,1 $ , rejeitamos cerca de 10% das vezes, e no $ 0,05 $ -nível, rejeitamos cerca de 5% das vezes. Isso ocorre com um tamanho de amostra bastante grande de 1000, portanto, mesmo diferenças sutis devem ser descobertas, embora não sejam . Portanto, você está certo de que o teste t não faz muito por você se você deseja examinar diferenças que não são apenas a média.
No entanto, outros perceberam isso também, e aí são testes para diferenças de distribuição em geral. O teste de distribuição completa clássico é o teste de Kolmogorov-Smirnnov (KS). Ele examina a maior distância vertical (tecnicamente supremo) entre dois CDFs (empíricos). O teste KS é conhecido por ter uma falta de poder para rejeitar diferenças que são encontradas nas caudas, mas ainda é um teste popular. Alguns outros incluem Anderson-Darling e Kuiper. Alguns brincando com simulações indicam para mim que Kuiper é o melhor dos três na detecção de diferenças de cauda, embora eu não tenha sido especialmente meticuloso em minha investigação sobre isso.
O que você escolher para explorar dependerá do que você deseja saber. Talvez seja bom o suficiente para você saber que os meios são diferentes; nesse caso, o teste t ou o teste de Welch podem ser totalmente adequados!
Resposta
Parcialmente respondida nos comentários:
Conforme você escreve, os testes t comparam as médias. Esse é um aspecto de uma distribuição. Os testes T não comparam variâncias, assimetria, curtose ou outros aspectos da distribuição. Informe-nos o que você está tentando comparar.
– Peter Flom
É uma boa pergunta: muitas pessoas que não estão tão familiarizadas com ideias estatísticas como deveriam (ou pensam que estão) costumam usar frases como “use um teste t para testar [ou comparar] duas distribuições”, mesmo embora isso compare distribuições (ou populações) apenas no sentido extremamente limitado de comparar suas médias. Assim, quando o teste t rejeita a hipótese de médias iguais, a fortiori as distribuições diferem; mas em muitos casos, o teste t não rejeitará a hipótese (talvez porque as médias sejam realmente iguais), mesmo quando as distribuições são muito diferentes.
– whuber
Com as suposições feitas a fim de derivar a distribuição da estatística de teste sob o nulo , o teste t usual de variância igual é de fato uma comparação de distribuições, desde o onl O modo como as distribuições podem diferir é pelo fato de serem diferentes.
– Glen_b
Deixe uma resposta