O que significa ter “ variância constante ” em um modelo de regressão linear?
On Dezembro 23, 2020 by adminO que significa ter “variação constante” no termo de erro? A meu ver, temos dados com uma variável dependente e uma variável independente. A variância constante é uma das premissas da regressão linear. Estou me perguntando o que significa homocedasticidade. Visto que mesmo que eu tenha 500 linhas, eu teria um único valor de variância que é obviamente constante. Com qual variável devo comparar a variância?
Resposta
Isso significa que quando você plota o erro individual em relação ao valor previsto, a variância do valor previsto do erro deve ser constante. Veja as setas vermelhas na imagem abaixo, o comprimento das linhas vermelhas (um proxy de sua variação) são iguais.
Comentários
- Ok, entendido. !! Mas, como é uma suposição, não ' precisamos validar a suposição antes de executar o modelo. E por que precisamos dessa suposição
- Algumas suposições só podem ser testadas depois que o modelo é executado. Calcular um modelo é apenas matemática e não o mesmo que interpretar um modelo.
- O intervalo não é igual a variância Penguin Knight, então você pode querer atualizar seu texto aqui.
- Se sua suposição de variância está errado, então geralmente significará que os erros padrão estão errados e qualquer teste de hipótese pode tirar conclusões erradas. (Um John diferente)
- Eu difiro um pouco. Eu não ' diria que heterocedasticidade significa necessariamente que os erros padrão de seus betas estão errados, mas sim que o estimador OLS não é mais o estimador imparcial mais eficiente. Ou seja, você poderia obter mais potência / precisão se tivesse variância constante (talvez devido a uma transformação de Y) ou se levasse em conta com precisão a não constância (talvez por meio do estimador de mínimos quadrados generalizado).
Resposta
Este é um lugar onde eu descobri que olhar algumas fórmulas ajuda, mesmo para pessoas com alguma ansiedade matemática (Não estou sugerindo que você faça, necessariamente). O modelo de regressão linear simples é este:
$$ Y = \ beta_0 + \ beta_1X + \ varejpsilon \\ \ text {where} \ varepsilon \ sim \ mathcal N (0, \ sigma ^ 2_ \ varepsilon) $$ O que é importante observar aqui é que este modelo afirma explicitamente uma vez que você “estimou as informações significativas nos dados (que” é “$ \ beta_0 + \ beta_1X $” ) não sobra nada além de ruído branco. Além disso, os erros são distribuídos como Normal com uma variância de $ \ sigma ^ 2_ \ varepsilon $.
É importante perceber que $ \ sigma ^ 2_ \ varepsilon $ não é uma variável (embora na álgebra do ensino médio, nós chamaria assim). Não varia. $ X $ varia. $ Y $ varia. O termo de erro, $ \ varepsilon $, varia aleatoriamente ; ou seja, é um variável aleatória . No entanto, os parâmetros ($ \ beta_0, ~ \ beta_1, ~ \ sigma ^ 2_ \ varepsilon) $ são marcadores de posição para valores que não sabemos – eles não variam. , elas são constantes desconhecidas . O resultado desse fato para esta discussão é que não importa o que $ X $ seja (ou seja, qual valor está inserido ali), $ \ sigma ^ 2_ \ varepsilon $ permanece o mesmo. Em outras palavras, a variância dos erros / residuais é constante. Para fins de contraste (e talvez maior clareza), considere este modelo:
$$ Y = \ beta_0 + \ beta_1X + \ varepsilon \\ \ text {onde} \ varepsilon \ sim \ mathcal N (0, f (X)) \\ ~ \\ \ text {onde} f (X) = \ exp (\ gamma_0 + \ gamma_1 X ) \\ \ text {and} \ gamma_1 \ ne 0 $$ Neste caso, inserimos um valor para $ X $ (começando na terceira linha), passamos pela função $ f (X) $ e obtemos o variância do erro que obtém naquele val exato ue de $ X $. Em seguida, passamos pelo resto da equação como de costume.
A discussão acima deve ajudar a compreender a natureza da suposição; a questão também pergunta sobre como avaliar o it. Existem basicamente duas abordagens: testes de hipóteses formais e gráficos de exame. Os testes de heterocedasticidade podem ser usados se você tiver dados experimentais (ou seja, que ocorrem apenas em valores fixos de $ X $) ou uma ANOVA. Discuto alguns desses testes aqui: Por que o teste de Levene de igualdade de variâncias em vez de razão F . No entanto, tendo a pensar que olhar para parcelas é o melhor. @Penquin_Knight fez um bom trabalho ao mostrar a aparência da variância constante, plotando os resíduos de um modelo onde a homocedasticidade é obtida em relação aos valores ajustados. A heterocedasticidade também pode ser detectada em um gráfico dos dados brutos ou em um gráfico de localização em escala (também chamado de nível de propagação).R representa convenientemente o último para você com uma chamada para plot.lm(model, which=2)
; é a raiz quadrada dos valores absolutos dos resíduos em relação aos valores ajustados, com uma curva lowess sobreposta de forma útil. Você quer que o baixo-relevo seja plano, não inclinado.
Considere os gráficos abaixo, que comparam a aparência dos dados homocedásticos vs. heterocedásticos nesses três tipos diferentes de figuras. Observe a forma do funil para os dois gráficos heterocedásticos superiores e a linha inferior inclinada para cima no último.
Para completar, aqui está o código que usei para gerar esses dados:
set.seed(5) N = 500 b0 = 3 b1 = 0.4 s2 = 5 g1 = 1.5 g2 = 0.015 x = runif(N, min=0, max=100) y_homo = b0 + b1*x + rnorm(N, mean=0, sd=sqrt(s2 )) y_hetero = b0 + b1*x + rnorm(N, mean=0, sd=sqrt(exp(g1 + g2*x))) mod.homo = lm(y_homo~x) mod.hetero = lm(y_hetero~x)
Comentários
- obrigado, é muito útil. Você também pode explicar por que precisamos dessa suposição em uma linguagem leiga
- Você ' é bem-vindo, @Mukul. A suposição de homocedasticidade (variância constante) é necessária para tornar o estimador OLS (ou seja, o software de procedimento padrão usa para estimar betas) o procedimento de estimativa que produzirá distribuições de amostragem de betas que têm os erros padrão mais estreitos de todos os procedimentos de estimativa que produzem distribuições de amostragem que são centradas no valor verdadeiro. Ou seja, é necessário que o estimador OLS seja o estimador imparcial da variância mínima .
- Se sua variável de resposta for binária , ela será distribuída como um binômio. Ou seja, muitas partes do modelo de regressão linear descrito acima são inadequadas. Uma dessas questões é que, uma vez que a variância de um binomial é uma função da média (média: $ p $, variância: $ (p (1-p)) / n) $), a suposição de homocedasticidade é violada. Para entender melhor essas coisas, pode ser útil ler minha resposta aqui: modelos de diferença entre logit e probit , embora tenha sido escrito em um modelo diferente contexto.
- @gung em seu comentário, você colocou itálico em todas as palavras na frase avaliador imparcial de variação mínima. Eu entendo que com heterocedasticidade o estimador se tornará menos eficiente (mais variância), mas ele ficará tendencioso também?
- @ user1205901, ele permanece imparcial.
Deixe uma resposta