Gepaarter versus ungepaarter t-Test
On Januar 31, 2021 by adminAngenommen, ich habe 20 Mäuse. Ich paare die Mäuse auf irgendeine Weise, so dass ich 10 Paare bekomme. Für die Zwecke dieser Frage könnte es sich um eine zufällige Paarung handeln, ODER es könnte sich um eine sinnvolle Paarung handeln, wie der Versuch, Mäuse aus demselben Wurf desselben Geschlechts mit ähnlichem Gewicht zu paaren, ODER es könnte sich um eine absichtlich dumme Paarung handeln versuchen, Mäuse mit Gewichten zu paaren, die so ungleich sind, wie sie nur sein könnten. Ich verwende dann Zufallszahlen, um eine Maus in jedem Paar der Kontrollgruppe und die andere Maus der zu behandelnden Gruppe zuzuweisen. Ich mache jetzt das Experiment, indem ich nur die zu behandelnden Mäuse behandle, aber ansonsten den gerade getroffenen Vorkehrungen keinerlei Aufmerksamkeit schenke.
Wenn man die Ergebnisse analysiert, kann man entweder ungepaartes t- verwenden. Testen oder gepaartes T-Testen. Inwiefern unterscheiden sich die Antworten, wenn überhaupt? (Ich bin grundsätzlich an systematischen Unterschieden aller statistischen Parameter interessiert, die geschätzt werden müssen.)
Der Grund, warum ich dies frage, ist, dass ein Artikel, an dem ich kürzlich beteiligt war, von einem Biologen wegen der Verwendung eines Paares kritisiert wurde T-Test statt ungepaarter T-Test. Natürlich war die Situation im eigentlichen Experiment nicht so extrem wie die Situation, die ich skizziert habe, und meiner Meinung nach gab es gute Gründe für eine Paarung. Der Biologe stimmte dem jedoch nicht zu.
Es scheint mir, dass es unter den von mir skizzierten Umständen nicht möglich ist, die statistische Signifikanz falsch zu verbessern (p-Wert zu verringern), indem ein gepaarter t-Test verwendet wird anstelle eines ungepaarten Tests, auch wenn das Pairing unangemessen ist. Es könnte jedoch die statistische Signifikanz verschlechtern, wenn Mäuse schlecht gepaart wären. Ist das richtig?
Antwort
Ich stimme den Punkten zu, die sowohl Frank als auch Peter machen, aber ich denke, es gibt eine einfache Formel Das bringt das Problem auf den Punkt und kann für das OP eine Überlegung wert sein.
Sei $ X $ und $ Y $ zwei Zufallsvariablen, deren Korrelation unbekannt ist.
Sei $ Z = XY $
Was ist die Varianz von $ Z $?
Hier ist die einfache Formel: $$ \ text {Var} (Z) = \ text {Var} (X) + \ text {Var} (Y) – 2 \ text {Cov } (X, Y). $$ Was ist, wenn $ \ text {Cov} (X, Y) > 0 $ (dh $ X $ und $ Y) $ sind positiv korreliert)?
Dann $ \ text {Var} (Z) \ lt \ text {Var} (X) + \ text {Var } (Y) $. In diesem Fall hilft die Paarung, wenn die Paarung aufgrund einer positiven Korrelation erfolgt, z. B. wenn Sie sich vor und nach der Intervention mit demselben Thema befassen, da die unabhängige gepaarte Differenz eine geringere Varianz aufweist als die Varianz, die Sie für den ungepaarten Fall erhalten. Die Methode reduzierte die Varianz. Der Test ist leistungsfähiger. Dies kann mit zyklischen Daten dramatisch gezeigt werden. Ich habe ein Beispiel in einem Buch gesehen, in dem sie sehen wollten, ob die Temperatur in Washington DC höher ist als in New York City. So haben sie in beiden Städten etwa 2 Jahre lang die durchschnittliche monatliche Temperatur gemessen. Natürlich gibt es im Laufe des Jahres aufgrund der vier Jahreszeiten einen großen Unterschied. Diese Variation ist zu groß für einen ungepaarten t-Test, um einen Unterschied festzustellen. Die Paarung basierend auf demselben Monat im selben Jahr eliminiert diesen saisonalen Effekt und der gepaarte $ t $ -Test zeigte deutlich, dass die Durchschnittstemperatur in DC tendenziell höher war als in New York. $ X_i $ (Temperatur in NY im Monat $ A $) und $ Y_i $ (Temperatur in DC im Monat $ A $) sind positiv korreliert, da die Jahreszeiten in NY und DC gleich sind und die Städte nahe genug sind, dass sie häufig auftreten Erleben Sie die gleichen Wettersysteme, die die Temperatur beeinflussen. DC kann etwas wärmer sein, da es weiter südlich liegt.
Beachten Sie, dass die Varianzreduzierung umso größer ist, je größer die Kovarianz oder Korrelation ist.
Angenommen, $ \ text {Cov} (X, Y) $ ist negativ.
Dann $ \ text {Var} (Z) \ gt \ text {Var} (X) + \ text {Var} (Y) $. Jetzt ist das Pairing schlechter als das Nicht-Pairing, da die Varianz tatsächlich erhöht wird!
Wenn $ X $ und $ Y $ nicht korreliert sind, spielt es wahrscheinlich keine Rolle, welche Methode Sie verwenden Der zufällige Paarungsfall von Peter ist wie in dieser Situation.
Kommentare
- Michael, weil “ < “ und “ > “ haben spezielle Bedeutungen auf Webseiten. Um zu vermeiden, dass große Teile Ihres Textes einfach aus Ihrer Ansicht verschwinden, ist es wichtig , dass Sie Verwenden Sie für sie das $ \ TeX $ -Markup in Gleichungen (die Codes sind “ \ lt “ und “ \ gt „). Ich habe die beiden Gleichungen markiert, die dieses Problem für Sie verursacht haben.Bitte lesen Sie in Zukunft das, was Sie veröffentlichen, unmittelbar nach dem Posten, um sicherzustellen, dass die Leute sehen, was Sie erwartet haben, und markieren Sie Ihren Beitrag dann für die Aufmerksamkeit des Moderators, wenn es ein Problem mit dem Markup gibt.
- @whuber Danke. Ich überprüfe im Allgemeinen während und nach dem Posten, weil ich feststelle, dass ich Gleichungen sehr durcheinander bringe, insbesondere beim Abonnieren. Das zu vermissen ist ungewöhnlich und wahrscheinlich passiert, weil es ein langer Beitrag war und ich nur achtlos zu etwas anderem überging, das ich tun wollte oder musste. Manchmal lenkt mich ein Anruf ab und ich vergesse zu überprüfen. In Bezug auf spezielle Symbole, die dazu führen, dass Text in einem Beitrag verschwindet, habe ich dies beobachtet. Ich denke, eine einfache Lösung besteht darin, sicherzustellen, dass Sie nach dem Symbol ein Leerzeichen lassen. Ich denke, das hat in der Vergangenheit bei mir funktioniert.
- +1, wirklich auf den Punkt. Beachten Sie, dass $ \ text {Var} (Z) = \ text {Var}, wenn $ X $ & $ Y $ in Ihrem Beispiel vollkommen unkorreliert sind. (X) + \ text {Var} (Y) $.
- @MichaelChernick Für den Fall, dass Cov (X, Y) < 0 ist, habe ich a Frage: Wenn mein Ziel darin besteht, E [X] -E [Y] aus meinem Experiment abzuleiten, kann ich, obwohl ich eine gepaarte Studie durchgeführt habe, bei der Analyse meiner Daten immer noch so tun, als wäre mein Versuchsergebnis eine Realisierung von UNPAIRED randomisiert Experiment. Kann ich das tun? Denn wenn Sie wirklich ein ungepaartes Zufallsexperiment durchgeführt haben, können Sie buchstäblich das gleiche Ergebnis erzielen. Dann kann ich einfach den Durchschnitt jeder Gruppe nehmen (das Paarungsmaterial ignorieren) und die Differenz der beiden Gruppenmittelwerte nehmen. Dies ist ein unvoreingenommener Schätzer von E [Z]. Für die Varianz meines Schätzers verwende ich einfach …
- @MichaelChernick die Stichprobenvarianz von Gruppe X und Gruppe Y und fasse sie zusammen
Antwort
Anstatt zu koppeln, ist es wahrscheinlich besser, das zugrunde liegende Datenmodell zu verstehen. Wenn die Paarung durchgeführt wird, um mit unkontrollierter Heterogenität umzugehen, ist es normalerweise der Fall (außer in Zwillingsstudien), dass die Paarung diese Variabilitätsquelle nur teilweise kontrolliert und eine multiple Regression besser wäre. Dies liegt daran, dass die Übereinstimmung mit kontinuierlichen Variablen häufig zu einer Restvariabilität führt, da eine genaue Übereinstimmung mit solchen Variablen nicht möglich ist.
Kommentare
- Wenn wir sollten alle Regressionen betreiben, warum betonen Bücher über experimentelles Design, wie das Buch von David Cox ‚, die Bedeutung der Paarung oder Gruppierung in biologischen Experimenten? Durch das Pairing wird die versteckte Annahme einer linearen Abhängigkeit vermieden, die mit einer Regression verbunden ist. Aber vielleicht gibt es noch andere Gründe: Jemand?
Antwort
Die beiden Tests (gepaart und ungepaart) fragen verschiedene Fragen, damit sie unterschiedliche Antworten bekommen können. Eine korrekte Paarung ist fast immer leistungsfähiger als eine ungepaarte – das ist wirklich der Punkt der Paarung. Da Sie also sagen, dass die Paarung korrekt ist, ist es wahrscheinlich, dass der p-Wert für Ihren gepaarten Test niedriger ist als für dieselben ungepaarten Daten. Sie könnten natürlich beides tun und sich selbst davon überzeugen.
Daher ist die Antwort auf Ihr Dilemma inhaltlich und nicht statistisch. Ist Ihre Paarung richtig?
Könnten Sie mehr erreichen? signifikantes Ergebnis aus zufälliger Paarung als aus einem ungepaarten Test? Mal sehen:
set.seed(2910110192) x <- rnorm(100, 10, 2) y <- rnorm(100, 10, 2) t.test(x, y) t.test(x, y, paired = T)
Ja, obwohl hier der Unterschied sehr gering ist, hatte die Paarung ein niedrigeres p. Ich habe diesen Code mehrmals ausgeführt. Es überrascht nicht, dass manchmal ein p niedriger ist, manchmal das andere, aber der Unterschied war in allen Fällen gering. Ich bin mir jedoch sicher, dass in einigen Situationen der Unterschied in den p-Werten groß sein kann.
Kommentare
- Vielen Dank für die Antwort, aber meine Frage wurde gestellt für systematische Unterschiede. Offensichtlich sehen x und y auf lange Sicht x ‚ s und y ‚ s gelegentlich so aus, als wären sie sehr gut gepaart und gelegentlich, als ob sie absichtlich schlecht gepaart worden wären. Sicherlich ist es ‚ eine statistische Frage, ob bei zufälliger Auswahl von x und y die Verteilung der p-Werte bei beiden Tests gleich ist. Ich nehme an, es sollte ‚ für jemanden, der mehr theoretische Statistiken kennt als ich, nicht zu schwierig sein, die beiden theoretischen Verteilungen von p-Werten tatsächlich zu berechnen. Ich vermute, dass sie gleich sind.
- Im tatsächlichen Fall, an dem ich beteiligt war, lag der p-Wert für ungepaart bei 0,04 und für gepaart mit 0,001. Laut dem kritischen Biologen sollten wir .04 zitieren. Meiner Meinung nach deutet die Verbesserung des p-Werts stark darauf hin, dass unsere Paarung gültig war. Ich behaupte, dass es hier in der Statistik eine objektive Frage mit einer objektiven Antwort gibt und dass es sich bei ‚ nicht nur um eine Frage des guten biologischen Urteils hinsichtlich der Gültigkeit der jeweiligen Paarung handelt. -Das letztere scheint die Meinung von Peter Flom und des kritischen Biologen zu sein.
- Ich denke, die Statistik erzählt die Geschichte.Beide Ergebnisse sollten offengelegt werden, aber solange die Daten korrekt sind und die Korrelation erklärt werden kann, ist der gepaarte Test genauer, da er die Korrelation berücksichtigt.
Antwort
Ich verstehe jetzt viel besser, was mich über gepaarte versus ungepaarte t-Tests und die damit verbundenen p-Werte beunruhigte. Das herauszufinden war eine interessante Reise und es gab viele Überraschungen auf dem Weg. Eine Überraschung ergab sich aus einer Untersuchung von Michaels Beitrag. Dies ist in Bezug auf praktische Ratschläge einwandfrei. Darüber hinaus sagt er, was meiner Meinung nach praktisch alle Statistiker glauben, und er hat mehrere positive Stimmen, um dies zu belegen Theorie, es ist nicht buchstäblich richtig. Ich entdeckte dies, indem ich die Formeln für die p-Werte ausarbeitete und dann sorgfältig überlegte, wie man die Formeln verwendet, um zu Gegenbeispielen zu führen. Ich bin ein Mathematiker durch Training und das Gegenbeispiel ist das Gegenbeispiel eines „Mathematikers“. Es ist nicht etwas, auf das Sie in der praktischen Statistik stoßen würden, aber es war die Art von Dingen, die ich herausfinden wollte, als ich mein Original fragte Frage.
Hier ist der R-Code, der das Gegenbeispiel enthält:
vLength <- 10; meanDiff <-10^9; numSamples <- 3; pv <- function(vLength,meanDiff) { X <- rnorm(vLength) Y <- X - meanDiff + rnorm(vLength,sd=0.0001) Paired <- t.test(X,Y,var.equal=T,paired=T) NotPaired <- t.test(X,Y,var.equal=T,paired=F) c(Paired$p.value,NotPaired$p.value,cov(X,Y)) } ans <- replicate(numSamples,pv(vLength,meanDiff))
Beachten Sie die folgenden Merkmale: X und Y sind zwei 10-Tupel, deren Unterschied riesig und nahezu konstant ist. Für viele signifikante Zahlen beträgt die Korrelation 1.000 …. Der p-Wert für den ungepaarten Test ist etwa 10 ^ 40-mal kleiner als der p-Wert für den gepaarten Test. Dies widerspricht also Michaels Bericht, vorausgesetzt, man liest seinen Bericht buchstäblich im Stil eines Mathematikers. Hier endet der Teil meiner Antwort, der sich auf Michaels Antwort bezieht.
Hier sind die Gedanken, die von angeregt werden Peters Antwort. Während der Diskussion meiner ursprünglichen Frage vermutete ich in einem Kommentar, dass zwei bestimmte Verteilungen von p-Werten, die unterschiedlich klingen, tatsächlich gleich sind. Ich kann dies jetzt beweisen. Wichtiger ist, dass der Beweis enthüllt die fundamentale Natur eines p-Wertes, so grundlegend, dass kein Text (auf den ich gestoßen bin) die Erklärung stört. Vielleicht kennen alle professionellen Statistiker das Geheimnis, aber für mich schien die Definition des p-Werts immer seltsam und künstlich. Bevor ich das Geheimnis des Statistikers preisgebe, möchte ich die Frage spezifizieren.
Lassen Sie $ n > 1 $ und wählen Sie zufällig und unabhängig zwei zufällige $ n $ – Tupel aus einer Normalverteilung. Es gibt zwei Möglichkeiten, einen p-Wert aus dieser Auswahl zu erhalten: Eine besteht darin, einen ungepaarten t-Test zu verwenden, und die andere darin, einen gepaarten t-Test zu verwenden. Meine Vermutung war, dass die Verteilung von p -Werte, die man erhält, sind in beiden Fällen gleich. Als ich anfing, darüber nachzudenken, entschied ich, dass diese Vermutung tollkühn und falsch war: Der ungepaarte Test ist mit einer t-Statistik für $ 2 (n-1) verbunden ) $ Freiheitsgrade und der gepaarte Test zu einer t-Statistik über $ n-1 $ Freiheitsgrade. Diese beiden Verteilungen sind unterschiedlich. Wie um alles in der Welt könnten die zugehörigen Verteilungen von p-Werten gleich sein? Nur nach vielem Bei weiteren Überlegungen wurde mir klar, dass diese offensichtliche Ablehnung meiner Vermutung zu einfach war.
Die Antwort ergibt sich aus den folgenden Überlegungen: Angenommen, $ f: (0, \ infty) \ bis (0, \ infty) $ ist ein kontinuierliches PDF (dh sein Integral hat den Wert eins). Eine Änderung der Koordinaten wandelt die zugehörige Verteilung in die gleichmäßige Verteilung auf $ [0,1] $ um. Die Formel lautet $$ p = \ int_t ^ \ infty f (s) \, ds $$ und dies wird in vielen Texten erklärt. Was die Texte im Zusammenhang mit p-Werten nicht hervorheben, ist, dass dies genau die Formel ist, die den p-Wert aus der t-Statistik angibt, wenn $ f $ das PDF für das t ist -Verteilung. (Ich versuche, die Diskussion so einfach wie möglich zu halten, weil sie wirklich einfach ist. Eine ausführlichere Diskussion würde einseitige und zweiseitige T-Tests leicht unterschiedlich behandeln, es könnten Faktoren von 2 auftreten und die T-Statistik könnte in $ (- \ infty, \ infty) $ statt in $ [0, \ infty) $ liegen. Ich lasse all diese Unordnung weg.)
Genau die gleiche Diskussion gilt, wenn der p-Wert gefunden wird erneut mit einer der anderen Standardverteilungen in der Statistik verknüpft. Wenn die Daten zufällig verteilt werden (diesmal gemäß einer anderen Verteilung), werden die resultierenden p-Werte gleichmäßig in $ [0,1] $ verteilt.
Wie trifft dies auf unsere gepaarten und ungepaarten t-Tests zu? Der Punkt liegt im gepaarten t-Test, wobei die Stichproben unabhängig und zufällig ausgewählt werden, wie in meinem obigen Code, folgt der Wert von t tatsächlich a t-Verteilung (mit $ n-1 $ Freiheitsgraden). Die p-Werte, die sich aus der mehrfachen Wiederholung der Wahl von X und Y ergeben, folgen also der gleichmäßigen Verteilung auf $ [0,1] $. Das gleiche gilt für tr ue für den ungepaarten t-Test, obwohl diesmal die t-Verteilung $ 2 (n-1) $ Freiheitsgrade hat. Trotzdem haben die resultierenden p-Werte auch eine gleichmäßige Verteilung auf $ [0,1] $, wie ich oben allgemein dargelegt habe.Wenn der obige Code von Peter angewendet wird, um p-Werte zu bestimmen, erhalten wir zwei unterschiedliche Methoden zum Ziehen einer Zufallsstichprobe aus der gleichmäßigen Verteilung auf $ [0,1] $. Die beiden Antworten sind jedoch nicht unabhängig.
Kommentare
- Ich ‚ glaube nicht, dass der p-Wert irgendwelche mysteriösen Geheimnisse enthält. Einige Leute haben eine schwierige Zeit damit. Es ist die Wahrscheinlichkeit, einen Wert als exterem oder extremer zu beobachten als das, was tatsächlich beobachtet wurde, als die Nullhypothese WAHR ist. Ich denke, Sie hatten dieses Recht in einer Ihrer Formeln. Ich denke, Sie haben angegeben, dass p- Werte sind gleichmäßig verteilt. Ja, ich stimme dem zu, wenn die Nullhypothese wahr ist. Denken Sie daran, dass bei Ihrem t-Test die Nullhypothese möglicherweise nicht wahr ist. Dann ist der p-Wert nicht einheitlich. Er sollte näher an 0 konzentriert werden.
- Zweitens handelt es sich um zwei verschiedene Teststatistiken: Eine basiert auf Pairing und eine nicht in Ihrem Beispiel. Ob ich sie in meiner Antwort erwähnt habe oder nicht Der ungepaarte t-Test hat eine zentrale t-Verteilung mit 2n-2 Freiheitsgraden, während die entsprechende t-Verteilung für den gepaarten t-Test n-1 Freiheitsgrade hat. Der eine mit der größeren Anzahl von Freiheitsgraden liegt also näher an der Standardnormalverteilung als der andere. Ist das wichtig, wenn Sie diese Tests auf reale Daten anwenden? Nein! Nicht, wenn n einigermaßen groß ist.
- Als Randnotiz erfordert eine Einschränkung des gepaarten Tests die gleiche Stichprobengröße, die Sie haben sollten, wenn alle Daten gepaart werden können. Der ungepaarte Test gilt jedoch für ungleiche Stichprobengrößen. Im Allgemeinen hat der ungepaarte Test also n + m-2 Freiheitsgrade.
- Ihre Antwort ist lang und abstrakt und ich habe versucht, sie zu durchlaufen, aber ich habe nicht ‚ Verstehe das Gegenbeispiel nicht. Ich sehe nur ‚ nicht, wo Sie die Nullhypothese und die realen Daten berücksichtigen. Der beobachtete p-Wert ist das Integral der geeigneten t-Verteilung für die Teststatistik unter Berücksichtigung der Daten. Sie vergleichen diese Zahlen für die beiden t-Verteilungen und denselben gemeinsamen Datensatz. Wenn Sie von den beobachteten Daten abhängig sind, spielen diese gleichmäßigen Verteilungen keine Rolle. Es tut mir leid, aber ich sehe ‚ nicht, dass Ihre Antwort Ihre Frage wirklich beantwortet.
- Michael: Konzentrieren Sie sich nur auf den R-Code, den ich gegeben habe. Der Lauf dauert nur eine Sekunde. Die Nullhypothese ist, dass X und Y aus derselben Normalverteilung stammen, was in meinem Fall natürlich völlig falsch ist. In meinem Beispiel ist Cov (X, Y) > 0 und dennoch gibt der ungepaarte Test eine größere Bedeutung als der gepaarte Test.
Antwort
Ich würde eine andere Perspektive anbieten. Oft wird eine Paarung durchgeführt, um die Vorspannung zu verringern. Angenommen, Sie interessieren sich dafür, ob Exposition E ein Risikofaktor für ein kontinuierliches Ergebnis Y ist. Für jedes E + -Person erhalten Sie ein alters- und geschlechtsangepasstes Subjekt, das E- ist. Jetzt könnten wir entweder einen gepaarten T-Test oder einen ungepaarten T-Test durchführen. Ich denke, wir sollten das Matching explizit berücksichtigen und einen gepaarten T-Test durchführen. Es ist mehr prinzipiell, dass es das Design berücksichtigt. Ob das Matching in der Analyse berücksichtigt werden soll, ist eine Frage des Bias-Varianz-Kompromisses. Die Berücksichtigung von Übereinstimmungen in der Analyse bietet mehr Schutz vor Verzerrungen, kann jedoch die Varianz erhöhen. Die Durchführung eines ungepaarten T-Tests ist zwar effizienter, bietet jedoch keinen Schutz vor Verzerrungen.
Schreibe einen Kommentar