จับคู่กับการทดสอบ t แบบไม่จับคู่

สมมติว่าฉันมีหนู 20 ตัว ฉันจับคู่เมาส์ด้วยวิธีใดวิธีหนึ่งเพื่อให้ได้ 10 คู่ สำหรับจุดประสงค์ของคำถามนี้อาจเป็นการจับคู่แบบสุ่มหรืออาจเป็นการจับคู่ที่เหมาะสมเช่นพยายามจับคู่หนูจากครอกเดียวกันที่มีเพศเดียวกันมีน้ำหนักเท่ากันหรืออาจเป็นการจับคู่ที่โง่อย่างจงใจ พยายามจับคู่หนูด้วยน้ำหนักที่ไม่เท่าที่ควรจะเป็น จากนั้นฉันใช้ตัวเลขสุ่มเพื่อกำหนดเมาส์หนึ่งตัวในแต่ละคู่ให้กับกลุ่มควบคุมและอีกเมาส์หนึ่งไปยังกลุ่มที่ต้องปฏิบัติ ตอนนี้ฉันทำการทดลองโดยรักษาเฉพาะหนูที่จะได้รับการรักษา แต่อย่างอื่นก็ไม่ได้สนใจว่าจะมีการเตรียมการอะไรก็ตาม

เมื่อมีใครมาวิเคราะห์ผลลัพธ์คนหนึ่งอาจใช้การทดสอบ t แบบไม่คู่หรือการทดสอบแบบจับคู่ ถ้ามีคำตอบจะแตกต่างกันอย่างไร? (โดยทั่วไปฉันสนใจในความแตกต่างอย่างเป็นระบบของพารามิเตอร์ทางสถิติใด ๆ ที่จำเป็นต้องมีการประมาณ)

เหตุผลที่ฉันถามสิ่งนี้คือกระดาษที่ฉันเพิ่งมีส่วนร่วมถูกวิพากษ์วิจารณ์จากนักชีววิทยาในการใช้การทดสอบแบบจับคู่ t-test มากกว่าการทดสอบแบบไม่มีคู่ แน่นอนในการทดลองจริงสถานการณ์ไม่ได้รุนแรงอย่างที่สถานการณ์ฉันร่างไว้และในความคิดของฉันเหตุผลที่ดีสำหรับการจับคู่ แต่นักชีววิทยาไม่เห็นด้วย

ฉันคิดว่ามันเป็นไปไม่ได้ที่จะปรับปรุงนัยสำคัญทางสถิติอย่างไม่ถูกต้อง (ลดค่า p) ในสถานการณ์ที่ฉันร่างโดยใช้การทดสอบแบบจับคู่ t- การทดสอบมากกว่าการทดสอบแบบไม่มีคู่แม้ว่ามันจะไม่เหมาะสมในการจับคู่ อย่างไรก็ตามมันอาจแย่ลงอย่างมีนัยสำคัญทางสถิติถ้าหนูถูกจับคู่ไม่ดี ถูกต้องหรือไม่

ฉันเห็นด้วยกับประเด็นที่ทั้งแฟรงค์และปีเตอร์ทำ แต่ฉันคิดว่ามีสูตรง่าย ๆ ที่เป็นหัวใจของปัญหาและอาจคุ้มค่าสำหรับ OP ที่จะต้องพิจารณา

ให้และYเป็นสองตัวแปรสุ่มที่ไม่ทราบความสัมพันธ์กัน$X$$Y$

ให้$Z=X-Y$

ความแปรปรวนของคืออะไร$Z$

นี่คือสูตรง่ายๆ: จะเป็นอย่างไรถ้าCov ( X , Y ) > 0 (เช่นXและYมีความสัมพันธ์เชิงบวก)

จากนั้น$\text{Var}(Z)\lt \text{Var}(X)+\text{Var}(Y)$. ในกรณีนี้หากการจับคู่เกิดขึ้นเนื่องจากมีความสัมพันธ์เชิงบวกเช่นเมื่อคุณจัดการกับเรื่องเดียวกันก่อนและหลังการจับคู่ช่วยเนื่องจากความแตกต่างของการจับคู่แบบอิสระมีความแปรปรวนต่ำกว่าความแปรปรวนที่คุณได้รับสำหรับกรณีที่ไม่มีคู่ วิธีการลดความแปรปรวน การทดสอบมีประสิทธิภาพมากขึ้น สิ่งนี้สามารถแสดงได้อย่างมากกับข้อมูลแบบวนรอบ ฉันเห็นตัวอย่างในหนังสือที่พวกเขาต้องการดูว่าอุณหภูมิในวอชิงตัน ดี.ซี. สูงกว่าในนิวยอร์กซิตี้หรือไม่ ดังนั้นพวกเขาจึงใช้อุณหภูมิเฉลี่ยต่อเดือนในทั้งสองเมืองเป็นเวลา 2 ปี แน่นอนว่ามีความแตกต่างอย่างมากในช่วงปีนี้เนื่องจากฤดูกาลทั้งสี่ การเปลี่ยนแปลงนี้มีขนาดใหญ่เกินไปสำหรับการทดสอบแบบไม่จับคู่เพื่อตรวจจับความแตกต่าง อย่างไรก็ตามการจับคู่ตามเดือนเดียวกันในปีเดียวกันจะลดผลกระทบตามฤดูกาลนี้และการจับคู่ทดสอบแสดงให้เห็นอย่างชัดเจนว่าอุณหภูมิเฉลี่ยใน DC มีแนวโน้มสูงกว่าในนิวยอร์ก X i (อุณหภูมิที่ NY ในเดือน A ) และ Y i (อุณหภูมิใน DC ในเดือน A ) มีความสัมพันธ์เชิงบวกเนื่องจากฤดูกาลเหมือนกันใน NY และ DC และเมืองอยู่ใกล้พอที่พวกเขามักจะได้สัมผัสกับระบบสภาพอากาศแบบเดียวกันที่ ส่งผลกระทบต่ออุณหภูมิ DC อาจอุ่นขึ้นเล็กน้อยเพราะอยู่ไกลออกไปทางใต้$t$$X_i$$A$$Y_i$$A$

โปรดทราบว่าค่าความแปรปรวนร่วมขนาดใหญ่หรือความสัมพันธ์ที่มากขึ้นคือการลดความแปรปรวน

ตอนนี้สมมติว่าเป็นลบ$\text{Cov}(X,Y)$

จากนั้น ) ตอนนี้การจับคู่จะแย่กว่าการไม่จับคู่เพราะความแปรปรวนเพิ่มขึ้นจริง ๆ !$\text{Var}(Z) \gt \text{Var}(X)+\text{Var}(Y)$

เมื่อและYไม่เกี่ยวข้องกันมันอาจไม่สำคัญว่าวิธีการที่คุณใช้ กรณีการจับคู่แบบสุ่มของปีเตอร์เป็นเหมือนสถานการณ์นี้$X$$Y$

แทนที่จะจับคู่มันอาจจะดีกว่าที่จะเข้าใจรูปแบบข้อมูลพื้นฐาน หากทำการจับคู่เพื่อจัดการกับความแตกต่างที่ไม่สามารถควบคุมได้มันมักจะเป็นกรณี (ยกเว้นในการศึกษาคู่) ว่าการจับคู่เพียงบางส่วนควบคุมแหล่งที่มาของความแปรปรวนและการถดถอยหลายครั้งจะทำได้ดีกว่า นี่เป็นเพราะการจับคู่กับตัวแปรต่อเนื่องส่งผลให้เกิดความแปรปรวนที่เหลืออยู่บ่อยครั้งเนื่องจากไม่สามารถทำการจับคู่กับตัวแปรดังกล่าวได้อย่างแม่นยำ

การทดสอบสองแบบ (จับคู่และไม่จับคู่) ถามคำถามที่แตกต่างกันเพื่อให้พวกเขาได้รับคำตอบที่แตกต่างกัน การจับคู่ที่ถูกต้องเกือบตลอดเวลามีประสิทธิภาพมากกว่าการจับคู่ซึ่งเป็นจุดจับคู่ที่แท้จริง ดังนั้นเนื่องจากคุณบอกว่าการจับคู่ถูกต้องเป็นไปได้ว่าค่า p สำหรับการทดสอบที่จับคู่ของคุณจะต่ำกว่าสำหรับข้อมูลเดียวกันที่ไม่มีการจับคู่ แน่นอนคุณสามารถทำได้และดูด้วยตัวคุณเอง

ดังนั้นคำตอบสำหรับปัญหาของคุณนั้นสำคัญไม่ใช่เชิงสถิติ การจับคู่ของคุณถูกต้องหรือไม่

คุณจะได้รับผลลัพธ์ที่สำคัญจากการจับคู่แบบสุ่มมากกว่าจากการทดสอบแบบไม่จับคู่หรือไม่? มาดูกัน:

set.seed(2910110192)
x <- rnorm(100, 10, 2)
y <- rnorm(100, 10, 2)
t.test(x, y)
t.test(x, y, paired = T)

ใช่คุณสามารถทำได้แม้ว่าที่นี่ความแตกต่างจะมีขนาดเล็กมาก แต่ทั้งคู่มีค่า p ต่ำกว่า ฉันรันโค้ดนั้นหลายครั้ง ไม่น่าแปลกใจที่บางครั้งหนึ่ง p ต่ำกว่าบางครั้งอื่น ๆ แต่ความแตกต่างมีขนาดเล็กในทุกกรณี อย่างไรก็ตามฉันแน่ใจว่าในบางสถานการณ์ความแตกต่างของค่า p อาจมีขนาดใหญ่

ตอนนี้ฉันเข้าใจดียิ่งขึ้นสิ่งที่ทำให้ฉันกังวลเกี่ยวกับการทดสอบแบบจับคู่กับการทดสอบแบบไม่จับคู่และค่า p ที่เกี่ยวข้อง การค้นพบเป็นการเดินทางที่น่าสนใจและมีความประหลาดใจมากมายระหว่างทาง ความประหลาดใจอย่างหนึ่งเกิดขึ้นจากการสืบสวนเรื่องการมีส่วนร่วมของไมเคิล นี่ไม่สามารถแก้ไขได้ในแง่ของคำแนะนำการปฏิบัติ ยิ่งกว่านั้นเขาพูดในสิ่งที่ฉันคิดว่านักสถิติทุกคนเชื่ออย่างแท้จริงและเขามีผู้สนับสนุนหลายคนเพื่อสำรองสิ่งนี้ อย่างไรก็ตามตามทฤษฎีแล้วมันไม่ถูกต้องอย่างแท้จริง ฉันค้นพบสิ่งนี้ด้วยการหาสูตรสำหรับค่า p แล้วคิดให้ถี่ถ้วนว่าจะใช้สูตรอย่างไรเพื่อนำไปสู่ตัวอย่างเคาน์เตอร์ ฉันเป็นนักคณิตศาสตร์โดยการฝึกอบรมและตัวอย่างเคาน์เตอร์ก็คือ "ตัวอย่างเคาน์เตอร์ของนักคณิตศาสตร์" ไม่ใช่สิ่งที่คุณจะเจอในสถิติเชิงปฏิบัติ สิ่งที่ฉันพยายามค้นหาเมื่อฉันถามคำถามเริ่มแรก

นี่คือรหัส R ที่ให้ตัวอย่างเคาน์เตอร์:

vLength <- 10; meanDiff <-10^9; numSamples <- 3;
pv <- function(vLength,meanDiff) {
    X <- rnorm(vLength)
    Y <- X - meanDiff + rnorm(vLength,sd=0.0001)
    Paired <- t.test(X,Y,var.equal=T,paired=T)
    NotPaired <- t.test(X,Y,var.equal=T,paired=F)
    c(Paired$p.value,NotPaired$p.value,cov(X,Y))
}
ans <- replicate(numSamples,pv(vLength,meanDiff))

สังเกตคุณสมบัติดังต่อไปนี้: X และ Y เป็น 10-tuples สองตัวที่มีความแตกต่างกันมากและเกือบคงที่ สำหรับตัวเลขสำคัญหลายตัวความสัมพันธ์คือ 1.000 .... ค่า p สำหรับการทดสอบแบบไม่มีคู่มีขนาดเล็กกว่าค่า p-value ประมาณ 10 ^ 40 เท่าสำหรับการทดสอบแบบจับคู่ ดังนั้นสิ่งนี้ขัดแย้งกับบัญชีของไมเคิลหากว่าคนอ่านบัญชีของเขาอย่างแท้จริงสไตล์นักคณิตศาสตร์ นี่เป็นส่วนหนึ่งของคำตอบของฉันที่เกี่ยวข้องกับคำตอบของ Michael

นี่คือความคิดที่กระตุ้นโดยคำตอบของปีเตอร์ ในระหว่างการอภิปรายคำถามเดิมของฉันฉันคาดเดาในความคิดเห็นว่าการแจกแจงค่าเฉพาะสองค่า p ที่เสียงแตกต่างกันในความเป็นจริงเหมือนกัน ตอนนี้ฉันสามารถพิสูจน์ได้ สิ่งที่สำคัญกว่านั้นคือหลักฐานแสดงให้เห็นถึงลักษณะพื้นฐานของค่า p ดังนั้นพื้นฐานที่ไม่มีข้อความ (ที่ฉันเคยเจอ) รบกวนที่จะอธิบาย บางทีนักสถิติมืออาชีพทุกคนรู้ความลับ แต่สำหรับฉันความหมายของ p-value ดูเหมือนจะแปลกและประดิษฐ์ขึ้นมาเสมอ ก่อนที่จะมอบความลับของนักสถิติให้ฉันระบุคำถาม

$n>1$$n$$2(n-1)$$n-1$ระดับความอิสระ. การแจกแจงสองแบบนี้แตกต่างกันดังนั้นการกระจายตัวของ p-values ​​ที่เกี่ยวข้องจะเป็นอย่างไร หลังจากคิดไปมากแล้วฉันก็รู้ว่าการเลิกจ้างการคาดเดาที่เห็นได้ชัดนี้ง่ายเกินไป

$f:(0,\infty)\to (0,\infty)$$[0,1]$

$[0,1]$

$n-1$$[0,1]$$2(n-1)$$[0,1]$$[0,1]$

ฉันจะเสนอมุมมองอื่น บ่อยครั้งที่การจับคู่เสร็จแล้วจะลดอคติ สมมติว่าคุณสนใจว่าการเปิดรับ E เป็นปัจจัยเสี่ยงต่อผลลัพธ์ที่ต่อเนื่อง Y หรือไม่สำหรับวิชา E + แต่ละวิชาคุณจะได้อายุและเพศที่ตรงกับเพศที่เป็น E- ตอนนี้เราสามารถทำการทดสอบแบบจับคู่หรือทดสอบแบบไม่จับคู่ ฉันคิดว่าเราควรพิจารณาการจับคู่อย่างชัดเจนและทำการทดสอบแบบจับคู่ มันมีหลักการมากขึ้นในการคำนึงถึงการออกแบบ ไม่ว่าจะคำนึงถึงการจับคู่ในการวิเคราะห์ว่าเป็นปัญหาของการแลกเปลี่ยนความแปรปรวนทางอคติหรือไม่ การบัญชีสำหรับการจับคู่ในการวิเคราะห์ให้ความคุ้มครองอคติมากขึ้น แต่สามารถเพิ่มความแปรปรวนได้ การทำแบบทดสอบ t-unpaired อาจมีประสิทธิภาพมากกว่า แต่ก็ไม่ได้ให้การป้องกันกับอคติใด ๆ