t-test สำหรับข้อมูลที่จับคู่บางส่วนและไม่ได้คู่บางส่วน


28

นักวิจัยต้องการสร้างการวิเคราะห์รวมของชุดข้อมูลหลายชุด ในชุดข้อมูลบางชุดมีการสังเกตแบบคู่สำหรับการรักษา A และ B ในชุดข้อมูลอื่น ๆ มีข้อมูล A และ / หรือ B ที่ไม่ได้รับการจับคู่ ฉันกำลังมองหาข้อมูลอ้างอิงสำหรับการปรับตัวของการทดสอบ t-test หรือการทดสอบอัตราส่วนความน่าจะเป็นสำหรับข้อมูลที่จับคู่บางส่วนเช่นนั้น ฉันยินดี (ตอนนี้) ที่จะยอมรับความเป็นมาตรฐานที่มีความแปรปรวนเท่ากันและประชากรมีความหมายสำหรับ A นั้นเท่ากันสำหรับการศึกษาแต่ละครั้ง (และเช่นเดียวกันสำหรับ B)


2
สวัสดีแฟรงค์ บางทีมันอาจจะมีประโยชน์ในการทำให้การสร้างแบบจำลองสมมติฐานชัดเจนขึ้น โดยปกติเมื่อฉันคิดถึงการออกแบบที่จับคู่ฉันคิดว่าหนึ่งในวิธีต่อไปนี้ (i) พยายามลบเอฟเฟกต์ระดับยูนิตที่ไม่สามารถสังเกตเห็นได้คงที่ (ii) การลดความแปรปรวนของเอฟเฟกต์แบบสุ่มทั่วทั้งหน่วยทดลองหรือ (iii) ของการตอบสนองโดยการรับความแตกต่างระหว่างคู่ดังนั้นการได้รับการประมาณที่ดีขึ้น โดยเฉพาะอย่างยิ่งฉันไม่เห็นผลประโยชน์ใด ๆ ในคู่ที่ตรงกันทันทีหากสมมติฐานภายใต้ null เป็นว่าการสังเกตทั้งหมดเป็นเรื่องปกติ
พระคาร์ดินัล

4
คาร์ดินัลฉันมีข้อมูลมากมายที่มีลักษณะเช่นนี้เช่นกัน เราพยายามรวบรวมข้อมูลที่จับคู่กันอย่างเต็มรูปแบบ แต่เนื่องจากปัญหาทางเทคนิคหรือโชคไม่ดีบางครั้งการวัดตัวอย่างภายใต้ A หรือ B บางครั้งจะทำให้เสีย ทั้งสองอย่างชัดเจน - แต่ไม่พอใจ - โซลูชั่นคือ 1) โยนคู่ที่ไม่สมบูรณ์ทั้งหมดและทำการทดสอบแบบจับคู่หรือ 2) เพิกเฉยต่อการจับคู่และทำการทดสอบแบบไม่คู่กับข้อมูลทั้งหมด ฉันคิดว่าผู้โพสต์ขอวิธีการใช้ประโยชน์จากการจับคู่ที่มีอยู่ (ด้วยเหตุผลของคุณ # 1 และ # 2) ในขณะที่กู้สิ่งที่เขาสามารถทำได้จากจุดข้อมูลอื่น ๆ ที่ไม่ได้รับการจับคู่
Matt Krause

2
ฉันขอขอบคุณความคิดเห็นทั้งหมด สำหรับวิชาคู่ที่จับคู่ได้รับการทดสอบภายใต้ทั้ง A และ B วิธีหนึ่งในการยกระดับการจับคู่คือการใช้ bootstrap nonparametric เปอร์เซนต์ช่วงความเชื่อมั่นที่ไม่ใช่พารามิเตอร์สำหรับความแตกต่างระหว่างค่าเฉลี่ยใน A และ B สิ่งนี้จะเกี่ยวข้องกับการใช้ bootstrap คลัสเตอร์ อาสาสมัคร หัวเรื่องที่ไม่มีข้อมูลที่จับคู่จะมีการเก็บหรือลบการสังเกตหนึ่งครั้งในตัวอย่างและข้อมูลที่จับคู่จะมีการเก็บหรือลบสองระเบียน สิ่งนี้ดูเหมือนว่าจะเคารพการจับคู่ แต่ความต้องการตัวประมาณและเราไม่รู้เกี่ยวกับการมองโลกในแง่ดี
Frank Harrell

1
วิธีการแบบเบย์นั้นใช้งานง่าย
Stéphane Laurent

2
Hani M. Samawi และ Robert Vogel, วารสารสถิติประยุกต์ (2013): หมายเหตุเกี่ยวกับการทดสอบสองตัวอย่างสำหรับข้อมูลที่มีความสัมพันธ์บางส่วน (คู่), dx.doi.org/10.1080/02664763.2013.830285
Suresh

คำตอบ:


6

Guo และ Yuan แนะนำวิธีการทางเลือกที่เรียกว่าการทดสอบทีรวมกลุ่มที่ดีที่สุดอันเนื่องมาจาก Samawi และ Vogel ของการทดสอบการรวมกลุ่ม

ลิงก์ไปยังการอ้างอิง: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.865.734&rep=rep1&type=pdf

ยอดเยี่ยมอ่านด้วยหลายตัวเลือกสำหรับสถานการณ์นี้

ใหม่สำหรับการแสดงความคิดเห็นดังนั้นโปรดแจ้งให้เราทราบหากฉันต้องการเพิ่มอะไรอีก


8

ทีนี้ถ้าคุณรู้ความแปรปรวนของคู่ที่ไม่คู่กับคู่ (ซึ่งโดยทั่วไปแล้วจะเป็นข้อตกลงที่เล็กกว่า) น้ำหนักที่เหมาะสมสำหรับการประมาณความแตกต่างในกลุ่มที่สองหมายถึงว่าน้ำหนักจะแปรผกผันกับความแปรปรวนของแต่ละคน การประมาณความแตกต่างในวิธีการ

[แก้ไข: ปรากฎว่าเมื่อประมาณค่าความแปรปรวนสิ่งนี้เรียกว่าตัวประมาณ Graybill-Deal มีกระดาษอยู่สองสามเล่ม นี่คือหนึ่ง]

ความจำเป็นในการประมาณค่าความแปรปรวนทำให้เกิดความยากลำบาก (อัตราส่วนผลลัพธ์ของการประมาณค่าความแปรปรวนคือ F และฉันคิดว่าน้ำหนักที่ได้มีการแจกแจงแบบเบต้าและสถิติที่ได้นั้นซับซ้อนมาก) แต่เนื่องจากคุณกำลังพิจารณา bootstrapping นี่อาจเป็น น้อยกว่าความกังวล

ความเป็นไปได้ทางเลือกซึ่งอาจจะดีกว่าในบางแง่มุม (หรืออย่างน้อยก็มีความทนทานต่อการไม่ได้มาตรฐานเนื่องจากเรากำลังเล่นกับอัตราส่วนความแปรปรวน) ที่มีการสูญเสียประสิทธิภาพน้อยมากที่ปกติคือพื้นฐานของการกะ การทดสอบอันดับคู่และไม่ได้รับการจับคู่ - ในแต่ละกรณีการประเมินแบบ Hodges-Lehmann ในกรณีที่ไม่มีการจับคู่ขึ้นอยู่กับค่ามัธยฐานของความแตกต่างระหว่างคู่ตัวอย่างและในกรณีที่จับคู่ค่ามัธยฐานของความแตกต่างระหว่างคู่ อีกครั้งความแปรปรวนเชิงเส้นถ่วงน้ำหนักต่ำสุดของชุดค่าผสมเชิงเส้นของทั้งสองจะเป็นกับน้ำหนักเป็นสัดส่วนกับผกผันของความแปรปรวน ในกรณีนี้ฉันอาจจะเอนตัวไปที่การเปลี่ยนแปลง (/ การสุ่ม) แทนการบู๊ต - แต่ขึ้นอยู่กับว่าคุณใช้บูทสแตรปของคุณอย่างไรพวกเขาสามารถจบลงในที่เดียวกันได้

ไม่ว่าในกรณีใดคุณอาจต้องการเพิ่มความแปรปรวน / ลดอัตราส่วนความแปรปรวนของคุณ การเข้าไปอยู่ใน ballpark ที่ถูกต้องสำหรับน้ำหนักนั้นดี แต่คุณจะสูญเสียประสิทธิภาพที่น้อยมากตามปกติโดยทำให้แข็งแรงขึ้นเล็กน้อย ---

ความคิดเพิ่มเติมบางอย่างที่ฉันไม่ชัดเจนพอในหัวของฉันมาก่อน:

ปัญหานี้มีความคล้ายคลึงกันอย่างชัดเจนกับปัญหาของ Behrens-Fisher แต่ก็ยากกว่า

หากเรากำหนดน้ำหนักเราก็สามารถตีค่าประมาณของ Welch-Satterthwaite โครงสร้างของปัญหาเหมือนกัน

ปัญหาของเราคือเราต้องการเพิ่มประสิทธิภาพน้ำหนักซึ่งหมายความว่าน้ำหนักไม่ได้รับการแก้ไข - และแน่นอนมีแนวโน้มที่จะเพิ่มสถิติสูงสุด (อย่างน้อยประมาณเกือบทุกตัวอย่างขนาดใหญ่เนื่องจากน้ำหนักชุดใด ๆ เป็นปริมาณแบบสุ่มโดยประมาณเท่ากัน ตัวเศษและเรากำลังพยายามย่อส่วนซึ่งทั้งสองไม่เป็นอิสระ)

ฉันคาดว่านี่จะทำให้การประมาณไคสแควร์แย่ลงและจะส่งผลกระทบต่อ df ของการประมาณยังคงเพิ่มขึ้นต่อไป

[หากปัญหานี้เกิดขึ้นได้ก็อาจกลายเป็นกฎง่ายๆที่จะพูดว่า 'คุณสามารถทำได้เกือบจะดีถ้าคุณใช้ข้อมูลที่จับคู่ภายใต้สถานการณ์เหล่านี้เท่านั้น เงื่อนไขและส่วนที่เหลือรูปแบบน้ำหนักคงที่นี้มักจะใกล้เคียงกับความเหมาะสมที่สุด - แต่ฉันจะไม่กลั้นลมหายใจรอโอกาสนั้น กฎการตัดสินใจดังกล่าวจะมีผลกระทบต่อความสำคัญที่แท้จริงในแต่ละกรณี แต่ถ้าผลนั้นไม่ใหญ่เช่นกฎของหัวแม่มือจะให้วิธีที่ง่ายสำหรับผู้ใช้ซอฟต์แวร์ที่มีอยู่เดิมดังนั้นจึงเป็นที่ต้องการ พยายามระบุกฎเช่นนั้นสำหรับผู้ใช้ในสถานการณ์เช่นนี้]

---

แก้ไข: หมายเหตุถึงตนเอง - จำเป็นต้องกลับมาและกรอกรายละเอียดของการทำงานในการทดสอบ 'ตัวอย่างที่ทับซ้อนกัน' โดยเฉพาะอย่างยิ่งการทดสอบตัวอย่างที่ซ้ำซ้อน

---

มันเกิดขึ้นกับฉันว่าการทดสอบการสุ่มควรใช้ได้ -

  • เมื่อข้อมูลถูกจับคู่คุณสุ่มอนุญาตฉลากกลุ่มภายในคู่

  • โดยที่ข้อมูลไม่ถูกจับคู่ แต่สันนิษฐานว่ามีการแจกแจงทั่วไป (ภายใต้ค่า null) คุณอนุญาตการมอบหมายกลุ่ม

  • ตอนนี้คุณสามารถกำหนดน้ำหนักให้กับการประมาณการเปลี่ยนแปลงสองครั้งจากการประมาณค่าความแปรปรวนแบบสัมพัทธ์ ( w1=1/(1+โวลต์1โวลต์2)) คำนวณการประมาณน้ำหนักกะของแต่ละตัวอย่างแบบสุ่มและดูว่ากลุ่มตัวอย่างเหมาะสมกับการกระจายแบบสุ่มหรือไม่


(เพิ่มในภายหลังมาก)

กระดาษที่เกี่ยวข้องอาจเป็นไปได้:

Derrick, B. , Russ B. , Toher, D. , และ White, P. (2017),
"สถิติทดสอบสำหรับการเปรียบเทียบค่าเฉลี่ยของสองตัวอย่างที่มีทั้งการสังเกตแบบจับคู่และอิสระ"
วารสารวิธีการทางสถิติประยุกต์สมัยใหม่อาจ ปีที่ 16 หมายเลข 1, 137-157
ดอย: 10.22237 / jmasm / 1493597280
http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=2251&context=jmasm


1
+1 ฉันมีคำถามเกี่ยวกับส่วนสุดท้ายของคำตอบของคุณ คุณจะใช้ค่าประมาณความแปรปรวน (เช่นน้ำหนักใด) ในการทดสอบการเปลี่ยนรูป - ค่าจริงที่คำนวณจากตัวอย่างจริงหรือคุณคำนวณน้ำหนักสำหรับการเปลี่ยนแปลงแต่ละครั้งโดยใช้ข้อมูลจากการเปลี่ยนแปลงนั้น
อะมีบาพูดว่า Reinstate Monica

@amoeba ที่จะอธิบายลักษณะการคำนวณตามตัวอย่างที่ถูกต้องคุณจะต้องพิจารณาจากการเปลี่ยนแปลงนั้น
Glen_b -Reinstate Monica

@ amoeba ฉันควรเปรียบเทียบกับแนวทางอื่น ๆ ในการแก้ไขปัญหา
Glen_b -Reinstate Monica

1
โดยวิธีการที่ฉันเจอกระทู้นี้เพราะมีคนเข้าหาฉันด้วยข้อมูลต่อไปนี้: สองวิชาที่มีข้อมูลที่จับคู่และสองวิชาที่มีข้อมูลที่ไม่ได้คู่ (เช่น 3 การวัดในกลุ่ม A, 3 การวัดในกลุ่ม B จาก 6 ค่าเหล่านี้ 2+ 2 ถูกจับคู่และส่วนที่เหลือไม่มีการจับคู่) ในกรณีนี้มันมีข้อมูลไม่เพียงพอที่จะประมาณความแปรปรวนของกะกะ unpaired ดังนั้นฉันจึงไม่สามารถแนะนำอะไรนอกเหนือจากการเพิกเฉยต่อการจับคู่และทำการทดสอบที่ไม่มีการจับคู่ ... แต่แน่นอนว่าเป็นสถานการณ์ที่รุนแรง
อะมีบาพูดว่า Reinstate Monica

6

นี่คือความคิดบางอย่าง ฉันเป็นเพียงมาถึงข้อสรุปที่เกร็กหิมะว่าปัญหานี้มีความคล้ายคลึงกันแตกต่างกันไปปัญหา Behrens-ฟิชเชอร์ เพื่อหลีกเลี่ยงการโบกมือฉันแรกแนะนำบางสัญกรณ์และทำสมมติฐานอย่างเป็นทางการ

  • เราได้จับคู่สังเกตx Pฉันและx P Bฉัน ( ฉัน= 1 , ... , n );nxipAxipBi=1,,n
  • เรามีและn Bสังเกต unpaired x ฉัน ( ฉัน= 1 , ... , n ) และx B ฉัน ( ฉัน= 1 , ... , n B );nAnBxiAi=1,,nAxiBi=1,,nB
  • การสังเกตแต่ละครั้งคือผลรวมของผลผู้ป่วยและผลการรักษา ตัวแปรสุ่มที่สอดคล้องกันคือ

    • , X p B i = P i + T B i ,XผมพีA=Pผม+TผมAXผมพีB=Pผม+TผมB
    • , X B i = R i + V B iXผมA=Qผม+ยูผมAXiB=Ri+ViB

    กับและT τ ฉัน , U τ ฉัน , V τ ฉัน ~ N ( μ τ , σ 2 ) ( τ = , B )Pi,Qi,RiN(0,σP2)Tiτ,Uiτ,ViτN(μτ,σ2)τ=A,B

    • ภายใต้สมมติฐานที่ BμA=μB

Xi=XipAXipBXiN(μAμB,2σ2)

XinXiAnAXiBnB

  • XN(μAμB,2nσ2)
  • XAN(μA,1nA(σP2+σ2))
  • XBN(μB,1nB(σP2+σ2))

ขั้นตอนต่อไปคือการพิจารณา

  • Y=X+XAXBN(2(μAμB),2nσ2+(1nA+1nB)(σP2+σ2))

Now basically we are stuck. The three sums of squares give estimations of σ2 with n1 df, σP2+σ2 with nA1 df and nB1 df respectively. The last two can be combined to give an estimation of (1nA+1nB)(σP2+σ2) with nA+nB2 df. The variance of Y is the sum of two terms, each of which can be estimated, but the recombination is not doable, just as in Behrens Fisher problem.

At this point I think one may plug-in any solution proposed to Behrens Fisher problem to get a solution to your problem.


1
I fixed a few typos in formulas. Please check!
kjetil b halvorsen

5

My first thought was a mixed effects model, but that has already been discussed so I won't say any more on that.

My other thought is that if it were theoretically possible that you could have measured paired data on all subjects but due to cost, errors, or another reason you don't have all the pairs, then you could treat the unmeasured effect for the unpaired subjects as missing data and use tools like the EM algorithm or Multiple Imputation (missing at random seems reasonable unless the reason a subject was only measured under 1 treatment was related to what their outcome would be under the other treatment).

It may be even simpler to just fit a bivariate normal to the data using maximum likelihood (with the likelihood factored based on the available data per subject), then do a likelihood ratio test comparing the distribution with the means equal vs. different means.

เป็นเวลานานแล้วตั้งแต่ชั้นเรียนทฤษฎีของฉันดังนั้นฉันไม่ทราบว่าสิ่งเหล่านี้เปรียบเทียบกับการมองโลกในแง่ดี


1
ขอบคุณ Greg ฉันโน้มตัวไปยังแนวทางโอกาสสูงสุดที่กำหนดเอง
Frank Harrell

4

maybe mixed modelling with patient as random effect could be a way. With mixed modelling the correlation structure in the paired case and the partial missings in the unpaired case could be accounted for.


2
Since none of the datasets when analyzed individually would lead one to use random effects, I'm not seeing why random effects are helpful here. But it may be possible to use generalized least squares to allow each subject to have her own correlation structure. Unpaired observations would have correlation zero. Worth thinking about. Thanks.
Frank Harrell

yes, you're right, the datasets would not require mixed modelling if used separately. But if you append them into one single dataset, you could use the approach to incorporate the correlation in the paired data and simultaneously use the unpaired data by specifying a zero correlation.
psj

1
ใช่; จุดของฉันคือการที่รูปแบบการผสมอาจจะเป็น overkill เท่าที่คุณสามารถระบุโครงสร้างความสัมพันธ์เรื่องที่แตกต่างกันโดยใช้ทั่วไปน้อยสแควร์ (ใช้เช่นของ R glsฟังก์ชั่นในnlme4แพคเกจ.
แฟรงก์ Harrell

3

หนึ่งในวิธีการที่เสนอใน Hani M. Samawi และ Robert Vogel (วารสารสถิติประยุกต์, 2013) ประกอบด้วยการถ่วงน้ำหนักของ T-score จากตัวอย่างอิสระและขึ้นอยู่กับในลักษณะที่คะแนน T ใหม่เท่ากับ

Tโอ=γ(μY-μXSx2/nX+SY2/nY)+(1-γ)μDSD2/nD

ที่ไหน Dแสดงถึงตัวอย่างของความแตกต่างคู่ที่นำมาจากข้อมูลที่สัมพันธ์กัน โดยทั่วไปคะแนน T ใหม่คือการรวมกันของ T-score แบบไม่มีคู่กับคำศัพท์การแก้ไขใหม่γแสดงถึงสัดส่วนของกลุ่มตัวอย่างอิสระ เมื่อγ เท่ากับ 1 การทดสอบเท่ากับสองตัวอย่าง t-test ในขณะที่ถ้าเท่ากับศูนย์จะเป็นการทดสอบแบบจับคู่


1
เกี่ยวกับการทดสอบแบบอนุรักษ์นิยมนี้สำหรับข้อมูลที่มีความสัมพันธ์บางส่วนผู้เขียนดูเหมือนจะแยกแยะหลายกรณี (การประมาณตัวอย่างขนาดใหญ่อัตราส่วนที่ไม่เท่ากันของตัวอย่างที่ตรงกัน / อิสระตัวอย่างเล็ก ๆ ) เพื่อให้ได้การแจกแจงT0ภายใต้ null มันจะมีประโยชน์ถ้าคุณสามารถสรุปพวกเขาในคำตอบของคุณเนื่องจากบทความเดียวกันมีการอ้างอิงในการตอบกลับ (บางส่วน) อีก
chl
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.