ฉันจะทดสอบได้อย่างไรว่าตัวแปรต่อเนื่องสองตัวนั้นมีความเป็นอิสระ

สมมติว่าฉันมีตัวอย่างจากการจัดจำหน่ายร่วมกันของและYฉันจะทดสอบสมมติฐานที่และเป็นอิสระได้อย่างไร$(X_n,Y_n), n=1..N$Y X $X$$Y$$X$$Y$

ไม่มีข้อสมมติฐานใด ๆ เกี่ยวกับการแจกแจงแบบร่วมหรือส่วนเพิ่มของและ (อย่างน้อยที่สุดของมาตรฐานร่วมทั้งหมดเนื่องจากในกรณีนั้นความเป็นอิสระนั้นเหมือนกับความสัมพันธ์เป็น )Y $X$$Y$$0$

ไม่มีการสันนิษฐานเกี่ยวกับลักษณะของความสัมพันธ์ที่เป็นไปได้ระหว่างและ ; มันอาจไม่ใช่แบบเชิงเส้นดังนั้นตัวแปรจะไม่สัมพันธ์กัน ( ) แต่ขึ้นอยู่กับการมีส่วนร่วมสูง ( )$X$$Y$$r=0$$I=H$

ฉันเห็นสองแนวทาง:

1. ถังทั้งสองตัวแปรและใช้ฟิชเชอร์การทดสอบที่แน่นอนหรือG-ทดสอบ

   • Pro: ใช้การทดสอบทางสถิติที่มีชื่อเสียง
   • คอนดิชั่น: ขึ้นอยู่กับการ binning

2. ประเมินการพึ่งพาของและ : (นี้เป็นสำหรับอิสระและและเมื่อพวกเขาสมบูรณ์ตรวจสอบแต่ละอื่น ๆ )Y I ( X ; Y )$X$$Y$$\frac{I(X;Y)}{H(X,Y)}$XY$0$$X$$Y$$1$

   • Pro: สร้างตัวเลขที่มีความหมายทางทฤษฎีที่ชัดเจน
   • คอนดิชั่น: ขึ้นอยู่กับการคำนวณเอนโทรปีโดยประมาณ (กล่าวคือการ binning อีกครั้ง)

วิธีการเหล่านี้เหมาะสมหรือไม่

มีวิธีอื่นใดที่ผู้คนใช้?

นี่เป็นปัญหาที่ยากมากโดยทั่วไปแม้ว่าตัวแปรของคุณจะมีเพียง 1d เท่านั้นที่ช่วยได้ แน่นอนขั้นตอนแรก (เมื่อเป็นไปได้) ควรวางแผนข้อมูลและดูว่ามีอะไรโผล่มาที่คุณหรือไม่ คุณอยู่ใน 2d ดังนั้นควรเป็นเรื่องง่าย

ต่อไปนี้เป็นวิธีการบางอย่างที่ทำงานในหรือการตั้งค่าทั่วไปเพิ่มเติม:$\mathbb{R}^n$

• ดังที่คุณกล่าวถึงประมาณการข้อมูลร่วมกันผ่านทางเอนโทรปี นี่อาจเป็นตัวเลือกที่ดีที่สุดของคุณ การประมาณตามเพื่อนบ้านที่ใกล้ที่สุดทำได้ดีในขนาดที่ต่ำและแม้แต่ฮิสโทแกรมก็ไม่น่ากลัวใน 2d หากคุณกังวลเกี่ยวกับข้อผิดพลาดในการประมาณค่าตัวประมาณนี้ง่ายและให้ขอบเขตตัวอย่าง จำกัด (ส่วนใหญ่ส่วนอื่นจะพิสูจน์คุณสมบัติแบบอะซิติกติกเท่านั้น):

  ศรีชรนัน Raich และฮีโร่ การประเมินเชิงประจักษ์ของเอนโทรปีของฟังก์ชันด้วยความมั่นใจ arXiv: 1012.4188 [math.ST]

  อีกวิธีหนึ่งมีตัวประมาณโดยตรงที่คล้ายคลึงกันสำหรับข้อมูลซึ่งกันและกันเช่น

  Pál, PóczosและSvepesári การประมาณค่าข้อมูลเอนโทรปีของRényiและข้อมูลร่วมกันตามกราฟที่ใกล้เคียงที่สุดกับเพื่อนบ้านทั่วไป NIPS 2010

• เกณฑ์ความเป็นอิสระของฮิลแบร์ตชมิดท์: เคอร์เนล (ในความหมายของ RKHS ไม่ใช่ KDE)

  Gretton, Bousqet, Smola, และSchölkopf, การวัดความเป็นอิสระทางสถิติด้วย Hilbert-Schmidt Norms , ทฤษฎีการเรียนรู้ขั้นตอนวิธี 2005

• วิธีการของ Schweizer-Wolff: ขึ้นอยู่กับการเปลี่ยนแปลงของโคคูลา ฉันไม่คุ้นเคยกับอันนี้มาก แต่ฉันคิดว่ามันง่ายกว่าการคำนวณ แต่อาจทรงพลังน้อยกว่า

  Schweizer และ Wolff, ในการวัดแบบพึ่งพาพารามิเตอร์สำหรับตัวแปรสุ่ม , บันทึกสถิติ 2524

Hoeffding พัฒนาทดสอบอิงพารามิเตอร์ทั่วไปของความเป็นอิสระของตัวแปรทั้งสองอย่างต่อเนื่องโดยใช้ตำแหน่งร่วมกันเพื่อทดสอบ(y) การทดสอบปี 1948 นี้มีการใช้งานในฟังก์ชั่นของแพ็คเกจR$H_{0}: H(x,y) = F(x)G(y)$Hmischoeffd

บทความนี้เกี่ยวกับ:

http://arxiv.org/pdf/0803.4101.pdf

"การวัดและทดสอบการพึ่งพาอาศัยโดยสหสัมพันธ์ของระยะทาง" Székelyและ Bakirov มีสิ่งที่น่าสนใจอยู่เสมอ

มีรหัส MATLAB สำหรับการใช้งาน:

http://www.mathworks.com/matlabcentral/fileexchange/39905-distance-correlation

หากคุณพบว่ามีการทดสอบอื่น ๆ (ใช้งานง่าย) เพื่อความเป็นอิสระแจ้งให้เราทราบ

การเชื่อมโยงระหว่างการแปรผันของระยะทางกับการทดสอบเคอร์เนล (อิงตามเกณฑ์ความเป็นอิสระของฮิลแบร์ตชมิดท์) ได้รับการเผยแพร่ในเอกสาร:

Sejdinovic, D. , Sriperumbudur, B. , Gretton, A. และ Fukumizu, K. , การเปรียบเทียบสถิติทางไกลและ RKHS-based ในการทดสอบสมมติฐาน, บันทึกสถิติ, 41 (5), pp.2263-2702, 2013

มันแสดงให้เห็นว่าการแปรปรวนทางไกลเป็นกรณีพิเศษของสถิติเคอร์เนลสำหรับครอบครัวของเมล็ด

หากคุณตั้งใจที่จะใช้ข้อมูลร่วมกันการทดสอบที่อิงจากการประเมินค่า MI ของ binned คือ:

Gretton, A. และ Gyorfi, L. , การทดสอบ Nonparametric ที่สอดคล้องกับความเป็นอิสระ, วารสารการวิจัยการเรียนรู้ของเครื่อง, 11, pp.1391--1423, 2010

หากคุณสนใจที่จะได้รับพลังการทดสอบที่ดีที่สุดคุณก็ควรใช้การทดสอบเคอร์เนลแทนการใช้ข้อมูลและร่วมกัน

ที่กล่าวว่าเนื่องจากตัวแปรของคุณไม่แปรเปลี่ยนการทดสอบอิสระแบบไม่มีพารามิเตอร์แบบคลาสสิกเช่น Hoeffding อาจทำได้ดี

คุณสามารถแสดงให้เห็นว่าสถิติตัวอย่างของคุณ = ค่าคะแนนน้อยมาก (ไม่?) คุณสามารถทดสอบกับค่าจุดและแยกออกหรือไม่รวมพวกเขา แต่ลักษณะของสถิติคือมันเกี่ยวกับการตรวจสอบข้อมูลตัวแปร เนื่องจากมีความแปรปรวนอยู่เสมอดังนั้นจึงไม่มีทางที่จะรู้ได้ว่าบางสิ่งไม่ตรงกับความสัมพันธ์แบบปกติแบบเกาส์เซียน ฯลฯ คุณสามารถรู้ได้เฉพาะค่าของช่วง คุณสามารถทราบว่าค่าถูกแยกออกจากช่วงของค่าที่เป็นไปได้หรือไม่ ตัวอย่างเช่นง่ายต่อการแยกความสัมพันธ์และให้ช่วงของค่าสำหรับความสัมพันธ์ขนาดใหญ่

ดังนั้นการพยายามแสดงให้เห็นว่าไม่มีความสัมพันธ์โดยพื้นฐานแล้วคุณค่าของการrelationship = 0ไม่ประสบความสำเร็จ หากคุณมีช่วงของการวัดความสัมพันธ์ที่ยอมรับได้ประมาณ 0 แล้วมันจะเป็นไปได้ที่จะทำการทดสอบ

สมมติว่าคุณสามารถยอมรับข้อ จำกัด นั้นมันจะเป็นประโยชน์กับคนที่พยายามช่วยเหลือคุณในการให้เส้นโค้งที่มีการกระจายต่ำ เนื่องจากคุณกำลังมองหาวิธีแก้ปัญหา R ลอง:

scatter.smooth(x, y)

จากข้อมูลที่ จำกัด ที่คุณให้มาจนถึงตอนนี้ฉันคิดว่ารูปแบบสารเติมแต่งทั่วไปอาจเป็นสิ่งที่ดีที่สุดสำหรับการทดสอบที่ไม่ใช่ความเป็นอิสระ หากคุณพล็อตเรื่องที่มี CI ประมาณค่าที่คาดการณ์ไว้คุณอาจจะสามารถสร้างแถลงการณ์เกี่ยวกับความเชื่อมั่นในความเป็นอิสระ ตรวจสอบgamในแพคเกจ mgcv ความช่วยเหลือเป็นสิ่งที่ดีมากและมีความช่วยเหลือที่นี่เกี่ยวกับCI

มันอาจจะน่าสนใจ ...

การ์เซีย, JE; Gonzalez-Lopez, VA (2014) การทดสอบความเป็นอิสระสำหรับตัวแปรสุ่มอย่างต่อเนื่องตามลำดับที่เพิ่มขึ้นที่ยาวที่สุด วารสารการวิเคราะห์หลายตัวแปรโวลต์ 127 หน้า 126-146

http://www.sciencedirect.com/science/article/pii/S0047259X14000335