อีกไม่นานฉันอ่านบทความสองเรื่อง อย่างแรกคือเกี่ยวกับประวัติของสหสัมพันธ์และที่สองเกี่ยวกับวิธีการใหม่ที่เรียกว่า Maximal Information Coefficient (MIC) ฉันต้องการความช่วยเหลือของคุณเกี่ยวกับการทำความเข้าใจกับวิธี MIC เพื่อประเมินความสัมพันธ์แบบไม่เป็นเชิงเส้นระหว่างตัวแปร

นอกจากนี้คำแนะนำสำหรับการใช้งานใน R สามารถพบได้บนเว็บไซต์ของผู้เขียน (ภายใต้ดาวน์โหลด ):

ฉันหวังว่านี่จะเป็นแพลตฟอร์มที่ดีในการพูดคุยและเข้าใจวิธีการนี้ ความสนใจของฉันที่จะหารือเกี่ยวกับสัญชาตญาณเบื้องหลังวิธีนี้และสามารถขยายออกไปได้อย่างไรตามที่ผู้เขียนกล่าว

" ... เราต้องการส่วนขยายของ MIC (X, Y) ถึง MIC (X, Y | Z) เราจะต้องการทราบว่าต้องใช้ข้อมูลจำนวนเท่าใดในการประมาณค่า MIC ที่มีเสถียรภาพและมีความอ่อนไหวต่อค่าผิดปกติอย่างไร - หรือความสัมพันธ์ที่สูงขึ้นมิติมันจะพลาดและอื่น ๆ MIC เป็นขั้นตอนที่ดีข้างหน้า แต่มีขั้นตอนอื่น ๆ อีกมากมายที่จะใช้.. "

มันไม่ได้บอกว่าสิ่งนี้ถูกตีพิมพ์ในวารสารที่ไม่ใช่เชิงสถิติซึ่งเราไม่แน่ใจว่ามีการตรวจสอบโดยเพื่อนหรือไม่? ปัญหานี้ได้รับการแก้ไขโดย Hoeffding ในปี 1948 (พงศาวดารของคณิตศาสตร์สถิติ 19: 546) ผู้พัฒนาอัลกอริทึมตรงไปตรงมาที่ไม่ต้องใช้ binning หรือหลายขั้นตอน งานของ Hoeffding ไม่ได้อ้างอิงในบทความ Science นี่เป็นhoeffdฟังก์ชั่นR ในHmiscแพ็คเกจมานานหลายปี นี่คือตัวอย่าง (พิมพ์example(hoeffd)R):

# Hoeffding's test can detect even one-to-many dependency
set.seed(1)
x <- seq(-10,10,length=200)
y <- x*sign(runif(200,-1,1))
plot(x,y)  # an X
hoeffd(x,y)  # also accepts a numeric matrix

D
     x    y
x 1.00 0.06
y 0.06 1.00

n= 200 

P
  x  y 
x     0   # P-value is very small
y  0   

hoeffdใช้การใช้ Fortran อย่างมีประสิทธิภาพในวิธีการของ Hoeffding แนวคิดพื้นฐานของการทดสอบของเขาคือการพิจารณาความแตกต่างระหว่างการจัดอันดับร่วมของ X และ Y และผลิตภัณฑ์ของการจัดอันดับส่วนต่างของ X และการจัดอันดับส่วนล่างของ Y การปรับขนาดอย่างเหมาะสม

ปรับปรุง

$D$

Hmisc$D$$|F(x,y) - G(x)H(y)|$$D$

แนวคิดหลักของผู้แต่งคือการแยกข้อมูลลงบนกริดสองมิติที่แตกต่างกันจำนวนมากและคำนวณคะแนนปกติที่แสดงข้อมูลร่วมกันของตัวแปรทั้งสองในแต่ละกริด คะแนนถูกทำให้เป็นมาตรฐานเพื่อให้แน่ใจว่าการเปรียบเทียบที่เป็นธรรมระหว่างกริดที่แตกต่างกันและแตกต่างกันระหว่าง 0 (uncorrelated) และ 1 (สหสัมพันธ์สูง)

$R^2$

ฉันพบบทความสองบทความที่อธิบายความคิดของ MIC โดยเฉพาะอย่างยิ่งบทความนี้ ; ที่นี่ที่สองที่สอง

ดังที่ฉันเข้าใจจากการอ่านเหล่านี้คือคุณสามารถขยายไปสู่ความซับซ้อนและระดับความสัมพันธ์ที่แตกต่างกันระหว่างตัวแปรสองตัวโดยการสำรวจกริดที่แตกต่างกัน กริดเหล่านี้ใช้เพื่อแยกพื้นที่ 2 มิติออกเป็นเซลล์ โดยการเลือกกริดที่เก็บข้อมูลส่วนใหญ่เกี่ยวกับวิธีการแบ่งพาร์ติชันของพื้นที่ที่คุณเลือก MIC

ฉันอยากจะถาม @mbq ว่าเขาสามารถขยายสิ่งที่เขาเรียกว่า "plot-all-scatterplots - and-peak-the- ที่มีพื้นที่สีขาวที่ใหญ่ที่สุด" และความซับซ้อนที่ไม่จริงของ O (M2)