ตัวอย่างของข้อมูลที่เป็นอิสระและไม่เกี่ยวข้องในชีวิตจริงและวิธีการวัด / ตรวจจับพวกเขา

เรามักจะได้ยินเกี่ยวกับเวกเตอร์ของข้อมูลนี้และเวกเตอร์ของข้อมูลนี้เป็นอิสระจากกันและกันหรือไม่เกี่ยวข้องกันและในขณะที่มันเป็นเรื่องง่ายที่จะเจอคณิตศาสตร์เกี่ยวกับแนวคิดทั้งสองนั้นฉันต้องการผูกมันไว้เป็นตัวอย่างจากของจริง - ชีวิตและหาวิธีวัดความสัมพันธ์นี้

จากจุดยืนนี้ฉันกำลังมองหาตัวอย่างของสัญญาณสองอย่างที่มีการรวมกันดังต่อไปนี้: (ฉันจะเริ่มต้นด้วยสัญญาณบางอย่าง):

สัญญาณสองตัวที่เป็นอิสระและไม่เกี่ยวข้องกัน (จำเป็น):
- เสียงรบกวนจากเครื่องยนต์รถ (เรียกว่า ) และเสียงของคุณ ( ) ขณะที่คุณกำลังพูด $v_1[n]$ $v_2[n]$
- การบันทึกความชื้นทุกวัน ( ) และดัชนีดาวโจนส์ ( ) $v_1[n]$ $v_2[n]$

Q1) คุณวัดผล / พิสูจน์ได้อย่างไรว่าพวกเขามีความเป็นอิสระกับสองเวกเตอร์ในมือ? เรารู้ว่าความเป็นอิสระหมายความว่าผลิตภัณฑ์ของ pdf เท่ากับ pdf ร่วมของพวกเขาและนั่นยอดเยี่ยม แต่ด้วยเวกเตอร์สองตัวที่อยู่ในมือใครจะพิสูจน์ความเป็นอิสระของพวกเขาได้อย่างไร

สัญญาณสองตัวที่ไม่เป็นอิสระ แต่ก็ยังไม่เกี่ยวข้องกัน:

Q2) ฉันไม่สามารถคิดถึงตัวอย่างใด ๆ ที่นี่ ... ตัวอย่างบางอย่างจะเป็นอย่างไร ฉันรู้ว่าเราสามารถวัดความสัมพันธ์ได้โดยนำความสัมพันธ์ข้ามของเวกเตอร์สองตัวนั้นมารวมกัน แต่เราจะพิสูจน์ได้อย่างไรว่าพวกมันยังไม่อิสระ

สองสัญญาณที่มีความสัมพันธ์:
- เวกเตอร์วัดเสียงของนักร้องโอเปร่าในห้องโถงใหญ่ในขณะที่มีคนบันทึกเสียงของเธอจากที่ใดก็ได้ในอาคารให้พูดในห้องซ้อม ( ) $v_1[n]$ $v_2[n]$
- หากคุณวัดอัตราการเต้นของหัวใจในรถของคุณอย่างต่อเนื่อง ( ) และยังวัดความเข้มของแสงสีฟ้าที่อยู่บนกระจกหน้ารถด้านหลังของคุณ ( ) ... ฉันเดาว่ามันจะสัมพันธ์กันมาก ... :-) $v_1[n]$ $v_2[n]$

Q3) เกี่ยวข้องกับ q2 แต่ในกรณีของการวัดความสัมพันธ์ข้ามจากจุดยืนเชิงประจักษ์นี้มันเพียงพอที่จะดูที่ผลคูณจุดของเวกเตอร์เหล่านั้นหรือไม่ (เพราะนั่นคือค่าที่จุดสูงสุดของความสัมพันธ์ไขว้) ทำไมเราถึงสนใจค่าอื่น ๆ ในฟังก์ชั่นครอส - คอน?

ขอขอบคุณอีกครั้งยิ่งมีตัวอย่างที่ดีกว่าสำหรับการสร้างสัญชาตญาณ!

cross-correlation independence

— สเปซีย์
แหล่งที่มา

@DilipSarwate ขอบคุณ Dilip ฉันจะดูมัน สำหรับตอนนี้ตัวอย่างบางส่วนน่าจะดี

— Spacey

คุณไม่สามารถ "พิสูจน์" ว่าพวกเขามีความเป็นอิสระในแบบเดียวกับที่โพลที่สร้างมาอย่างดีไม่สามารถ "พิสูจน์" ว่าทุกคนจะลงคะแนนได้อย่างไรและด้วยเหตุผลเดียวกัน

— Jim Clay

@JimClay รู้สึกอิสระที่จะผ่อนคลายเกณฑ์ 'พิสูจน์' - สิ่งที่ฉันพยายามทำคือวิธีในการวัด / ประเมินความเป็นอิสระ เรามักจะได้ยินเกี่ยวกับเรื่องนี้และเพื่อให้เป็นอิสระดีพวกเขารู้ได้อย่างไร กำลังใช้เทปวัดอะไร

— สเปซีย์

ฉันต้องการทราบว่า cros corelation สามารถใช้กับสัญญาณอะนาล็อกสองตัวหนึ่งในความละเอียดสูงและอื่น ๆ ของความละเอียดต่ำเพื่อวัตถุประสงค์ในการวิเคราะห์

ถ้าเรามีบางตัวแปรสุ่มXและสร้าง 2 สัญญาณ** = (x) และ ** ** ข = (x) กับและเป็นมุมฉากและ ** x = A + $f_1$ $f_2$ $f_1$ $f_2$ B นี่แปลว่าสัญญาณดังกล่าวมีความเป็นอิสระหรือไม่? สิ่งนี้จำเป็นต้องมีเงื่อนไขเพิ่มเติมหรือไม่? สถานที่แห่งนี้จะเป็นที่น่าสนใจเพราะจะหลีกเลี่ยงการสร้างไฟล์ PDF ร่วมกันของและข

— Mladen

คำตอบ:

องค์ประกอบสองสามข้อ ... (ฉันรู้ว่านี่ไม่ใช่คำตอบที่ละเอียดถี่ถ้วนน่าจะเป็นคำตอบที่สมบูรณ์มากกว่านี้)

ไตรมาสที่ 1

เพื่อตรวจสอบว่าทั้งสองมีความเป็นอิสระกระจายคุณจะต้องวัดว่าคล้ายการจัดจำหน่ายร่วมกันของพวกเป็นผลิตภัณฑ์ของการกระจายร่อแร่ของพวกเขา )เพื่อจุดประสงค์นี้คุณสามารถใช้ระยะห่างระหว่างการแจกแจง หากคุณใช้การผันแปร Kullback-Leibler เพื่อเปรียบเทียบการกระจายเหล่านั้นคุณจะพิจารณาปริมาณ: $p(x,y)$ $p(x) \times p(y)$

$\int_x \int_y p(x, y) \log \frac{p(x, y)}{p(x) p(y)} dx dy$

และคุณจะได้รับการยอมรับ ... ข้อมูลร่วมกัน! ยิ่งตัวแปรต่ำลงเท่าใดก็ยิ่งมีความอิสระมากขึ้นเท่านั้น

ยิ่งไปกว่านั้นในการคำนวณปริมาณนี้จากการสังเกตของคุณคุณสามารถประมาณความหนาแน่น , , จากข้อมูลของคุณโดยใช้ตัวประมาณความหนาแน่นเคอร์เนลและทำการรวมตัวเลขในตารางที่ละเอียด ; หรือเพียงแค่หาปริมาณข้อมูลของคุณลงในถังขยะแล้วใช้การแสดงออกของข้อมูลรวมเพื่อการกระจายแบบไม่ต่อเนื่อง $p(x)$ $p(y)$ $p(x, y)$ $N$

ไตรมาสที่ 2

จากหน้า Wikipedia เกี่ยวกับความเป็นอิสระทางสถิติและสหสัมพันธ์:

แผนการกระจาย

ในข้อยกเว้นของตัวอย่างสุดท้ายเหล่านี้ 2D กระจายมี uncorrelated (เส้นทแยงมุมแปรปรวนเมทริกซ์) แต่ไม่ได้เป็นอิสระกระจายร่อแร่และ ) $p(x, y)$ $p(x)$ $p(y)$

ไตรมาสที่ 3

มีสถานการณ์ที่คุณอาจดูค่าทั้งหมดของฟังก์ชั่นความสัมพันธ์ข้าม พวกเขาเกิดขึ้นเช่นในการประมวลผลสัญญาณเสียง พิจารณาไมโครโฟนสองตัวที่จับภาพแหล่งเดียวกัน แต่อยู่ห่างจากไม่กี่เมตร การครอสสัมพันธ์ของสัญญาณทั้งสองจะมีค่าสูงสุดที่ความล่าช้าซึ่งสอดคล้องกับระยะห่างระหว่างไมโครโฟนหารด้วยความเร็วของเสียง หากคุณแค่มองข้ามความสัมพันธ์ข้ามที่ความล่าช้า 0 คุณจะไม่เห็นว่าสัญญาณหนึ่งเป็นอีกเวอร์ชั่นที่เปลี่ยนเวลาของอีกสัญญาณหนึ่ง!

— pichenettes
แหล่งที่มา

ขอบคุณ pichenettes: 1) คุณช่วยอธิบายเกี่ยวกับประเด็นแรกของคุณได้ไหม - ฉันมีความเข้าใจอย่างหนักจริง ๆ ว่าจากเวกเตอร์ข้อมูลสองตัว, x [n] และ y [n] ฉันอาจเข้ามาร่วมกับพวกเขา PDF ,

)

ฉันสามารถเข้าใจได้ว่าการถ่ายภาพฮิสโตแกรมของ x [n] จะให้ PDF ของ X, (

) และเช่นเดียวกับ Y ได้อย่างไร ถาม concretely - การทำแผนที่คอนกรีตที่แน่นอนของ PDF จากตัวอย่างที่สังเกตนี่คือสิ่งที่ทำให้ฉันสับสนมากที่สุด (ต่อ)

p (x, y)

$p(x,y)$

p(x}

$p(x}$

— Spacey

(ต่อ) 2) ดังนั้นเพื่อสรุป: หากเมทริกซ์ความแปรปรวนร่วมของ x และ y เป็นแนวทแยงมุมพวกเขาจะไม่เกี่ยวข้อง แต่ไม่จำเป็นต้องเป็นอิสระ? เพื่อทดสอบความเป็นอิสระเป็นปัญหาที่มีคำถามติดตาม (1) อย่างไรก็ตามหากเราแสดงให้เห็นว่าพวกเขาเป็นอิสระแล้วแน่นอนเมทริกซ์ความแปรปรวนร่วมของพวกเขาได้ในแนวทแยง ฉันเข้าใจถูกมั้ย ตัวอย่างของสัญญาณทางกายภาพ 2 รายการที่ฉันสามารถวัดได้ในชีวิตจริงที่ต้องพึ่งพา แต่ไม่สัมพันธ์กันคืออะไร ขอบคุณอีกครั้ง.

— Spacey

สมมุติว่าคุณมีสัญญาณสองอัน

และ

แทนด้วยเวกเตอร์ขององค์ประกอบ

คุณสามารถรับค่าประมาณของ

โดยใช้ตัวอย่างเช่นตัวประมาณความหนาแน่นของเคอร์เนล:

x_{n}

$x_n$

y_{n}

$y_n$

N

$N$

p (x, y)

$p(x, y)$

โดยที่

เป็นฟังก์ชันเคอร์เนล หรือคุณสามารถใช้เทคนิคเดียวกับการสร้างฮิสโตแกรม แต่เป็นแบบ 2D สร้างตารางสี่เหลี่ยมนับจำนวนคู่

ตกในแต่ละเซลล์ของตารางและใช้

p^{*} (x, y) = \sum_{i} \frac{1}{N} K (x - x_{i}, y - y_{i})

$p^*(x, y) = \sum_i \frac{1}{N}K(x - x_i, y - y_i)$

K

$K$

(x_{n}, y_{n})

$(x_n, y_n)$

ที่ N คือขนาดของสัญญาณของคุณและ

คือจำนวนขององค์ประกอบในเซลล์ที่เกี่ยวข้องกับจุด

)

p^{*} (x, y) = \frac{C}{N}

$p^*(x, y) = \frac{C}{N}$

C

$C$

(x, y)

$(x, y)$

— pichenettes

"2 สัญญาณทางกายภาพที่จะขึ้นอยู่กับ แต่ไม่มีความสัมพันธ์": สมมติว่าเราแฮ็ค GPS ของรถแท็กซี่ NY เพื่อบันทึกประวัติ (ละติจูด, ลองจิจูด) ของตำแหน่ง มีโอกาสที่ดีคือ lat. ยาว ข้อมูลจะไม่ถูกเชื่อมโยง - ไม่มี "การวางแนว" ของคลาวด์พอยต์ แต่มันแทบจะไม่เป็นอิสระเพราะถ้าคุณถูกขอให้เดาละติจูดของรถแท็กซี่คุณจะคาดเดาได้ดีกว่าถ้าคุณรู้ลองจิจูด (จากนั้นคุณสามารถดูแผนที่และแยกแยะ [lat, คู่ยาวที่ถูกครอบครองโดยอาคาร)

— pichenettes

อีกตัวอย่าง: คลื่นไซน์สองตัวที่ค่าจำนวนเต็มคูณด้วยความถี่เดียวกัน Null correlation (Fourier basis คือ orthonormal); แต่ถ้าคุณรู้คุณค่าของหนึ่งมีเพียงชุดค่าที่ จำกัด ที่อีกอันหนึ่งสามารถทำได้ (ลองนึกถึงแผนการ Lissajous)

— pichenettes

การอนุมานว่าสัญญาณทั้งสองนั้นมีความเป็นอิสระนั้นทำได้ยากมากหรือไม่

$X$ $Y$ $X$ $Y$ $Y$ $X$ $Y$

cov (f_{1} (X), f_{2} (Y)) = E (f_{1} (X), f_{2} (Y)) = 0

$\text{cov}(f_1(X),f_2(Y)) = E(f_1(X),f_2(Y)) = 0$

f_{1}

$f_1$

f_{2}

$f_2$

X

$X$

Y

$Y$

f_{1} (x) = f_{2} (x) = x

$f_1(x) = f_2(x) = x$

$E(X^iY^j)$

$X(t)$ $Y(t)$

S_{X, Y} (f), S_{X^{2}, Y} (f), S_{X, Y^{2}} (f) \dots

$S_{X,Y}(f),S_{X^2,Y}(f),S_{X,Y^2}(f) \dots$

f

$f$

ตัวอย่าง :

X (t) = \sin (2 π f t)

$X(t) = \sin(2 \pi ft)$

Y (t) = \sin (2 π f t k)

$Y(t) = \sin( 2 \pi ftk)$

k \in Z

$k \in \mathbb{Z}$

k \neq 1

$k \neq 1$

X (t)

$X(t)$

Y (t)

$Y(t)$

\sin (k x)

$\sin(kx)$

\sin (x)

$\sin(x)$

Y (t) = f (X (t))

$Y(t) = f (X (t))$

f

$f$

$X(t)$ $Y(t)$

— rwolst
แหล่งที่มา

X_{x^{2}, Y} (f)

$X_{x^2, Y}(f)$

X^{2} (t)

$X^2(t)$

Y (t)

$Y(t)$