เพียร์สันสหสัมพันธ์ของชุดข้อมูลที่มีค่าเบี่ยงเบนมาตรฐานอาจเป็นศูนย์หรือไม่

12

ฉันมีปัญหาในการคำนวณสัมประสิทธิ์สหสัมพันธ์ของชุดข้อมูลที่มีค่าเบี่ยงเบนมาตรฐานอาจเป็นศูนย์ (เช่นข้อมูลทั้งหมดมีค่าเท่ากัน)

สมมติว่าฉันมีชุดข้อมูลสองชุดต่อไปนี้:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

สัมประสิทธิ์สหสัมพันธ์ "r" จะถูกคำนวณโดยใช้สมการต่อไปนี้:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

อย่างไรก็ตามเนื่องจากข้อมูลทั้งหมดในชุดข้อมูล "y" มีค่าเท่ากันค่าเบี่ยงเบนมาตรฐาน std_dev (y) จะเป็นศูนย์และ "r" จะไม่ถูกกำหนด

มีวิธีแก้ไขปัญหานี้หรือไม่? หรือฉันควรใช้วิธีอื่นในการวัดความสัมพันธ์ของข้อมูลในกรณีนี้?

correlation

— Andree
แหล่งที่มา

ไม่มี "ความสัมพันธ์ของข้อมูล" ในตัวอย่างนี้เนื่องจาก y ไม่ได้เปลี่ยนแปลง การกำหนดค่าตัวเลขใด ๆให้แก่rจะเป็นความผิดพลาด

— whuber

1

@whuber - มันเป็นความจริงที่จะไม่ได้กำหนด แต่ไม่จำเป็นว่า "จริง" ไม่ทราบความสัมพันธ์ไม่สามารถประมาณ เพียงแค่ต้องใช้สิ่งที่แตกต่างเพื่อประเมิน

r

$r$

ρ

$\rho$

— ความน่าจะเป็นทาง

@ ความน่าจะเป็นคุณคาดการณ์ว่านี่เป็นปัญหาของการประมาณค่าและไม่ใช่เพียงลักษณะอย่างใดอย่างหนึ่ง แต่ยอมรับว่าคุณจะเสนอตัวประมาณอะไรในตัวอย่าง ไม่มีคำตอบที่ถูกต้องในระดับสากลเนื่องจากขึ้นอยู่กับการใช้ตัวประมาณ (ฟังก์ชั่นการสูญเสียที่มีผล) ในหลายแอปพลิเคชันเช่น PCA ดูเหมือนว่าการใช้โพรซีเดอร์ใด ๆที่กำหนดค่าให้กับอาจแย่กว่าขั้นตอนอื่นที่รับรู้ไม่ได้

ρ

$\rho$

ρ

$\rho$

— whuber

1

@whuber - การประเมินเป็นตัวเลือกคำที่ไม่ดีสำหรับฉัน (คุณอาจสังเกตเห็นว่าฉันไม่ใช่ wordmith ที่ดีที่สุด) สิ่งที่ฉันหมายถึงคือแม้ว่าอาจไม่ได้รับการระบุอย่างไม่ซ้ำใครนี่ไม่ได้หมายความว่าข้อมูลนั้นไร้ประโยชน์ บอกเราเกี่ยวกับ\คำตอบของฉันให้การสาธิต (น่าเกลียด) จากมุมมองเกี่ยวกับพีชคณิต

ρ

$\rho$

ρ

$\rho$

— ความน่าจะเป็นทาง

@ ความเป็นไปได้ดูเหมือนว่าการวิเคราะห์ของคุณจะขัดแย้งกัน: ถ้าแน่นอน y ถูกจำลองด้วยการแจกแจงแบบปกติแล้วตัวอย่างของการแสดงห้าของแบบจำลอง 2 นี้ไม่เหมาะสม ท้ายที่สุดคุณจะไม่ได้อะไรเลย: ผลลัพธ์ของคุณขึ้นอยู่กับสมมติฐานที่ทำไว้กับนักบวช ปัญหาดั้งเดิมในการระบุยังคงอยู่ที่นั่น แต่ถูกซ่อนไว้โดยสมมติฐานเพิ่มเติมทั้งหมดเหล่านี้ นั่นดูเหมือนว่า IMHO จะปิดบังปัญหามากกว่าที่จะอธิบายให้ชัดเจน

ρ

$\rho$

— whuber

9

คน "ทฤษฎีการสุ่มตัวอย่าง" จะบอกคุณว่าไม่มีการประมาณการดังกล่าว แต่คุณสามารถรับได้คุณเพียงแค่ต้องมีเหตุผลเกี่ยวกับข้อมูลก่อนหน้าของคุณและทำงานทางคณิตศาสตร์ให้หนักขึ้น

หากคุณระบุวิธีการประมาณแบบเบย์และส่วนหลังเหมือนกับก่อนหน้านี้คุณสามารถพูดได้ว่าข้อมูลไม่พูดอะไรเกี่ยวกับพารามิเตอร์ เนื่องจากสิ่งต่าง ๆ อาจได้รับ "เอกพจน์" กับเราดังนั้นเราจึงไม่สามารถใช้พื้นที่พารามิเตอร์ที่ไม่มีที่สิ้นสุด ฉันสมมติว่าเพราะคุณใช้ความสัมพันธ์แบบเพียร์สันคุณมีความเป็นไปได้ที่จะเกิดภาวะปกติ:

p (D | μ_{x}, μ_{y}, σ_{x}, σ_{y}, ρ) = {(σ_{x} σ_{y} \sqrt{2 π (1 - ρ^{2})})}^{- N} e x p (- \frac{\sum_{i} Q_{i}}{2 (1 - ρ^{2})})

$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$ โดยที่

Q_{i} = \frac{(x_{i} - μ_{x})^{2}}{σ_{x}^{2}} + \frac{(y_{i} - μ_{y})^{2}}{σ_{y}^{2}} - 2 ρ \frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{σ_{x} σ_{y}}

$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$

ตอนนี้เพื่อระบุว่าชุดข้อมูลหนึ่งอาจเป็นค่าเดียวกันเขียนจากนั้นเราจะได้รับ: $y_i=y$

\sum_{i} Q_{i} = N [\frac{(y - μ_{y})^{2}}{σ_{y}^{2}} + \frac{s_{x}^{2} + (\bar{x} - μ_{x})^{2}}{σ_{x}^{2}} - 2 ρ \frac{(\bar{x} - μ_{x}) (y - μ_{y})}{σ_{x} σ_{y}}]

$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$ โดยที่

s_{x}^{2} = \frac{1}{N} \sum_{i} (x_{i} - \bar{x})^{2}

$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$

และเพื่อให้โอกาสคุณขึ้นอยู่กับตัวเลขสี่ N ดังนั้นคุณจึงต้องการการประมาณการของดังนั้นคุณจำเป็นต้องคูณด้วยก่อนและบูรณาการออกพารามิเตอร์รำคาญ\ตอนนี้เพื่อเตรียมพร้อมสำหรับการรวมเรา "ทำตาราง" $s_x^2,y,\overline{x},N$ $\rho$ $\mu_x,\mu_y,\sigma_x,\sigma_y$

\frac{\sum_{i} Q_{i}}{1 - ρ^{2}} = N [\frac{{(μ_{y} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}])}^{2}}{σ_{y}^{2} (1 - ρ^{2})} + \frac{s_{x}^{2}}{σ_{x}^{2} (1 - ρ^{2})} + \frac{(\bar{x} - μ_{x})^{2}}{σ_{x}^{2}}]

$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$

ตอนนี้เราควรทำผิดในด้านของความระมัดระวังและให้แน่ใจว่าความน่าจะเป็นปกติอย่างถูกต้อง ด้วยวิธีนี้เราไม่สามารถมีปัญหา ตัวเลือกหนึ่งดังกล่าวคือการใช้ข้อมูลที่ไม่รัดกุมก่อนซึ่งเพียงวางข้อ จำกัด ในช่วงของแต่ละ ดังนั้นเราจึงมีสำหรับความหมายของ flat ก่อนหน้าและสำหรับส่วนเบี่ยงเบนมาตรฐานที่มี jeffreys ก่อน. ข้อ จำกัด เหล่านี้ง่ายต่อการตั้งค่าด้วย "สามัญสำนึก" เล็กน้อยที่คิดเกี่ยวกับปัญหา ฉันจะไม่ได้รับการระบุล่วงหน้าสำหรับและดังนั้นเราจึงได้รับ (ชุดควรจะใช้ได้ถ้าไม่ตัดส่วนที่เป็นเอกเทศที่ ): $L_{\mu}<\mu_x,\mu_y<U_{\mu}$ $L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$ $\rho$ $\pm 1$

p (ρ, μ_{x}, μ_{y}, σ_{x}, σ_{y}) = \frac{p (ρ)}{A σ_{x} σ_{y}}

$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$

ไหน{2} สิ่งนี้ให้หลังของ: $A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

p (ρ | D) = \int p (ρ, μ_{x}, μ_{y}, σ_{x}, σ_{y}) p (D | μ_{x}, μ_{y}, σ_{x}, σ_{y}, ρ) d μ_{y} d μ_{x} d σ_{x} d σ_{y}

$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$

= \frac{p (ρ)}{A [2 π (1 - ρ^{2})]^{\frac{N}{2}}} \int_{L_{σ}}^{U_{σ}} \int_{L_{σ}}^{U_{σ}} {(σ_{x} σ_{y})}^{- N - 1} e x p (- \frac{N s_{x}^{2}}{2 σ_{x}^{2} (1 - ρ^{2})}) \times

$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$

\int_{L_{μ}}^{U_{μ}} e x p (- \frac{N (\bar{x} - μ_{x})^{2}}{2 σ_{x}^{2}}) \int_{L_{μ}}^{U_{μ}} e x p (- \frac{N {(μ_{y} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}])}^{2}}{2 σ_{y}^{2} (1 - ρ^{2})}) d μ_{y} d μ_{x} d σ_{x} d σ_{y}

$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$

ตอนนี้การรวมกันครั้งแรกของสามารถทำได้โดยการเปลี่ยนตัวแปรและอินทิกรัลแรกเหนือกลายเป็น: $\mu_y$ $z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$ $\mu_y$

\frac{σ_{y} \sqrt{2 π (1 - ρ^{2})}}{\sqrt{N}} [Φ (\frac{U_{μ} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}]}{\frac{σ_{y}}{\sqrt{N}} \sqrt{1 - ρ^{2}}}) - Φ (\frac{L_{μ} - [y - (\bar{x} - μ_{x}) \frac{ρ σ_{y}}{σ_{x}}]}{\frac{σ_{y}}{\sqrt{N}} \sqrt{1 - ρ^{2}}})]

$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$

และคุณสามารถเห็นได้จากที่นี่ไม่มีวิธีการวิเคราะห์ที่เป็นไปได้ อย่างไรก็ตามมันก็คุ้มค่าที่จะต้องทราบว่าค่าไม่ได้หลุดออกจากสมการ ซึ่งหมายความว่าข้อมูลและข้อมูลก่อนหน้านี้ยังมีสิ่งที่จะพูดเกี่ยวกับความสัมพันธ์ที่แท้จริง ถ้าข้อมูลไม่ได้พูดถึงความสัมพันธ์เราก็จะเหลือแค่เป็นฟังก์ชันเดียวของในสมการเหล่านี้ $\rho$ $p(\rho)$ $\rho$

นอกจากนี้ยังแสดงให้เห็นว่าการส่งผ่านถึงขีด จำกัด ของขอบเขตไม่มีที่สิ้นสุดสำหรับที่ "ทิ้ง" ข้อมูลบางอย่างเกี่ยวกับซึ่งมีอยู่ในความซับซ้อนมองฟังก์ชั่น CDF ปกติ(.) ตอนนี้ถ้าคุณมีข้อมูลจำนวนมากจากนั้นส่งผ่านไปยังขีด จำกัด ได้ดีคุณจะไม่หลวมมากนัก แต่ถ้าคุณมีข้อมูลที่หายากมากเช่นในกรณีของคุณ - มันเป็นเรื่องสำคัญที่จะต้องรักษาทุกเรื่องที่สนใจเอาไว้ มันหมายถึงคณิตศาสตร์ที่น่าเกลียด แต่ตัวอย่างนี้ไม่ยากเกินกว่าจะทำตัวเลข ดังนั้นเราสามารถประเมินความน่าจะเป็นแบบรวมสำหรับที่ค่าของการพูดได้อย่างง่ายดาย เพียงแค่แทนที่อินทิกรัลโดยการสรุปในช่วงเวลาเล็ก ๆ น้อย ๆ - ดังนั้นคุณจึงมีการรวมสามครั้ง $\mu_y$ $\rho$ $\Phi(.)$ $\rho$ $-0.99,-0.98,\dots,0.98,0.99$

— probabilityislogic
แหล่งที่มา

@probabilityislogic: ว้าว เพียงแค่ว้าว หลังจากเห็นคำตอบของคุณฉันสงสัยจริงๆ: สิ่งที่ควรทำเช่นฉันควรทำอย่างไรเพื่อให้ถึงสภาพจิตใจที่ยืดหยุ่นเช่นนี้?

— steffen

1

@steffen - lol ไม่ใช่เรื่องยากคุณเพียงแค่ต้องฝึกฝน และมักจะเสมอจำไว้เสมอว่าผลิตภัณฑ์และผลรวมกฎของความน่าจะเป็นกฎเดียวที่คุณเคยจะต้อง พวกเขาจะดึงข้อมูลอะไรก็ตามที่มี - ไม่ว่าคุณจะเห็นมันหรือไม่ ดังนั้นคุณใช้กฎผลิตภัณฑ์และผลรวมแล้วทำคณิตศาสตร์ นั่นคือทั้งหมดที่ฉันได้ทำที่นี่

— ความน่าจะเป็นทางการที่

@steffen - และกฎอื่น ๆ - มากกว่าคณิตศาสตร์อย่างใดอย่างหนึ่งมากกว่าสถิติอย่างใดอย่างหนึ่ง - ไม่ผ่านขีด จำกัด อนันต์เร็วเกินไปในการคำนวณของคุณผลลัพธ์ของคุณอาจไม่แน่นอนหรือรายละเอียดเล็ก ๆ น้อย ๆ อาจถูกโยนออกไป แบบจำลองข้อผิดพลาดในการวัดเป็นตัวอย่างที่สมบูรณ์แบบของเรื่องนี้ (ตามคำถามนี้)

— ความน่าจะเป็นทาง

@probabilityislogic: ขอบคุณฉันจะจำไว้ ... ทันทีที่ฉันทำงานผ่าน "Bayesian Analysis" -copy;)

— steffen

@probabilityislogic: ถ้าคุณมีอารมณ์ขันนักสถิติเชิงสถิติ / นักวิจัย ... มันจะเป็นไปได้ที่จะสรุปหรือแปลคำตอบของคุณไปยังกลุ่มของทันตแพทย์หรือครูใหญ่โรงเรียนมัธยมหรือนักเรียนสถิติเบื้องต้น?

— rolando2

6

ฉันเห็นด้วยกับ sesqu ว่าความสัมพันธ์ไม่ได้กำหนดไว้ในกรณีนี้ คุณสามารถคำนวณความคล้ายคลึงกันของโกเวอร์ระหว่างเวกเตอร์ทั้งสองได้เช่น: ที่หมายถึงKronecker เดลต้า , นำไปใช้เป็นฟังก์ชั่นในv1, $gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$ $\delta$ $v1,v2$

ตัวอย่างเช่นถ้าค่าทั้งหมดเท่ากัน gower (.,.) = 1 หากในอีกด้านหนึ่งมีความแตกต่างกันในมิติเดียวโกเวอร์ (.,.) = 0.9 หากพวกมันต่างกันในทุกมิติโกเวอร์ (.,.) = 0 และต่อไปเรื่อย ๆ

แน่นอนว่านี่ไม่ใช่การวัดความสัมพันธ์ แต่ช่วยให้คุณคำนวณว่าเวกเตอร์ที่มี s> 0 อยู่ใกล้กับ s = 0 ได้อย่างไร แน่นอนว่าคุณสามารถใช้เมตริกอื่น ๆ ได้เช่นกันหากสิ่งเหล่านี้ตอบสนองวัตถุประสงค์ของคุณได้ดีขึ้น

— Steffen
แหล่งที่มา

+1 นั่นเป็นแนวคิดที่สร้างสรรค์ มันเสียงเช่น "โกเวอร์คล้ายคลึงกัน" คือการลดขนาดของระยะ Hamming

— whuber

@whuber: แน่นอนมันเป็น!

— steffen

0

ความสัมพันธ์ไม่ได้กำหนดไว้ในกรณีนั้น หากคุณต้องนิยามมันฉันจะนิยามมันเป็น 0 แต่ลองพิจารณาความแตกต่างแบบธรรมดาอย่างง่ายแทน

— sesqu
แหล่งที่มา

0

คำถามนี้มาจากโปรแกรมเมอร์ดังนั้นฉันขอแนะนำให้เสียบเป็นศูนย์ ไม่มีหลักฐานว่ามีความสัมพันธ์กันและสมมติฐานว่างจะเป็นศูนย์ (ไม่มีความสัมพันธ์) อาจมีความรู้บริบทอื่น ๆ ที่จะให้ความสัมพันธ์ "ทั่วไป" ในบริบทหนึ่ง แต่รหัสอาจถูกนำมาใช้ใหม่ในบริบทอื่น

— zbicyclist
แหล่งที่มา

2

ไม่มีหลักฐานว่าไม่มีความสัมพันธ์กันดังนั้นทำไมไม่ลองต่อ 1 หรือ -1 หรืออะไรในระหว่าง? พวกเขาทั้งหมดนำไปสู่การใช้งานรหัสอีกครั้ง!

— whuber

@whuber - คุณเสียบศูนย์เนื่องจากข้อมูลเป็น "ข้อ จำกัด น้อย" เมื่อมันเป็นอิสระ - นี่คือเหตุผลที่การแจกแจง maxent เป็นอิสระเว้นแต่คุณจะระบุความสัมพันธ์อย่างชัดเจนในข้อ จำกัด อิสรภาพสามารถมองได้ว่าเป็นสมมติฐานที่อนุรักษ์นิยมเมื่อคุณรู้ว่าไม่มีความสัมพันธ์ดังกล่าวอย่างมีประสิทธิภาพ - คุณมีค่าเฉลี่ยมากกว่าความสัมพันธ์เป็นไปได้ทั้งหมด

— ความน่าจะเป็นทาง

1

@prob ฉันถามว่าทำไมจึงสมเหตุสมผลในฐานะที่เป็นวิธีการทั่วไปในการหาค่าเฉลี่ยของสหสัมพันธ์ทั้งหมด ผลที่ได้จากโพรซีเดอร์นี้จะแทนที่คำตอบที่แน่นอนและอาจเป็นไปได้ว่า "ศูนย์!" สำหรับคำตอบที่ถูกต้อง "ข้อมูลไม่ได้บอกเรา" ความแตกต่างนั้นมีความสำคัญต่อการตัดสินใจ

— whuber

เพียงเพราะคำถามอาจมาจากโปรแกรมเมอร์ไม่ได้หมายความว่าคุณควรแปลงค่าที่ไม่ได้กำหนดเป็นศูนย์ Zero หมายถึงบางสิ่งที่เฉพาะเจาะจงในการคำนวณสหสัมพันธ์ โยนข้อยกเว้น ให้ผู้โทรตัดสินใจว่าจะเกิดอะไรขึ้น ฟังก์ชั่นของคุณควรคำนวณความสัมพันธ์อย่าตัดสินใจว่าจะทำอย่างไรหากไม่สามารถคำนวณได้

— Jared Becksfort