ใช้ความสัมพันธ์เป็นตัวชี้วัดระยะทาง (สำหรับการจัดกลุ่มแบบลำดับชั้น)

ฉันต้องการจัดกลุ่มข้อมูลของฉันแบบลำดับชั้น แต่แทนที่จะใช้ระยะทางแบบยุคลิดฉันต้องการใช้ความสัมพันธ์ นอกจากนี้เนื่องจากค่าสัมประสิทธิ์สหสัมพันธ์มีค่าตั้งแต่ -1 ถึง 1 โดยที่ทั้ง -1 และ 1 แสดงถึง "การควบคุมร่วม" ในการศึกษาของฉันฉันจึงรักษาทั้ง -1 และ 1 เป็น d = 0 ดังนั้นการคำนวณของฉันคือ $\ d = 1-|r|$

ผมอ่านในคำถามที่แยกต่างหาก (เกี่ยวกับ K-วิธีการจัดกลุ่ม) ที่คุณควรแปลงRเข้าจริง euclidean dใช้ทฤษฎีบทโคไซน์: $d = \sqrt{2(1-r)}$

วิธีที่ถูกต้องที่สุดในการแปลงสหสัมพันธ์เป็นระยะทางสำหรับการจัดกลุ่มแบบลำดับชั้นคืออะไร

— เมกะท
แหล่งที่มา

ใช่หนึ่งในวิธีที่เป็นไปได้ - และวิธีการทางเรขาคณิตที่แท้จริง - เป็นสูตรสุดท้าย แต่คุณอาจมองข้ามสัญลักษณ์ของถ้ามันทำให้รู้สึกสำหรับคุณเพื่อให้|) ในกรณีส่วนใหญ่คุณอาจลดลงอย่างปลอดภัยโดยไม่มีผลต่อผลลัพธ์การจัดกลุ่ม ระยะทางสามารถใช้เป็นยูคลิดกำลังสองได้ ในหัวข้อนี้มีการหารือกันว่าการวัดความสัมพันธ์แบบแปลงระยะทางเป็นระยะทางเมตริกหรือไม่

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

นอกจากนี้คุณไม่จำเป็นต้องแปลงเป็นความแตกต่างเชิงเส้นเช่นระยะทางยูคลิดเสมอ คนไม่ค่อยทำการจัดกลุ่มตามหรือมันเป็นความคล้ายคลึงเชิงมุม

r

$r$

r

$r$

| r |

$|r|$

— ttnphns

ข้อกำหนดสำหรับการทำคลัสเตอร์แบบลำดับชั้น

การจัดกลุ่มตามลำดับชั้นสามารถใช้กับความคล้ายคลึงกันและมาตรการที่แตกต่างกันโดยพลการ (เครื่องมือส่วนใหญ่คาดว่าจะมีความแตกต่างกัน แต่จะอนุญาตให้มีค่าลบ - มันขึ้นอยู่กับคุณเพื่อให้แน่ใจว่ามีค่าขนาดเล็กหรือขนาดใหญ่หรือไม่)

เฉพาะวิธีการที่ขึ้นอยู่กับ centroids หรือความแปรปรวน (เช่นวิธีของ Ward) เป็นพิเศษและควรใช้กับ Euclidean กำลังสอง (เพื่อให้เข้าใจว่าทำไมโปรดศึกษาการเชื่อมโยงเหล่านี้อย่างรอบคอบ)

Single-linkage, average-linkage, -linkage สมบูรณ์ไม่ได้รับผลกระทบมากนัก แต่จะยังคงเป็นค่าต่ำสุด / เฉลี่ย / สูงสุดของความแตกต่างแบบคู่

ความสัมพันธ์เป็นตัววัดระยะทาง

หากคุณประมวลผลข้อมูลล่วงหน้าของคุณ ( การสังเกตการณ์คุณสมบัติ ) เช่นนั้นคุณลักษณะแต่ละอย่างจะมีและ (ซึ่งปิดคุณสมบัติไม่คงที่!) ดังนั้นความสัมพันธ์จะลดลงเป็นโคไซน์: $n$ $p$ $\mu=0$ $\sigma=1$

Corr (X, Y) = \frac{Cov (X, Y)}{σ_{X} σ_{Y}} = \frac{E [(X - μ_{X}) (Y - μ_{Y})]}{σ_{X} σ_{Y}} = E [X Y] = \frac{1}{n} ⟨ X, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

ภายใต้เงื่อนไขเดียวกันระยะทางแบบยุคลิดสแควร์สแควร์จะลดลงเป็นโคไซน์:

d_{Euclid}^{2} (X, Y) = Σ (X_{ผม} - Y_{ผม})^{2} = Σ X_{ผม}^{2} + Σ Y_{ผม}^{2} - 2 Σ X_{ผม} Y_{ผม} = 2 n - 2 ⟨ X, Y ⟩ = 2 n [1 - Corr (X, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

ดังนั้นยกเว้นว่าข้อมูลของคุณจะแย่ลงการใช้ความสัมพันธ์สำหรับการจัดกลุ่มแบบลำดับชั้นควรจะโอเค เพียงประมวลผลล่วงหน้าตามที่อธิบายไว้ข้างต้นจากนั้นใช้ระยะทางแบบยุคลิดแบบสแควร์

— anony-มูส
แหล่งที่มา

Only ward's method is special, and should be used with squared Euclidean. ไม่เพียง แต่วอร์ดเท่านั้น วิธีคำนวณเซนทรอยด์หรือการเบี่ยงเบนจากเซนทรอยด์นั้นจะต้องใช้ยูคลิดหรือสแควร์ยูคลิด (ขึ้นอยู่กับการใช้งาน) เพื่อความแม่นยำทางเรขาคณิต ด้วยการสูญเสียการเตือนดังกล่าวและการเตือนที่ครบกำหนดพวกเขาสามารถใช้กับระยะทางเมตริกอื่น ๆ วิธีการเหล่านั้นคือเซนทรอยด์, "ค่ามัธยฐาน", วอร์ด, ความแปรปรวน (เพื่อไม่ให้สับสนกับวอร์ด!) และอื่น ๆ

— ttnphns

ขอบคุณฉันทำให้ชัดเจนยิ่งขึ้น ฉันไม่ได้ตระหนักถึงความผันแปรเหล่านี้ฉันแค่คิดถึงเรื่องโสด / ปานกลาง / สมบูรณ์ / วอร์ด

— Anony-Mousse

⟨, ⟩

$\langle, \rangle$

d i m

$dim$