ขั้นตอนวิธีใดบ้างที่ Ward.D ใน hclust () นำไปใช้หากไม่ใช่เกณฑ์ของ Ward

ตัวเลือกที่ใช้โดยตัวเลือก "ward.D" (เทียบเท่ากับตัวเลือก Ward เท่านั้น "Ward" ในรุ่น R <= 3.0.3) ไม่ได้ใช้เกณฑ์การจัดกลุ่มของ Ward (1963) ในขณะที่ตัวเลือก "ward.D2" จะใช้เกณฑ์นั้น ( Murtagh and Legendre 2014)

( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html )

เห็นได้ชัดว่า Ward.D ไม่ได้ใช้เกณฑ์ของ Ward อย่างถูกต้อง อย่างไรก็ตามดูเหมือนว่าจะทำงานได้ดีเกี่ยวกับการรวมกลุ่มที่ผลิต method = "ward.D" นำไปใช้อะไรหากไม่เป็นไปตามเกณฑ์ของ Ward

อ้างอิง

Murtagh, F. , & Legendre, P. (2014) วิธีการจัดกลุ่มแบบลำดับชั้น agglomerative ของวอร์ด: อัลกอริทึมใดที่ใช้เกณฑ์ของวอร์ด วารสารการจำแนก , 31 (3), 274-295

r clustering ward

— Raffael
แหล่งที่มา

กระดาษ Murthagh และ Legendre พูดอะไรเกี่ยวกับเรื่องนี้หรือไม่?

— cbeleites รองรับ Monica

ฉันไม่สามารถเข้าถึงเอกสารนั้นได้

— Raffael

สิ่งแรกที่การค้นหาปรากฏขึ้นสำหรับฉันคือไฟล์ PDF ของต้นฉบับที่ u montreal !?

— cbeleites รองรับ Monica

ดังนั้นกระดาษพูดว่าอะไร ฉันหามันไม่พบ

— Raffael

นั่นคือสิ่งที่ฉันขอให้คุณบอกเรา

— cbeleites รองรับ Monica

คำตอบ:

บทความที่เกี่ยวข้องอยู่ที่นี่ที่นี่

ความแตกต่างระหว่างวอร์ดและวอร์ด 2 เป็นความแตกต่างระหว่างสองเกณฑ์การจัดกลุ่มที่ในต้นฉบับเรียกว่าวอร์ด 1 และวอร์ด 2

โดยทั่วไปแล้วขั้นตอนวิธีวอร์ดนั้นถูกนำไปใช้อย่างถูกต้องใน Ward2 (Ward.D2) โดยตรง แต่ Ward1 (Ward.D) ยังสามารถใช้ได้หาก Euclidean ระยะทาง (จากdist()) ถูกยกกำลังสองก่อนที่จะป้อนเข้าไปในhclust()ใช้วอร์ดเป็นวิธีการ

ตัวอย่างเช่น SPSS ยังใช้ Ward1 แต่เตือนผู้ใช้ว่าระยะทางควรจะยกกำลังสองเพื่อรับเกณฑ์ของ Ward ในแง่ของการนำไปใช้งานของ Ward.D ไม่ได้ถูกคัดค้านและอาจเป็นความคิดที่ดีที่จะเก็บไว้เพื่อความเข้ากันได้แบบย้อนหลัง

— JTT
แหล่งที่มา

จากบทความที่คุณเชื่อมโยงไปถึงไม่ได้ติดตามWard algorithm is directly correctly implemented in just Ward2แต่: (1) เพื่อให้ได้ผลลัพธ์ที่ถูกต้องกับการใช้งานทั้งสองให้ใช้ระยะทางแบบยุคลิดแบบสแควร์กับ Ward1 และระยะทางแบบยุคลิดที่ไม่มีผู้ป่วยด้วย Ward2; (2) เพื่อให้ dendrograms เอาท์พุตเทียบเคียงได้ (เหมือนกัน) ใช้ sq. root กับระดับฟิวชั่นหลังจาก Ward1 หรือระดับฟิวชั่นสแควร์หลังจาก Ward2 ก่อนสร้าง dendrogram

— ttnphns

คุณพูดถูก ขอขอบคุณสำหรับการชี้แจง. สิ่งที่ฉันหมายถึงโดย "นำไปใช้อย่างถูกต้องโดยตรง" คือไม่มีขั้นตอนเพิ่มเติมเช่นการเอาสแควร์รูทของความสูงมาใช้เพื่อให้ได้ผลลัพธ์ที่ถูกต้องด้วยวิธีการ WardD2

— JTT

ความแตกต่างเล็ก ๆ น้อย ๆ ที่นี่คือด้วยวิธีการของวอร์ดมันไม่ได้กำหนดว่าอะไรคือ "ถูกต้อง" หรือการนำเสนอระดับฟิวชั่นที่แท้จริง - ไม่ว่าพวกเขาควรจะพล็อตว่า สาเหตุของการไม่แน่ใจว่าระดับฟิวชั่นในวอร์ดนั้นไม่ใช่ระยะทางแต่เป็นระดับการกระจายที่เพิ่มขึ้น

— ttnphns

ข้อแตกต่างระหว่าง ward.D & ward.D2คือพารามิเตอร์อินพุตเท่านั้น

hclust(dist(x)^2,method="ward.D") ~ hclust(dist(x)^2,method="ward")

ซึ่งเทียบเท่ากับ: hclust(dist(x),method="ward.D2")

คุณสามารถค้นหากระดาษ reserach: วิธีการจัดกลุ่มลำดับขั้นของวอร์ด: เกณฑ์การจัดกลุ่มและอัลกอริทึมการรวมตัวกัน

Ward2ค่าเกณฑ์คือ“ โยระยะทาง ” ในขณะที่Ward1ค่าเกณฑ์คือ“ ในระดับของระยะทางสแควร์ ”

— Nilesh
แหล่งที่มา

ฉันชอบคำตอบนี้มากกว่าที่คนอื่นบอกว่าวอร์ดนั้นผิด แตกต่างกันเพียง

— Chris

ผมมาในงานวิจัยที่สอดคล้องกับเป้าหมายการทำงานที่มีการเพิ่มประสิทธิภาพโดย "Ward1 (ward.D)": ลำดับชั้น Clustering ผ่านร่วมกันระหว่างภายในระยะทาง: ขยายขั้นต่ำวิธีการแปรปรวนของวอร์ด ปรากฎว่าการใช้ "Ward1 (ward.D)" ของ R นั้นเทียบเท่ากับการลดระยะห่างของพลังงานระหว่างกลุ่มคลัสเตอร์

2.1 คลัสเตอร์ $e$ ฟังก์ชั่นระยะทางและวัตถุประสงค์

ปล่อย $A = \{a_1, \ldots, a_{n_1}\}$ และ $B = \{b_1, \ldots, b_{n_2}\}$ เป็นส่วนย่อยที่ไม่ว่างเปล่าของ $\mathbb R^d$ . กำหนดระหว่างภายในหรือ $e$ -distance $e(A, B)$ ระหว่าง $A$ และ $B$ เช่น
$\begin{aligned} e (A, B) = & \frac{n_{1} n_{2}}{n_{1} + n_{2}} (\frac{2}{n_{1} n_{2}} \sum_{i = 1}^{n_{1}} \sum_{j = 1}^{n_{2}} ‖ a_{i} - b_{j} ‖ \\ (1) & - \frac{1}{n_{1}^{2}} \sum_{i = 1}^{n_{1}} \sum_{j = 1}^{n_{1}} ‖ a_{i} - a_{j} ‖ - \frac{1}{n_{2}^{2}} \sum_{i = 1}^{n_{2}} \sum_{j = 1}^{n_{2}} ‖ b_{i} - b_{j} ‖) . \end{aligned}$ $\begin{align} e(A, B) = &\frac{n_1n_2}{n_1+n_2}\bigg(\frac{2}{n_1n_2}\sum_{i=1}^{n_1} \sum_{j=1}^{n_2} \|a_i-b_j\| \\ &- \frac{1}{n_1^2}\sum_{i=1}^{n_1}\sum_{j=1}^{n_1}\|a_i-a_j\| - \frac{1}{n_2^2}\sum_{i=1}^{n_2}\sum_{j=1}^{n_2}\|b_i-b_j\|\bigg). \tag{1} \end{align}$

— user3235207
แหล่งที่มา

Are you sure that that is the correct interpretation of the contents of that paper? It seems to me that

e^{(2)}

$e^{(2)}$ corresponds to ward.D2, but I don't think it is stated anywhere that

e^{(1)}

$e^{(1)}$ corresponds to ward.D1. In fact, on page 161–162, it is stated that for

0 < α < 2

$0<\alpha<2$ ,

e^{(α)}

$e^{(\alpha)}$ does not correspond to any power of Euclidean distance, assuming cluster size is greater than

1

$1$ . Interesting paper none the less.

— Jonas Dahlbæk