การเปรียบเทียบรายการอันดับ

สมมติว่าทั้งสองกลุ่มประกอบด้วยและแต่ละชุดมี 25 รายการจากมากไปน้อยสำคัญ อะไรคือวิธีที่ดีที่สุดในการเปรียบเทียบอันดับเหล่านี้n $n_1$$n_2$

เห็นได้ชัดว่ามีความเป็นไปได้ที่จะทำการทดสอบ Mann-Whitney U 25 ครั้ง แต่สิ่งนี้จะส่งผลให้ผลการทดสอบ 25 รายการตีความได้ซึ่งอาจมากเกินไป (และในการใช้อย่างเข้มงวด มันยังไม่ชัดเจนสำหรับฉันที่จะจัดอันดับความพึงพอใจทุกข้อสันนิษฐานของการทดสอบนี้

ฉันจะสนใจพอยน์เตอร์ในวรรณคดีเรื่องเรตติ้งและอันดับ

บริบทบางอย่าง: 25 รายการเหล่านี้เกี่ยวข้องกับการศึกษาและทั้งสองกลุ่มเป็นนักการศึกษาประเภทต่างๆ ทั้งสองกลุ่มมีขนาดเล็ก

แก้ไขในการตอบสนองต่อ @ttnphns:

ฉันไม่ได้ตั้งใจจะเปรียบเทียบลำดับทั้งหมดของรายการในกลุ่ม 1 กับกลุ่ม 2 - นั่นคงเป็นค่าคงที่ @ttnphns ชี้ให้เห็น แต่อันดับในกลุ่ม 1 และกลุ่ม 2 จะแตกต่างกัน นั่นคือกลุ่ม 1 อาจจัดอันดับรายการ 1 สูงกว่ากลุ่ม 2

ฉันสามารถเปรียบเทียบพวกเขาแต่ละรายการได้รับค่าเฉลี่ยหรืออันดับเฉลี่ยของแต่ละรายการและทำการทดสอบ 25 ครั้ง แต่ฉันสงสัยว่ามีวิธีที่ดีกว่าในการทำเช่นนี้

สรุป

ฉันแบ่งปันความคิดของฉันในส่วนรายละเอียด ฉันคิดว่าพวกเขามีประโยชน์ในการระบุสิ่งที่เราต้องการบรรลุ

ฉันคิดว่าปัญหาหลักของที่นี่คือคุณยังไม่ได้นิยามความคล้ายคลึงกันของอันดับ ดังนั้นจึงไม่มีใครรู้วิธีการวัดความแตกต่างระหว่างอันดับที่ดีกว่า

อย่างมีประสิทธิภาพสิ่งนี้ทำให้เราเลือกวิธีที่ไม่ชัดเจนตามการคาดเดา

สิ่งที่ฉันแนะนำจริงๆคือการกำหนดวัตถุประสงค์การเพิ่มประสิทธิภาพทางคณิตศาสตร์ก่อน เท่านั้นจากนั้นเราจะแน่ใจว่าเรารู้จริง ๆ ว่าเราต้องการอะไร

ถ้าเราไม่ทำเช่นนั้นจริงๆไม่รู้ว่าเราต้องการอะไร เราอาจจะเกือบจะรู้ว่าสิ่งที่เราต้องการ แต่เกือบรู้ รู้$\ne$

ข้อความของฉันในรายละเอียดหลักเป็นขั้นตอนต่อถึงความหมายทางคณิตศาสตร์ของการจัดอันดับความคล้ายคลึงกัน เมื่อเราตอกย้ำสิ่งนี้เราสามารถก้าวไปข้างหน้าอย่างมั่นใจเพื่อเลือกวิธีที่ดีที่สุดในการวัดความคล้ายคลึงกันนี้

รายละเอียด

ขึ้นอยู่กับหนึ่งในความคิดเห็นของคุณ:

• " วัตถุประสงค์คือเพื่อดูว่าการจัดอันดับของทั้งสองกลุ่มต่างกันหรือไม่ " Peter Flom

หากต้องการตอบคำถามนี้ในขณะที่ตีความวัตถุประสงค์อย่างเคร่งครัด :

• $i \in \{1,2,\ldots,25\}$$i$$a_i \ne b_i$$a_i$$i$$a$$b_i$$b$
• อื่นอันดับไม่แตกต่างกัน

แต่ฉันไม่คิดว่าคุณต้องการการตีความที่เคร่งครัด ดังนั้นฉันคิดว่าสิ่งที่คุณตั้งใจจะพูดคือ:

• $a$$b$

$a$$b$

$n$$1$$3$$a$$b$$3$

แต่วิธีนี้เหมาะสมหรือไม่ เพื่อที่จะตอบคำถามนี้ลองดูให้ลึกลงไปหน่อย:

• $a,b$$3$$c,d$$123$$a,b$$c,d$$c,d$

• สันนิษฐานว่าค่าใช้จ่ายในการแก้ไขแต่ละรายการนั้นเป็นแบบเชิงเส้นเทียบกับจำนวนฮ็อพ สิ่งนี้เป็นจริงสำหรับโดเมนแอปพลิเคชันของเราหรือไม่ เป็นไปได้ไหมว่าความสัมพันธ์โลจิสติกส์นั้นเหมาะสมกว่า? หรือเลขยกกำลังหนึ่ง?

• $1$$5$

เมื่อเราพูดถึงประเด็นข้างต้นและไปถึงการวัดความคล้ายคลึงกันที่เหมาะสมระหว่างสองอันดับเราจะต้องถามคำถามที่น่าสนใจมากขึ้นเช่น:

• $a$$b$

ดูเหมือนว่า 'การทดสอบ Willcoxon พร้อมอันดับ' ( ลิงก์วิกิพีเดีย ) สมมติว่าค่าของอันดับของคุณมาจากชุดเดียวกัน (เช่น[1, 25]) ดังนั้นนี่คือการทดสอบความแตกต่างแบบจับคู่ (โดยมีสมมติฐานว่างเป็นคู่เหล่านี้ถูกสุ่ม) NB นี้เป็นคะแนนความคล้ายคลึงกัน!

มีทั้งการเชื่อมโยงRและPythonการนำไปใช้งานในหน้าวิกินั้น

คำเตือน: มันเป็นคำถามที่ดีและฉันไม่รู้คำตอบดังนั้นนี่คือ "สิ่งที่ฉันจะทำถ้าฉันต้องทำ":

ในปัญหานี้มีหลายองศาอิสระและการเปรียบเทียบมากมายที่ทำได้ แต่ด้วยข้อมูลที่ จำกัด มันเป็นเรื่องของการรวมข้อมูลอย่างมีประสิทธิภาพ หากคุณไม่ทราบว่าจะใช้การทดสอบใดคุณสามารถ "คิดค้น" การทดสอบโดยใช้วิธีเปลี่ยนค่าได้เสมอ:

ครั้งแรกที่เรากำหนดสองฟังก์ชั่น:

• ฟังก์ชั่นการลงคะแนน : วิธีการให้คะแนนการจัดอันดับเพื่อให้เราสามารถรวมการจัดอันดับทั้งหมดของกลุ่มเดียว ตัวอย่างเช่นคุณสามารถกำหนด 1 คะแนนให้กับรายการที่ติดอันดับต้น ๆ และ 0 ให้กับรายการอื่นทั้งหมด คุณอาจสูญเสียข้อมูลจำนวนมากดังนั้นอาจเป็นการดีกว่าถ้าคุณใช้สิ่งที่ชอบ: รายการอันดับต้น ๆ จะได้รับ 1 คะแนนอันดับที่สองอันดับที่ 2 เป็นต้น

• ฟังก์ชั่นการเปรียบเทียบ : วิธีการเปรียบเทียบสองคะแนนรวมระหว่างสองกลุ่ม เนื่องจากทั้งคู่จะเป็นเวกเตอร์การหาบรรทัดฐานที่เหมาะสมของความแตกต่างจะได้ผล

ตอนนี้ทำต่อไปนี้:

1. ขั้นแรกให้คำนวณสถิติทดสอบโดยคำนวณคะแนนเฉลี่ยโดยใช้ฟังก์ชันการลงคะแนนสำหรับแต่ละรายการในทั้งสองกลุ่มซึ่งจะนำไปสู่เวกเตอร์สองขนาด 25
2. จากนั้นเปรียบเทียบผลลัพธ์ทั้งสองโดยใช้ฟังก์ชันเปรียบเทียบนี่จะเป็นสถิติทดสอบของคุณ

ปัญหาคือเราไม่รู้การกระจายตัวของสถิติการทดสอบภายใต้ null ที่ทั้งสองกลุ่มเหมือนกัน แต่ถ้าพวกเขาเหมือนกันเราสามารถสุ่มการสังเกตแบบสุ่มระหว่างกลุ่ม

$n_1$

ทำซ้ำขั้นตอนนี้ประมาณ 1,000 ครั้งและตอนนี้ใช้สถิติการทดสอบการเปลี่ยนรูปเป็นการแจกแจงโมฆะเชิงประจักษ์ สิ่งนี้จะช่วยให้คุณสามารถคำนวณค่า p และอย่าลืมสร้างฮิสโตแกรมที่ดีและวาดเส้นสำหรับสถิติการทดสอบของคุณเช่น:

$l_1$$l_1$$l_2$

แต่ขึ้นอยู่กับการตั้งค่าฉันคาดหวังว่าจะมีการสุ่มที่อยู่ภายในจำนวนมากและคุณจะต้องมีขนาดตัวอย่างที่ค่อนข้างใหญ่พอที่จะใช้วิธีการแบบ catch-all หากคุณมีความรู้ก่อนหน้าเกี่ยวกับสิ่งที่คุณคิดว่าอาจแตกต่างกันระหว่างสองกลุ่ม (พูดรายการที่เฉพาะเจาะจง) จากนั้นใช้สิ่งนั้นเพื่อปรับฟังก์ชั่นทั้งสองของคุณ (แน่นอนการทำเช่นนี้ปกติก่อนที่คุณจะทำการทดสอบและไม่ได้ออกแบบเชอร์รี่เลือกจนกว่าคุณจะได้รับสิ่งที่สำคัญใช้)

PS ยิงฉันข้อความถ้าคุณมีความสนใจในรหัส (ยุ่ง) ของฉัน มันยาวเกินกว่าจะเพิ่มที่นี่ แต่ฉันยินดีที่จะอัปโหลด