ฉันจะสั่งซื้อหรือจัดอันดับชุดของผู้เชี่ยวชาญได้อย่างไร


11

ฉันมีฐานข้อมูลที่มีผู้เชี่ยวชาญจำนวนมากในสาขา สำหรับผู้เชี่ยวชาญแต่ละคนฉันมีคุณลักษณะ / จุดข้อมูลที่หลากหลายเช่น:

  • จำนวนประสบการณ์
  • ใบอนุญาต
  • จำนวนบทวิจารณ์
  • เนื้อหาที่เป็นข้อความของบทวิจารณ์เหล่านั้น
  • ระดับ 5 ดาวจากการรีวิวแต่ละรายการสำหรับปัจจัยหลายประการเช่นความเร็วคุณภาพและอื่น ๆ
  • รางวัลการเข้าร่วมการประชุม ฯลฯ

ฉันต้องการให้คะแนนกับผู้เชี่ยวชาญเหล่านี้ว่าคะแนนเต็ม 10 จากความสำคัญของพวกเขา จุดข้อมูลบางส่วนอาจหายไปสำหรับผู้เชี่ยวชาญบางคน ตอนนี้คำถามของฉันคือฉันจะทำอัลกอริธึมแบบนี้ได้อย่างไร? ใครช่วยชี้ให้ฉันดูวรรณกรรมที่เกี่ยวข้องได้บ้าง

นอกจากนี้ฉันยังกังวลว่าเช่นเดียวกับการให้คะแนน / รีวิวตัวเลขอาจรวมอยู่ใกล้กับค่าบางอย่าง ตัวอย่างเช่นพวกเขาส่วนใหญ่อาจได้รับคะแนน 8 หรือ 5 มีวิธีการเน้นความแตกต่างของ litle ให้แตกต่างกันมากขึ้นในคะแนนสำหรับคุณลักษณะบางอย่างเท่านั้น

การสนทนาอื่น ๆ ที่ฉันคิดว่าอาจเกี่ยวข้อง:


ไม่สามารถทำได้เว้นแต่คุณจะมาถึงเกณฑ์วัตถุประสงค์ อาจให้คะแนนที่เป็นไปได้ส่วนใหญ่สามารถสร้างขึ้นด้วยการรวมกันของพารามิเตอร์ของคุณ

คำตอบ:


12

ผู้คนได้คิดค้นระบบมากมายสำหรับการให้คะแนน (เช่นผู้เชี่ยวชาญ) ในหลาย ๆ เกณฑ์: ไปที่หน้าวิกิพีเดียในการวิเคราะห์การตัดสินใจแบบหลายเงื่อนไขสำหรับรายการ แม้ว่าจะไม่ได้เป็นตัวแทนที่ดี แต่เป็นหนึ่งในวิธีการที่ป้องกันได้มากที่สุด: ทฤษฎีการประเมินค่าคุณลักษณะหลายประการ ซึ่งรวมถึงชุดของวิธีการประเมินการแลกเปลี่ยนระหว่างชุดของเกณฑ์เพื่อ (ก) กำหนดวิธีที่เหมาะสมในการแสดงค่าของตัวแปรแต่ละตัวอีกครั้งและ (b) น้ำหนักค่าที่แสดงซ้ำเพื่อให้ได้คะแนนสำหรับการจัดอันดับ . หลักการเรียบง่ายและสามารถป้องกันได้คณิตศาสตร์ไม่สามารถเข้าถึงได้และไม่มีอะไรแปลกใจเกี่ยวกับทฤษฎี ผู้คนจำนวนมากควรรู้และฝึกฝนวิธีการเหล่านี้มากกว่าที่จะประดิษฐ์ระบบการให้คะแนนตามอำเภอใจ


คุณรู้เกี่ยวกับแพคเกจ R สำหรับการทำเช่นนี้?
333

3
@user ไม่และฉันสงสัยว่ามีอยู่ ยังไม่มีซอฟต์แวร์มายากลหัวข้อย่อยที่นี่: งานเกือบทั้งหมดเกี่ยวข้องกับการคิดผ่านปัญหาและสำรวจการแลกเปลี่ยนเฉพาะในแบบควบคุม
whuber

3

ท้ายที่สุดสิ่งนี้อาจไม่ใช่การออกกำลังกายเชิงสถิติเพียงอย่างเดียว PCA เป็นวิธีการเชิงปริมาณที่มีประสิทธิภาพมากซึ่งจะช่วยให้คุณสร้างคะแนนหรือน้ำหนักสำหรับองค์ประกอบหลักสองสามชิ้นแรกที่คุณสามารถใช้สำหรับการจัดอันดับ อย่างไรก็ตามการอธิบายว่าองค์ประกอบหลักคืออะไรที่ท้าทายมาก มันเป็นโครงสร้างเชิงปริมาณ พวกเขาไม่ใช่คนวิภาษ ดังนั้นเพื่ออธิบายสิ่งที่พวกเขาหมายถึงอย่างแท้จริงบางครั้งเป็นไปไม่ได้ โดยเฉพาะอย่างยิ่งหากคุณมีผู้ชมที่ไม่ได้เป็นเชิงปริมาณ พวกเขาจะไม่รู้ว่าคุณกำลังพูดถึงอะไร และจะคิดว่า PCA ของคุณเป็นกล่องดำที่คลุมเครือ

แต่ฉันจะจัดเรียงตัวแปรที่เกี่ยวข้องทั้งหมดและใช้ระบบถ่วงน้ำหนักตามสิ่งที่คนคิดว่าควรจะเป็นน้ำหนัก

ฉันคิดว่าถ้าคุณพัฒนาสิ่งนี้สำหรับบุคคลภายนอกลูกค้าผู้ใช้มันจะดีมากถ้าคุณสามารถฝังความยืดหยุ่นในการตัดสินใจเกี่ยวกับน้ำหนักของผู้ใช้
ผู้ใช้บางคนอาจให้ความสำคัญกับประสบการณ์เป็นปีมากกว่าการรับรองและข้อรอง หากคุณสามารถทิ้งการตัดสินใจไว้กับพวกเขาได้ วิธีนี้อัลกอริทึมของคุณไม่ใช่กล่องดำที่พวกเขาไม่เข้าใจและไม่สะดวก คุณทำให้มันโปร่งใสอย่างสมบูรณ์และขึ้นอยู่กับพวกเขาตามการประเมินความสัมพันธ์ของพวกเขาในสิ่งที่สำคัญ


@Gaetan ดีสำหรับ PCA คุณต้องไปหาตัวเลขที่เหมาะสมสำหรับการเข้ารหัสตัวแปรเช่น "เนื้อหาต้นฉบับเดิม" ...
CHL

นั่นไม่ใช่ปัญหาที่ฉันเพิ่ม PCA สามารถจัดการตัวแปรดัมมี่ตามที่คุณแนะนำ PCA นั้นทรงพลังและยืดหยุ่นอย่างเหลือเชื่อ แต่มันเป็นการตีความองค์ประกอบหลักที่ท้าทายอย่างมาก สมมติว่าองค์ประกอบหลักแรกเริ่มต้นเช่นนี้: ประสบการณ์ 0.02 ปี - เนื้อหาที่เกี่ยวกับใจความ 0.4 ความคิดเห็น + 0.01 การเชื่อมโยง ... บางทีคุณอาจอธิบายได้ ประสิทธิภาพของผู้เชี่ยวชาญนั้นแปรผันตามประสบการณ์เป็นเวลาหลายปี ดูเหมือนไร้สาระ แต่ PCA มักจะสร้างผลลัพธ์ที่ตอบโต้ได้ง่าย
Sympa

@Gaetan ยังคงฉันขอย้ำความเห็นของฉันว่าปัญหาอยู่ในวิธีที่คุณเลือกที่จะเป็นตัวแทนของตัวแปรของคุณ (หรือวิธีที่คุณพบว่าตัวชี้วัดที่มีประโยชน์) ฉันเห็นด้วยกับคุณเกี่ยวกับความยากลำบากในการตีความชุดค่าผสมเชิงเส้นของตัวแปรเมื่อจัดการกับการวัดแบบไม่ต่อเนื่องหรือการผสมผสานของชนิดข้อมูล นี่คือเหตุผลที่ฉันแนะนำในความคิดเห็นอื่นเพื่อค้นหาวิธีแฟคทอเรียลทางเลือก อย่างไรก็ตามการพัฒนากฎการให้คะแนนตามความต้องการของผู้ใช้หรือการตรวจสอบโดยผู้เชี่ยวชาญ (เช่นเดียวกับการประเมินทางคลินิก) ยังเรียกร้องให้มีการตรวจสอบทางสถิติบางอย่าง (อย่างน้อยก็เพื่อให้แน่ใจว่าคะแนนเชื่อถือได้)
chl

@Gaetan ใช่ความคิดเห็นของคุณมีความหมายและคุณพูดถูกว่าไม่ใช่แค่การออกกำลังกายเชิงสถิติ แต่เกี่ยวข้องกับองค์ประกอบที่เป็นอัตวิสัยมากกว่า เหตุผลที่เจตนาจากมุมมองของผู้ใช้ / ลูกค้าอาจแตกต่างกัน สมมติว่าเขาทำการค้นหาผู้เชี่ยวชาญจากนั้นฉันเพิ่งเพิ่มตัวกรองเพื่ออนุญาตให้เขาเลือกผู้เชี่ยวชาญ> X จำนวนปีของประสบการณ์และอื่น ๆ แต่สมมติว่าเขาแคบลงถึงผู้เชี่ยวชาญ 2 คนและต้องการการเปรียบเทียบที่เป็นอิสระ ดังนั้นฉันแค่มองหาวิธีการทั่วไปเพื่อเปรียบเทียบผู้เชี่ยวชาญสองคน
Sidmitra

2
+1 สำหรับการชี้ให้เห็นว่านี่ไม่ใช่การออกกำลังกายเชิงสถิติ ที่ดีที่สุด PCA สามารถอธิบายความสัมพันธ์ภายในชุดข้อมูลที่เฉพาะเจาะจงและทำให้ข้อมูลง่ายขึ้นโดยการระบุความใกล้เคียง collinearities ไม่ชัดเจนว่าจะแจ้งให้เราทราบเกี่ยวกับวิธีจัดอันดับผู้เชี่ยวชาญได้อย่างไร
whuber

0

คุณคิดว่าคุณสามารถหาปริมาณคุณลักษณะทั้งหมดได้หรือไม่?

ถ้าใช่ฉันขอแนะนำให้ทำการวิเคราะห์องค์ประกอบหลัก ในกรณีทั่วไปที่ความสัมพันธ์ทั้งหมดเป็นค่าบวก (และหากไม่ใช่คุณสามารถไปที่นั่นได้อย่างง่ายดายโดยใช้การแปลงบางส่วน) องค์ประกอบหลักแรกถือได้ว่าเป็นการวัดความสำคัญทั้งหมดของผู้เชี่ยวชาญเนื่องจากเป็นน้ำหนัก ค่าเฉลี่ยของคุณลักษณะทั้งหมด (และน้ำหนักจะเป็นการมีส่วนร่วมของตัวแปรที่สอดคล้องกัน - ภายใต้มุมมองนี้วิธีการเองจะเปิดเผยความสำคัญของแต่ละแอตทริบิวต์) คะแนนที่ผู้เชี่ยวชาญแต่ละคนประสบความสำเร็จในองค์ประกอบหลักแรกคือสิ่งที่คุณต้องจัดอันดับ


1
สิ่งนี้ดูดี แต่จะไม่เพียงเลือกแอตทริบิวต์ที่มีความแปรปรวนสูงสุดและกลุ่มที่ใหญ่ที่สุดของกลุ่มที่มีความสัมพันธ์ข้ามกันใช่หรือไม่

1
อีกวิธีหนึ่งสามารถทำการวิเคราะห์การติดต่อหลายรายการหรือการวิเคราะห์ปัจจัยหลายประการสำหรับข้อมูลแบบผสม (หากการคำนวณเชิงตัวเลขเกิดขึ้นไม่เป็นจริงสำหรับตัวแปรบางตัว) และส่วนที่เหลือของความคิดของคุณ (คะแนนปัจจัยการคำนวณและการดู เช่นกัน
chl

3
ดูเหมือนว่าองค์ประกอบแรกจะชี้ให้เห็นทิศทางที่แข็งแกร่งของคนธรรมดาสามัญในหมู่ผู้เชี่ยวชาญ เป็นไปได้อย่างไรที่จะบอกเราว่าใครดีกว่าและใครแย่กว่ากัน? ที่ต้องการข้อมูลเพิ่มเติมเกี่ยวกับความสัมพันธ์ระหว่างตัวแปรเหล่านี้และคุณภาพของการเป็นผู้เชี่ยวชาญ "ดี" หรือ "ไม่ดี" หากเราเชื่อว่าตัวแปรทั้งหมดมีความสัมพันธ์แบบซ้ำซากกับความดีหรือความเลวดังนั้น PCA อาจช่วยให้เราสำรวจเขตแดนของผู้เชี่ยวชาญ (หรืออาจจะอยู่นอก!) ระวังแม้ว่า - แม้กระทั่งข้อสันนิษฐานเกี่ยวกับความน่าสงสัย
whuber

1
@ เมื่อไรฉันเห็นประเด็นขอบคุณ บางทีคุณสามารถเพิ่มสิ่งนี้ในการตอบกลับของคุณเอง (ซึ่งยินดีมาก)?
chl
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.