ผู้เชี่ยวชาญเป็นอันตรายหรือไม่?


15

ฉันกำลังอ่าน"บทบาทของหมากรุกในการวิจัยปัญญาประดิษฐ์" ( pdf ) และน่าสนใจมันบอกว่า:

ประสบการณ์ [... ] แสดงให้เห็นว่าข้อมูลจากผู้เชี่ยวชาญหมากรุกในขณะที่มีประโยชน์โดยทั่วไปไม่สามารถเชื่อถือได้อย่างสมบูรณ์

ตัวอย่างที่ดีของเรื่องนี้คือฟังก์ชั่นการประเมินความคิดลึก การเปลี่ยนแปลงหลายอย่างโดยผู้เชี่ยวชาญหมากรุกที่มีความสามารถของมนุษย์ล้มเหลวในการปรับปรุงที่สำคัญและบางครั้งก็ส่งผลกระทบต่อประสิทธิภาพของเครื่อง

ที่นี่ผู้เชี่ยวชาญของมนุษย์พร้อมด้วยความเชี่ยวชาญของพวกเขาแนะนำอคติของพวกเขาเองในโปรแกรม วิธีหนึ่งในการแก้ไขปัญหานี้คือการ จำกัด ประเภทและจำนวนอินพุตของผู้เชี่ยวชาญที่ได้รับอนุญาตในโปรแกรม ในขณะที่มีเครื่องจักร "ความรู้ฟรี" เกือบ

  • เป็นความจริงเพียงใดในการวิจัยและการปฏิบัติที่ทันสมัย?
  • นั่นเป็นปัญหาใหญ่หรือเป็นเพียงบางอย่างที่เฉพาะเจาะจงกับเกมหมากรุก?

3
มีการอ้างอิงที่มีชื่อเสียงถึงผลกระทบนี้ใน NLP บางสิ่งบางอย่างตามเส้นของ "ทุกครั้งที่ฉันยิงนักภาษาศาสตร์ประสิทธิภาพของระบบของฉันดีขึ้น"
Artem Kaznatcheev

3
คำตอบของ Atilla นั้นถูกต้องเป็นส่วนใหญ่ (ด้วยคุณสมบัติที่ฉันให้ความเห็น) แต่ฉันคิดว่าฉันจะทราบสั้น ๆ ว่าในบางกรณีของหมากรุกมันแสดงให้เห็นว่า Deep Thought เล่นหมากรุกแตกต่างจากผู้เชี่ยวชาญหมากรุกมาก Deep Thought อย่างชัดเจนคำนวณจำนวนมากล่วงหน้า ผู้เชี่ยวชาญคำนวณการเคลื่อนไหวเพียงไม่กี่อย่าง แต่พวกเขายังใช้ทางลัดในการคำนวณเพื่อจดจำเกมและผลลัพธ์ที่มีประสบการณ์มาก่อน การจดจำนี้แสดงให้เห็นผ่านการจดจำรูปแบบโดยนัยซึ่งซ้อนทับประสบการณ์ทางอารมณ์กับเกม (การเคลื่อนไหวบางอย่าง "เพียงแค่รู้สึกถูกต้อง")
Mike Lawrence

คำตอบ:


11

ฉันคิดว่ามันเป็นสิ่งที่เพิ่มเติมเกี่ยวกับการแก้ปัญหาทางวิศวกรรม โครงการวิศวกรรมที่ประสบความสำเร็จส่วนใหญ่จะไม่ซ้ำซ้อนกับเหตุผลของผู้เชี่ยวชาญหรือลักษณะของผู้เชี่ยวชาญอย่างแท้จริง พวกเขาแก้ไขปัญหาด้วยวิธีที่แตกต่าง

ตัวอย่างเช่นเครื่องซักผ้าใช้เทคนิคที่แตกต่างจากมนุษย์เครื่องบินใช้การเปลี่ยนแปลงที่แตกต่างจากนก

หากคุณกำลังทำซ้ำผู้เชี่ยวชาญเหตุผลใส่ของพวกเขาคือทุกอย่าง แต่ถ้าคุณกำลังแก้ปัญหาเดียวกันโดยใช้เทคนิคที่แตกต่างกัน (การค้นหาที่รวดเร็ว, หน่วยความจำขนาดใหญ่ ... ), ใส่ของพวกเขาเป็นเพียงที่เป็นประโยชน์


ในขณะที่ฉันเห็นด้วยกับคุณเหตุผลนี้ดูเหมือนชัดเจนเกินไปขอโทษ :) ในกระดาษพวกเขากล่าวว่าผู้เชี่ยวชาญ "แนะนำอคติของตนเอง" ซึ่งดูเหมือนว่ามากกว่าความเข้าใจผิดในการใช้งาน
ทะเบียน

แน่นอนว่าพวกเขาให้ข้อมูลที่ดีและไม่ดีเนื่องจากพวกเขาเห็นโลกในแบบของตัวเองซึ่งแตกต่างจากมุมมองของคอมพิวเตอร์มาก
Atilla Ozgur

7
ฉันต้องการเพิ่มว่าต้องพิจารณาความเชี่ยวชาญที่มักจะเป็นไปโดยอัตโนมัติเพื่อที่จะกลายเป็นทึบแสงในการตรวจสอบอย่างมีสติ ดังนั้นผู้เชี่ยวชาญอาจล้มเหลวในการรับรู้ขั้นตอนการประมวลผลข้อมูลที่พวกเขากำลังดำเนินการเพื่อให้เกิดประสิทธิภาพผู้เชี่ยวชาญ
Mike Lawrence

3

ประเด็นดังกล่าวเป็นเรื่องธรรมดาในหลาย ๆ ด้านที่ต้องใช้วิจารณญาณ

บทที่ "การคาดการณ์และการปรับการตัดสิน " ใน Makridakis, Wheelwright และ Hyndman การคาดการณ์: วิธีการและแอพพลิเคชั่นมีเรื่องราวคล้าย ๆ กันเกี่ยวกับการตัดสินของผู้เชี่ยวชาญในบางครั้งแม้แต่ระบบที่ง่ายมาก

มีบทความ (Dawes et al (1989) " Science vs Actuarial Judgement" Science , Vol 243, No 4899, p1668-74) เกี่ยวกับความล้มเหลวของการตัดสินของผู้เชี่ยวชาญในสาขาการแพทย์กับสิ่งที่เรียกว่าวิธีการ 'actuarial' แบบจำลองทางสถิติ

ในอีกด้านหนึ่งมีบทความในวรรณคดีเกี่ยวกับ 'ความว่องไว' และความไม่สอดคล้องกันของการตัดสินของผู้เชี่ยวชาญในปัญหาเฉพาะในพื้นที่นั้นซึ่งการตัดสินโดยผู้เชี่ยวชาญมักจะได้รับการยกย่องจากผู้ปฏิบัติงานว่ามีความสำคัญยิ่ง

Makridakis และคณะหารือเกี่ยวกับความล้มเหลวของการตัดสินของผู้เชี่ยวชาญในหลาย ๆ ด้านเนื่องจากเกี่ยวข้องกับการพยากรณ์และมีคำแนะนำที่มีค่าอยู่บ้าง

และอื่น ๆ มันจะไป อคติความรู้ความเข้าใจมากมายและผู้เชี่ยวชาญของมนุษย์ต้องทนทุกข์ทรมานจากพวกเขาพร้อมกับคนอื่น ๆ


3

คำถามที่ว่าผู้เชี่ยวชาญจะเป็นอันตรายหรือไม่ไม่ใช่ปัญหาที่ จำกัด เฉพาะเกมหมากรุก

คำถามที่น่าสนใจในวรรณคดีเกี่ยวกับการออกแบบที่เหมาะสมที่สุดของคณะกรรมการนโยบายการเงิน (กนง.) ว่าคณะกรรมการควรมีผู้เชี่ยวชาญภายนอกที่ไม่ใช่พนักงานประจำของธนาคารกลางหรือไม่

หากต้องการนำมุมมองนี้มาพิจารณาอันดับแรกให้พิจารณา MPC ของธนาคารแห่งประเทศอังกฤษ ประกอบด้วยสมาชิกผู้บริหารภายในของธนาคารห้าคนและผู้เชี่ยวชาญภายนอกสี่คน ในทางตรงกันข้ามธนาคารกลางสหรัฐฯใช้คณะกรรมการที่ประกอบด้วยพนักงานธนาคารเท่านั้น

สมาชิกผู้เชี่ยวชาญภายนอกถูกรวมอยู่ในคณะกรรมการนโยบายการเงินของธนาคารกลางอังกฤษเนื่องจากเชื่อว่าจะนำความเชี่ยวชาญและข้อมูลเพิ่มเติมไปยังที่ได้รับภายในธนาคารแห่งประเทศอังกฤษ

ดังนั้นการออกแบบ MPC ไหนดีกว่ากัน? ผู้เชี่ยวชาญในหรือผู้เชี่ยวชาญออกมา?

ดีในพื้นที่ของการวิจัยนี้ยังคงมีการใช้งานและจะได้รับการตรวจสอบเร็ว ๆ นี้โดยแฮนเซนและแม็คมาน (2010) ฉันขอแนะนำให้ศึกษาข้อมูลอ้างอิงที่กล่าวถึงในบทความนี้เพื่ออ่านเพิ่มเติมเกี่ยวกับ "คณะกรรมการผู้เชี่ยวชาญ"

นี่เป็นปัญหาใหญ่ (สำคัญ) หรือไม่? เมื่อพิจารณาถึงผลกระทบที่การตัดสินใจของคณะกรรมการนโยบายการเงินอาจมีต่อเศรษฐกิจฉันจะบอกว่านี่เป็นปัญหาที่สำคัญมาก!

ท้ายสุดฉันควรจะพูดถึงว่าในทางทฤษฎีแล้วการตัดสินใจทางนโยบายทางการเงินนั้นสามารถส่งมอบให้กับคอมพิวเตอร์ได้ ยกตัวอย่างเช่นคอมพิวเตอร์จะเป็นโปรแกรมที่จะใช้พูดง่ายๆกฎนโยบายการเงิน ; เช่นหนึ่งในข้อผูกพัน สิ่งนี้จะลบการป้อนข้อมูลของผู้เชี่ยวชาญหลังจากกฎนโยบายการเงินได้รับการโปรแกรมลงในคอมพิวเตอร์ การใช้คอมพิวเตอร์ในการดำเนินนโยบายการเงินที่มีการกล่าวถึงในSvensson (1999)

อ้างอิง : Stephen Eliot Hansen & Michael McMahon, 2010 "ผู้เชี่ยวชาญจากภายนอกทำอะไรให้กับคณะกรรมการหลักฐานจากธนาคารแห่งประเทศอังกฤษ" เอกสารการทำงานทางเศรษฐศาสตร์ 1238, ภาควิชาเศรษฐศาสตร์และธุรกิจ Universitat Pompeu Fabra

Lars EO Svensson, 1999. "ควรดำเนินนโยบายการเงินอย่างไรในยุคที่เสถียรภาพของราคา?" รายงานการประชุมธนาคารกลางแห่งแคนซัสซิตี้หน้า 195-259


3

ฉันคิดว่ากุญแจสำคัญคือความสอดคล้อง ผู้เชี่ยวชาญไม่เพียง แต่มีความรู้เป็นพิเศษ แต่เป็นระบบที่ใช้ความรู้นั้น พวกเขามีบุคลิกซึ่งเป็นกลยุทธ์โดยรวมซึ่งเป็นกลยุทธ์ที่พวกเขาอาศัยและพัฒนา

ในบางกรณีโปรแกรมคอมพิวเตอร์ที่เล่นหมากรุกเป็นสัตว์ประหลาดของแฟรงเกนสไตน์ที่สร้างขึ้นจากการตอบโต้กับผู้ใช้ได้หลายคน (โปรแกรมเมอร์ผู้เชี่ยวชาญ ฯลฯ ) ดังนั้นจึงไม่น่าแปลกใจที่คำแนะนำของผู้เชี่ยวชาญคนใดคนหนึ่งจะไม่สอดคล้องกับระบบที่มีอยู่

ฉันเห็นด้วยกับความคิดเห็นอื่น ๆ ที่ผู้เชี่ยวชาญอาจไม่รู้ว่าพวกเขาทำสิ่งที่พวกเขาทำ ในกรณีนี้ในฐานะมนุษย์จิตใจที่มีสติของพวกเขาสร้างเรื่องราวที่น่าเชื่อถือว่าทำไมพวกเขาถึงตัดสินใจโดยเฉพาะ แต่ฉันก็ยังคิดว่าคำแนะนำจากผู้เชี่ยวชาญของทีมงานเขียนโปรแกรมนั้นไม่ได้อยู่ในบริบทเสมอ (เช่นไม่สอดคล้องกับบริบทของการออกแบบและประวัติของโปรแกรม)

แก้ไข: อาจมีอคติเสริมที่นี่ ฉันไม่สามารถหาลิงก์ที่ดีเพื่ออธิบาย Reinforcement Bias ได้ แต่วิธีที่ฉันเข้าใจคำศัพท์นี้เป็นผลที่คุณได้รับเมื่อคุณอัปเดต (refit) แบบจำลองภายใต้การดูแลโดยใช้ผลลัพธ์ก่อนหน้าของแบบจำลอง - โดยปกติแล้วเป็นเป้าหมาย มันคล้ายกับอคติยืนยัน แต่เกี่ยวข้องกับระดับของการอ้อม ผู้เชี่ยวชาญของมนุษย์จะมีอคติเสริมซึ่งอาจส่งผลกระทบต่อสิ่งต่าง ๆ


ฉันไม่แน่ใจว่าฉันเข้าใจประโยคสุดท้ายของคุณซึ่งดูเหมือนจะเป็นจุดที่น่าสนใจ คุณสามารถทำอย่างละเอียด?
มิเชล

@Michelle: โปรแกรมที่เราหวังว่าจะได้รับการปรับปรุงด้วยคำแนะนำจากผู้เชี่ยวชาญในหัวข้อที่มีบริบทของตนเองอยู่แล้ว (การออกแบบดั้งเดิมโปรแกรมเมอร์โปรแกรมเมอร์ผู้เชี่ยวชาญก่อน ฯลฯ ) คำแนะนำที่เราพยายามนำมาใช้นั้นมาจากบริบทที่แตกต่างกันและอาจทำงานได้ไม่ดี - อาจไม่สอดคล้องกับบริบทที่โปรแกรมมีอยู่แล้ว คำพูดสุดท้ายของฉันคือความพยายามที่จะบอกว่าจริง ๆ แล้วมันไม่น่าเป็นไปได้ที่อินพุตใหม่จะทำงานในบริบท (ของโปรแกรม) ที่สร้างไว้แล้ว
เวย์น
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.