หลีกเลี่ยงการเลือกปฏิบัติทางสังคมในการสร้างแบบจำลอง

ฉันมีคำถามที่ได้รับแรงบันดาลใจจากเรื่องอื้อฉาวการรับสมัครงานล่าสุดของ Amazon ที่พวกเขาถูกกล่าวหาว่าเลือกปฏิบัติต่อสตรีในกระบวนการสรรหา ข้อมูลเพิ่มเติมที่นี่ :

ผู้เชี่ยวชาญด้านการเรียนรู้เครื่องจักรของ Amazon.com Inc เปิดเผยปัญหาใหญ่: เครื่องมือการสรรหาคนใหม่ของพวกเขาไม่ชอบผู้หญิง
ทีมได้สร้างโปรแกรมคอมพิวเตอร์ตั้งแต่ปี 2014 เพื่อตรวจสอบประวัติย่อของผู้สมัครงานโดยมีจุดประสงค์ในการค้นหาผู้มีความสามารถสูงสุด ......
เครื่องมือการทดลองเชิงทดลองของ บริษัท ใช้ปัญญาประดิษฐ์เพื่อให้คะแนนผู้สมัครงานตั้งแต่หนึ่งถึงห้าดาว ...
... แต่ในปี 2558 บริษัท ตระหนักว่าระบบใหม่ไม่ใช่การให้คะแนนผู้สมัครสำหรับงานพัฒนาซอฟต์แวร์และการโพสต์ทางเทคนิคอื่น ๆ ในลักษณะที่เป็นกลางทางเพศ
นั่นเป็นเพราะโมเดลคอมพิวเตอร์ของอเมซอนได้รับการฝึกฝนให้ใช้สัตว์แพทย์โดยการสังเกตรูปแบบการดำเนินการต่อที่ส่งมาถึง บริษัท ในช่วงระยะเวลา 10 ปี ส่วนใหญ่มาจากผู้ชายซึ่งเป็นภาพสะท้อนของการครอบงำชายในอุตสาหกรรมเทคโนโลยี (สำหรับกราฟิกเกี่ยวกับการแยกเพศในเทคโนโลยีดูที่นี่ ) ผลของระบบ Amazon สอนตัวเองว่าผู้สมัครชายเป็นที่ต้องการ มันดำเนินการลงโทษที่รวมคำว่า "ผู้หญิง" ไว้ใน "กัปตันชมรมหมากรุกของผู้หญิง" และมันได้ปรับลดบัณฑิตของวิทยาลัยสตรีทั้งสองแห่งตามที่คนคุ้นเคยกับเรื่องนี้ พวกเขาไม่ได้ระบุชื่อโรงเรียน
Amazon แก้ไขโปรแกรมเพื่อให้เป็นกลางกับข้อกำหนดเฉพาะเหล่านี้ แต่นั่นไม่รับประกันว่าเครื่องจะไม่คิดวิธีการคัดแยกผู้สมัครที่สามารถพิสูจน์การเลือกปฏิบัติได้
ท้ายที่สุด บริษัท ซีแอตเทิลยกเลิกทีมเมื่อต้นปีที่แล้วเพราะผู้บริหารสูญเสียความหวังในโครงการ
...... การทดลองของ บริษัท ... เสนอกรณีศึกษาเกี่ยวกับข้อ จำกัด ของการเรียนรู้ของเครื่อง
... นักวิทยาศาสตร์คอมพิวเตอร์เช่น Nihar Shah ผู้สอนการเรียนรู้เครื่องจักรที่มหาวิทยาลัย Carnegie Mellon กล่าวว่ายังมีงานอีกมากที่ต้องทำ
“ วิธีการตรวจสอบให้แน่ใจว่าอัลกอริทึมนั้นยุติธรรมวิธีการทำให้แน่ใจว่าอัลกอริทึมนั้นสามารถตีความและอธิบายได้จริง ๆ ซึ่งยังอยู่ค่อนข้างไกล” เขากล่าว

ภาษา MASCULINE LANGUAGE
[Amazon] จัดตั้งทีมในศูนย์กลางวิศวกรรม Edinburgh ของ Amazon ซึ่งเติบโตขึ้นเป็นประมาณสิบคน เป้าหมายของพวกเขาคือการพัฒนา AI ที่สามารถรวบรวมข้อมูลจากเว็บและผู้สมัครที่มีค่าควรสรรหาบุคลากรที่คุ้นเคยกับเรื่องดังกล่าว
กลุ่มสร้างโมเดลคอมพิวเตอร์ 500 รุ่นที่เน้นฟังก์ชั่นงานและสถานที่เฉพาะ พวกเขาสอนแต่ละคนให้รู้จักคำศัพท์ 50,000 คำที่ปรากฏในประวัติย่อของผู้สมัครที่ผ่านมา อัลกอริทึมเรียนรู้ที่จะกำหนดความสำคัญเล็กน้อยให้กับทักษะที่ใช้กันทั่วไปในผู้สมัครงานไอทีเช่นความสามารถในการเขียนรหัสคอมพิวเตอร์ต่าง ๆ ...
แทนที่จะให้เทคโนโลยีผู้สมัครที่อธิบายตัวเองด้วยการใช้คำกริยาที่พบบ่อยในวิศวกรชาย "ดำเนินการ" และ "จับ" บุคคลหนึ่งกล่าว

สมมติว่าฉันต้องการสร้างแบบจำลองทางสถิติเพื่อทำนายผลลัพธ์บางอย่างจากข้อมูลส่วนบุคคลเช่นการจัดอันดับห้าดาวเพื่อช่วยในการสรรหาคนใหม่ สมมติว่าฉันต้องการหลีกเลี่ยงการเลือกปฏิบัติทางเพศด้วยเช่นกันในฐานะข้อ จำกัด ทางจริยธรรม ให้โปรไฟล์ที่มีค่าเท่ากันสองอย่างนอกเหนือจากเพศผลลัพธ์ของโมเดลควรเหมือนกัน

1. ฉันควรใช้เพศ (หรือข้อมูลใด ๆ ที่มีความสัมพันธ์กับมัน) เป็นอินพุตและพยายามแก้ไขผลกระทบหรือหลีกเลี่ยงการใช้ข้อมูลเหล่านี้?

2. ฉันจะตรวจสอบว่าไม่มีการเลือกปฏิบัติต่อเพศได้อย่างไร

3. ฉันจะแก้ไขโมเดลของฉันสำหรับข้อมูลที่เลือกปฏิบัติทางสถิติได้อย่างไร แต่ฉันไม่ต้องการเหตุผลด้านจริยธรรม

บทความนี้นำเสนอภาพรวมที่ยอดเยี่ยมเกี่ยวกับวิธีควบคุมอคติทางเพศโดยเฉพาะในรูปแบบภาษา: ผู้ชายคือโปรแกรมเมอร์คอมพิวเตอร์เนื่องจากผู้หญิงเป็นผู้ดูแลบ้าน? การลบล้างคำ Embeddings - Bolukbasi และ อัล . สรุปบล็อกที่ดีสามารถพบได้ที่นี่:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

คุณจะพบแหล่งข้อมูลขนาดใหญ่ที่นี่:

https://developers.google.com/machine-learning/fairness-overview/

คุณจะได้พบกับเทคนิคต่าง ๆ ในลิงค์ด้านบนเพื่อลดอคติทางเพศ โดยทั่วไปแล้วพวกเขาพูดถึงสามชั้น:

1) ตัวอย่างการสุ่มข้อมูลของคุณ นี่คือจุดประสงค์เพื่อแสดงตัวอย่างประวัติย่อที่มีคุณภาพสูงของผู้หญิงและภายใต้ประวัติย่อของตัวอย่างชาย

2) การลบ "พื้นที่ย่อยเพศ" หากแบบจำลองของคุณมีความลำเอียงทางเพศคุณสามารถแสดงให้เห็นได้ว่าเป็นเช่นนั้นโดยใช้งานแต่งงานของคุณเพื่อคาดเดาเพศโดยตรง หลังจากสร้างแบบจำลองเสริมดังกล่าว (แม้เพียงแค่การสุ่มคำศัพท์ทั่วไปที่เป็นของเพศใดก็ได้จากนั้นก็ใช้ PCA) คุณสามารถลบมิตินี้ออกจากแบบจำลองได้ นี่เป็นเทคนิคหลักที่ใช้ในบทความของ Bolukbasi

3) การเรียนรู้เชิงรุก ในกรณีนี้คุณพยายามสร้างข้อมูลเพิ่มเติมโดยพยายามสร้างเรซูเม่ที่มีคุณภาพสูงให้กับเวอร์ชั่นเพิ่มเติมซึ่งไม่สามารถแยกออกจากเรซูเม่ที่แท้จริง

นี่ไม่ใช่คำตอบสำหรับคำถามของคุณ แต่เป็นเพียงความคิดเล็กน้อยที่ยาวเกินกว่าจะแสดงความคิดเห็นได้

ฉันคิดว่าปัญหาหนึ่งที่เราต้องพิจารณาเมื่อคิดเกี่ยวกับปัญหาเหล่านี้ก็คือโมเดลทุกตัวเลือกปฏิบัติและพวกเขาจะทำบนพื้นฐานของการเชื่อมโยงใด ๆ ที่มีอยู่ในข้อมูล นั่นคือจุดประสงค์ทั้งหมดของแบบจำลองการทำนาย ตัวอย่างเช่นผู้ชายมีแนวโน้มที่จะก่ออาชญากรรมอย่างแท้จริงมากกว่าผู้หญิงดังนั้นเกือบทุกรูปแบบที่มีการเข้าถึงข้อมูลนี้จะดึงข้อสรุปดังกล่าว

แต่นั่นไม่ได้หมายความว่าเราควรจะตัดสินใครบางคนบางส่วนบนพื้นฐานของเพศแม้ว่าโดยทั่วไปผู้ชายจะมีแนวโน้มที่จะก่ออาชญากรรมมากกว่า (อย่างอื่นเท่ากัน) แต่เราควรต้องการหลักฐานโดยตรงของอาชญากรรมเมื่อทำการตัดสินใจดังกล่าวไม่ใช่ข้อมูลเกี่ยวกับความสัมพันธ์เท่านั้น เป็นอีกตัวอย่างหนึ่ง: คนที่มีแนวโน้มที่จะป่วยจริง ๆสมควรที่จะจ่ายเบี้ยประกันที่สูงขึ้นหรือไม่?

ดังนั้นเมื่อพูดถึงการเลือกปฏิบัติฉันจะยืนยันว่าปัญหาเกี่ยวข้องกับการใช้งานอย่างมีจริยธรรมมากกว่ารุ่นที่ไม่ยุติธรรม หากเรากังวลเกี่ยวกับการเลือกปฏิบัติหรือผลลัพธ์ที่ไม่เป็นธรรมอื่น ๆ เมื่อใช้แบบจำลองในสถานการณ์ที่กำหนดบางทีเราไม่ควรใช้แบบจำลอง

ฉันเคยทำงานในโครงการเพื่อพัฒนาการปฏิบัติที่ดีที่สุดในการจัดการซอฟต์แวร์ ฉันสังเกตการณ์ทีมซอฟต์แวร์ห้าสิบคนในสนาม ตัวอย่างของเรามีประมาณ 77 แต่เราพบกันประมาณร้อยทีม นอกเหนือจากการรวบรวมข้อมูลเกี่ยวกับสิ่งต่าง ๆ เช่นการรับรององศาและอื่น ๆ เรายังรวบรวมข้อมูลทางจิตวิทยาและข้อมูลประชากรที่หลากหลาย

ทีมพัฒนาซอฟต์แวร์มีเอฟเฟกต์การเลือกด้วยตนเองที่สำคัญมากในขณะที่ไม่มีอะไรเกี่ยวข้องกับเพศมีความสัมพันธ์อย่างมากกับเพศ นอกจากนี้ผู้จัดการมักจะทำซ้ำตัวเอง ผู้คนจ้างคนที่พวกเขาพอใจและพวกเขาก็สบายใจที่สุด นอกจากนี้ยังมีหลักฐานว่าผู้คนได้รับการจัดอันดับในแบบลำเอียงทางปัญญา ลองนึกภาพว่าในฐานะผู้จัดการฉันให้ความสำคัญกับการมาถึงอย่างรวดเร็วในช่วงเริ่มต้นของการทำงาน ฉันจะให้คะแนนว่า ผู้จัดการคนอื่นที่เพิ่งสนใจว่างานเสร็จแล้วอาจให้คะแนนสิ่งที่แตกต่างอย่างสิ้นเชิงโดยมีความสำคัญ

คุณสังเกตเห็นว่าผู้ชายใช้ภาษาต่างกัน แต่ก็เป็นความจริงที่คนที่มีบุคลิกต่างกันใช้ภาษาในวิธีที่ต่างกัน อาจมีความแตกต่างในการใช้ภาษาชาติพันธุ์เช่นกันดูตัวอย่างความขัดแย้งในปัจจุบันที่ฮาร์วาร์ดและการรับสมัครชาวเอเชีย

ตอนนี้คุณคิดว่า บริษัท ซอฟต์แวร์เลือกปฏิบัติต่อผู้หญิง แต่มีการเลือกปฏิบัติทางเพศอีกรูปแบบหนึ่งที่เกิดขึ้นในอุตสาหกรรมการพัฒนาซอฟต์แวร์ที่คุณไม่ได้คาดคิด เมื่อคุณควบคุมสิ่งต่าง ๆ เช่นการรับรององศาการครอบครองและอื่น ๆ ผู้หญิงโดยเฉลี่ยจะมีรายได้มากกว่าคนทั่วไป 40% การแบ่งแยกการจ้างงานมี 3 แหล่งในโลก

ประการแรกคือผู้จัดการหรือเจ้าของไม่ต้องการจ้างใครบางคนบนพื้นฐานของคุณสมบัติบางอย่าง ประการที่สองคือผู้ร่วมงานไม่ต้องการทำงานกับคนที่มีคุณสมบัติดังกล่าว ที่สามคือลูกค้าไม่ต้องการคนที่มีคุณสมบัติ ดูเหมือนว่าการเลือกปฏิบัติค่าจ้างนั้นถูกเรียกโดยลูกค้าเนื่องจากผลิตภัณฑ์ทำงานแตกต่างกันและจากมุมมองของลูกค้าก็ดีขึ้นเช่นกัน คุณลักษณะเดียวกันนี้ทำให้นักทันตกรรมที่มีความชำนาญด้านการจ่ายเงินต่ำกว่าผู้หญิง มันยังเห็นในอคติต่อ“ เกิดที่นี่” ในค่าจ้างฟุตบอลโลก

การควบคุมที่ดีที่สุดสำหรับสิ่งนี้คือการเข้าใจข้อมูลของคุณและกองกำลังทางสังคมที่เกี่ยวข้อง บริษัท ใดก็ตามที่ใช้ข้อมูลของตัวเองมักจะทำซ้ำตัวเอง นั่นอาจเป็นสิ่งที่ดีมาก แต่ก็อาจทำให้พวกเขาตาบอดในการทำงาน การควบคุมที่สองคือการเข้าใจฟังก์ชั่นวัตถุประสงค์ของคุณ กำไรอาจเป็นฟังก์ชั่นที่ดี แต่มันอาจเป็นฟังก์ชั่นที่ไม่ดี มีค่าในการเล่นในการเลือกฟังก์ชั่นการสูญเสียวัตถุประสงค์ จากนั้นในที่สุดก็มีปัญหาในการทดสอบข้อมูลกับกลุ่มประชากรเพื่อตรวจสอบว่ามีการเลือกปฏิบัติที่โชคร้ายหรือไม่

ในที่สุดและนี่คือปัญหาที่ใหญ่กว่าในสิ่งต่าง ๆ เช่น AI ที่คุณไม่สามารถรับสถิติการตีความที่ดีได้คุณจะต้องควบคุมความขัดแย้งของเทศกาลคริสต์มาส ตัวอย่างประวัติศาสตร์แบบคลาสสิกคือการค้นพบที่ 44% ของผู้ชายได้รับการยอมรับกับ UC Berkley ในขณะที่มีผู้หญิงเพียง 35% เท่านั้นที่เข้ารับการรักษาในปี 1973 นี่เป็นความแตกต่างที่สำคัญและมีนัยสำคัญทางสถิติ มันก็ทำให้เข้าใจผิด

เห็นได้ชัดว่าเป็นเรื่องอื้อฉาวดังนั้นมหาวิทยาลัยจึงตัดสินใจที่จะดูว่าสาขาวิชาใดเป็นผู้กระทำผิด มันกลับกลายเป็นว่าเมื่อคุณควบคุมหลักแล้วมีอคติที่มีนัยสำคัญทางสถิติในความโปรดปรานของผู้หญิงที่ยอมรับ ในวิชาเอกแปดสิบห้าหกคนมีอคติต่อผู้หญิงและสี่ต่อผู้ชายส่วนที่เหลือไม่มีนัยสำคัญ ความแตกต่างคือผู้หญิงมีสัดส่วนการสมัครเข้าเรียนสาขาวิชาที่มีการแข่งขันมากที่สุดและมีเพศไม่กี่คนที่เข้ามาผู้ชายมีแนวโน้มที่จะสมัครเข้าเรียนสาขาวิชาที่มีการแข่งขันน้อยกว่า

การเพิ่มความขัดแย้งของเทศกาลคริสต์มาสสร้างชั้นที่ลึกซึ้งยิ่งขึ้นสำหรับการเลือกปฏิบัติ ลองนึกภาพแทนการทดสอบเพศมีการทดสอบเพศตามประเภทของงาน คุณอาจจะผ่านการทดสอบแบบเป็นกลางทางเพศทั่วทั้ง บริษัท แต่ล้มเหลวในระดับงาน ลองนึกภาพว่ามีผู้หญิงเพียงคนเดียวเท่านั้นที่ได้รับคัดเลือกเป็น V&V และผู้ชายเท่านั้นสำหรับการบริหารระบบ คุณจะดูเป็นกลางทางเพศและคุณจะไม่เป็น

แนวทางหนึ่งที่เป็นไปได้สำหรับการดำเนินการนี้คือการเรียกใช้ AIs ที่แข่งขันได้ซึ่งใช้เกณฑ์วัตถุประสงค์ที่แตกต่างกันของ“ ความดี” เป้าหมายคือการขยายเน็ตไม่ จำกัด ให้แคบลง นอกจากนี้ยังสามารถช่วยหลีกเลี่ยงปัญหาอื่นในเอกสารการจัดการ ในขณะที่ผู้ชาย 3% เป็นนักต่อต้านสังคมตัวเลขนั้นปีนขึ้นอย่างมากเมื่อคุณก้าวไปข้างหน้าและก้าวขึ้นบันไดองค์กร คุณไม่ต้องการที่จะกรองหาสังคม

สุดท้ายคุณอาจไม่ต้องการพิจารณาใช้ AI สำหรับตำแหน่งบางประเภท ตอนนี้ฉันกำลังหางานอยู่ ฉันยังแน่ใจว่าฉันถูกกรองออกและฉันไม่ได้คิดวิธีที่จะได้รับรอบ ฉันกำลังนั่งอยู่บนเทคโนโลยีใหม่ที่ก่อกวนมาก ปัญหาคือว่างานของฉันไม่ตรงกับคำวิเศษ แต่ฉันมีคำศัพท์ชุดต่อไป ตอนนี้ฉันมีค่ารายได้มหาศาลกับ บริษัท ที่ถูกต้อง แต่ในกรณีที่ฉันสมัครฉันได้รับการปฏิเสธอัตโนมัติในเวลาไม่ถึงนาที ฉันมีเพื่อนที่ทำหน้าที่เป็น CIO ของหน่วยงานรัฐบาลกลาง เขาสมัครงานที่ผู้จัดการฝ่ายว่าจ้างกำลังรอดูใบสมัครของเขาผ่านมาเพื่อที่เขาจะได้รับงานมาก มันไม่เคยผ่านมาเพราะตัวกรองบล็อกมัน

นี่เป็นการตั้งค่าปัญหาที่สองของ AI หากฉันสามารถทำงานต่อจากประวัติการทำงานออนไลน์ที่ Amazon กำลังจ้างงานอยู่ฉันก็สามารถใช้เวทมนตร์ประวัติส่วนตัวของฉันได้ อันที่จริงฉันกำลังทำงานกับเรซูเม่ของฉันตอนนี้เพื่อให้มันพอดีกับตัวกรองที่ไม่ใช่มนุษย์ ฉันสามารถบอกได้จากอีเมลจากนายหน้าว่าประวัติการทำงานบางส่วนของฉันถูกซูมเข้าและไม่สนใจส่วนอื่น ๆ ราวกับว่ากระบวนการสรรหาและจ้างงานได้ถูกยึดครองโดยซอฟต์แวร์เช่น Prolog พบข้อ จำกัด เชิงตรรกะ? ใช่ นี่คือผู้สมัครที่ดีที่สุดหรือชุดของผู้สมัคร เหมาะสมที่สุดหรือไม่

ไม่มีคำตอบที่สร้างไว้ล่วงหน้าสำหรับคำถามของคุณปัญหาเฉพาะสำหรับวิศวกร

เพื่อสร้างแบบจำลองชนิดนี้สิ่งสำคัญคือต้องเข้าใจแง่มุมทางสถิติเบื้องต้นของการเลือกปฏิบัติและผลลัพธ์ของกระบวนการ สิ่งนี้ต้องการความเข้าใจในกระบวนการทางสถิติที่ให้คะแนนวัตถุตามลักษณะเฉพาะ โดยเฉพาะอย่างยิ่งมันต้องมีความเข้าใจความสัมพันธ์ระหว่างการใช้คุณลักษณะเพื่อวัตถุประสงค์ในการตัดสินใจ (เช่นการเลือกปฏิบัติ) และการประเมินผลลัพธ์กระบวนการด้วยความเคารพต่อคุณลักษณะดังกล่าว เราเริ่มต้นด้วยการสังเกตสิ่งต่อไปนี้:

• การเลือกปฏิบัติ (ตามความเหมาะสม) เกิดขึ้นเมื่อมีการใช้ตัวแปรในกระบวนการตัดสินใจไม่ใช่เฉพาะเมื่อผลลัพธ์นั้นสัมพันธ์กับตัวแปรนั้น อย่างเป็นทางการเราเลือกปฏิบัติด้วยความเคารพต่อตัวแปรถ้าฟังก์ชั่นการตัดสินใจในกระบวนการ (เช่นการจัดอันดับในกรณีนี้) เป็นฟังก์ชั่นของตัวแปรนั้น

• ความแตกต่างในผลลัพธ์เกี่ยวกับตัวแปรเฉพาะมักเกิดขึ้นแม้ว่าจะไม่มีการแบ่งแยกบนตัวแปรนั้น สิ่งนี้เกิดขึ้นเมื่อคุณสมบัติอื่น ๆในฟังก์ชั่นการตัดสินใจสัมพันธ์กับตัวแปรที่ถูกแยกออก ในกรณีที่มีตัวแปรที่แยกออกเป็นตัวแปรทางประชากร (เช่นเพศเชื้อชาติอายุ ฯลฯ ) ความสัมพันธ์กับลักษณะอื่น ๆ นั้นเป็นที่แพร่หลายดังนั้นความไม่เท่าเทียมกันของผลลัพธ์ในกลุ่มประชากรศาสตร์จึงเป็นที่คาดหวัง

• มีความเป็นไปได้ที่จะพยายามลดความไม่เสมอภาคในผลลัพธ์ของกลุ่มประชากรผ่านการยืนยันการกระทำซึ่งเป็นรูปแบบของการเลือกปฏิบัติ หากมีความแตกต่างในผลลัพธ์ของกระบวนการที่เกี่ยวกับตัวแปรมันเป็นไปได้ที่จะจำกัดความไม่เสมอภาคเหล่านั้นโดยใช้ตัวแปรนั้นเป็นตัวแปรในการตัดสินใจ (เช่นโดยแยกแยะตัวแปรนั้น) ในลักษณะที่สนับสนุนกลุ่มที่มี (กล่าวคือกลุ่มที่มีสัดส่วนของผลลัพธ์เชิงบวกต่ำกว่าในกระบวนการตัดสินใจ)

• คุณไม่สามารถทำได้ทั้งสองวิธี --- ไม่ว่าคุณต้องการหลีกเลี่ยงการเลือกปฏิบัติด้วยความเคารพต่อคุณลักษณะเฉพาะอย่างใดอย่างหนึ่งหรือคุณต้องการทำให้เท่าเทียมกันผลลัพธ์กระบวนการด้วยความเคารพต่อคุณลักษณะนั้น ถ้าเป้าหมายของคุณคือการ "ถูกต้อง" ความแตกต่างในผลลัพธ์ที่เกี่ยวกับลักษณะเฉพาะแล้วทำไม่ได้เด็กตัวเองเกี่ยวกับสิ่งที่คุณกำลังทำ --- คุณมีส่วนร่วมในการเลือกปฏิบัติเพื่อวัตถุประสงค์ในการดำเนินการยืนยัน

เมื่อคุณเข้าใจแง่มุมพื้นฐานของกระบวนการตัดสินใจทางสถิติคุณจะสามารถกำหนดเป้าหมายที่แท้จริงของคุณได้ในกรณีนี้ โดยเฉพาะอย่างยิ่งคุณจะต้องตัดสินใจว่าคุณต้องการกระบวนการที่ไม่เลือกปฏิบัติหรือไม่ซึ่งมีแนวโน้มที่จะส่งผลให้เกิดผลลัพธ์ที่ไม่เท่าเทียมกันในแต่ละกลุ่มหรือว่าคุณต้องการให้กระบวนการที่เลือกปฏิบัติออกแบบมาเพื่อให้ได้ผลลัพธ์ที่เท่าเทียมกัน ประเด็นนี้เลียนแบบการถกเถียงเรื่องการไม่เลือกปฏิบัติและการกระทำ

สมมติว่าฉันต้องการสร้างแบบจำลองทางสถิติเพื่อทำนายผลลัพธ์บางอย่างจากข้อมูลส่วนบุคคลเช่นการจัดอันดับห้าดาวเพื่อช่วยในการสรรหาคนใหม่ สมมติว่าฉันต้องการหลีกเลี่ยงการเลือกปฏิบัติทางเพศด้วยเช่นกันในฐานะข้อ จำกัด ทางจริยธรรม ให้โปรไฟล์ที่มีค่าเท่ากันสองอย่างนอกเหนือจากเพศผลลัพธ์ของโมเดลควรเหมือนกัน

มันง่ายที่จะตรวจสอบให้แน่ใจว่าการให้คะแนนจากแบบจำลองนั้นไม่ได้รับผลกระทบจากตัวแปรที่คุณต้องการยกเว้น (เช่นเพศ) ในการทำสิ่งนี้สิ่งที่คุณต้องทำคือการลบตัวแปรนี้เป็นตัวทำนายในโมเดลเพื่อไม่ให้ใช้ในการตัดสินใจให้คะแนน สิ่งนี้จะช่วยให้มั่นใจได้ว่าโปรไฟล์ทั้งสองที่เท่าเทียมกันอย่างเคร่งครัดนอกเหนือจากตัวแปรนั้นจะได้รับการปฏิบัติเหมือนกัน อย่างไรก็ตามมันไม่จำเป็นที่จะต้องแน่ใจว่าแบบจำลองนั้นไม่ได้เลือกปฏิบัติบนพื้นฐานของตัวแปรอื่นที่มีความสัมพันธ์กับตัวแปรที่ถูกแยกออกและโดยทั่วไปแล้วจะไม่นำไปสู่ผลลัพธ์ที่เท่าเทียมกันระหว่างเพศ เนื่องจากเพศมีความสัมพันธ์กับลักษณะอื่น ๆ มากมายที่อาจใช้เป็นตัวแปรพยากรณ์ในแบบจำลองของคุณดังนั้นโดยทั่วไปเราคาดหวังว่าผลลัพธ์จะไม่เท่ากันแม้ในกรณีที่ไม่มีการเลือกปฏิบัติ

ในเรื่องเกี่ยวกับปัญหานี้จะเป็นประโยชน์ในการแบ่งเขตระหว่างลักษณะที่เป็นลักษณะทางเพศโดยธรรมชาติ (เช่นการยืนขึ้น) กับลักษณะที่สัมพันธ์กับเพศเท่านั้น (เช่นมีระดับวิศวกรรม) หากคุณต้องการหลีกเลี่ยงการเลือกปฏิบัติทางเพศมักจะเกี่ยวข้องกับการลบเพศในฐานะผู้ทำนายและลบลักษณะอื่น ๆ ที่คุณคิดว่าเป็นลักษณะทางเพศโดยธรรมชาติ ตัวอย่างเช่นหากเป็นกรณีที่ผู้สมัครงานระบุว่าพวกเขายืนขึ้นหรือนั่งลงนั่นคือลักษณะที่ไม่เทียบเท่าเพศอย่างเคร่งครัด แต่มีตัวเลือกหนึ่งกำหนดเพศอย่างมีประสิทธิภาพดังนั้นคุณอาจลบลักษณะนั้น เป็นตัวทำนายในโมเดล

1. ฉันควรใช้เพศ (หรือข้อมูลใด ๆ ที่มีความสัมพันธ์กับมัน) เป็นอินพุตและพยายามแก้ไขผลกระทบหรือหลีกเลี่ยงการใช้ข้อมูลเหล่านี้?

แก้ไขสิ่งที่แน่นอน? เมื่อคุณพูดว่า "แก้ไขผลของพวกเขา" ฉันจะสมมติว่าคุณหมายถึงคุณกำลังพิจารณาที่จะ "แก้ไข" ความไม่เสมอภาคในผลลัพธ์ที่เกิดจากตัวทำนายที่สัมพันธ์กับเพศ หากเป็นเช่นนั้นและคุณใช้เพศเพื่อพยายามแก้ไขผลลัพธ์ที่ไม่เท่าเทียมกันคุณจะต้องมีส่วนร่วมในการตอบโต้อย่างมีประสิทธิภาพเช่นคุณกำลังเขียนโปรแกรมโมเดลของคุณเพื่อแยกแยะเพศในเชิงบวก . ไม่ว่าคุณจะต้องการทำสิ่งนี้หรือไม่ขึ้นอยู่กับเป้าหมายทางจริยธรรมของคุณในแบบจำลอง (หลีกเลี่ยงการเลือกปฏิบัติและการได้รับผลลัพธ์ที่เท่าเทียมกัน)

2. ฉันจะตรวจสอบว่าไม่มีการเลือกปฏิบัติต่อเพศได้อย่างไร

หากคุณกำลังพูดถึงการเลือกปฏิบัติที่เกิดขึ้นจริงซึ่งแตกต่างจากความไม่เสมอภาคในผลลัพธ์นี่เป็นเรื่องง่ายที่จะ จำกัด และตรวจสอบ สิ่งที่คุณต้องทำคือกำหนดรูปแบบของคุณในแบบที่ไม่ใช้เพศ (และลักษณะทางเพศโดยธรรมชาติ) เป็นตัวทำนาย คอมพิวเตอร์ไม่สามารถตัดสินใจบนพื้นฐานของคุณลักษณะที่คุณไม่ได้ป้อนลงในโมเดลของพวกเขาดังนั้นหากคุณสามารถควบคุมสิ่งนี้ได้ควรจะค่อนข้างง่ายในการตรวจสอบว่าไม่มีการเลือกปฏิบัติ

สิ่งต่าง ๆ กลายเป็นเรื่องยากขึ้นเล็กน้อยเมื่อคุณใช้โมเดลการเรียนรู้ของเครื่องที่พยายามค้นหาลักษณะที่เกี่ยวข้องด้วยตนเองโดยไม่ต้องป้อนข้อมูลของคุณ แม้ในกรณีนี้มันเป็นไปได้ที่คุณจะตั้งโปรแกรมแบบจำลองของคุณเพื่อที่จะไม่รวมตัวทำนายที่คุณระบุว่าจะถูกลบ (เช่นเพศ)

3. ฉันจะแก้ไขโมเดลของฉันสำหรับข้อมูลที่เลือกปฏิบัติทางสถิติได้อย่างไร แต่ฉันไม่ต้องการเหตุผลด้านจริยธรรม

เมื่อคุณอ้างถึงข้อมูล "เลือกปฏิบัติทางสถิติ" ฉันคิดว่าคุณหมายถึงลักษณะที่สัมพันธ์กับเพศ หากคุณไม่ต้องการคุณลักษณะอื่น ๆ เหล่านี้คุณควรลบออกเป็นตัวทำนายในโมเดล อย่างไรก็ตามคุณควรจำไว้ว่ามีความเป็นไปได้ที่ลักษณะสำคัญหลายอย่างจะมีความสัมพันธ์กับเพศ ลักษณะไบนารีใด ๆ จะมีความสัมพันธ์กับเพศในกรณีใด ๆ เมื่อสัดส่วนของเพศชายกับลักษณะนั้นแตกต่างจากสัดส่วนของเพศหญิงที่มีลักษณะนั้น (แน่นอนถ้าสัดส่วนเหล่านั้นอยู่ใกล้คุณอาจพบว่าพวกเขาต่างกันไม่ใช่ "นัยสำคัญทางสถิติ") สำหรับตัวแปรทั่วไปเพิ่มเติมเงื่อนไขสำหรับความสัมพันธ์ที่ไม่เป็นศูนย์ก็อ่อนแอมากเช่นกัน ดังนั้น,

นี่เป็นคำตอบบางส่วน (หรือไม่มีคำตอบเลย)

สิ่งแรกที่ควรทราบคือฉันเห็นด้วยกับ @ dsaxton อย่างสมบูรณ์: ทุกรุ่น "แยกแยะ" (อย่างน้อยก็ในบางคำจำกัดความของการเลือกปฏิบัติ) เนื่องจากเป็นหน้าที่ของพวกเขา ปัญหาคือแบบจำลองนั้นใช้กับข้อมูลสรุปและค่าเฉลี่ยและพวกมันจะกำหนดสิ่งต่าง ๆ ตามค่าเฉลี่ย บุคคลเดี่ยวมีความเป็นเอกลักษณ์และอาจปิดการทำนายทั้งหมด

ตัวอย่าง: พิจารณาแบบจำลองง่ายๆที่ทำนายการจัดอันดับห้าดาวที่กล่าวถึงโดยอ้างอิงจากตัวแปรอายุเดียว สำหรับทุกคนที่มีอายุเท่ากัน (พูด 30) มันจะสร้างผลลัพธ์ที่เหมือนกัน อย่างไรก็ตามนั่นเป็นลักษณะทั่วไป ไม่ใช่ทุกคนที่มีอายุ 30 ปีจะเหมือนกัน และถ้าโมเดลสร้างอันดับที่แตกต่างกันสำหรับแต่ละวัย - มันเป็นการแบ่งแยกผู้คนสำหรับอายุของพวกเขา สมมติว่ามันให้อันดับ 3 สำหรับเด็กอายุ 50 ปีและอันดับ 4 สำหรับเด็กอายุ 40 ปี ในความเป็นจริงจะมีคนอายุ 50 ปีที่ดีกว่าในสิ่งที่พวกเขาทำกว่า 40 ปี และพวกเขาจะถูกเลือกปฏิบัติ

1. ฉันควรใช้เพศ (หรือข้อมูลใด ๆ ที่มีความสัมพันธ์กับมัน) เป็นอินพุตและพยายามแก้ไขผลกระทบหรือหลีกเลี่ยงการใช้ข้อมูลเหล่านี้?

หากคุณต้องการให้แบบจำลองส่งคืนผลลัพธ์เดียวกันสำหรับชายและหญิงที่เท่ากันคุณไม่ควรใส่เพศในแบบจำลอง ข้อมูลใด ๆ ที่มีความสัมพันธ์กับเพศควรรวมอยู่ด้วย คุณสามารถสร้างข้อผิดพลาดได้อย่างน้อย 2 ประเภท: 1) สมมติว่าชายและหญิงทุกคนมีการกระจายตัวเท่าเทียมกันในทุกชนชั้น 2) ถ้าโควาเรียที่มีความสัมพันธ์ทางเพศบางอย่างเกี่ยวข้องกับการจัดอันดับและสัมพันธ์กับเพศในเวลาเดียวกัน - คุณอาจลดประสิทธิภาพของแบบจำลองของคุณได้อย่างมากโดยไม่รวมพวกเขา

2. ฉันจะตรวจสอบว่าไม่มีการเลือกปฏิบัติต่อเพศได้อย่างไร

รันโมเดลบนข้อมูลเดียวกันทุกครั้ง - โดยใช้ "male" และอีกครั้งโดยใช้ "female" หากสิ่งนี้มาจากเอกสารข้อความอาจมีบางคำที่สามารถทดแทนได้

3. ฉันจะแก้ไขโมเดลของฉันสำหรับข้อมูลที่เลือกปฏิบัติทางสถิติได้อย่างไร แต่ฉันไม่ต้องการเหตุผลด้านจริยธรรม

ขึ้นอยู่กับสิ่งที่คุณต้องการจะทำ วิธีหนึ่งที่โหดร้ายในการบังคับความเท่าเทียมกันระหว่างเพศคือการใช้แบบจำลองกับผู้สมัครชายและผู้สมัครสตรีแยกกัน จากนั้นเลือก 50% จากกลุ่มหนึ่งและ 50% จากกลุ่มอื่น

การคาดคะเนของคุณจะเป็นไปได้ยากเนื่องจากไม่น่าเป็นไปได้ที่ผู้สมัครที่ดีที่สุดจะมีชายครึ่งหนึ่งและผู้หญิงครึ่งหนึ่ง แต่คุณอาจจะถูกต้องตามหลักจริยธรรม? - อีกครั้งนี้ขึ้นอยู่กับจริยธรรม ฉันสามารถเห็นการประกาศทางจริยธรรมที่การฝึกฝนประเภทนี้จะผิดกฎหมายเพราะมันจะแยกแยะตามเพศ แต่ในอีกทางหนึ่ง

เรื่องราวของอเมซอนแสดงให้เห็นว่ามันยากมากที่จะหลีกเลี่ยงอคติ. ฉันสงสัยว่า Amazon จ้างคนโง่สำหรับปัญหานี้หรือว่าพวกเขาขาดทักษะหรือพวกเขาไม่มีข้อมูลเพียงพอหรือว่าพวกเขาไม่มีเครดิต AWS เพียงพอในการฝึกอบรมนางแบบที่ดีกว่า ปัญหาคือว่าอัลกอริทึมการเรียนรู้ของเครื่องที่ซับซ้อนนั้นดีมากในรูปแบบการเรียนรู้ในข้อมูลอคติทางเพศเป็นแบบนั้น มีอคติในข้อมูลขณะที่นายหน้า (อย่างรู้ตัวหรือไม่) ได้รับการสนับสนุนผู้สมัครชาย ฉันไม่ได้พูดที่นี่ว่า Amazon เป็น บริษัท ที่แยกแยะผู้สมัครงานฉันมั่นใจว่าพวกเขามีนโยบายต่อต้านการเลือกปฏิบัตินับพันและยังจ้างนายหน้าที่ดี ปัญหาของอคติและอคติประเภทนี้ก็คือมันมีอยู่ไม่ว่าคุณจะพยายามต่อสู้มากแค่ไหนก็ตาม มีการทดลองทางจิตวิทยามากมายที่แสดงว่าผู้คนอาจประกาศว่าไม่ลำเอียง (เช่นชนชั้น) แต่ยังคงทำสิ่งที่มีอคติโดยไม่ต้องตระหนักถึงมัน แต่การตอบคำถามของคุณเพื่อให้มีอัลกอริทึมที่ไม่ลำเอียงคุณจะต้องเริ่มต้นด้วยข้อมูลที่ปราศจากอคติชนิดนี้ อัลกอริทึมการเรียนรู้ของเครื่องเรียนรู้ที่จะจดจำและทำซ้ำรูปแบบที่เห็นในข้อมูลดังนั้นหากข้อมูลของคุณบันทึกการตัดสินใจแบบเอนเอียงอัลกอริทึมจะเรียนรู้และขยายอคติเหล่านั้น

สิ่งที่สองคือการจัดการข้อมูล หากคุณต้องการห้ามอัลกอริทึมของคุณจากการเรียนรู้เพื่อทำการตัดสินใจแบบลำเอียงคุณควรลบข้อมูลทั้งหมดที่จะช่วยในการแยกแยะระหว่างกลุ่มความสนใจ (เพศที่นี่) สิ่งนี้ไม่ได้หมายถึงการลบเฉพาะข้อมูลเกี่ยวกับเพศ แต่ยังรวมถึงข้อมูลทั้งหมดที่สามารถนำไปสู่การระบุเพศและสิ่งนี้อาจเป็นจำนวนมาก มีคนที่เห็นได้ชัดเช่นชื่อและรูปถ่าย แต่ก็เป็นทางอ้อมเช่นการลาแม่ในประวัติย่อ แต่ยังเป็นการศึกษา (ถ้ามีคนไปโรงเรียนหญิงล้วน?) หรือแม้กระทั่งประวัติงาน (พูดว่านายหน้าใน บริษัท ของคุณไม่ลำเอียง แต่ถ้านายหน้าคนอื่น ๆ ทุกคนก่อนจะลำเอียงดังนั้นประวัติการทำงานสะท้อนให้เห็นถึงการตัดสินใจที่ลำเอียงทั้งหมด) ฯลฯ อย่างที่คุณเห็น

เกี่ยวกับคำถามที่ 2 และ 3 ไม่มีคำตอบที่ง่ายและฉันไม่รู้สึกว่ามีความสามารถพอที่จะลองตอบคำถามเหล่านี้อย่างละเอียด มีวรรณกรรมมากมายทั้งอคติและอคติในสังคมและเกี่ยวกับอัลกอริทึมอคติ มันซับซ้อนอยู่เสมอและน่าเสียดายที่ไม่มีสูตรง่าย ๆ สำหรับสิ่งนี้ บริษัท ต่างๆเช่น Google จ้างผู้เชี่ยวชาญที่มีบทบาทในการระบุและป้องกันอคติประเภทนี้ในอัลกอริทึม

1. ฉันควรใช้เพศ (หรือข้อมูลใด ๆ ที่มีความสัมพันธ์กับมัน) เป็นอินพุตและพยายามแก้ไขผลกระทบหรือหลีกเลี่ยงการใช้ข้อมูลเหล่านี้?

คำถามเหล่านี้มีความหมายหลายอย่างที่ทำให้เดือดลงต่อไปนี้ฉันต้องการเป็นวิศวกรสังคมหรือไม่ นักกิจกรรมที่มีบทบาทคือการเปลี่ยนสถานะเดิมเพราะฉันตัดสินใจว่าสังคมป่วยและต้องได้รับการบำบัด?คำตอบที่ชัดเจนในเรื่องนี้ขึ้นอยู่กับว่าการเปลี่ยนแปลงดังกล่าวจะเป็นประโยชน์หรือเป็นอันตรายหรือไม่ ตัวอย่างเช่นคำตอบของ "เราจะได้อะไรจากความเสมอภาคทางเพศสำหรับเจ้าหน้าที่พยาบาล" อาจเป็นได้ว่ามีพยาบาลชายอย่างน้อยหนึ่งคนที่พร้อมสำหรับใส่สายสวนปัสสาวะในเพศชายจะไม่ต้องการให้มากที่สุดเท่าที่ 50% ของพยาบาลเป็นเพศชาย ดังนั้นวิธีการทางวิศวกรรมสังคมจึงตรวจสอบวัฒนธรรมบริบทและปัญหาต่าง ๆ เกี่ยวกับความลำเอียงทางเพศที่รู้จักและวางผลประโยชน์การทำงานที่จะเกิดขึ้นจากการเปลี่ยนแปลงสาเหตุที่แท้จริงของความลำเอียงนั้น นี่เป็นขั้นตอนสำคัญในกระบวนการตัดสินใจ ตอนนี้คำตอบสำหรับคำถามที่ 1 คือไม่ดังก้องนั่นคือเมื่อมีคนตัดสินใจว่าสังคมต้องการแก้ไขหนึ่งเพิ่งเพิ่มดาวหรือส่วนที่มี (ดูด้านล่าง) ของผู้สมัครหญิง แต่ระวังสิ่งที่คุณต้องการเพราะนี่คือการกระทำที่ยืนยันตัวเองซึ่งเป็นการเลือกปฏิบัติอย่างแท้จริง ผลลัพธ์ AI ใด ๆ จะเปลี่ยนไปตามบรรทัดฐานการจ้างงานใหม่เมื่อสิ่งเหล่านั้นกลายเป็นบรรทัดฐานการทำงานใหม่

2. ฉันจะตรวจสอบว่าไม่มีการเลือกปฏิบัติต่อเพศได้อย่างไร

ง่ายพอหลังจากกำหนดเรตติ้งแล้วเราจะทำการวิเคราะห์โพสต์เฉพาะกิจเพื่อดูว่าการกระจายของเรตติ้งสำหรับชายและหญิงนั้นเป็นอย่างไรและเปรียบเทียบกัน

3. ฉันจะแก้ไขโมเดลของฉันสำหรับข้อมูลที่เลือกปฏิบัติทางสถิติได้อย่างไร แต่ฉันไม่ต้องการเหตุผลด้านจริยธรรม

นี้จะกระทำหลีกเลี่ยงไม่ได้หลังจากที่ความจริงคือการโพสต์เฉพาะกิจ การคาดการณ์นั้นจำเป็นเช่นกัน แต่ประเภทของการคาดการณ์ล่วงหน้าที่ต้องการมากที่สุดคือความพยายามร่วมกันในการตรวจสอบอย่างถ่องแท้ว่าสมมติฐานของนักสังคมศาสตร์คืออะไร นั่นคือสมมติว่า (เพื่อประโยชน์ในการโต้แย้งดูด้านล่าง) เพื่อให้มีเหตุผลทางสังคมที่จะกำจัดอคติทางเพศทั้งหมดเพียงแค่ปรับอันดับหญิงให้เป็นไปตามการกระจายเชิงประจักษ์แบบเดียวกับเพศชาย ในธุรกิจการสอนนี้จะเรียกว่าการให้คะแนนบนเส้นโค้ง. ต่อไปให้เราสมมติว่ามันอาจจะไม่เป็นที่พึงปรารถนาที่จะกำจัดอคติทางเพศอย่างสมบูรณ์ (มันอาจก่อกวนเกินไปที่จะทำเช่นนั้น) จากนั้นเราสามารถกำจัดอคติบางส่วนเช่นค่าเฉลี่ยถ่วงน้ำหนักแบบคู่ของหญิงพื้นเมืองแต่ละคน การจัดอันดับและการจัดอันดับที่ถูกต้องอย่างสมบูรณ์โดยไม่คำนึงถึงสิ่งที่น้ำหนักอย่างใดอย่างหนึ่งปรารถนาที่จะมอบหมายซึ่งคิดว่า (หรือทดสอบว่าเป็น) อย่างน้อยเป็นอันตรายและ / หรือเป็นประโยชน์มากที่สุด

ความไม่เท่าเทียมกันทางเพศไม่สามารถเปลี่ยนแปลงได้อย่างเหมาะสมโดยการจ้างนโยบายเพียงอย่างเดียวเนื่องจากในบางสาขามีความขาดแคลนของผู้สมัครหญิง ยกตัวอย่างเช่นในประเทศโปแลนด์, 14.3% ของนักเรียนไอทีเป็นเพศหญิงในปี 2018 และในออสเตรเลีย 17% เมื่อได้รับการว่าจ้างการรักษาผู้หญิงในอุตสาหกรรมที่ใช้เทคโนโลยีสูงเป็นปัญหา (ผู้หญิงในบทบาททางธุรกิจในอุตสาหกรรมที่ใช้เทคโนโลยีสูงออกจากอุตสาหกรรมอื่นในอัตราที่สูง — 53% ของผู้หญิงเทียบกับ 31% ของผู้ชาย) ดังนั้นความพึงพอใจในงานของผู้หญิงอาจ จะสำคัญกว่าการจ้างนโยบายเพียงอย่างเดียว ก่อนอื่นต้องระบุผลประโยชน์ที่จับต้องได้สำหรับการมีเปอร์เซ็นต์ของผู้หญิงในที่ทำงานและมีคำแนะนำบางอย่างเกี่ยวกับเรื่องนี้เช่นในปี 2559ผู้หญิงในคณะกรรมการ บริษัท (16%) มีแนวโน้มสูงกว่าคนงานชายเกือบสองเท่า (9%) ที่มีประสบการณ์ด้านเทคโนโลยีระดับมืออาชีพในหมู่ บริษัท 518 บริษัท ฟอร์บส์โกลบอล 2000 ดังนั้นความถนัดทางเทคโนโลยีจึงดูเหมือนจะช่วยผู้หญิงมากกว่ามูลค่าสุทธิของผู้ชาย จากการอภิปรายนี้ควรเห็นได้ชัดว่าก่อนที่จะทำการตั้งสมมติฐานเฉพาะเรื่องเพศความพยายามที่สำคัญควรถูกนำไปสู่การระบุผลประโยชน์ที่เป็นรูปธรรมมากขึ้นทั่วโลกของนโยบายเฉพาะซึ่งนโยบายการจ้างงานมีขนาดเล็ก แต่สำคัญส่วนและอาจไม่สำคัญที่สุด จุดเริ่ม. หลังนั้นมีความเป็นไปได้ที่การว่าจ้างเพราะการหมุนเวียนนั้นไม่ดีต่อศีลธรรมและอาจเป็นสาเหตุของการมีอคติทางเพศในการว่าจ้าง

ประสบการณ์การจัดการของฉันสอนฉันว่าแม้การเปลี่ยนแปลงเล็กน้อยในผลงาน (เช่น 10-20%) ค่อนข้างมีประสิทธิภาพในที่สุดในการกำจัดรายการรอนั่นคือไม่จำเป็นต้องเพิ่มผลผลิตทันที 100% โดยเพิ่มจำนวนพนักงานเป็นสองเท่าเนื่องจากผลของ ที่จะทำให้รายการรอสั้นลงเร็วกว่าการเปลี่ยนแปลงเล็กน้อยเพียงเล็กน้อยเท่านั้น แต่จะหยุดชะงักเนื่องจากพนักงานจะยืนอยู่รอบ ๆ หวังว่างานจะเดินเข้าประตู นั่นคือถ้าใครตัดสินใจที่จะทำวิศวกรรมทางสังคมมันอาจเป็นอันตรายได้หากพยายามแก้ไขแบบเต็ม มันไม่ทำงานอย่างนั้น ลองใช้วิธีการแก้ไขอย่างฉับพลันในเรือใบและอาจจบลงด้วยการเรียนว่ายน้ำ เทียบเท่าสำหรับการรักษาอคติทางเพศ (ถ้าใบสั่งยาพอดี) จะจ้างผู้หญิงเท่านั้น ที่จะแก้ปัญหา (และสร้างคนอื่น) ดังนั้น,

โดยสรุปวิศวกรรมสังคมที่มีผลบังคับใช้ต้องใช้วิธีการแบบองค์รวมในสถานการณ์ที่ซับซ้อนและเพียงระบุว่าอาจมีปัญหาไม่ได้บอกเราว่ามีอย่างใดอย่างหนึ่งไม่ได้บอกเราว่าอะไรเป็นสาเหตุไม่ได้บอกเราว่าจะแก้ไขอย่างไร ทั้งหมดมันบอกเราว่าเราต้องใส่หมวกความคิดของเรา