กรณีการเลือกปฏิบัติในเอเชียของ Palantir: ความน่าจะเป็นคำนวณได้อย่างไร

ฉันอ่านบทความนี้เกี่ยวกับกรณีของ Palantir ที่ฝ่ายแรงงานกล่าวหาว่าพวกเขาเลือกปฏิบัติต่อชาวเอเชีย ไม่มีใครรู้ว่าพวกเขาได้รับการประเมินความน่าจะเป็นเหล่านี้จากที่ไหน

ฉันไม่ได้รับ 1/741 ในรายการ (ก)

(a) สำหรับตำแหน่ง QA Engineer จากกลุ่มผู้สมัครที่มีคุณสมบัติมากกว่า 730 คนซึ่งประมาณ 77% เป็นชาวเอเชีย - Palantir จ้างผู้สมัครที่ไม่ใช่ชาวเอเชียหกคนและผู้สมัครเอเชียเพียงคนเดียว ผลกระทบที่คำนวณโดย OFCCP มีค่าเกินกว่าสามส่วนเบี่ยงเบนมาตรฐาน โอกาสที่ผลลัพธ์นี้จะเกิดขึ้นตามโอกาสนั้นอยู่ที่ประมาณหนึ่งใน 741

(b) สำหรับตำแหน่งวิศวกรซอฟต์แวร์จากกลุ่มผู้สมัครที่มีคุณสมบัติมากกว่า 1,160 คนหรือประมาณ 85% เป็นชาวเอเชีย - Palantir จ้างผู้สมัครที่ไม่ใช่ชาวเอเชีย 14 คนและผู้สมัครชาวเอเชียเพียง 11 คน ผลกระทบที่คำนวณโดย OFCCP เกินกว่า 5 ส่วนเบี่ยงเบนมาตรฐาน โอกาสที่ผลลัพธ์นี้เกิดขึ้นตามโอกาสนั้นอยู่ที่ประมาณหนึ่งใน 3.4 ล้าน

(c) สำหรับตำแหน่ง QA Engineer Intern จากผู้สมัครที่มีคุณสมบัติมากกว่า 130 คน - ประมาณ 73% เป็นชาวเอเชีย - Palantir จ้างผู้สมัครที่ไม่ใช่ชาวเอเชีย 17 คนและผู้สมัครในเอเชียเพียงสี่คน ผลกระทบเชิงลบที่คำนวณโดย OFCCP เกินกว่า 6 ส่วนเบี่ยงเบนมาตรฐาน โอกาสที่ผลลัพธ์นี้เกิดขึ้นตามโอกาสนั้นอยู่ที่ประมาณหนึ่งในพันล้าน

ฉันจะทำวิศวกรรมย้อนกลับจากประสบการณ์กับกรณีการเลือกปฏิบัติ ฉันสามารถกำหนดได้ว่าค่าของ "หนึ่งใน 741" ฯลฯมาจากไหน อย่างไรก็ตามข้อมูลจำนวนมากหายไปในการแปลว่าการสร้างที่เหลือของฉันขึ้นอยู่กับการได้เห็นว่าผู้คนทำสถิติในการตั้งค่าห้องพิจารณาคดี ฉันสามารถเดาได้จากรายละเอียดบางอย่างเท่านั้น

---

ตั้งแต่เวลากฎหมายต่อต้านการเลือกปฏิบัติที่ถูกส่งผ่านไปในปี 1960 (ชื่อ VI), สนามในประเทศสหรัฐอเมริกาได้เรียนรู้ที่จะดูที่ค่า P-และเปรียบเทียบกับเกณฑ์ของและ0.01 พวกเขายังเรียนรู้ที่จะดูเอฟเฟ็คที่เป็นมาตรฐานซึ่งโดยทั่วไปจะเรียกว่า "การเบี่ยงเบนมาตรฐาน" และเปรียบเทียบกับเกณฑ์ "การเบี่ยงเบนมาตรฐานสองถึงสาม" เพื่อสร้างกรณีเบื้องต้นสำหรับชุดการเลือกปฏิบัติโจทก์มักจะพยายามคำนวณทางสถิติแสดง "ผลกระทบที่แตกต่างกัน" ที่เกินเกณฑ์เหล่านี้ หากไม่สามารถรองรับการคำนวณดังกล่าวได้มักจะไม่สามารถดำเนินการล่วงหน้าได้$0.05$$0.01$

ผู้เชี่ยวชาญทางสถิติสำหรับโจทก์มักจะพยายามที่จะวลีผลลัพธ์ของพวกเขาในแง่ที่คุ้นเคยเหล่านี้ ผู้เชี่ยวชาญบางคนทำการทดสอบทางสถิติซึ่งสมมติฐานว่างเป็นการแสดงออกว่า "ไม่มีผลกระทบเชิงลบ" โดยสมมติว่าการตัดสินใจจ้างงานนั้นเป็นการสุ่มและไม่ได้รับการปกครองจากลักษณะอื่นใดของพนักงาน (ไม่ว่าจะเป็นทางเลือกเดียวหรือสองทางขึ้นอยู่กับผู้เชี่ยวชาญและสถานการณ์) พวกเขาแปลงค่า p-value ของการทดสอบนี้เป็นจำนวน "ส่วนเบี่ยงเบนมาตรฐาน" โดยอ้างอิงจากการแจกแจงแบบปกติมาตรฐาน - - แม้ว่ามาตรฐานปกติจะไม่เกี่ยวข้องกับการทดสอบดั้งเดิม ในวงเวียนนี้พวกเขาหวังว่าจะได้ข้อสรุปที่ชัดเจนถึงผู้ตัดสิน

การทดสอบที่ชื่นชอบสำหรับข้อมูลที่สามารถสรุปในตารางฉุกเฉินคือการทดสอบที่แน่นอนของฟิชเชอร์ การเกิดขึ้นของ "ที่แน่นอน" ในชื่อของมันเป็นที่พอใจโดยเฉพาะอย่างยิ่งแก่โจทก์เพราะมันหมายถึงการตัดสินใจทางสถิติที่ได้รับการทำโดยไม่มีข้อผิดพลาด (สิ่งที่อาจจะเป็น!)

นี่คือการคำนวณของฉันสำหรับการคำนวณของกระทรวงแรงงาน

1. พวกเขาใช้การทดสอบที่แม่นยำของฟิชเชอร์หรืออะไรทำนองนั้น (เช่นการทดสอบโดยมีค่า p ที่กำหนดโดยการสุ่ม) การทดสอบนี้ถือว่าการแจกแจงแบบไฮเพอร์เมตริกซ์ตามที่อธิบายไว้ในคำตอบของ Matthew Gunn (สำหรับคนจำนวนน้อยที่มีส่วนร่วมในการร้องเรียนนี้การกระจาย hypergeometric นั้นไม่ได้รับการประมาณโดยการแจกแจงแบบปกติ)$\chi^2$

2. พวกเขาแปลงค่า p-value เป็นคะแนน Z ปกติ ("จำนวนส่วนเบี่ยงเบนมาตรฐาน")

3. พวกเขาปัดเศษคะแนน Z เป็นจำนวนเต็มที่ใกล้ที่สุด: "เกินสามส่วนเบี่ยงเบนมาตรฐาน" "เกินห้าส่วนเบี่ยงเบนมาตรฐาน" และ "เกินกว่าเบี่ยงเบนมาตรฐานหกส่วน" (เพราะบางส่วนของเหล่า Z-คะแนนอ้อมขึ้นเพื่อเบี่ยงเบนมาตรฐานมากขึ้นผมไม่สามารถแสดงให้เห็นถึง "เกิน"; ทั้งหมดที่ฉันสามารถทำได้คือการพูดมัน.)

4. ในการร้องเรียนคะแนนอินทิกรัล Z ถูกแปลงกลับไปเป็นค่า p! ใช้การแจกแจงแบบปกติมาตรฐานอีกครั้ง

5. p-values ​​เหล่านี้ถูกอธิบาย (เนื้อหาในลักษณะที่ทำให้เข้าใจผิด) ว่า "ความน่าจะเป็นที่ผลลัพธ์นี้เกิดขึ้นตามโอกาส"

$1/1280$$1/565000$$1/58000000$$730$$1160$$130$$730$$1160$$130$$-3.16$$-4.64$$-5.52$$1/741$$1/3500000$$1/1000000000$

---

นี่คือRรหัสบางส่วนที่ใช้ในการคำนวณเหล่านี้

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))

วิธีคำนวณช่วงเวลาที่เหมาะสมโดยใช้การแจกแจงแบบ hypergeometric:

$k$$n$$K$$N$

สำหรับการทดสอบด้านเดียวใน MATLAB คุณสามารถโทรpval = hygecdf(k, N, K, n);หรือในกรณีนี้pval = hygecdf(1, 730, 562, 7)คือประมาณ. 0007839

ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานได้รับจาก:

$$\mu = n \frac{K}{N} \quad \quad \quad s = \sqrt{n \frac{K}{N} \frac{N - K}{N} \frac{N - n}{N-1}}$$

$\chi^2$

กำลังมองหาสูตรที่อาจใช้ OFCCP ไซต์นี้ที่ฉันเห็นอาจเป็นประโยชน์: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm

บทสรุปของการคำนวณบางอย่าง:

$$\begin{array}{rrrr} \text{Number and method} & \text{Part A} & \text{Part B} & \text{Part C} \\ \text{PVal from hypergeometric CDF} & \text{7.839e-04} & \text{1.77e-06} & \text{1.72e-08}\\ \chi^2 \text{ stat} & 15.68 & 33.68 & 37.16\\ \chi^2 \text{ pval} & \text{7.49e-05} & \text{6.47e-09} & \text{1.09e-09} \\ \text{Pval from above document} & .00135 & \text{2.94e-07} & \text{1.00e-09} \end{array}$$

$\chi^2$$\sum \frac{(\text{expected} - \text{actual})^2}{\text{expected}}$