Paradox ของ Simpson ครอบคลุมการกลับรายการทั้งหมดจากตัวแปรที่ซ่อนอยู่หรือไม่?

ต่อไปนี้เป็นคำถามเกี่ยวกับการสร้างภาพข้อมูลจำนวนมากที่เสนอเป็น 'พิสูจน์ด้วยภาพ' ของการดำรงอยู่ของบุคคลที่ผิดธรรมดาของ Simpson และอาจเป็นคำถามเกี่ยวกับคำศัพท์

ซิมป์สัน Paradox เป็นปรากฏการณ์ที่ค่อนข้างง่ายที่จะอธิบายและยกตัวอย่างตัวเลขของ (เหตุผลที่ว่าทำไมนี้สามารถเกิดขึ้นได้เป็นลึกและน่าสนใจ) ความขัดแย้งก็คือมีตารางฉุกเฉิน 2x2x2 อยู่ (Agresti, การวิเคราะห์ข้อมูลอย่างมีหมวดหมู่) ซึ่งสมาคมร่อแร่มีทิศทางที่แตกต่างจากความสัมพันธ์ตามเงื่อนไข

นั่นคือการเปรียบเทียบอัตราส่วนในสองประชากรย่อยสามารถไปในทิศทางเดียว แต่การเปรียบเทียบในประชากรที่รวมกันไปในทิศทางอื่น ในสัญลักษณ์:

มีเช่นนั้น a + $a,b,c,d,e,f,g,h$

แต่ และ

สิ่งนี้แสดงอย่างถูกต้องในการสร้างภาพข้อมูลต่อไปนี้ (จากWikipedia ):

เศษส่วนเป็นเพียงความชันของเวกเตอร์ที่สอดคล้องกันและมันง่ายที่จะเห็นในตัวอย่างที่เวกเตอร์ B ที่สั้นกว่านั้นมีความชันที่ใหญ่กว่าเวกเตอร์ L ที่สอดคล้องกัน แต่เวกเตอร์ B ที่รวมกันนั้นมีความชันน้อยกว่าเวกเตอร์ L ที่รวมกัน

มีการสร้างภาพข้อมูลที่พบบ่อยมากในหลายรูปแบบโดยเฉพาะที่ด้านหน้าของการอ้างอิงวิกิพีเดียใน Simpson's:

นี่เป็นตัวอย่างที่ดีของการทำให้สับสนว่าตัวแปรที่ซ่อนอยู่ (ซึ่งแยกประชากรย่อยสองคน) สามารถแสดงรูปแบบที่แตกต่างกันได้อย่างไร

อย่างไรก็ตามทางคณิตศาสตร์เช่นภาพในทางที่ไม่มีสอดคล้องกับการแสดงผลของตารางฉุกเฉินที่อยู่ในพื้นฐานของปรากฏการณ์ที่รู้จักกันเป็นความขัดแย้งของซิมป์สัน ก่อนอื่นเส้นถดถอยจะอยู่เหนือข้อมูลชุดค่าที่มีมูลค่าจริงไม่นับข้อมูลจากตารางฉุกเฉิน

นอกจากนี้เราสามารถสร้างชุดข้อมูลที่มีความสัมพันธ์โดยพลการของความชันในเส้นถดถอย แต่ในตารางฉุกเฉินอาจมีข้อ จำกัด ในความแตกต่างของความลาดชัน นั่นคือเส้นการถดถอยของประชากรสามารถตั้งฉากกับการถดถอยทั้งหมดของประชากรย่อยที่ได้รับ แต่ใน Paradox ของซิมป์สันอัตราส่วนของประชากรย่อยแม้ว่าจะไม่ใช่ทางลาดชัน แต่ก็ไม่สามารถหลงทางไกลเกินไปจากประชากรที่รวมกันแม้ว่าจะไปในทิศทางอื่น (อีกครั้งให้ดูภาพเปรียบเทียบอัตราส่วนจากวิกิพีเดีย)

สำหรับฉันแล้วมันก็มากพอที่จะถูกผงะทุกครั้งที่ฉันเห็นภาพหลังเป็นภาพของความขัดแย้งของ Simpson แต่เนื่องจากฉันเห็นตัวอย่าง (สิ่งที่ฉันเรียกผิด) ทุกที่ฉันอยากรู้:

• ฉันขาดการแปลงอย่างละเอียดจากตัวอย่าง Simpson / Yule ดั้งเดิมของตารางฉุกเฉินเป็นค่าจริงที่แสดงให้เห็นถึงการแสดงภาพเส้นถดถอย
• แน่นอนซิมป์สันเป็นตัวอย่างหนึ่งของข้อผิดพลาดที่รบกวน ได้คำว่า 'ซิมป์สัน Paradox' ตอนนี้กลายเป็นบรรจุด้วยรบกวนข้อผิดพลาดเพื่อที่ใดคณิตศาสตร์ใด ๆการเปลี่ยนแปลงในทิศทางที่ผ่านตัวแปรที่ซ่อนอยู่สามารถเรียกว่าซิมป์สัน Paradox?

ภาคผนวก: นี่คือตัวอย่างของการวางนัยทั่วไปไปยังตาราง 2xmxn (หรือ 2 คูณด้วยการต่อเนื่องตามตาราง):

หากรวมกับประเภท shot ดูเหมือนว่าผู้เล่นจะยิงได้มากขึ้นเมื่อกองหลังใกล้เข้ามา จัดกลุ่มตามประเภทของการยิง (ระยะห่างจากตะกร้าจริงๆ) ยิ่งมีสถานการณ์ที่คาดหวังมากเท่าไหร่ก็ยิ่งมีการยิงมากขึ้นเท่านั้น

ภาพนี้เป็นสิ่งที่ฉันคิดว่าเป็นลักษณะทั่วไปของ Simpson ต่อสถานการณ์ที่ต่อเนื่องมากขึ้น (ระยะทางของผู้พิทักษ์) แต่ฉันก็ยังไม่เห็นว่าตัวอย่างบรรทัดการถดถอยเป็นตัวอย่างของ Simpson อย่างไร

ความขัดแย้งก็คือว่ามีตารางฉุกเฉิน 2x2x2 (Agresti, Categorical Data Analysis) ที่สมาคมร่อแร่มีทิศทางที่แตกต่างจากแต่ละเงื่อนไขสมาคม [... ] ฉันไม่มีการเปลี่ยนแปลงที่ลึกซึ้งจากเดิมซิมป์สัน / เทศกาลคริสต์มาสตัวอย่างของตารางฉุกเฉิน ค่าจริงที่แสดงให้เห็นถึงการสร้างภาพการถดถอยเส้น?

ปัญหาหลักคือคุณกำลังใช้วิธีการง่ายๆในการแสดงความขัดแย้งในฐานะที่เป็นความขัดแย้ง ตัวอย่างง่ายๆของตารางฉุกเฉินไม่ได้ขัดแย้งกัน ซิมป์สันขัดแย้งเป็นเรื่องเกี่ยวกับความขัดแย้งสัญชาติญาณสาเหตุเมื่อเปรียบเทียบกับสมาคมขอบและเงื่อนไขส่วนใหญ่มักจะเกิดจากการพลิกผันเข้าสู่ระบบ (หรือ attenuations มากเช่นเอกราชในตัวอย่างเดิมที่กำหนดโดยซิมป์สันตัวเองซึ่งมีอยู่ไม่โอนกลับเข้าสู่ระบบ) ความขัดแย้งเกิดขึ้นเมื่อคุณตีความการประมาณค่าทั้งสองแบบซึ่งอาจนำไปสู่ข้อสรุปที่แตกต่างกัน - การรักษาช่วยหรือทำร้ายผู้ป่วยหรือไม่? แล้วคุณควรใช้ประมาณแบบไหน?

ไม่ว่ารูปแบบที่ขัดแย้งจะปรากฏขึ้นบนโต๊ะฉุกเฉินหรือในการถดถอยมันไม่สำคัญ ตัวแปรทั้งหมดสามารถเป็นแบบต่อเนื่องและความขัดแย้งอาจเกิดขึ้นได้ตัวอย่างเช่นคุณอาจมีกรณีที่ยังค$\frac{\partial E(Y|X)}{\partial X} > 0$$\frac{\partial E(Y|X, C = c)}{\partial X} < 0, \forall c$

แน่นอนซิมป์สันเป็นตัวอย่างหนึ่งของข้อผิดพลาดที่รบกวน

มันไม่ถูกต้อง! ความขัดแย้งของซิมป์สันไม่ได้เป็นเพียงตัวอย่างหนึ่งของข้อผิดพลาดที่น่าสับสน - หากเป็นเช่นนั้นก็จะไม่มีข้อขัดแย้งใด ๆ เลย ท้ายที่สุดถ้าคุณแน่ใจว่าความสัมพันธ์บางอย่างสับสนคุณจะไม่แปลกใจที่เห็นการกลับรายการหรือการลดทอนในตารางฉุกเฉินหรือสัมประสิทธิ์การถดถอย --- บางทีคุณอาจคาดหวังว่า

ดังนั้นในขณะที่ความขัดแย้งของซิมป์สันอ้างถึงการพลิกกลับ (หรือการลดทอนสุดขีด) ของ "เอฟเฟ็กต์" เมื่อเปรียบเทียบความสัมพันธ์ที่มีเงื่อนไขและไม่มีเงื่อนไขซึ่งอาจไม่ได้เกิดจากการรบกวนและเป็นนิรนัย "คำปรึกษาเพื่อตอบคำถามสาเหตุของคุณ ในการทำเช่นนั้นคุณจำเป็นต้องรู้เพิ่มเติมเกี่ยวกับโครงสร้างสาเหตุของปัญหา

ลองพิจารณาตัวอย่างเหล่านี้ที่ให้ไว้ในไข่มุก :

ลองจินตนาการว่าคุณมีความสนใจในผลสาเหตุทั้งหมดของในYการพลิกกลับของความสัมพันธ์อาจเกิดขึ้นในกราฟเหล่านี้ทั้งหมด ใน (ก) และ (ง) เราได้รบกวนและคุณจะปรับZใน (ข) ไม่มีการรบกวน,เป็นคนกลางและคุณไม่ควรปรับZใน (c)เป็น collider และไม่มีการรบกวนดังนั้นคุณไม่ควรปรับสำหรับเช่นกัน นั่นคือในสองตัวอย่างเหล่านี้ (b และ c) คุณสามารถสังเกตความขัดแย้งของ Simpson ได้ แต่ก็ไม่มีอะไรที่น่าสับสนและคำตอบที่ถูกต้องสำหรับคำถามเชิงสาเหตุของคุณจะได้รับการประเมินโดยไม่ต้องปรับปรุง$X$$Y$$Z$$Z$$Z$$Z$$Z$

คำอธิบายของ Pearl ว่าทำไมสิ่งนี้จึงถือว่าเป็น "ความขัดแย้ง" และทำไมมันยังคงไขปริศนาผู้คนมีเหตุผลมาก ยกตัวอย่างกรณีง่าย ๆ ที่อธิบายใน (a): เอฟเฟกต์เชิงสาเหตุไม่สามารถย้อนกลับได้เช่นนั้น ดังนั้นหากเราเข้าใจผิดว่าการประมาณการทั้งสองเป็นสาเหตุ (ขอบและเงื่อนไข) เราจะต้องประหลาดใจเมื่อเห็นเหตุการณ์เช่นนี้เกิดขึ้น --- และมนุษย์ดูเหมือนจะเป็นสายเพื่อดูสาเหตุในสมาคมส่วนใหญ่

ดังนั้นกลับไปที่คำถามหลัก (ชื่อเรื่อง) ของคุณ:

Paradox ของ Simpson ครอบคลุมการกลับรายการทั้งหมดจากตัวแปรที่ซ่อนอยู่หรือไม่?

เรียกได้ว่าเป็นคำนิยามในปัจจุบันของบุคคลที่ผิดธรรมดาของ Simpson แต่เห็นได้ชัดว่าตัวแปรการปรับอากาศไม่ได้ถูกซ่อนไว้มันจะต้องมีการสังเกตมิฉะนั้นคุณจะไม่เห็นความขัดแย้งที่เกิดขึ้น ส่วนที่น่าสงสัยที่สุดของความขัดแย้งเกิดขึ้นจากการพิจารณาเชิงสาเหตุและตัวแปร "ซ่อน" นี้ไม่จำเป็นต้องเป็นผู้สับสน

ตารางที่เกี่ยวข้องและการถดถอย

ตามที่กล่าวไว้ในความคิดเห็นตัวตนเกี่ยวกับพีชคณิตของการดำเนินการถดถอยด้วยข้อมูลไบนารีและการคำนวณความแตกต่างของสัดส่วนจากตารางฉุกเฉินอาจช่วยให้เข้าใจว่าทำไมความขัดแย้งปรากฏขึ้นในการถดถอยมีลักษณะคล้ายกัน ลองนึกภาพผลลัพธ์ของคุณคือ , การรักษาของคุณและกลุ่มของคุณ , ตัวแปรไบนารีทั้งหมด$y$$x$$z$

แล้วความแตกต่างโดยรวมในสัดส่วนที่เป็นเพียงค่าสัมประสิทธิ์การถดถอยของบนxใช้สัญลักษณ์ของคุณ:$y$$x$

และสิ่งเดียวกันมีไว้สำหรับแต่ละกลุ่มย่อยของหากคุณเรียกใช้การถดถอยแยกหนึ่งรายการสำหรับ :$z$$z=1$

และอีกอันสำหรับ :$z =0$

ดังนั้นในแง่ของการถดถอยความขัดแย้งที่สอดคล้องกับการประเมินสัมประสิทธิ์แรกในทิศทางเดียวและสองสัมประสิทธิ์ของกลุ่มย่อย ในทิศทางที่แตกต่างจากค่าสัมประสิทธิ์สำหรับประชากรทั้งหมดขวา)(cov(y,x|z$\left(\frac{cov(y,x)}{var(x)}\right)$(cov(y,x$\left(\frac{cov(y,x|z)}{var(x|z)}\right)$$\left(\frac{cov(y,x)}{var(x)}\right)$

ฉันขาดการแปลงอย่างละเอียดจากตัวอย่าง Simpson / Yule ดั้งเดิมของตารางฉุกเฉินเป็นค่าจริงที่แสดงให้เห็นถึงการแสดงภาพเส้นถดถอย

ใช่. การเป็นตัวแทนที่คล้ายกันของการวิเคราะห์หมวดหมู่เป็นไปได้โดยการแสดงภาพบันทึกอัตราการตอบสนองบนแกน Y เส้นขนานของซิมป์สันปรากฏขึ้นในลักษณะเดียวกันกับเส้น "หยาบ" วิ่งแข่งกับเทรนด์เฉพาะสตราตัมที่มีน้ำหนักในระยะไกลตามอัตราอ้างอิงของสแตรทอ้างอิง

นี่คือตัวอย่างของข้อมูลการรับเข้าเรียนของเบิร์กลีย์

เพศนี่คือรหัสชาย / หญิงบนแกน X คืออัตราต่อรองการรับสมัครอย่างหยาบสำหรับเพศชายและเพศหญิงเส้นสีดำที่มีเส้นประหนักแสดงให้เห็นถึงความพึงพอใจทางเพศ: ความลาดเอียงเชิงบวกแสดงให้เห็นถึงอคติ สีเหล่านี้แสดงถึงการเข้าศึกษาในแผนกที่เฉพาะเจาะจง ในทุกกรณียกเว้นทั้งสองกรณีความลาดชันของบรรทัดการกำหนดเพศสถานะเฉพาะเป็นลบ หากผลลัพธ์เหล่านี้มีค่าเฉลี่ยร่วมกันในรูปแบบโลจิสติกไม่ใช่การโต้ตอบสำหรับผลกระทบโดยรวมคือการรับสมัครหญิงกลับรายการที่นิยม พวกเขาใช้กับแผนกที่ยากขึ้นบ่อยกว่าผู้ชาย

แน่นอนซิมป์สันเป็นตัวอย่างหนึ่งของข้อผิดพลาดที่รบกวน คำว่า 'Simpson's Paradox' ตอนนี้มีข้อผิดพลาดที่ทำให้สับสนหรือไม่ดังนั้นอะไรก็ตามที่คณิตศาสตร์การเปลี่ยนแปลงทิศทางใด ๆ ผ่านตัวแปรที่ซ่อนอยู่สามารถเรียกได้ว่า Simpson's Paradox?

สั้น ๆ ไม่มี ความขัดแย้งของซิมป์สันเป็นเพียง "อะไร" ในขณะที่ความสับสนคือ "ทำไม" การอภิปรายที่โดดเด่นได้มุ่งเน้นไปที่พวกเขาเห็นด้วย การทำให้สับสนอาจมีผลกระทบเพียงเล็กน้อยหรือน้อยมากต่อการประมาณและผลัดกันของซิมป์สันในขณะที่ละครอาจเกิดจากคนที่ไม่ใช่คนสับสน ในฐานะที่เป็นบันทึกย่อคำว่า "ซ่อน" หรือตัวแปร "ที่ซุ่มซ่อน" ไม่ชัดเจน จากมุมมองของนักระบาดวิทยาการควบคุมอย่างระมัดระวังและการออกแบบของการศึกษาควรเปิดใช้งานการวัดหรือการควบคุมของผู้มีส่วนร่วมที่เป็นไปได้เพื่ออคติที่สับสน พวกเขาไม่จำเป็นต้อง "ซ่อน" เพื่อเป็นปัญหา

มีหลายครั้งที่การประเมินจุดอาจแตกต่างกันอย่างมากจนถึงจุดกลับรายการซึ่งไม่ได้เกิดจากการรบกวน Colliders และผู้ไกล่เกลี่ยก็เปลี่ยนเอฟเฟกต์ การใช้เหตุผลเชิงสาเหตุเตือนว่าสำหรับการศึกษาผลกระทบนั้นควรมีการศึกษาถึงผลกระทบหลัก ๆ อย่างโดดเดี่ยวแทนที่จะปรับให้เหมาะสมเนื่องจากการประเมินแบบแบ่งชั้นไม่ถูกต้อง (คล้ายกับการอนุมานไม่ถูกต้องการพบแพทย์ทำให้คุณป่วยหรือปืนฆ่าคนดังนั้นคนไม่ฆ่าคน)