เรารู้มากแค่ไหนเกี่ยวกับการแฮ็ก p-in“ ในป่า”?

วลีp -hacking (เช่น: "data dredging" , "snooping" หรือ "Fishing") หมายถึงการทุจริตต่อหน้าที่ทางสถิติหลายรูปแบบซึ่งผลลัพธ์กลายเป็นนัยสำคัญทางสถิติเชิงประจักษ์ มีหลายวิธีในการจัดหาผลลัพธ์ "ที่สำคัญกว่า" ซึ่งรวมถึง แต่ไม่ จำกัด เพียง:

• วิเคราะห์เฉพาะชุดย่อย "น่าสนใจ" ของข้อมูลซึ่งพบรูปแบบ
• ล้มเหลวในการปรับอย่างเหมาะสมสำหรับการทดสอบหลายรายการโดยเฉพาะการทดสอบหลังการทดสอบและความล้มเหลวในการรายงานการทดสอบที่ไม่ได้มีนัยสำคัญ
• ลองการทดสอบที่แตกต่างกันของสมมติฐานเดียวกันเช่นทั้งการทดสอบแบบพารามิเตอร์และแบบไม่อิงพารามิเตอร์ ( มีการพูดคุยกันในหัวข้อนี้ ) แต่มีการรายงานที่สำคัญที่สุดเท่านั้น
• ทำการทดลองกับการรวม / แยกจุดข้อมูลจนกว่าจะได้ผลลัพธ์ที่ต้องการ โอกาสครั้งหนึ่งเกิดขึ้นเมื่อ "การทำความสะอาดข้อมูลผิดปกติ" แต่เมื่อใช้คำจำกัดความที่คลุมเครือ (เช่นในการศึกษาทางเศรษฐมิติของ "ประเทศที่พัฒนาแล้ว" คำจำกัดความที่แตกต่างกันทำให้เกิดกลุ่มประเทศที่แตกต่างกัน) หรือเกณฑ์การคัดเลือกเชิงคุณภาพ อาจเป็นข้อโต้แย้งที่สมดุลอย่างละเอียดว่าวิธีการศึกษาเฉพาะนั้นมีความแข็งแกร่งเพียงพอที่จะรวม);
• ตัวอย่างก่อนหน้านี้เกี่ยวข้องกับการหยุดที่ไม่จำเป็นเช่นการวิเคราะห์ชุดข้อมูลและตัดสินใจว่าจะรวบรวมข้อมูลมากขึ้นหรือไม่ขึ้นอยู่กับข้อมูลที่เก็บจนถึงปัจจุบัน ("นี่เป็นสิ่งสำคัญเกือบจะเป็นไปได้ลองวัดนักเรียนอีกสามคน!") ในการวิเคราะห์
• การทดลองระหว่างการปรับตัวแบบจำลองโดยเฉพาะอย่างยิ่ง covariates ที่จะรวม แต่ยังเกี่ยวกับการแปลงข้อมูล / รูปแบบการทำงาน

ดังนั้นเราจึงรู้ว่าการแฮ็คpสามารถทำได้ มันมักจะถูกระบุว่าเป็นหนึ่งใน"อันตรายของp-value "และถูกกล่าวถึงในรายงาน ASA เกี่ยวกับนัยสำคัญทางสถิติที่กล่าวถึงที่นี่ในการตรวจสอบข้ามดังนั้นเราจึงรู้ว่ามันเป็นสิ่งที่ไม่ดี แม้ว่าแรงจูงใจบางอย่างที่น่าสงสัยและ (โดยเฉพาะอย่างยิ่งในการแข่งขันเพื่อการตีพิมพ์ทางวิชาการ) มีแรงจูงใจในการต่อต้านที่เห็นได้ชัด แต่ฉันคิดว่ามันยากที่จะเข้าใจว่าทำไมมันถึงเกิดขึ้นจริง มีคนรายงานค่าpจากการถดถอยแบบขั้นตอน (เพราะพบขั้นตอนแบบขั้นตอน "สร้างแบบจำลองที่ดี" แต่ไม่ทราบว่ามีการรายงานp-values เป็นโมฆะ) อยู่ในค่ายหลัง แต่ผลที่ได้ยังคงเป็นหน้า -hacking ภายใต้ล่าสุดของจุด bullet ของฉันข้างต้น

มีหลักฐานแน่ชัดว่าp -hacking คือ "ออกไปข้างนอก" เช่นHead et al (2015)มองหาสัญญาณบอกเล่าเรื่องราวของมันที่ติดอยู่กับวรรณคดีทางวิทยาศาสตร์ แต่สถานะปัจจุบันของหลักฐานของเราเกี่ยวกับเรื่องนี้คืออะไร? ฉันทราบว่าวิธีการที่ดำเนินการโดย Head et al นั้นไม่ใช่ข้อโต้แย้งดังนั้นสถานะปัจจุบันของวรรณคดีหรือความคิดทั่วไปในชุมชนวิชาการจะน่าสนใจ ตัวอย่างเช่นเรามีความคิดเกี่ยวกับ:

• เพียงวิธีการที่แพร่หลายเป็นและสิ่งที่ขอบเขตที่เราสามารถแยกความแตกต่างที่เกิดขึ้นจากการตีพิมพ์อคติ ? (ความแตกต่างนี้มีความหมายหรือไม่?)
• ผลกระทบรุนแรงโดยเฉพาะที่ขอบเขตหรือไม่ ยกตัวอย่างเช่นเอฟเฟกต์ที่คล้ายกันที่p ≈ 0.01หรือว่าเราเห็นค่าp- value ทั้งหมดที่ได้รับผลกระทบหรือไม่?$p \approx 0.05$$p \approx 0.01$
• รูปแบบในการแฮ็คp-pแตกต่างกันไปตามสาขาวิชาหรือไม่?
• เรามีความคิดใด ๆ ซึ่งกลไกของพี -hacking (ซึ่งบางส่วนมีการระบุไว้ในจุด bullet ข้างต้น) เป็นเรื่องธรรมดามากที่สุด? มีบางรูปแบบที่พิสูจน์ได้ยากกว่าการตรวจจับอื่น ๆ เพราะพวกเขา "ปลอมตัวดีกว่า" หรือไม่?

อ้างอิง

หัวหน้า, ML, Holman, L. , Lanfear, R. , Kahn, AT, & Jennions, MD (2015) ขอบเขตและผลกระทบของพี -hacking ในด้านวิทยาศาสตร์ PLoS Biol , 13 (3), e1002106

บทสรุปผู้บริหาร: หาก "การแฮ็ค p" เป็นที่เข้าใจกันอย่างกว้างขวางในเส้นทางการฟอร์กของลาเจลแมนคำตอบของวิธีการที่แพร่หลายก็คือมันเกือบจะเป็นสากล

$p$

บางครั้งปัญหานี้เรียกว่า "การแฮ็ค p" หรือ "องศานักวิจัยอิสระ" (Simmons, Nelson และ Simonsohn, 2011) ในบทความล่าสุดเราพูดถึง "การตกปลา [... ]" แต่เราเริ่มรู้สึกว่าคำว่า "การตกปลา" เป็นเรื่องที่โชคร้ายเพราะมันทำให้เกิดภาพของนักวิจัยที่พยายามทำการเปรียบเทียบหลังจากการเปรียบเทียบโดยการขว้างแถวลงไปในทะเลสาบซ้ำ ๆ จนกระทั่งปลาติดขัด เราไม่มีเหตุผลที่จะคิดว่านักวิจัยทำอย่างสม่ำเสมอ เราคิดว่าเรื่องจริงคือนักวิจัยสามารถทำการวิเคราะห์ที่สมเหตุสมผลเนื่องจากสมมติฐานและข้อมูลของพวกเขา แต่หากข้อมูลปรากฏออกมาแตกต่างกันพวกเขาสามารถทำการวิเคราะห์อื่น ๆ ที่มีความสมเหตุสมผลในสถานการณ์เหล่านั้น

เราเสียใจที่การแพร่กระจายของคำว่า "การตกปลา" และ "การแฮ็ก p" (และแม้แต่ "องศานักวิจัยอิสระ") ด้วยเหตุผลสองประการ: ประการแรกเพราะเมื่อคำเหล่านี้ถูกใช้เพื่ออธิบายการศึกษามีความหมายที่ทำให้เข้าใจผิด มีสติพยายามทดลองวิเคราะห์ที่แตกต่างกันในชุดข้อมูลเดียว; และประการที่สองเพราะมันสามารถนำนักวิจัยที่รู้ว่าพวกเขาไม่ได้ลองวิเคราะห์ที่แตกต่างกันหลายอย่างผิดพลาดคิดว่าพวกเขาไม่ได้อยู่ภายใต้ปัญหาของนักวิจัยอิสระ [... ] ประเด็นสำคัญของเราที่นี่คือมันเป็นไปได้ที่จะมีการเปรียบเทียบที่มีศักยภาพหลายประการในแง่ของการวิเคราะห์ข้อมูลที่มีรายละเอียดที่เกิดขึ้นกับข้อมูลโดยไม่ต้องมีนักวิจัยดำเนินการขั้นตอนการมีสติของการตกปลา .

ดังนั้น: Gelman ไม่ชอบคำว่าp-hackingเพราะมันบอกเป็นนัยว่างานวิจัยกำลังโกงอย่างแข็งขัน ในขณะที่ปัญหาอาจเกิดขึ้นเพียงเพราะนักวิจัยเลือกทดสอบเพื่อดำเนินการ / รายงานหลังจากดูข้อมูลคือหลังจากทำการวิเคราะห์เชิงสำรวจ

$p$

ดังนั้นหาก "การแฮ็ค p" เป็นที่เข้าใจกันอย่างกว้างขวางในเส้นทางการตีของla Gelman คำตอบว่ามันแพร่หลายมากเพียงใดนั่นคือเกือบเป็นสากล

ข้อยกเว้นเพียงอย่างเดียวที่อยู่ในใจคือการศึกษาแบบจำลองการลงทะเบียนล่วงหน้าอย่างสมบูรณ์ในด้านจิตวิทยาหรือการทดลองทางการแพทย์ที่ลงทะเบียนล่วงหน้าอย่างสมบูรณ์

หลักฐานเฉพาะ

บางคนสำรวจนักวิจัยพบว่าหลายคนยอมรับว่าทำแฮ็ค ( John et al. 2012, การวัดความชุกของการปฏิบัติวิจัยที่น่าสงสัยด้วยสิ่งจูงใจเพื่อบอกความจริง ):

นอกเหนือจากนั้นทุกคนได้ยินเกี่ยวกับ "วิกฤตการจำลองแบบ" ที่เรียกว่าในจิตวิทยา: มากกว่าครึ่งหนึ่งของการศึกษาล่าสุดที่ตีพิมพ์ในวารสารจิตวิทยาชั้นนำไม่ได้ทำซ้ำ ( Nosek et al. 2015, การประมาณการทำซ้ำของวิทยาศาสตร์จิตวิทยา ) (การศึกษาครั้งนี้ได้รับการบล็อกทั่วอีกครั้งเพราะวิทยาศาสตร์ฉบับเดือนมีนาคม 2016เผยแพร่ความคิดเห็นพยายามที่จะลบล้าง Nosek และคณะและยังมีการตอบกลับโดย Nosek et al การอภิปรายยังคงดำเนินต่อไปที่อื่นดูโพสต์โดย Andrew Gelman และRetractionWatch โพสต์ที่เขาเชื่อมโยงไปถึงเพื่อวางไว้อย่างสุภาพคำวิจารณ์ไม่น่าเชื่อถือ)

อัปเดตพฤศจิกายน 2018: Kaplan และ Irvin, 2017, ความเป็นไปได้ที่จะไม่มีผลกระทบจากการทดลองทางคลินิกขนาดใหญ่ของ NHLBI เพิ่มขึ้นเมื่อเวลาผ่านไปแสดงให้เห็นว่าสัดส่วนของการทดลองทางคลินิกที่รายงานผล null เพิ่มขึ้นจาก 43% เป็น 92% หลังจากลงทะเบียนล่วงหน้า

$P$

หัวหน้าและคณะ 2015

ฉันไม่เคยได้ยินเกี่ยวกับHead และคณะ ศึกษามาก่อน แต่ตอนนี้ได้ใช้เวลาดูวรรณกรรมรอบข้าง ผมก็ยังดูสั้นที่ข้อมูลดิบของพวกเขา

$p=a$$p<a$$0$$0.06$

$0.0001$$p$$p$$(0.045, 0.5)$$(0.04, 0.045)$$p$

$p=0.05$$p=0.048$$p=0.052$$p$$0.05$

และนอกเหนือจากนั้นเอฟเฟกต์ก็เล็กมาก

$p$$0.05$

$p$

$p=0.04$$p=0.05$$p$

$p$

$p$$t$$F$$\chi^2$

$\hspace{5em}$

$p$$p$

$p=0.05$$p\approx 0.05$$p$

Mascicampo และ Lalande

$p$

สิ่งนี้ดูน่าประทับใจ แต่Lakens 2015 ( พิมพ์ก่อนหน้า ) ในความคิดเห็นที่เผยแพร่ระบุว่าสิ่งนี้ดูน่าประทับใจด้วยความพอดีของการชี้แจงที่ทำให้เข้าใจผิด ดูเพิ่มเติมที่Lakens 2015 เกี่ยวกับความท้าทายของการสรุปผลจากค่า p ต่ำกว่า 0.05และการอ้างอิงในนั้น

เศรษฐศาสตร์

$z$$p$

$p$$p$$p<0.05$

สร้างความมั่นใจตู่เหรอ?

$p$$p$$p$$0.05$$0.05$

Uri Simonsohn ระบุว่านี้คือ "มั่นใจตู่" ที่จริงแล้วเขาอ้างถึงเอกสารเหล่านี้โดยไม่วิจารณ์ แต่ก็สังเกตว่า "ค่า p ส่วนใหญ่มีขนาดเล็กกว่า" มากกว่า 0.05 จากนั้นเขาก็พูดว่า: "นั่นให้ความมั่นใจ แต่ให้ความเท็จ" และนี่คือเหตุผล:

หากเราต้องการทราบว่านักวิจัย p- แฮ็คผลลัพธ์ของพวกเขาเราต้องตรวจสอบค่า p ที่เกี่ยวข้องกับผลลัพธ์ของพวกเขาพวกเขาอาจต้องการ p-hack ในตอนแรก ตัวอย่างที่ไม่เอนเอียงต้องรวมการสังเกตจากประชากรที่น่าสนใจเท่านั้น

ค่า p ส่วนใหญ่ที่รายงานในเอกสารส่วนใหญ่ไม่เกี่ยวข้องกับพฤติกรรมเชิงกลยุทธ์ของความสนใจ Covariates, การตรวจสอบการจัดการ, ผลกระทบหลักในการศึกษาการทดสอบการโต้ตอบ, และอื่น ๆ รวมถึงพวกเขาที่เราประเมินค่า p-hacking ต่ำเกินไปและเราประเมินค่าที่แท้จริงของข้อมูลมากเกินไป การวิเคราะห์ค่า p ทั้งหมดถามคำถามที่แตกต่างซึ่งเป็นคำถามที่ไม่สมเหตุสมผล แทนที่จะเป็น "นักวิจัย p-hack ทำสิ่งที่พวกเขาศึกษาหรือไม่" เราถามว่า "นักวิจัย p-hack ทุกสิ่งหรือไม่"

$p$$p$$p$$p$

$p$

สรุปผลการวิจัย

$p$$p$ $p$$0.05$

แผนการช่องทางเป็นนวัตกรรมทางสถิติที่ยิ่งใหญ่ที่เปลี่ยนการวิเคราะห์เมตาบนหัวของมัน โดยทั่วไปพล็อตช่องทางแสดงความสำคัญทางคลินิกและสถิติในพล็อตเดียวกัน โดยหลักการแล้วพวกเขาจะสร้างรูปร่างของช่องทาง อย่างไรก็ตามการวิเคราะห์เมตาดาต้าจำนวนมากได้สร้างแปลงช่องทางที่แสดงรูปร่าง bimodal ที่แข็งแกร่งซึ่งผู้ตรวจสอบ (หรือผู้เผยแพร่) เลือกที่จะระงับผลการคัดเลือกที่เป็นโมฆะ ผลที่ได้คือรูปสามเหลี่ยมกว้างขึ้นเนื่องจากการศึกษาที่น้อยกว่าและใช้พลังงานน้อยกว่าใช้วิธีการที่รุนแรงกว่าในการ "กระตุ้น" ผลลัพธ์เพื่อให้มีนัยสำคัญทางสถิติ ทีม Cochrane รายงานมีนี้จะพูดเกี่ยวกับพวกเขา

หากมีอคติเช่นเนื่องจากการศึกษาขนาดเล็กที่ไม่มีผลกระทบอย่างมีนัยสำคัญทางสถิติ (แสดงเป็นวงกลมเปิดในรูปที่ 10.4.a แผง A) ยังคงไม่ถูกตีพิมพ์สิ่งนี้จะนำไปสู่ลักษณะที่ไม่สมมาตรของพล็อต กราฟ (แผง B) ในสถานการณ์นี้ผลจากการคำนวณในการวิเคราะห์เมตาจะมีแนวโน้มที่จะประเมินค่าสูงกว่าผลการแทรกแซง (Egger 1997a, Villar 1997) ยิ่งความอสมมาตรมีความชัดเจนมากเท่าใดก็ยิ่งมีแนวโน้มว่าปริมาณอคติจะยิ่งมากเท่านั้น

พล็อตแรกแสดงพล็อตสมมาตรในกรณีที่ไม่มีอคติ ประการที่สองแสดงพล็อตอสมมาตรต่อหน้าอคติการรายงาน ประการที่สามแสดงให้เห็นถึงแผนการอสมมาตรในที่ที่มีอคติเนื่องจากการศึกษาที่มีขนาดเล็กกว่า (วงเปิด) มีคุณภาพของระเบียบวิธีที่ต่ำกว่า

ฉันสงสัยว่าผู้เขียนส่วนใหญ่ไม่รู้วิธีการที่พวกเขาใช้ในการแฮ็ก p-hack พวกเขาไม่ได้ติดตามจำนวนรุ่นทั้งหมดที่เหมาะสมใช้เกณฑ์การยกเว้นที่แตกต่างกันหรือการเลือกตัวแปรการปรับที่แตกต่างกันในแต่ละครั้ง อย่างไรก็ตามถ้าฉันต้องทำตามขั้นตอนง่าย ๆ ฉันชอบที่จะเห็นจำนวนโมเดลที่พอดี นั่นไม่ใช่การบอกว่าอาจมีเหตุผลที่ถูกต้องสำหรับการรันโมเดลอีกครั้งตัวอย่างเช่นเราเพิ่งผ่านการวิเคราะห์ของอัลไซเมอร์ที่ไม่ทราบว่า ApoE ได้รับการรวบรวมในตัวอย่าง ไข่บนใบหน้าของฉันเรารันโมเดลอีกครั้ง