ทำความเข้าใจกับ Gelman & Carlin“ เหนือกว่าการคำนวณพลัง: …” (2014)

ฉันกำลังอ่าน Gelman & Carlin "นอกเหนือจากการคำนวณกำลังไฟ: การประเมินข้อผิดพลาดประเภท S (เครื่องหมาย) และประเภท M (ขนาด)" (2014) ฉันพยายามที่จะเข้าใจความคิดหลักทางเดินหลัก แต่ฉันสับสน ใครสามารถช่วยกลั่นสาระสำคัญให้ฉันได้บ้าง

กระดาษมีลักษณะดังนี้ (ถ้าฉันเข้าใจถูกต้อง)

• สถิติการศึกษาทางจิตวิทยามักถูกรบกวนด้วยตัวอย่างเล็ก ๆ
• เงื่อนไขในผลลัพธ์ที่มีนัยสำคัญทางสถิติในการศึกษาที่กำหนด
  (1) ขนาดของผลกระทบที่แท้จริงมีแนวโน้มที่จะประเมินค่าสูงเกินไปอย่างรุนแรงและ
  (2) เครื่องหมายของผลกระทบอาจตรงข้ามกับความน่าจะเป็นสูง - เว้นแต่ขนาดตัวอย่างมีขนาดใหญ่พอ
• ด้านบนแสดงโดยใช้การคาดเดาขนาดของเอฟเฟกต์ก่อนหน้าและโดยทั่วไปเอฟเฟกต์นี้จะมีขนาดเล็ก

ปัญหาแรกของฉันคือทำไมเงื่อนไขกับผลลัพธ์ที่มีนัยสำคัญทางสถิติ? มันคือการสะท้อนอคติสิ่งพิมพ์? แต่ดูเหมือนจะไม่เป็นเช่นนั้น แล้วทำไมล่ะ

ปัญหาที่สองของฉันคือถ้าฉันทำการศึกษาด้วยตัวเองฉันควรปฏิบัติกับผลลัพธ์ของฉันแตกต่างจากที่ฉันเคยทำหรือไม่ (ฉันทำสถิติบ่อยครั้งไม่คุ้นเคยกับเบย์) เช่นฉันจะใช้ตัวอย่างข้อมูลประเมินแบบจำลองและบันทึกการประมาณค่าพอยต์สำหรับผลของความสนใจและความมั่นใจที่ผูกไว้ ตอนนี้ฉันควรจะเชื่อผลของฉันหรือไม่ หรือฉันควรจะเชื่อใจถ้ามันมีนัยสำคัญทางสถิติ? มีการเปลี่ยนแปลงใด ๆ ก่อนหน้านั้น

สิ่งที่เป็นประเด็นหลัก (1) สำหรับ "ผู้ผลิต" ของการวิจัยเชิงสถิติและ (2) สำหรับผู้อ่านของเอกสารทางสถิติประยุกต์?

อ้างอิง:

• Gelman, Andrew และ John Carlin "เกินการคำนวณกำลังไฟฟ้า: การประเมินข้อผิดพลาดประเภท S (เครื่องหมาย) และ Type M (ขนาด)" มุมมองด้านวิทยาศาสตร์จิตวิทยา 9.6 (2014): 641-651

ป.ล. ฉันคิดว่าองค์ประกอบใหม่สำหรับฉันที่นี่คือการรวมข้อมูลก่อนหน้านี้ซึ่งฉันไม่แน่ใจว่าจะปฏิบัติอย่างไร (มาจากกระบวนทัศน์ที่พบบ่อย)

ฉันอ่านกระดาษอีกครั้งและคราวนี้ดูเหมือนชัดเจนมากขึ้น ตอนนี้ความคิดเห็นที่เป็นประโยชน์โดย @Glen_b และ @amoeba ก็สมเหตุสมผลดี

1. อคติสิ่งพิมพ์ (เฉพาะผลลัพธ์ที่มีนัยสำคัญทางสถิติเท่านั้นที่ได้รับการเผยแพร่) และ
2. ความลำเอียงในการคำนวณการออกแบบสำหรับการศึกษาใหม่

ข่าวดีก็คือปัญหาทั้งสองสามารถแก้ไขได้อย่างน่าพอใจ

1. $\beta^{plausible}$$\hat\beta$$s.e.(\hat\beta)$$t$$P_{\hat\beta}(\cdot)$
2. $\beta^{plausible}$

หากต้องการตอบคำถามสองข้อของฉันเองโดยย่อ:

1. มันเป็นเรื่องเกี่ยวกับอคติสิ่งพิมพ์แม้ว่าจะไม่ได้อยู่ในแง่ของการขุดลอกข้อมูล แต่ในบริบทของการศึกษาที่ไม่ได้รับการยอมรับ มีผลลัพธ์ที่มีนัยสำคัญทางสถิติน่าจะเป็นของ, พูด, ปฏิเสธ 5% ภายใต้ null (ดังนั้น null เป็นจริงจริง แต่เราเกิดขึ้นจะจบลงห่างไกลจากมันโดยบังเอิญ) มากกว่าการปฏิเสธภายใต้ทางเลือก (ที่ null ไม่เป็นความจริงและผลลัพธ์คือ "ของแท้")
2. ฉันควรระมัดระวังเกี่ยวกับการปฏิเสธโมฆะเนื่องจากผลลัพธ์ที่มีนัยสำคัญทางสถิติน่าจะเกิดจากโอกาส (แม้ว่าโอกาส จำกัด พูด 5%) แทนที่จะเป็นเพราะ "เอฟเฟ็กต์" ของแท้ (เพราะพลังงานต่ำ) .

มีอีกมุมหนึ่งของบทความนี้ซึ่งจะมีประโยชน์หากคุณใช้การวิเคราะห์แบบเบย์อยู่แล้วและไม่สนใจส่วนที่มีนัยสำคัญทางสถิติ

$P$$\beta$$V$$\beta$

$V$$V$$p(V | \beta)$

$\beta^{plausible}$$P(V | \beta)$$\beta = \beta^{plausible}$$V$$\beta^{plausible}$ คือขนาดเอฟเฟกต์จริง

$V$$\beta$

$V$$V$

$\beta$$\beta^{plausible}$

$\beta^{plausible}$

$\beta^{plausible}$

คุณต้องระวังว่าไม่มีใครใช้เมตริก "พลัง" นี้ในทางที่ผิดเช่นเดียวกับการคำนวณพลังงานแบบประจำซึ่งค่อนข้างยาก แต่ตัวชี้วัดทั้งหมดเหล่านี้ค่อนข้างมีประโยชน์สำหรับการวิเคราะห์การออกแบบที่คาดหวังและย้อนหลังแม้ว่าขั้นตอนการสร้างแบบจำลองทั้งหมดคือ Bayesian และจะไม่อ้างถึงผลลัพธ์ใด ๆ ที่มีนัยสำคัญทางสถิติ