นักวิจัยแต่ละคนควรคิดอย่างไรเกี่ยวกับอัตราการค้นพบที่ผิด?

ฉันได้พยายามสรุปว่า False Discovery Rate (FDR) ควรแจ้งข้อสรุปของนักวิจัยแต่ละคนอย่างไร ตัวอย่างเช่นถ้าการศึกษาของคุณจะ underpowered คุณควรลดผลลัพธ์ของคุณแม้ว่าพวกเขาจะมีนัยสำคัญที่ ? หมายเหตุ: ฉันกำลังพูดถึง FDR ในบริบทของการตรวจสอบผลลัพธ์ของการศึกษาหลาย ๆ ครั้งในภาพรวมไม่ใช่วิธีการแก้ไขการทดสอบหลายรายการ$\alpha = .05$

การสร้างสมมุติฐาน (อาจเผื่อแผ่) ที่ของการทดสอบสมมติฐานเป็นจริงจริง FDR เป็นหน้าที่ของทั้งอัตราการผิดพลาดประเภทที่ 1 และประเภท II ดังต่อไปนี้:$\sim.5$

มีเหตุผลที่ว่าหากการศึกษามีความไม่เพียงพอเราไม่ควรเชื่อถือผลลัพธ์แม้ว่าจะมีความสำคัญเท่าที่เราจะได้รับการศึกษาอย่างเพียงพอ ดังนั้นตามที่นักสถิติบางคนอาจกล่าวว่ามีสถานการณ์ที่ "ในระยะยาว" เราอาจเผยแพร่ผลลัพธ์ที่สำคัญหลายอย่างที่เป็นเท็จหากเราปฏิบัติตามแนวทางดั้งเดิม หากร่างกายของการวิจัยมีเอกลักษณ์เฉพาะด้วยการศึกษาที่ไม่ได้รับการยอมรับอย่างต่อเนื่อง (เช่นยีนของผู้สมัครวรรณกรรมเกี่ยวกับสภาพแวดล้อมของทศวรรษก่อนหน้า ) แม้กระทั่งการค้นพบที่มีนัยสำคัญที่ทำซ้ำ$\times$

การใช้แพคเกจการ R extrafont, ggplot2และxkcdผมคิดว่านี่อาจจะมีแนวความคิดที่เป็นประโยชน์ในฐานะที่เป็นปัญหาของมุมมอง:

รับข้อมูลนี้สิ่งที่นักวิจัยแต่ละคนควรจะทำอย่างไรต่อไป ? ถ้าฉันเดาได้ว่าขนาดของเอฟเฟกต์ที่ฉันกำลังศึกษาควรจะเป็นขนาดใด (และด้วยการประมาณ$1 - \beta$ตามขนาดตัวอย่างของฉัน) ฉันควรปรับระดับของฉัน$\alpha$จนกว่า FDR = .05 หรือไม่ ฉันควรเผยแพร่ผลลัพธ์ที่ระดับ$\alpha = .05$แม้ว่าการศึกษาของฉันจะได้รับการยอมรับและไม่ได้รับการพิจารณาจาก FDR ต่อผู้บริโภควรรณกรรม

ฉันรู้ว่านี่เป็นหัวข้อที่มีการพูดคุยกันบ่อยครั้งทั้งในเว็บไซต์นี้และในเอกสารทางสถิติ แต่ฉันไม่สามารถหาข้อสรุปเกี่ยวกับความเห็นในเรื่องนี้ได้

แก้ไข:ในการตอบสนองต่อความคิดเห็นของ @ amoeba, FDR สามารถได้มาจากตารางฉุกเฉินอัตราข้อผิดพลาดประเภท I / type II มาตรฐาน (ให้อภัยความอัปลักษณ์)

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

ดังนั้นหากเรานำเสนอด้วยการค้นพบที่สำคัญ (คอลัมน์ 1) โอกาสที่จะเป็นเท็จในความเป็นจริงคืออัลฟาเหนือผลรวมของคอลัมน์

แต่ใช่เราสามารถแก้ไขคำจำกัดความของ FDR เพื่อสะท้อนความน่าจะเป็น (ก่อนหน้านี้) ที่สมมติฐานที่กำหนดเป็นจริงแม้ว่าอำนาจการศึกษายังคงมีบทบาท:$(1 - \beta)$

$p$

แต่เป็นสิ่งสำคัญที่จะต้องให้การศึกษาทั้งหมดเข้าถึงได้โดยไม่คำนึงถึงระดับพลังงานหรือผลลัพธ์ที่สำคัญ ในความเป็นจริงนิสัยที่ไม่ดีของการเผยแพร่เพียงนัยสำคัญและปกปิดผลลัพธ์ที่ไม่สำคัญนำไปสู่การมีอคติสิ่งพิมพ์และทำลายสถิติโดยรวมของผลลัพธ์ทางวิทยาศาสตร์

ดังนั้นผู้วิจัยแต่ละคนควรทำการศึกษาในลักษณะที่ทำซ้ำได้เก็บบันทึกทั้งหมดและบันทึกขั้นตอนการทดลองทั้งหมดแม้ว่าจะไม่ได้ขอรายละเอียดดังกล่าวจากวารสารการตีพิมพ์ก็ตาม เขาไม่ควรกังวลมากเกินไปเกี่ยวกับพลังงานต่ำ แม้แต่ผลที่ไม่เป็นทางการ (= สมมติฐานว่างที่ไม่ได้ปฏิเสธ) ก็จะเพิ่มค่าประมาณสำหรับการศึกษาต่อไปตราบใดที่เราสามารถมีคุณภาพของข้อมูลที่เพียงพอ

$p$$p$$p$

$\alpha$$\alpha=.05$

$\alpha$

$p<0.05$$p\approx 0.05$$p$$p\ll 0.05$$p$- มูลค่าจะเล็กอีกครั้ง)

$\alpha$

นี่เป็นคำถามเชิงปรัชญาที่ลึกซึ้ง ฉันเป็นนักวิจัยด้วยตัวเองและฉันก็คิดอยู่พักนึงแล้ว แต่ก่อนคำตอบเรามาทบทวนกันว่าอัตราการค้นพบที่ผิดคืออะไร

FDR กับ P P เป็นเพียงการวัดความน่าจะเป็นที่จะบอกว่ามีความแตกต่างเมื่อไม่มีความแตกต่างเลยและไม่คำนึงถึงอำนาจ ในทางกลับกัน FDR คำนึงถึงพลังงานด้วย อย่างไรก็ตามในการคำนวณ FDR เราต้องทำการตั้งสมมติฐาน: ความน่าจะเป็นที่เราได้รับผลบวกที่แท้จริงคืออะไร? นั่นคือสิ่งที่เราจะไม่สามารถเข้าถึงได้ยกเว้นภายใต้สถานการณ์ที่มีการวางแผนอย่างสูง จริง ๆ แล้วฉันพูดเกี่ยวกับเรื่องนี้เมื่อเร็ว ๆ นี้ในระหว่างการสัมมนาที่ฉันให้ คุณสามารถค้นหาภาพนิ่งที่นี่

นี่คือภาพจากกระดาษของ David Colquhoun ในหัวข้อ:

อัตราการค้นพบที่ไม่ถูกต้องคำนวณโดยการหารจำนวนของผลบวกที่ผิดพลาดด้วยผลรวมของผลบวกจริงและผลบวกเท็จ (ในตัวอย่าง 495 / (80 + 495) x 100% = 86%!

เพิ่มเติมเล็กน้อยเกี่ยวกับ P

ลองดูสไลด์อย่างใกล้ชิดจากการบรรยายของฉัน ฉันพูดถึงความจริงที่ว่าค่า P มาจากการแจกแจง ซึ่งหมายความว่าจะมีโอกาสที่คุณจะได้พบกับการบวกเท็จ ดังนั้นนัยสำคัญทางสถิติไม่ควรถูกมองว่าเป็นความจริงเด็ดขาด ฉันยืนยันว่าสิ่งที่สำคัญทางสถิติควรตีความว่า "เฮ้อาจมีบางสิ่งที่น่าสนใจที่นี่ฉันไม่แน่ใจมีคนไปตรวจสอบอีกครั้ง!" ดังนั้นความคิดพื้นฐานของการทำซ้ำในการวิจัย!

ดังนั้นสิ่งที่เราจะทำ? จุดที่น่าสนใจเกี่ยวกับตัวเลขข้างต้นและการวิเคราะห์ P และ FDR ของฉันคือวิธีเดียวที่เราสามารถบรรลุความเข้าใจที่ชัดเจนคือผ่าน 1) การทำซ้ำและ 2) การเผยแพร่ผลลัพธ์ทั้งหมด ซึ่งรวมถึงผลลัพธ์เชิงลบ (แม้ว่าผลลัพธ์เชิงลบจะตีความยาก) อย่างไรก็ตามข้อสรุปที่เราดึงมาจากผลลัพธ์ของเราจะต้องเหมาะสม น่าเสียดายที่ผู้อ่านและนักวิจัยจำนวนมากไม่เข้าใจแนวคิดของ P และ FDR อย่างสมบูรณ์ ฉันเชื่อว่ามันเป็นความรับผิดชอบของผู้อ่านที่จะวิเคราะห์ผลลัพธ์อย่างเหมาะสม ... ซึ่งหมายความว่าภาระนั้นอยู่บนไหล่ของนักการศึกษา ท้ายที่สุดค่า P ของ 0.000000001 นั้นไม่มีความหมายหาก "ความชุก" (ดูรูปด้านบน) เป็น 0 (ในกรณีนั้นอัตราการค้นพบที่ผิดพลาดจะเป็น 100%)

ในฐานะนักวิจัยการตีพิมพ์โปรดระมัดระวังในการทำความเข้าใจผลลัพธ์ของคุณอย่างเต็มที่และทำการอ้างสิทธิ์ที่แข็งแกร่งเท่าที่คุณต้องการ หากปรากฎว่า FDR สำหรับการศึกษาเฉพาะของคุณคือ 86% (เช่นตัวอย่างด้านบน) คุณควรระมัดระวังเกี่ยวกับการตีความของคุณ ในทางกลับกันถ้า FDR มีขนาดเล็กเพียงพอสำหรับความสะดวกสบายของคุณ .... ยังต้องระวังเกี่ยวกับการตีความของคุณ

ฉันหวังว่าทุกอย่างที่นี่จะชัดเจน มันเป็นแนวคิดที่สำคัญมากและฉันดีใจที่คุณพูดคุยกัน แจ้งให้เราทราบหากคุณมีคำถาม / ข้อสงสัย / ฯลฯ

เพื่อช่วยให้เข้าใจถึงความสัมพันธ์ฉันได้สร้างกราฟของ FDR นี้เป็นฟังก์ชั่นของความน่าจะเป็นก่อนหน้าสำหรับพลังต่างๆ (ด้วย alpha = 0.05) สังเกตกราฟนี้และสมการของ @Buckminster จะคำนวณ FDR สำหรับผลลัพธ์ทั้งหมดที่มี P น้อยกว่าอัลฟา กราฟจะดูแตกต่างหากคุณพิจารณาค่า P ใกล้เคียงกับค่า P ที่คุณเกิดขึ้นเพื่อสังเกตในการศึกษาเดียว

เพื่อแนะนำสิ่งพิมพ์คือการตัดสินใจ ฉันคิดว่ามันคุ้มค่าที่จะศึกษาว่าอะไรคือผลประโยชน์และค่าใช้จ่ายที่เกี่ยวข้องกับการตัดสินใจครั้งนี้

1) สภาพแวดล้อมทางวิชาการผลักดันนักวิจัยให้ตีพิมพ์เผยแพร่ในระดับสากลมากขึ้นคิดว่าการจัดอันดับสิ่งพิมพ์ต่าง ๆ จะมีผลกับบันทึกนี้ด้วย เราสามารถสันนิษฐานได้ว่าวารสารที่มีชื่อเสียงมากกว่านี้อาจมีการตรวจสอบคุณภาพที่แข็งแกร่งกว่า (ฉันหวังว่าจะเป็นเช่นนั้น)

2) อาจมีค่าใช้จ่ายทางสังคมที่เกี่ยวข้องกับการผลิตสิ่งพิมพ์ที่มีขนาดใหญ่เกินไป ทรัพยากรเหล่านี้อาจถูกนำไปใช้ที่อื่นดีกว่าเช่นในการวิจัยประยุกต์โดยไม่มีการตีพิมพ์ผล เมื่อเร็ว ๆ นี้มีสิ่งพิมพ์ที่สิ่งพิมพ์จำนวนมากไม่สำคัญเท่าแหล่งข้อมูลเนื่องจากมีสิ่งพิมพ์ใหม่จำนวนมาก ... :)

http://arxiv.org/pdf/1503.01881v1.pdf

สำหรับนักวิจัยหมายเลขหนึ่งที่บังคับให้เผยแพร่มากขึ้นและฉันคิดว่าควรมีการตรวจสอบคุณภาพเชิงสถาบันซึ่งไม่ได้ขึ้นอยู่กับประชาชนแต่ละคนในการรักษาคุณภาพในระดับที่ยอมรับ

ไม่ว่าในกรณีใดก็ตามค่าพารามิเตอร์ของคุณไม่เป็นความจริงค่าเหล่านี้จะต้องได้รับการพิจารณาจากค่าใช้จ่ายและผลประโยชน์ต่างๆที่เกี่ยวข้องกับจำนวนผลลัพธ์ที่เผยแพร่เมื่อผลลัพธ์มีความจริงและ / หรือมีความสำคัญอย่างไม่ถูกต้อง