วิธีการปรับอัตราข้อผิดพลาดที่เป็นเท็จบวก / เท็จลบที่เลือกอย่างเข้มงวดและอัตราส่วนต้นทุนต้นแบบ?

บริบท

กลุ่มนักสังคมศาสตร์และนักสถิติ ( Benjamin et al., 2017 ) ได้แนะนำเมื่อเร็ว ๆ นี้ว่าอัตราการบวกลบ ( = .05) โดยทั่วไปใช้เป็นเกณฑ์ในการกำหนด "นัยสำคัญทางสถิติ" เพื่อปรับเกณฑ์อนุรักษ์ให้มากกว่าเดิม ( = .005) กลุ่มนักวิทยาศาสตร์สังคมศาสตร์และนักสถิติ ( Lakens et al., 2018 ) ได้ทำการแข่งขันโต้เถียงกับการใช้สิ่งนี้หรืออื่น ๆ - เกณฑ์ที่เลือกโดยพลการ ต่อไปนี้เป็นคำพูดจาก Lakens และคณะ (หน้า 16) ที่ช่วยเป็นตัวอย่างของคำถามของฉัน:$\alpha$$\alpha$

เป็นการดีที่ระดับอัลฟาจะถูกกำหนดโดยการเปรียบเทียบค่าใช้จ่ายและผลประโยชน์กับฟังก์ชั่นยูทิลิตี้โดยใช้ทฤษฎีการตัดสินใจ การวิเคราะห์ต้นทุน - ผลประโยชน์ (และระดับอัลฟ่า) แตกต่างกันเมื่อทำการวิเคราะห์ชุดข้อมูลที่มีอยู่ขนาดใหญ่เมื่อเปรียบเทียบกับการรวบรวมข้อมูลจากตัวอย่างที่ยากที่จะได้รับ วิทยาศาสตร์นั้นมีความหลากหลายและขึ้นอยู่กับนักวิทยาศาสตร์ที่จะพิสูจน์ระดับอัลฟาที่พวกเขาตัดสินใจใช้ ... การวิจัยควรได้รับการชี้นำโดยหลักการของวิทยาศาสตร์ที่เข้มงวดไม่ใช่ด้วยการวิเคราะห์พฤติกรรมและขีด จำกัด แบบครอบคลุมโดยพลการ

คำถาม

ฉันสงสัยว่าจะมีความเป็นไปได้อย่างไรในการพิสูจน์ให้เห็นถึงการเลือกอัลฟ่าในแบบที่ "ชี้นำโดยหลักการของวิทยาศาสตร์ที่เข้มงวด" เช่น Lakens และคณะ แนะนำในบริบททางสังคมศาสตร์ส่วนใหญ่ (เช่นนอกกรณีที่เลือกซึ่งมีคุณภาพที่เป็นรูปธรรมมากขึ้นเช่นกำไรเพื่อเพิ่มประสิทธิภาพ)

หลังจากเผยแพร่ Lakens และคณะฉันเริ่มเห็นเครื่องคิดเลขออนไลน์หมุนเวียนเพื่อช่วยให้นักวิจัยทำการตัดสินใจนี้ เมื่อใช้นักวิจัยจะต้องระบุ "อัตราส่วนค่าใช้จ่าย" สำหรับข้อผิดพลาดที่เป็นบวกและผิดพลาดที่เป็นเท็จ แต่เป็นเครื่องคิดเลขนี้นี่แสดงให้เห็นการกำหนดอัตราส่วนค่าใช้จ่ายดังกล่าวสามารถมีส่วนร่วมมากของปริมาณเดาการทำงาน:

ในขณะที่ต้นทุนข้อผิดพลาดบางอย่างง่ายต่อการวัดปริมาณเป็นเงิน (ต้นทุนโดยตรง) ส่วนอื่น ๆ ยากที่จะใส่จำนวน dolar (ต้นทุนทางอ้อม) ... แม้จะมีความท้าทายในการหาจำนวน แต่คุณควรพยายามใส่จำนวนให้

ตัวอย่างเช่นแม้ว่า Lakens et al ขอแนะนำให้ศึกษาตัวอย่างที่เข้าถึงได้ยากในฐานะปัจจัยหนึ่งที่อาจพิจารณาในการปรับค่าอัลฟาดูเหมือนว่ายังมีอีกอย่างหนึ่งที่คาดเดาว่าตัวอย่างที่เข้าถึงได้ยากนั้นเป็นอย่างไรและจะปรับการเลือกอัลฟ่าอย่างไร เป็นอีกตัวอย่างหนึ่งมันเป็นเรื่องยากสำหรับฉันที่จะหาจำนวนค่าใช้จ่ายในการตีพิมพ์ผลบวกปลอมในแง่ของจำนวนเวลา / เงินที่คนอื่น ๆ ในเวลาต่อมามุ่งมั่นที่จะดำเนินการวิจัยตามสมมติฐานที่อนุมานผิด

หากการกำหนดอัตราส่วนต้นทุนนี้ส่วนใหญ่เป็นเรื่องของการคาดเดาที่ดีที่สุดในเชิงอัตวิสัยฉันก็สงสัยว่าการตัดสินใจเหล่านี้จะเกิดขึ้นได้อีก (นอกการเพิ่มประสิทธิภาพบางอย่างเช่นผลกำไร) เป็น "ธรรม" นั่นคือวิธีที่มีอยู่นอกสมมติฐานที่ทำเกี่ยวกับการสุ่มตัวอย่างการแลกเปลี่ยนผลกระทบ ฯลฯ ? ด้วยวิธีนี้การกำหนดอัตราส่วนราคาของข้อผิดพลาดเท็จ - บวก / เท็จลบดูเหมือนว่าจะเป็นสิ่งที่คล้ายกับการเลือกก่อนในการอนุมานแบบเบย์ - การตัดสินใจที่ค่อนข้างเป็นส่วนตัวมีอิทธิพลต่อผลลัพธ์และถกเถียงกัน - - ถึงแม้ว่าฉันไม่แน่ใจว่าเป็นการเปรียบเทียบที่สมเหตุสมผล

สรุป

หากต้องการสอบถามคอนกรีตของฉัน:

1. อัตรา false-positive / false-negative และอัตราส่วนค่าใช้จ่ายของพวกเขาจะ "สมเหตุสมผล" อย่างสมเหตุสมผลในบริบททางสังคมศาสตร์ส่วนใหญ่หรือไม่?
2. ถ้าเป็นเช่นนั้นหลักการใดที่ generalizable สามารถปฏิบัติตามเพื่อพิสูจน์ตัวเลือกการวิเคราะห์เหล่านี้ (และอาจเป็นตัวอย่างหรือสองตัวอย่างในการกระทำ)
3. ถ้าไม่เป็นเช่นนั้นความคล้ายคลึงกันของฉันเกี่ยวกับการกระทำที่อาจเกิดขึ้นในการเลือกอัตราส่วนค่าใช้จ่าย - คล้ายกับการเลือกก่อนหน้านี้ของ Bayesian - สมเหตุสมผลหรือไม่

อ้างอิง

Benjamin, DJ, Berger, J. , Johannesson, M. , Nosek, BA, Wagenmakers, E., ... Johnson, V. (2017, 22 กรกฎาคม) กำหนดนัยสำคัญทางสถิติ ดึงจาก psyarxiv.com/mky9j

Lakens, D. , Adolfi, FG, Albers, CJ, Anvari, F. , แอพ, MA, ... Zwaan, RA (2018, 15 มกราคม) แสดงให้เห็นถึงอัลฟ่าของคุณ สืบค้นจาก psyarxiv.com/9s3y6

(โพสต์บนทวิตเตอร์ด้วย แต่โพสต์ใหม่ที่นี่) ความพยายามของฉันที่คำตอบ: ฉันไม่คิดว่าการให้เหตุผลสามารถเป็นเป้าหมายที่ "หมดจด" แต่สามารถขึ้นอยู่กับเกณฑ์ที่สามารถป้องกันได้โดยใช้เหตุผล / เหตุผลเชิงประจักษ์ ฉันคิดว่า RSS เป็นตัวอย่างของวิธีที่คุณสามารถพิสูจน์ p <.005 สำหรับการวิจัยบางประเภทได้ แต่ฉันคิดว่ามีสถานการณ์อื่น ๆ ที่แอลฟาที่แตกต่างกันจะเหมาะสมกว่า <.005 (สูงกว่าหรือต่ำกว่า) ขึ้นอยู่กับ สิ่งที่อัลฟาเป็นไปได้และวัตถุประสงค์ของการศึกษาคืออะไร ตัวอย่างเช่นหากคุณมีผู้เข้าร่วม 5,000 คนและขนาดเอฟเฟ็กต์ที่น่าสนใจน้อยที่สุดคือ 0.10 คุณอาจต้องการใช้ p <.001 และมีกำลัง 90% (ทั้งหมดประกอบขึ้นด้วยตัวเลข) ตรงกันข้ามคุณพูดว่าทำการทดลองขนาดเล็ก เป็น "หลักฐานแนวคิด" เบื้องต้นสำหรับสายงานวิจัย คุณอาจมี N = 100, p <.10, 90% พลังงาน

เมื่อเร็ว ๆ นี้ฉันได้คิดถึงคำถามเดียวกันและฉันคิดว่าอีกหลายคนในด้านจิตวิทยาก็เช่นกัน

ก่อนอื่นคำถามของคุณแต่ละข้อเกี่ยวข้องกับการเลือกอย่างเป็นกลางและเป็นส่วนตัว แต่ (ดังที่คนอื่น ๆ ได้ระบุไว้) คุณยังไม่ได้อธิบายอย่างสมบูรณ์ถึงสิ่งที่จะเป็นตัวเลือก

คุณอาจสนใจในกระดาษ Gelman & Hennig 2015ที่คลายคุณค่าที่หลากหลายในการใช้งานทั่วไปของฉลาก "วัตถุประสงค์" และ "อัตนัย" ในวิทยาศาสตร์ ในการกำหนดของพวกเขา "วัตถุประสงค์" เกี่ยวข้องกับค่าของความโปร่งใสฉันทามติความเป็นกลางและการโต้ตอบกับความเป็นจริงที่สังเกตได้ในขณะที่ "อัตนัย" เกี่ยวข้องกับค่าของมุมมองที่หลากหลายและการพึ่งพาบริบท

เกี่ยวข้องกับคำถามที่ 3 ของคุณในมุมมองแบบเบย์ความน่าจะเป็นหมายถึงการวัดความไม่แน่นอนเกี่ยวกับโลก จากสิ่งที่ฉันเข้าใจมีความตึงเครียดทั่ว "subjectivist Bayesian" (ความน่าจะเป็นสะท้อนให้เห็นถึงแต่ละรัฐแห่งความเชื่อ) และ "โรงเรียน objectivist Bayesian" โรงเรียนแห่งความคิด (ความน่าจะเป็นสะท้อนถึงความสอดคล้องเป็นเอกฉันท์) ภายในโรงเรียน objectivist มีการเน้นหนักไปที่การกระจายก่อนหน้า (และแบบจำลองโดยทั่วไป) ในวิธีที่โปร่งใสที่สอดคล้องกับฉันทามติและสามารถตรวจสอบได้ แต่ตัวเลือกของรูปแบบขึ้นอยู่กับบริบทอย่างแน่นอน (เช่น ขึ้นอยู่กับสถานะของความรู้ฉันทามติสำหรับปัญหาเฉพาะ)

ในความคิดที่พบบ่อยความน่าจะเป็นสะท้อนถึงจำนวนครั้งที่เหตุการณ์จะเกิดขึ้นเนื่องจากการจำลองแบบอิสระที่ไม่มีที่สิ้นสุด ภายในกรอบงานของเนย์แมน - เพียร์สันเรากำหนดสมมติฐานทางเลือกที่แม่นยำและอัลฟาที่แม่นยำยอมรับค่า Null ที่แม่นยำหรือทางเลือกที่แม่นยำ ความถี่ในระยะยาวของการทำเช่นนั้นมีข้อผิดพลาด

ภายในกรอบนี้เราไม่ค่อยมีการประมาณจุดที่แม่นยำของขนาดผลกระทบของประชากร แต่เป็นช่วงของค่าที่เป็นไปได้ ดังนั้นตามเงื่อนไขในอัลฟ่าที่กำหนดเราจึงไม่มีการประมาณการที่แม่นยำของอัตราข้อผิดพลาด Type 2 แต่จะเป็นช่วงของอัตราข้อผิดพลาด Type 2 ที่เป็นไปได้ ในทำนองเดียวกันฉันเห็นด้วยกับประเด็นทั่วไปของคุณว่าโดยทั่วไปแล้วเราจะไม่เข้าใจว่าต้นทุนและประโยชน์ของข้อผิดพลาดประเภท 1 หรือข้อผิดพลาดประเภท 2 จะเป็นอย่างไร ความหมายที่เรามักเผชิญกับสถานการณ์ที่เรามีข้อมูลที่ไม่สมบูรณ์มากเกี่ยวกับสิ่งที่สมมติฐานของเราควรจะเป็นในสถานที่แรกและแม้แต่ข้อมูลน้อยลงเกี่ยวกับสิ่งที่จะเป็นค่าใช้จ่ายสัมพัทธ์และผลประโยชน์ของการยอมรับเทียบกับการปฏิเสธสมมติฐานนี้

สำหรับคำถามของคุณ:

1. อัตรา false-positive / false-negative และอัตราส่วนค่าใช้จ่ายของพวกเขาสามารถพิสูจน์ได้อย่างสมเหตุสมผลในบริบททางสังคมศาสตร์ส่วนใหญ่หรือไม่?

ฉันคิดว่าในการที่จะทำให้เกิดความโปร่งใสสามารถสอดคล้องกับฉันทามติสามารถเป็นกลางและสามารถสอดคล้องกับความเป็นจริง (เท่าที่เราใช้ข้อมูลที่ดีที่สุดที่เรามีเกี่ยวกับค่าใช้จ่ายและผลประโยชน์)

อย่างไรก็ตามฉันคิดว่าการให้เหตุผลเช่นนั้นเป็นเรื่องส่วนตัวซึ่งมีมุมมองที่ถูกต้องหลายประการเกี่ยวกับวิธีการตั้งค่าอัลฟ่าสำหรับปัญหาที่กำหนดและในสิ่งที่ถือว่าอัลฟาที่เหมาะสมนั้นขึ้นอยู่กับบริบท

ตัวอย่างเช่นในปีที่ผ่านมาเป็นที่ชัดเจนว่าผลกระทบมากมายในวรรณคดีสะท้อนให้เห็นถึงข้อผิดพลาด Type M หรือ Type S พวกเขายังอาจสะท้อนถึงข้อผิดพลาดประเภท 1 ในขอบเขตที่การศึกษาการจำลองแบบสามารถให้หลักฐานสำหรับโมฆะของผลเป็นศูนย์แน่นอน

ที่เกี่ยวข้องกับการสังเกตนี้มีความเห็นพ้องที่เกิดขึ้นใหม่ว่า p-value threshold สำหรับการอ้างสิทธิ์ด้วยความมั่นใจควรจะคงเดิมหรือเข้มงวดมากขึ้น . ในทำนองเดียวกันมีความเห็นเป็นเอกฉันท์ว่าค่า p ไม่ควรใช้เป็นเกณฑ์สำหรับการตีพิมพ์ (เช่นรูปแบบรายงานที่ลงทะเบียน)

สำหรับฉันสิ่งนี้สะท้อนให้เห็นแหล่งที่มาของ "วัตถุประสงค์" ของข้อมูล - นั่นคือการอ่านของฉันมีฉันทามติที่เพิ่มขึ้นว่าการเรียกร้องเท็จนั้นมีค่าใช้จ่ายสูงในเขตข้อมูล สำหรับการอ่านของฉันไม่มีฉันทามติที่ชัดเจนที่ล้มเหลวในการบรรลุเกณฑ์ p-value เป็นค่าใช้จ่ายอย่างมากไปยังสนาม หากมีค่าใช้จ่ายพวกเขาอาจลดลงหากไม่ผ่านเกณฑ์ p-value จะไม่ส่งผลกระทบต่อการประมาณการที่ทำให้เป็นกระดาษที่เผยแพร่

2. ถ้าเป็นเช่นนั้นหลักการใดที่ generalizable สามารถปฏิบัติตามเพื่อพิสูจน์ตัวเลือกการวิเคราะห์เหล่านี้ (และอาจเป็นตัวอย่างหรือสองตัวอย่างในการกระทำ)

ฉันไม่แน่ใจ แต่ฉันจะพึ่งพาหลักการบางอย่างที่การตัดสินใจควรทำบนพื้นฐานของการตัดสินฉันทามติที่โปร่งใส (ระดับท้องถิ่นหรือระดับโลก) เกี่ยวกับต้นทุนและผลประโยชน์ของตัวเลือกการวิเคราะห์ประเภทต่าง ๆ ในบริบทเฉพาะแม้แต่ใน หน้าของข้อมูลที่ไม่สมบูรณ์ละห้อยเกี่ยวกับค่าใช้จ่ายและผลประโยชน์เหล่านี้อาจเป็นอะไร

3. ถ้าไม่เป็นเช่นนั้นความคล้ายคลึงกันของฉันเกี่ยวกับการกระทำที่อาจเกิดขึ้นในการเลือกอัตราส่วนค่าใช้จ่าย - คล้ายกับการเลือกก่อนหน้านี้ของ Bayesian - สมเหตุสมผลหรือไม่

ใช่ข้ามประเพณีประจำและ Bayesian มีห้องสำหรับความเป็นส่วนตัว (เช่นหลายมุมมองและบริบทพึ่งพา) เช่นเดียวกับความเที่ยงธรรม (เช่นโปร่งใสโปร่งใสฉันทามติความเป็นกลางและการโต้ตอบกับความเป็นจริงที่สังเกตได้) ในแง่มุมต่างๆของแบบจำลองทางสถิติ และวิธีการใช้โมเดลนั้น (สิ่งที่เลือกไว้ก่อนหน้าความน่าจะเป็นที่เลือกเกณฑ์การตัดสินใจที่เลือกเป็นต้น)