นักวิจัย 1 ทำงาน 1,000 การถดถอยนักวิจัย 2 ทำงานเพียง 1 ทั้งสองได้ผลลัพธ์เดียวกัน - พวกเขาควรทำการอนุมานที่แตกต่างกันหรือไม่

ลองนึกภาพนักวิจัยกำลังสำรวจชุดข้อมูลและเรียกใช้การถดถอยที่แตกต่างกัน 1,000 รายการและเขาพบว่ามีความสัมพันธ์ที่น่าสนใจหนึ่งอย่างในหมู่พวกเขา

ทีนี้ลองนึกภาพว่านักวิจัยอีกคนที่มีข้อมูลเดียวกัน ทำงานเพียง 1 การถดถอยและมันกลับกลายเป็นว่าเป็นสิ่งเดียวกับที่นักวิจัยคนอื่นเอามา 1,000 การค้นหา นักวิจัย 2 ไม่รู้จักนักวิจัย 1

นักวิจัย 1 ควรอนุมานต่างจากนักวิจัย 2 หรือไม่? ทำไม? ตัวอย่างเช่นนักวิจัย 1 ควรทำการแก้ไขการเปรียบเทียบหลายรายการ แต่นักวิจัย 2 ไม่ควร?

หากนักวิจัย 2 แสดงให้คุณเห็นการถดถอยเดี่ยวของคุณก่อนคุณจะทำการอนุมานอะไร หากหลังจากนักวิจัยคนที่ 1 แสดงผลลัพธ์ให้คุณคุณควรเปลี่ยนการอนุมานของคุณหรือไม่ ถ้าเป็นเช่นนั้นทำไมมันถึงสำคัญ?

ป.ล. 1 : ถ้าพูดถึงนักวิจัยสมมุติที่ทำให้ปัญหาเป็นนามธรรมลองคิดดูสิ: ลองจินตนาการว่าคุณใช้การถดถอยเพียงครั้งเดียวสำหรับกระดาษของคุณโดยใช้วิธีการที่ดีที่สุด จากนั้นนักวิจัยอีกสำรวจ 1000 ถดถอยที่แตกต่างกับข้อมูลเดียวกันจนกระทั่งเขาพบถดถอยเดียวกันแน่นอนคุณขับรถ คุณสองคนควรทำการอนุมานที่แตกต่างกันหรือไม่? หลักฐานนี้เหมือนกันทั้งสองกรณีหรือไม่? คุณควรเปลี่ยนข้อสรุปของคุณถ้าคุณรู้ผลลัพธ์ของนักวิจัยคนอื่น ๆ ? ประชาชนควรประเมินหลักฐานของการศึกษาทั้งสองอย่างไร

ป.ล. 2:โปรดพยายามเจาะจงและให้เหตุผลทางคณิตศาสตร์ / ทฤษฎีถ้าเป็นไปได้!

ที่นี่เอียง "Bayesian" ของฉันในคำถามของคุณ ฉันคิดว่าคุณได้อธิบายสถานการณ์ที่คนสองคนที่มีข้อมูลก่อนหน้าแตกต่างกันควรได้รับคำตอบ / ข้อสรุปที่แตกต่างกันเมื่อได้รับชุดข้อมูลเดียวกัน อีกตัวอย่างหนึ่งทู่ / รุนแรงมากขึ้นคือสมมติว่าเรามี "นักวิจัย 1b" ที่เพิ่งเกิดขึ้นที่จะคาดเดาพารามิเตอร์รูปแบบการถดถอยและข้อสรุปจากสมมติฐานใด ๆ การใช้การถดถอยนั้นไม่ไกลเกินกว่าที่จะคาดเดาได้$1000$

สิ่งที่ฉันคิดว่าเกิดขึ้น ... เราเรียนรู้อะไรเกี่ยวกับข้อมูลก่อนหน้าของนักวิจัยจากคำถามข้างต้น - นักวิจัย 1 อาจมีค่าคงที่ก่อนหน้าสำหรับรุ่น - นักวิจัย 2 มีความคมชัดก่อนสำหรับรุ่นที่น่าสนใจ (สมมติว่าคือ รูปแบบที่พวกเขาทั้งสองพอดี)$P (M_k|I_1)=\frac {1}{1000}$$P (M_1|I_2) =1$$M_1$

เห็นได้ชัดว่านี่เป็นการทำให้เข้าใจง่าย แต่คุณสามารถดูได้ที่นี่เราได้เพิ่มน้ำหนักให้กับการอนุมานของนักวิจัย 2 โดยไม่มีข้อมูลใด ๆ แต่คุณจะเห็นว่าเมื่อพวกเขาทั้งสองพิจารณาข้อมูลความน่าจะเป็นหลังของนักวิจัย 1 สำหรับจะเพิ่มขึ้น ... (... เรารู้เรื่องนี้เพราะ "ดีกว่า "กว่ารุ่นอื่น ... ) นักวิจัย 2 หลังไม่สามารถมีสมาธิอีกต่อไปมันมีอยู่แล้วเท่ากับ1สิ่งที่เราไม่ทราบว่าเป็นเท่าใดข้อมูลที่ได้รับการสนับสนุนกว่าทางเลือก สิ่งที่เรายังไม่รู้ก็คือรูปแบบที่แตกต่างกันอย่างไรเปลี่ยนแปลงข้อสรุปที่สำคัญของนักวิจัย 1 ตัวอย่างเช่นสมมติว่ามีคน$M_1$$P (M_1|DI)>>P (M_1|I)$$999$$1$$M_1$$1000$โมเดลมีคำศัพท์ทั่วไปและพารามิเตอร์การถดถอยพารามิเตอร์สำหรับตัวแปรนั้นมากกว่าอย่างมีนัยสำคัญ(เช่นสำหรับทุกรุ่น) จากนั้นก็ไม่มีปัญหาในการสรุปผลในเชิงบวกอย่างมีนัยสำคัญแม้ว่าหลายรุ่นจะพอดี$1000$$0$$p-value <10^{-8}$

คุณยังไม่ได้บอกว่าชุดข้อมูลมีขนาดใหญ่มากแค่ไหนและมันสำคัญมาก! หากคุณกำลังพูดถึงชุดข้อมูลที่มีการสังเกตครั้งและตัวแปรแปรปรวน / ตัวทำนาย / ตัวแปรอิสระตัวนักวิจัยที่ 1 อาจยังไม่แน่ใจเกี่ยวกับตัวแบบ อย่างไรก็ตามหากนักวิจัย 1 ใช้การสำรวจครั้งสิ่งนี้อาจกำหนดรูปแบบได้อย่างแน่นอน10 2 , 000 , $100$$10$$2,000,000$

ไม่มีอะไรผิดปกติกับคนสองคนที่เริ่มต้นด้วยข้อมูลที่แตกต่างกันและยังคงมีข้อสรุปที่แตกต่างกันหลังจากเห็นข้อมูลเดียวกัน อย่างไรก็ตาม ... การเห็นข้อมูลเดียวกันจะทำให้พวกเขาเข้าใกล้กันมากขึ้นหาก "พื้นที่ของโมเดล" ทับซ้อนกันและข้อมูลสนับสนุน "ภูมิภาคที่ทับซ้อนกัน" นี้

การตีความทางสถิตินั้นมีความชัดเจนน้อยกว่าการรักษาทางคณิตศาสตร์

คณิตศาสตร์เป็นปัญหาที่กำหนดไว้อย่างชัดเจน เช่นกลิ้งลูกเต๋าที่สมบูรณ์แบบหรือวาดลูกบอลจากโกศ

สถิติเป็นคณิตศาสตร์ประยุกต์ที่คณิตศาสตร์เป็นแนวทาง แต่ไม่ใช่วิธีการแก้ปัญหา (แน่นอน)

ในกรณีนี้เป็นที่ชัดเจนว่าสถานการณ์มีบทบาทสำคัญ ถ้าเราทำการถดถอยแล้วคำนวณ (คณิตศาสตร์) ค่า p บางอย่างเพื่อแสดงความแข็งแกร่งแล้วการตีความ (สถิติ) และค่าของค่า p คืออะไร?

• ในกรณีของการถดถอย 1000 ครั้งที่ดำเนินการโดยนักวิจัย 1ผลที่ได้นั้นอ่อนแอกว่ามากเนื่องจากสถานการณ์ประเภทนี้เกิดขึ้นเมื่อเราไม่มีเงื่อนงำและกำลังสำรวจข้อมูล ค่า p เป็นเพียงข้อบ่งชี้ว่าอาจมีบางอย่าง

  ดังนั้นค่า p จึงมีค่าน้อยกว่าในการถดถอยที่ทำโดยนักวิจัย 1 และถ้านักวิจัย 1 หรือใครก็ตามที่ใช้ผลลัพธ์ของนักวิจัย 1 ต้องการทำอะไรกับการถดถอยดังนั้นค่า p ต้องได้รับการแก้ไข (และหากคุณคิดว่าความแตกต่างระหว่างนักวิจัย 1 และนักวิจัย 2 ไม่เพียงพอเพียงแค่คิดถึงวิธีการมากมายที่นักวิจัย 1 สามารถแก้ไขค่า p สำหรับการเปรียบเทียบหลาย ๆ แบบ)

• ในกรณีของการถดถอยเดี่ยวที่ดำเนินการโดยนักวิจัย 2ผลที่ได้คือหลักฐานที่แข็งแกร่งมาก แต่นั่นเป็นเพราะการถดถอยนั้นไม่ได้อยู่ในตัวของมันเอง เราต้องรวมถึงเหตุผลที่ว่าทำไมนักวิจัย 2 ได้เพียงหนึ่งเดียวถดถอย อาจเป็นเพราะเขามีเหตุผลที่ดี (เพิ่มเติม) ที่จะเชื่อแล้วว่าการถดถอยเดี่ยวเป็นแบบอย่างที่ดีสำหรับข้อมูล

• การตั้งค่าการถดถอยที่ดำเนินการโดยนักวิจัย 1 และ 2 นั้นแตกต่างกันมากและไม่บ่อยนักที่คุณจะพบทั้งสองพร้อมกันสำหรับปัญหาเดียวกัน หากเป็นเช่นนั้น

  • นักวิจัย 2 โชคดีมาก

    นี่ไม่ใช่เรื่องแปลกดังนั้นและเราควรแก้ไขให้ถูกต้องเมื่อแปลวรรณกรรมและเราควรปรับปรุงการเผยแพร่ภาพรวมของการวิจัย หากมีนักวิจัยนับพันเช่นนักวิจัย 2 และเราจะเห็นเพียงหนึ่งในนั้นเผยแพร่ความสำเร็จแล้วเพราะเราไม่เห็นความล้มเหลวของนักวิจัย 999 คนอื่นเราอาจเชื่อว่าเราไม่ได้มีกรณีเหมือนนักวิจัย 1

  • นักวิจัย 1 ไม่ฉลาดและทำการค้นหาฟุ่มเฟือยอย่างไม่น่าเชื่อในขณะที่เขาอาจจะรู้ตั้งแต่เริ่มต้นว่ามันควรจะเป็นคนเดียวและเขาสามารถทำการทดสอบที่แข็งแกร่งขึ้น

    สำหรับบุคคลภายนอกที่ฉลาดกว่านักวิจัย 1 (ไม่สนใจเรื่องการถดถอยเพิ่มเติม 999 ครั้งตั้งแต่เริ่มต้น) และอ่านเกี่ยวกับงานพวกเขาอาจให้ความสำคัญกับความสำคัญของผลลัพธ์มากขึ้น แต่ก็ยังไม่เข้มแข็งเท่าที่ควร ผลการวิจัย 2.

    ในขณะที่นักวิจัย 1 อาจอนุรักษ์นิยมเกินไปเมื่อแก้ไขการถดถอยเพิ่มเติมฟุ่มเฟือย 999 เราไม่สามารถเพิกเฉยต่อความจริงที่ว่าการวิจัยทำในสุญญากาศของความรู้และมีแนวโน้มที่จะหานักวิจัยผู้โชคดีประเภท 1 มากกว่าประเภท 2

เรื่องราวที่น่าสนใจที่เกี่ยวข้อง: ในทางดาราศาสตร์เมื่อพวกเขาวางแผนที่จะใช้เครื่องมือที่ดีกว่าในการวัดพื้นหลังของจักรวาลด้วยความแม่นยำที่สูงขึ้นมีนักวิจัยที่แย้งว่าจะปล่อยข้อมูลเพียงครึ่งเดียว เนื่องจากมีเพียงช็อตเดียวในการรวบรวมข้อมูล เมื่อการถดถอยทั้งหมดดำเนินการโดยนักวิจัยหลายสิบคนที่แตกต่างกัน (และเนื่องจากความแตกต่างและความคิดสร้างสรรค์ของนักทฤษฎีอย่างไม่น่าเชื่อจึงมีความเหมาะสมกับทุก ๆ ที่เป็นไปได้สุ่มและชนในข้อมูล) จึงไม่มีความเป็นไปได้ การทดสอบใหม่เพื่อยืนยัน (นั่นคือเว้นแต่คุณจะสามารถสร้างจักรวาลใหม่ทั้งหมด)

เรื่องสั้น: เราไม่มีข้อมูลเพียงพอที่จะตอบคำถามของคุณเพราะเราไม่รู้อะไรเกี่ยวกับวิธีการที่ใช้หรือข้อมูลที่รวบรวม

คำตอบยาว ... คำถามจริงที่นี่คือว่านักวิจัยแต่ละคนกำลังทำอะไรอยู่:

• วิทยาศาสตร์ที่เข้มงวด
• pseudoscience อย่างเข้มงวด
• การสำรวจข้อมูล
• การขุดลอกข้อมูลหรือการแฮ็คข้อมูล

วิธีการของพวกเขาจะกำหนดความแข็งแกร่งของการตีความผลลัพธ์ของพวกเขา นี่เป็นเพราะวิธีการบางอย่างเสียงน้อยกว่าวิธีอื่น ๆ

ในวิทยาศาสตร์ที่เข้มงวดเราพัฒนาสมมติฐานระบุตัวแปรรบกวนพัฒนาตัวควบคุมสำหรับตัวแปรที่อยู่นอกสมมติฐานของเราวิธีการทดสอบแผนวางแผนวิธีการวิเคราะห์ของเราดำเนินการทดสอบ / รวบรวมข้อมูลแล้ววิเคราะห์ข้อมูล (โปรดทราบว่ามีการวางแผนวิธีการวิเคราะห์ก่อนการทดสอบ) นี่คือเข้มงวดที่สุดเพราะเราต้องยอมรับข้อมูลและการวิเคราะห์ที่ไม่เห็นด้วยกับสมมติฐาน ไม่สามารถเปลี่ยนวิธีการหลังจากได้รับสิ่งที่น่าสนใจ สมมติฐานใหม่ใด ๆ จากผลการวิจัยจะต้องผ่านกระบวนการเดียวกันอีกครั้ง

ในการเลียนแบบเรามักจะใช้ข้อมูลที่รวบรวมไว้แล้ว สิ่งนี้ยากต่อการใช้งานอย่างมีจริยธรรมเพราะง่ายต่อการเพิ่มอคติให้กับผลลัพธ์ อย่างไรก็ตามยังคงเป็นไปได้ที่จะปฏิบัติตามวิธีการทางวิทยาศาสตร์สำหรับนักวิเคราะห์ด้านจริยธรรม มันอาจเป็นเรื่องยากที่จะตั้งค่าการควบคุมที่เหมาะสมแม้ว่าและที่จะต้องมีการวิจัยและตั้งข้อสังเกต

การสำรวจข้อมูลไม่ได้ขึ้นอยู่กับวิทยาศาสตร์ ไม่มีสมมติฐานเฉพาะ ไม่มีการประเมินเบื้องต้นของปัจจัยรบกวน นอกจากนี้ยังเป็นการยากที่จะย้อนกลับและทำการวิเคราะห์ซ้ำโดยใช้ข้อมูลเดียวกันเนื่องจากผลลัพธ์อาจมีการเสียก่อนโดยความรู้หรือแบบจำลองก่อนหน้านี้และไม่มีข้อมูลใหม่ที่จะใช้สำหรับการตรวจสอบความถูกต้อง แนะนำให้ทำการทดลองทางวิทยาศาสตร์อย่างเข้มงวดเพื่ออธิบายความสัมพันธ์ที่เป็นไปได้จากการวิเคราะห์เชิงสำรวจ

การขุดลอกข้อมูลหรือการแฮ็ค P คือที่ "นักวิเคราะห์" ทำการทดสอบหลายครั้งโดยหวังว่าจะได้คำตอบที่ไม่คาดคิดหรือไม่ทราบหรือจัดการข้อมูลเพื่อให้ได้ผลลัพธ์ ผลลัพธ์อาจเป็นเรื่องบังเอิญง่าย ๆ อาจเป็นผลมาจากตัวแปรที่ทำให้สับสนหรืออาจไม่มีขนาดหรือกำลังส่งผลที่มีความหมาย

มีการแก้ไขสำหรับแต่ละปัญหา แต่การแก้ไขเหล่านั้นจะต้องได้รับการประเมินอย่างรอบคอบ