ความสัมพันธ์ที่ตีพิมพ์ส่วนใหญ่ในสังคมศาสตร์ไม่น่าไว้วางใจและจะต้องทำอย่างไร [ปิด]

แม้จะมีความสำคัญ แต่ smacking ของ "gotcha" ความพยายาม -istic โดยบุคคลที่จะเปิดเผยการปฏิบัติของวารสารล่ามากขึ้นและภัยคุกคาม looms พื้นฐานในร่มเงาของการวิจัยด้านวิทยาศาสตร์สังคม ( แม้ว่าจะมีปัญหาอย่างแน่นอนหลายตัวที่นักวิจัยต้องอยู่ ) เพื่อให้ได้ตรงไปยังจุดที่เป็นไปตามมุมมองหนึ่งที่เราอาจจะไม่สามารถที่จะไว้วางใจค่าสัมประสิทธิ์สหสัมพันธ์ที่ได้มาจากกลุ่มตัวอย่างที่มีขนาดเล็กกว่า 250

หนึ่งจะยากที่จะหาการทดสอบมากขึ้นอาศัยการอนุมานทิศทางและความแข็งแกร่งของการเชื่อมโยงระหว่างกับการวัดในสังคมศาสตร์กว่าค่าสัมประสิทธิ์สหสัมพันธ์ที่เชื่อถือได้ อย่างไรก็ตามจะไม่ถูกกดทับอย่างหนักเพื่อค้นหารายงานที่มีการตรวจสอบโดยเพื่อนโดยอ้างว่ามีความสัมพันธ์ที่ดีระหว่างสองโครงสร้างตามค่าสัมประสิทธิ์สหสัมพันธ์ซึ่งคำนวณจากข้อมูลที่มีน้อยกว่า 250 ราย

จากวิกฤตการจำลองแบบในปัจจุบันที่เผชิญกับสังคมศาสตร์ (ดูลิงค์ที่สองด้านบน) เราจะดูรายงานนี้อย่างไรเกี่ยวกับการรักษาเสถียรภาพของค่าสัมประสิทธิ์สหสัมพันธ์ในตัวอย่างขนาดใหญ่เท่านั้น (อย่างน้อยตามมาตรฐานสาขาสังคมศาสตร์) มันเป็นอีกรอยร้าวในกำแพงของการวิจัยทางสังคมศาสตร์ที่ผ่านการตรวจสอบโดยเพื่อนหรือมันเป็นเรื่องเล็กน้อยที่ได้รับการนำเสนอมากเกินไปหรือไม่?

เนื่องจากไม่มีคำตอบที่ถูกต้องสำหรับคำถามนี้ฉันหวังว่าจะสร้างเธรดที่ทรัพยากรเกี่ยวกับคำถามนี้สามารถใช้ร่วมกันพิจารณาอย่างรอบคอบและถกเถียงกัน (แน่นอนและสุภาพด้วยความเคารพ)

การเพิ่มช่วงความเชื่อมั่นสำหรับค่าสัมประสิทธิ์สหสัมพันธ์โดยประมาณ $\rho$จะเป็นขั้นตอนแรกเล็ก ๆ (และง่ายมาก) ในทิศทางที่ถูกต้อง ความกว้างของมันทำให้คุณประทับใจในความแม่นยำของความสัมพันธ์ตัวอย่างของคุณและในขณะเดียวกันก็ช่วยให้ผู้เขียนและผู้ชมสามารถทดสอบสมมติฐานที่เป็นประโยชน์ได้ สิ่งที่ทำให้ฉันประหลาดใจเสมอเมื่อพูดคุยกับนักสถิติจากสังคมศาสตร์ว่าค่าสัมประสิทธิ์สหสัมพันธ์แบบสัมบูรณ์ข้างต้น$L = 0.3$(หรือข้อ จำกัด อื่น ๆ ) ได้รับการพิจารณาว่ามีความหมาย ในเวลาเดียวกันพวกเขากำลังทดสอบสมมติฐานการทำงาน$\rho \ne 0$. นี่เป็นเรื่องละเอียดอ่อน ทำไมค่าสัมประสิทธิ์สหสัมพันธ์ของประชากรน้อยมากจึงถูกพิจารณาว่ามีความหมาย? สมมติฐานการทำงานที่ "ถูกต้อง" จะเป็น$|\rho| > L$. มีช่วงความมั่นใจสำหรับ$\rho$ ในมือสมมติฐานนี้สามารถทดสอบได้ง่าย: เพียงตรวจสอบว่าช่วงเวลานั้นอยู่เหนือทั้งหมด $L$ (หรือด้านล่าง $-L$) และคุณรู้ว่าคุณสามารถอ้างสิทธิ์การเชื่อมโยงทางสถิติที่ "เป็นกอบเป็นกำ" ได้หรือไม่แม้แต่ในประชากร

แน่นอนว่าการเพิ่มช่วงความเชื่อมั่นและการใช้การทดสอบที่มีความหมายจะไม่ช่วยแก้ปัญหามากเกินไป (เช่นการออกแบบการสุ่มตัวอย่างที่ไม่ดีการพิจารณาข้าม confounders เป็นต้น) แต่มันเป็นพื้นฟรี ฉันเดาว่า SPSS ก็สามารถคำนวณได้!

ในฐานะที่เป็นMichael M ตั้งข้อสังเกตความน่าเชื่อถือของความสัมพันธ์ที่รายงานหรือการประมาณการอื่น ๆ สามารถประเมินได้โดยใช้ช่วงความเชื่อมั่น ในระดับหนึ่งนั่นคือ CIs จะแคบเกินไปหากเลือกรุ่นหลังจากการรวบรวมข้อมูลซึ่งฉันคาดว่าจะเกิดขึ้นประมาณ 95% ของเวลาในสังคมศาสตร์

การรักษาสองเท่า:

• เรากำลังพูดถึง "replicability วิกฤตการณ์ "ดังนั้นการจำลองแบบที่ล้มเหลวแจ้งให้เราทราบว่าผลกระทบดั้งเดิมอาจเป็นเพียงแค่สัญญาณรบกวนแบบสุ่มเราจำเป็นต้องทำ (และกองทุนและเขียนและส่งและยอมรับ) การจำลองแบบมากขึ้นการศึกษาการทำซ้ำ ๆ สิ่งที่ดี.

• การเยียวยาที่สองแน่นอน meta-analysis. หากเรามีรายงานที่สัมพันธ์กันหลายประการของข้อมูลที่คล้ายคลึงกันแม้ว่าทุก ๆ รายการจะมีค่าต่ำ$n$จากนั้นเราสามารถรวมข้อมูลและเรียนรู้บางสิ่ง เป็นการดีที่เราจะสามารถตรวจจับได้สิ่งพิมพ์อคติ ในกระบวนการ.