มีตัวอย่างอะไรของตัวแปรที่ซ่อนอยู่ในการทดลองที่มีการควบคุมในสิ่งพิมพ์?

ในบทความนี้:

ตัวแปรที่ซุ่มซ่อน: บางตัวอย่าง Brian L. Joiner ฉบับสถิติชาวอเมริกัน 35, ฉบับที่ 4, พ.ย. , 1981 227-233

Brian Joiner อ้างว่า "การสุ่มไม่ใช่ยาครอบจักรวาล" ตรงข้ามกับข้อความทั่วไปเช่นข้อความด้านล่าง:

การทดสอบที่ออกแบบมาอย่างดีประกอบด้วยคุณสมบัติการออกแบบที่ช่วยให้นักวิจัยสามารถกำจัดตัวแปรภายนอกซึ่งเป็นคำอธิบายสำหรับความสัมพันธ์ที่สังเกตได้ระหว่างตัวแปรอิสระกับตัวแปรตาม ตัวแปรภายนอกเหล่านี้เรียกว่าตัวแปรซุ่มซ่อน

ข้อความที่นำมาจากคำถามนี้และไม่มีแหล่งที่มา แต่จากประสบการณ์ของฉันมันเป็นตัวแทนของทัศนคติที่แพร่หลาย: ตัวอย่างของ Lurking Variable และสังเกตการณ์ที่มีอิทธิพล

ตัวอย่างหนึ่งที่ให้ไว้คือเมื่อทำการทดสอบความปลอดภัย (การก่อมะเร็งโดยเฉพาะ) ของสีย้อมอาหารสีแดง # 40 บนสัตว์ฟันแทะในอายุเจ็ดสิบผลของตำแหน่งกรงก็พบว่าทำให้การศึกษาสับสน ตอนนี้ฉันได้อ่านบทความวารสารมากมายที่ศึกษาการก่อมะเร็งในสัตว์ฟันแทะ

การอภิปรายเพิ่มเติมของการศึกษาเหล่านี้สามารถพบได้ที่นี่: กรณีศึกษาสถิติในกระบวนการกำกับดูแล: การทดลอง FD&C Red No. 40

ฉันไม่พบรุ่นที่ไม่ได้ชำระเงิน แต่นี่เป็นข้อความที่ตัดตอนมา:

ในการประชุมเดือนมกราคมเรานำเสนอการวิเคราะห์เบื้องต้น (14) ที่เปิดเผยความสัมพันธ์ที่แข็งแกร่งระหว่างแถวกรงและอัตราการเสียชีวิต RE (reticulo-endothelial tumor) ซึ่งมีความหลากหลายตั้งแต่ 17% (แถวล่าง) ถึง 32% (แถวบนสุด) (ตารางด้านบน) 2) เราไม่สามารถอธิบายความสัมพันธ์ที่รัดกุมนี้โดยเพศกลุ่มปริมาณหรือคอลัมน์หรือตำแหน่งของชั้นวาง การวิเคราะห์ที่ตามมา (18) ยังระบุด้วยว่าตำแหน่งกรง (ด้านหน้าและด้านหลัง) อาจมีความสัมพันธ์กับการเสียชีวิตที่ไม่ใช่ RE และตำแหน่งนั้นสัมพันธ์กับเวลาที่ไม่ใช่การตายของ RE

ฉันสนใจเป็นพิเศษว่าทำไมดูเหมือนว่าจะมีปัญหาดังกล่าวกับการทำซ้ำในวรรณคดีการแพทย์ แต่ตัวอย่างจากทุกสาขาจะได้รับการต้อนรับ โปรดทราบว่าฉันสนใจตัวอย่างจากการทดลองแบบควบคุมแบบสุ่มไม่ใช่การศึกษาเชิงสังเกตการณ์

ตัวอย่างจากการวิจัยทางคลินิกอาจเป็นตัวแปรที่เกิดขึ้นหลังจากการสุ่ม - การสุ่มไม่ได้ปกป้องคุณจากสิ่งเหล่านั้น ไม่กี่คนที่อยู่ด้านบนของหัวของฉันซึ่งได้รับการยกให้เป็นไปได้หรือถูกบันทึกไว้:

• การเปลี่ยนแปลงพฤติกรรมหลังการขลิบชายผู้ใหญ่โดยสมัครใจเพื่อป้องกันการติดเชื้อ HIV
• การสูญเสียความแตกต่างในการติดตามระหว่างการรักษาและแขนควบคุมของ RCT
• ตัวอย่างที่เฉพาะเจาะจงมากขึ้นอาจรวมถึงการศึกษา "ประโยชน์ของ Universal Gowning และ Gloving" เมื่อเร็ว ๆ นี้ดูที่การป้องกันการติดเชื้อในโรงพยาบาลที่ได้รับ ( ความเห็นในบล็อกที่นี่กระดาษอยู่หลัง paywall) นอกเหนือจากการแทรกแซงและอาจเกิดขึ้นได้เพราะทั้งอัตราสุขอนามัยของมือและอัตราการติดต่อระหว่างผู้ป่วยและพนักงาน / ผู้เข้าชมมีการเปลี่ยนแปลง

การสุ่มตัวอย่างป้องกันผลกระทบเหล่านั้นเพราะมันเกิดขึ้นหลังการสุ่ม

นี่คือตัวอย่างหนึ่งที่ฉันพบสำหรับข้อมูล microarray นิพจน์ที่วัดได้ถูกรายงานว่ามีความสัมพันธ์อย่างมากกับตำแหน่งบน "ชิป" นี่เป็นกรณีที่การสุ่มตำแหน่งของตัวอย่างอาจนำไปสู่การเพิ่มโอกาสในการทำข้อผิดพลาดการติดฉลากดังนั้นผู้ที่ทำงานด้านเทคนิคอาจเลือกที่จะไม่สุ่มถ้าพวกเขาไม่คิดว่ามันเป็นสิ่งสำคัญ

การมอบหมายหน่วยทดลองแบบสุ่มเพื่อการบำบัดควบคุมความเป็นไปได้ที่ปัจจัยอื่นใดนอกเหนือจากการรักษาคือสาเหตุของความสัมพันธ์ (1,2) ⁠ ในบางแพลตฟอร์ม microarray เช่นIllumina®และ NimbleGenTM ​​ตัวอย่างชีวภาพหลาย ๆ ชนิดสามารถผสมเข้ากับชิปตัวเดียว ผลของตำแหน่งชิปและตัวอย่างอาจส่งผลต่อความแม่นยำและการทำซ้ำของการทดลอง microarray เว้นแต่ว่าจะพิจารณาความสมดุลและการสุ่มตัวอย่างในการออกแบบการทดลอง (4) เป้าหมายของเราคือเพื่อเปรียบเทียบผลกระทบของผลกระทบเหล่านี้ในการทดลองที่สับสนและสุ่มตัวอย่าง

ความสำคัญของการสุ่มในการออกแบบการทดลองขนาดเล็กด้วยแพลตฟอร์ม Illumina

Ricardo A. Verdugo, Christian F. Deschepper และ Gary A. Churchill The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, มอนทรีออล, ควิเบก, แคนาดา

ฉันมีตัวอย่างที่อาจแตกต่างจากที่คุณตั้งใจไว้เมื่อถามคำถามนี้ ปีหรือสองปีที่ผ่านมาก่อให้เกิดการอภิปรายอย่างต่อเนื่องในด้านจิตวิทยาเกี่ยวกับสาเหตุของการขาดการทำซ้ำของผลกระทบจากการทดลองแบบสุ่ม รุ่นของการอภิปรายนี้มีพื้นผิวมานานหลายปี แต่การอภิปรายได้กลายเป็นที่ประจักษ์มากขึ้นตั้งแต่การตีพิมพ์ของกระดาษแสดงให้เห็นว่าการปฏิบัติหลายอย่างที่เป็นมาตรฐานในด้านจิตวิทยาในการกำหนดสมมติฐานการรวบรวมข้อมูลการวิเคราะห์ข้อมูลและการรายงานผล อนุญาตให้นักวิจัยค้นหาผลลัพธ์ที่สนับสนุนแม้กระทั่งสมมติฐานที่เลือกโดยพลการ (ในเอกสารต้นฉบับนักวิจัยใช้วิธีปฏิบัติเหล่านี้เพื่อแสดงว่าการฟัง "เมื่อฉันอายุหกสิบสี่" โดย Beatles ทำให้ผู้คนอายุน้อยกว่า)

แน่นอนว่ารากฐานของปัญหาคือโครงสร้างแรงจูงใจที่แพร่หลายในด้านจิตวิทยา (และในสาขาวิทยาศาสตร์อื่น ๆ ) เพื่อให้ได้ผลลัพธ์ที่แปลกใหม่บวก "เผยแพร่" แรงจูงใจเหล่านี้สนับสนุนให้นักวิทยาศาสตร์การวิจัยใช้วิธีปฏิบัติที่ในขณะที่ไม่ชัดเจนว่า "ผิด" เหมือนกับการสร้างข้อมูล การปฏิบัติเหล่านี้รวมถึง:

1. คอลเลกชันของตัวแปรหลายตัวและคล้ายกันสูง มีการรายงานเฉพาะตัวแปรตามที่สร้างผลลัพธ์ที่สอดคล้องกับสมมติฐานเดิมมากที่สุด
2. ระหว่างการรวบรวมข้อมูลการทดสอบผลลัพธ์ที่สำคัญหลายครั้งและหยุดการรวบรวมข้อมูลเมื่อได้รับความสำคัญ
3. ในระหว่างการวิเคราะห์การรวม covariates หลายรายการในแบบจำลองทางสถิติ ในรายงานฉบับสุดท้ายจะมีการรายงานเฉพาะการรวมตัวของโควาเรียตที่นำไปสู่ผลลัพธ์ที่สอดคล้องกับสมมติฐานเดิมมากที่สุด
4. การวางเงื่อนไขที่นำไปสู่ผลลัพธ์ที่ไม่สอดคล้องกับ hyptoheses ดั้งเดิมและล้มเหลวในการรายงานเงื่อนไขเหล่านี้ในกระดาษ

และอื่น ๆ

ฉันจะยืนยันว่า "ตัวแปรที่ซ่อนไว้" ในกรณีเหล่านี้เป็นโครงสร้างแรงจูงใจที่ให้รางวัลแก่นักวิจัยเพื่อให้ได้ผลลัพธ์ที่ "เผยแพร่" ในเชิงบวก ในความเป็นจริงแล้วมีจิตวิทยาระดับสูงหลายเรื่อง (ซึ่งส่วนใหญ่อยู่ในจิตวิทยาพิเศษของฉัน) ที่ล้มเหลวในการทำซ้ำ ความล้มเหลวเหล่านี้ในการทำซ้ำหลายคนโต้แย้งสงสัยในสาขาย่อยทั้งหมดของจิตวิทยา

แน่นอนว่าปัญหาของโครงสร้างสิ่งเร้าที่ส่งเสริมให้เกิดผลบวกที่ผิดพลาดนั้นไม่ซ้ำกับจิตวิทยา นี่เป็นปัญหาที่เกิดขึ้นเฉพาะกับวิทยาศาสตร์ทั้งหมดและทำให้ทุกการทดลองแบบควบคุมได้แบบสุ่ม

อ้างอิง

Simmons, JP, Nelson, LD, & Simonsohn, U. (2011) จิตวิทยาเชิงบวกเท็จ: ความยืดหยุ่นที่ไม่เปิดเผยในการรวบรวมและวิเคราะห์ข้อมูลช่วยให้สามารถนำเสนอสิ่งที่สำคัญ วิทยาศาสตร์จิตวิทยา , 17, 1359-1366

Nosek, BA, Spies, JR, & Motyl, M. (2012) วิทยาศาสตร์ยูโทเปีย: II การปรับโครงสร้างแรงจูงใจและการปฏิบัติเพื่อส่งเสริมความจริงมากกว่าการเผยแพร่ มุมมองทางวิทยาศาสตร์จิตวิทยา , 7, 615-631

Yong, E. (2012) สำเนาไม่ถูกต้อง ธรรมชาติ , 485, 298-300

Abbott, A. (2013) ผลการโต้เถียงครั้งใหม่สำหรับจิตวิทยาสังคม ธรรมชาติ , 497, 16.