ในฐานะผู้ตรวจทานฉันสามารถจัดให้มีการร้องขอข้อมูลและรหัสได้แม้ว่าวารสารจะไม่ได้ทำหรือไม่?


23

ในฐานะที่เป็นวิทยาศาสตร์จะต้องทำซ้ำโดยความหมายมีการรับรู้เพิ่มขึ้นว่าข้อมูลและรหัสเป็นองค์ประกอบที่สำคัญของ reproduciblity ตามที่กล่าวโดยเยลโต๊ะกลมสำหรับข้อมูลและการแบ่งปันรหัส

ในการตรวจสอบต้นฉบับสำหรับวารสารที่ไม่ต้องการข้อมูลและการแชร์รหัสฉันสามารถขอให้มีการใช้ข้อมูลและรหัสได้หรือไม่

  1. ถึงฉันในเวลาที่รีวิว
  2. สาธารณะในเวลาที่เผยแพร่ (วารสารสนับสนุนข้อมูลเพิ่มเติม)

นอกจากนี้ฉันจะวลีคำขอดังกล่าวได้อย่างไร


อัปเดต : แม้ว่าฉันสนใจกรณีทั่วไป แต่เฉพาะกรณีนี้ประกอบด้วยการวิเคราะห์ meta กับข้อมูลที่เผยแพร่ก่อนหน้านี้ทั้งหมดและรหัสเป็นตัวแบบเชิงเส้นง่าย ๆ ใน SAS

หมายเหตุข้างเคียงความสามารถในการอนุมานการศึกษาข้าม (เช่นเดียวกับเป้าหมายของการวิเคราะห์อภิมาน) จะได้รับการปรับปรุงอย่างมากหากมีการศึกษาเพิ่มเติมที่ให้ข้อมูลดิบ

อัปเดต 2 :

ฉันขอข้อมูลและรหัสจากเครื่องมือแก้ไขเพื่อการตรวจทานบรรณาธิการพิจารณาคำขอที่สมเหตุสมผลและฉันได้รับเนื้อหาที่ร้องขอ (เพียงพอ แต่มีชื่อตัวแปรที่เข้ารหัสลับไม่มีข้อมูลเมตาดาต้าและความคิดเห็นแบบอินไลน์เล็กน้อย) ภายในหนึ่งวัน


3
โดยส่วนตัวแล้วฉันจะโอเคกับโค้ดในทุกสถานการณ์ ข้อมูลเป็นปัญหาอื่น ฉันจะไม่ได้รับอนุญาตให้แชร์กับทุกคนหากไม่ได้เผยแพร่สู่สาธารณะ ฉันสงสัยว่าสิ่งนี้ทำให้การร้องขอข้อมูลไม่มีเหตุผลในหลาย ๆ สถานการณ์
Andy W

4
ดูเหมือนว่าสิ่งที่คุณควรพูดคุยกับบรรณาธิการหรือบรรณาธิการของคุณ หากพวกเขาทำงานของพวกเขาพวกเขาควรจะสามารถให้คำแนะนำแก่คุณและอาจเป็นจุดติดต่อสำหรับผู้เขียนสำหรับคำขอดังกล่าว
พระคาร์ดินัล

1
สำหรับฉันแล้วดูเหมือนว่าหลายตัวอย่างและการสนทนาที่ตามมาจะขึ้นอยู่กับสถานการณ์เล็ก ๆ น้อย ๆ ที่อาจแตกต่างกันอย่างมากตามวินัยและข้อมูลที่เรากำลังพูดถึง แน่นอนว่าบางสถานการณ์ดูสมเหตุสมผลอย่างสมบูรณ์แบบในการเผยแพร่ข้อมูล แต่ไม่จำเป็นต้องบอกลักษณะทุกสถานการณ์ คำถามนี้กลายเป็นคำโผงผางอย่างรวดเร็ว!
Andy W

1
@ ข้อเสนอแนะใด ๆ เกี่ยวกับวิธีการหลีกเลี่ยงการพูดจาโผงผาง? เช่นความแตกต่างที่ควรทำใน OP หรือแก้ไขคำตอบ (มันคือ CW หลังจากทั้งหมด)
Abe

1
ฉันคิดว่าแบบฟอร์มนี้มีอคติการเลือก :-) พวกเราส่วนใหญ่อยู่ที่นี่เพราะพวกเราส่วนใหญ่สนับสนุนแนวคิดของ OP ในทางใดทางหนึ่ง
suncoolsu

คำตอบ:


7

เท่าที่ได้รับข้อมูลตามที่ผู้ตรวจทานดำเนินไปคุณจะได้รับสิทธิ์หากคุณต้องการให้ข้อมูลนั้นดำเนินการตรวจสอบให้เสร็จสิ้นอย่างถูกต้อง ผู้ตรวจสอบเพิ่มเติมควรขอข้อมูลและประเมินผล วารสารจำนวนมากมีนโยบายที่อาจต้องใช้ข้อมูลและรหัสการวิเคราะห์เพื่อการตรวจสอบ

ความพร้อมใช้งาน ณ เวลาที่เผยแพร่ไม่ชัดเจนสำหรับฉัน ดูเหมือนว่าคุณกำลังบอกว่าคุณต้องการบังคับให้ปัญหาที่เปิดเผยต่อสาธารณชนเป็นเงื่อนไขในการตีพิมพ์ นั่นเป็นความคิดที่ไม่ดีถ้ามันไม่ใช่นโยบายวารสาร คุณกำลังตีพิมพ์เป้าหมายที่ไม่ยุติธรรม พวกเขาคาดหวังว่าจะไม่เป็นข้อกำหนดและคุณและผู้แก้ไขไม่ควรเปลี่ยนเกม

ไม่ทราบสำหรับนักวิจัยหลายคนที่ได้รับทุนจากนักวิจัยพวกเขาจำเป็นต้องเปิดเผยข้อมูลของตนต่อสาธารณะ ตัวอย่างเช่นทุน NIH ส่วนใหญ่มีข้อที่นักวิจัยจะต้องเตรียมพร้อมกับข้อมูลของพวกเขา หน่วยงานรัฐบาลที่ให้สิทธิ์ส่วนใหญ่มีส่วนการแบ่งปันข้อมูลที่บังคับให้นักวิจัยแบ่งปันสิ่งที่พวกเขาพบ (อาจบังคับได้เล็กน้อยที่แข็งแกร่งเนื่องจากเป็นเรื่องยากมากที่จะสูญเสียการอนุญาตมากกว่านั้น ... อาจสูญเสียการต่ออายุ) ประชาชนจ่ายสำหรับข้อมูลดังนั้นประชาชนมีสิทธิได้รับ --- ในกรณีของการวิจัยของมนุษย์มีสิทธิ์ที่จะไม่เปิดเผยชื่อ

ข้อมูลที่มีราคาแพงและละเอียดอ่อนที่สุดในการเก็บรวบรวมข้อมูลมนุษย์ FMRI ก็เป็นข้อมูลสาธารณะที่มีการเปิดเผยมากที่สุด ไม่เพียงแค่ PLoS แต่วารสารที่สำคัญของฟิลด์จำเป็นต้องมีการส่งข้อมูลและรักษาธนาคารข้อมูลที่เปิดเผยต่อสาธารณะ ฉันคิดว่าสิ่งนี้พูดมากสำหรับคนที่คัดค้านด้วยเหตุผลของค่าใช้จ่าย (แพงมาก) และความเป็นส่วนตัว (เป็นข้อมูลมนุษย์จากการศึกษาขนาดเล็กและบางครั้งประชากรทางคลินิกที่ไม่ซ้ำกันซึ่งอาจมีความละเอียดอ่อนมาก) นี่คือเหตุผลที่ทำให้ข้อมูลนั้นมีค่ามากขึ้นต่อสาธารณะ นักวิจัยที่ระงับข้อมูลดังกล่าวกำลังก่อความเสียหายแก่คนที่ซื้อมัน (ทุกคน) และต้องการบทเรียนในสิ่งที่ความรับผิดชอบของพวกเขาอยู่นอกเหนือการแข่งขันในห้องแล็บและการแข่งขันสิ่งพิมพ์

หากการวิจัยได้รับการสนับสนุนจากเอกชนจงให้ทุนอย่างแท้จริงเป็นการโชคดีที่สุด


ฉันเห็นด้วยกับสิ่งที่อยู่ในนี้ - มีข้อกำหนดที่จะเปิดเผยข้อมูล - โดยทั่วไปแล้วจะเป็นนักวิจัยที่มีคุณสมบัติ - ใน NIH ที่ได้รับทุนสนับสนุนและสิ่งที่คล้ายกัน แต่ฉันคิดว่าการขยายสิ่งนี้ไปยังข้อกำหนดเฉพาะสำหรับการตีพิมพ์นั้นเป็นการแสดงบทบาทของนักวิจารณ์
Fomite

1
(+1) คำตอบที่ชัดเจนและชัดเจน สิ่งหนึ่งที่ต้องจำไว้คือเว็บไซต์นี้มีผู้ชมต่างประเทศค่อนข้าง ฉันหวังว่านักวิจัยมากขึ้นจะได้รับมุมมองการทำงานร่วมกันที่มีต่อการวิจัยและข้อมูลของพวกเขาแม้ว่าจะไม่มี NIH หรือองค์กรอื่น ๆ บิดแขนของพวกเขา
พระคาร์ดินัล

EpiGrad ในกรณีที่มันไม่ชัดเจนจากคำตอบฉันรู้สึกว่าการทำโฆษณาแบบเฉพาะกิจไม่เพียง แต่ จำกัด ขอบเขตของผู้ตรวจสอบเท่านั้น แต่ยังแก้ไขได้เช่นกัน
จอห์น

พระคาร์ดินัลขอบคุณสำหรับคำชม ขอบคุณสำหรับการเตือนเช่นกัน ฉันพยายามจำไว้ว่าเว็บไซต์นี้เป็นเว็บไซต์ระดับสากล ใหญ่เท่า NIH มันไม่ได้อยู่ในประเทศของฉัน ;)
จอห์น

@จอห์น. ใช่ - ฉันเพิ่งลืมใส่ 1 ในขณะที่เห็นด้วยกับคุณ :)
Fomite

6

การพูดถึงสองสถานการณ์แยกกัน:

ในฐานะผู้ตรวจสอบ: ใช่ฉันคิดว่าคุณมีเหตุผลที่ต้องขอดูข้อมูลหรือรหัส แต่ถ้าฉันเป็นคุณฉันจะเตรียมที่จะเห็นสิ่งต่าง ๆ เช่นรหัสที่ตัดลงหรือตัวอย่างของข้อมูล ผู้คนนำการวิจัยในอนาคตไปใช้โดยไม่ได้รายงานในบทความนี้ในรหัสของพวกเขาตลอดเวลาและคุณไม่มีสิทธิ์ได้รับรหัสดังกล่าว เนื่องจากฉันทำการวิจัยด้านชีวการแพทย์เป็นส่วนใหญ่ฉันก็พร้อมที่จะรับมือกับข้อตกลงการใช้ข้อมูลที่ค่อนข้าง จำกัด

ในวารสารเอง: ไม่หากนักวิจัยต้องการทำซ้ำผลลัพธ์ของฉันพวกเขาสามารถเข้าหาฉันเพื่อขอรหัสได้ - นั่นคือสาเหตุที่เรามีผู้เขียนที่เกี่ยวข้อง สำหรับข้อมูลไม่ใช่อย่างแน่นอนไม่ว่าในกรณีใด ๆ ข้อมูลของฉันถูกควบคุมโดย IRB และข้อตกลงการรักษาความลับไม่ใช่เพียงการเปิดเผยต่อสาธารณะ ถ้าฉันต้องการชุดข้อมูล public-ish ฉันอาจจำลองชุดข้อมูลที่มีคุณสมบัติคล้ายกัน (เช่นข้อมูลเครือข่าย "Faux-Mesa" ที่มีอยู่ในหนึ่งในแพ็กเกจเครือข่ายสำหรับ R) แต่ในฐานะผู้ตรวจทานคุณไม่ได้รับสายใด ๆ . หากเป็นข้อกำหนดทั่ววารสารผู้เขียนรู้ว่าข้อมูล / รหัสของพวกเขาจะเป็นสาธารณะเมื่อส่ง แต่ถ้าไม่ใช่ก็ไม่ใช่ บทบาทของคุณคือการประเมินคุณภาพของกระดาษเอง (ด้วยเหตุนี้ฉันไม่เป็นไรสำหรับวัตถุประสงค์ในการตรวจสอบ) ไม่ใช้ความสามารถของคุณในการยอมรับ / ปฏิเสธกระดาษเพื่อผลักดันสิ่งที่เป็นประเด็นทางปรัชญา / การเมือง นอกขอบเขตของวารสาร

ที่ดีที่สุดฉันจะใส่ "ฉันขอแนะนำให้ผู้เขียนสร้างรหัสและข้อมูลของพวกเขาหากเป็นไปได้" ในความคิดเห็นของคุณ แต่ฉันจะไม่ใช้วลีที่แข็งแกร่งกว่านั้นและฉันจะไม่ใส่มันลงไป รายการอย่างเป็นทางการของ "สิ่งที่ฉันคิดว่าจำเป็นต้องแก้ไขก่อนนี้เห็นแสงของวัน"


เพิ่งสังเกตเห็นการแก้ไขของคุณ: ในกรณีนี้เท่าที่เกี่ยวข้องกับกระดาษโดยคำตอบคือ 'ไม่' ที่แข็งแกร่ง - สมมติว่ากระดาษมีการอ้างอิง หากประเด็นของคำขอคือ 'การวิจัยที่ทำซ้ำได้' และข้อมูลสามารถค้นหาได้ในที่สาธารณะก็ไม่มีเหตุผลว่าทำไมนักวิจัยที่ต้องการยืนยันการค้นพบไม่สามารถทำสิ่งนี้ได้ด้วยตนเอง นอกจากนี้หากประเด็นคือการประเมินวิทยาศาสตร์จริง ๆ แทนที่จะแสดงให้เห็นว่าคุณก็สามารถคลิก "เรียกใช้" และรับผลลัพธ์เดียวกันได้โดยผ่านกระบวนการค้นหาและนามธรรมในการฟ้องร้องตัวเองเป็นส่วนหนึ่งของการตรวจสอบผลลัพธ์
Fomite

เพื่อการวิจัยที่สามารถทำซ้ำได้ควรมีรุ่นของรหัสและข้อมูลที่ใช้ในการวิเคราะห์และไม่คาดหวังรหัสที่ใช้ในการวิเคราะห์ (หรือจำเป็นต้องเกี่ยวข้อง)
ดาวิดเลอบัวเออร์

@EpiGrad: ในระดับบางอย่างผมค่อนข้างไม่เห็นด้วยกับการที่แข็งแกร่งนี้ไม่มี Keith Baggerly ได้ประกาศข่าวประเสริฐในเรื่องนี้เมื่อเร็ว ๆ นี้ ดูตัวอย่างเช่น KA Baggerly และ KR คูมบี, อันเกิดจาก chemosensitivity เซลล์: ชีวสารสนเทศนิติวิทยาศาสตร์และการวิจัยที่ทำซ้ำในสูง throughput ชีววิทยา , แอน Appl สถิติ เล่ม 3 หมายเลข 4, pp. 1309-1334 นอกจากนี้ยังมีรุ่น arXiv
พระคาร์ดินัล

ฉันรู้ว่ามีนักวิจัยที่ได้รับทุนสนับสนุนน้อยมากที่มี IRB และปัญหาความลับซึ่ง จำกัด การเผยแพร่ข้อมูลที่ไม่ระบุชื่ออย่างถูกต้อง หากคุณอยู่ในสถานการณ์เช่นนั้นมันเป็นกรณีที่ค่อนข้างหายาก
จอห์น

@EpiGrad ฉันยังถามแข็งแรงไม่มี วิธีการที่ใช้ในการรับจากข้อมูลดิบไปยังตัวชี้วัดที่ได้รับในการวิเคราะห์เมตามักจะต้องใช้ชุดใหญ่ของสมมติฐานที่เกี่ยวข้องกับความแตกต่างในวิธีการและการตีความที่เกิดขึ้นในระดับของการศึกษาส่วนบุคคล ในกรณีนี้มีการศึกษามากกว่า 200 ครั้งดังนั้นเวลาที่ต้องใช้ในการสร้างชุดข้อมูลใหม่จะเป็นสิ่งต้องห้าม - และในที่สุดจะยับยั้งเป้าหมายสูงสุดของการพัฒนาวิทยาศาสตร์
David LeBauer

5

ดังที่John กล่าวว่าความพร้อมใช้งานของข้อมูลสำหรับผู้ตรวจสอบควรไม่ใช่เรื่องง่าย การทบทวนอย่างรอบคอบควรรวมถึงการทำซ้ำการวิเคราะห์และจำเป็นต้องเข้าถึงข้อมูล

เกี่ยวกับความพร้อมใช้งานสาธารณะของข้อมูลต่อไปนี้ตีพิมพ์ฉันจะบอกว่าการต่อสู้ควรต่อสู้กับวารสารโดยทั่วไปมากกว่าเกี่ยวกับการส่งเฉพาะ

โดยทั่วไปแล้วหน่วยงานด้านการระดมทุนและ IRB ได้รับความสนใจมากขึ้นเรื่อย ๆ ว่าการแบ่งปันข้อมูลเป็นทั้งงานวิจัยทางวิทยาศาสตร์และทางจริยธรรมที่จำเป็น โดยการเพิ่มความพร้อมสำหรับการวิเคราะห์ซ้ำที่สามารถให้ผลลัพธ์ใหม่ของการรายงานที่ผิดพลาดที่ถูกต้องการแบ่งปันข้อมูลจะเพิ่มประโยชน์ที่อาจเกิดขึ้นกับการวิจัยดังนั้นจึงปรับเปลี่ยนค่าใช้จ่าย / ผลประโยชน์เพื่อประโยชน์ของผู้เข้าร่วมการวิจัย แน่นอนว่ามีความจำเป็นที่จะต้องแจ้งให้ผู้เข้าร่วมทราบถึงความเป็นไปได้ว่าข้อมูลของพวกเขาจะถูกแบ่งปันและจำเป็นต้องมีการตั้งค่าการป้องกันเพื่อป้องกันความเสี่ยงที่เพิ่มขึ้นของการระบุตัวตนของผู้เข้าร่วม ในการวิจัยของฉันฉันรับรองผู้เข้าร่วม (และ IRB ของฉัน) ว่า (1) ข้อมูลจะถูกเก็บไว้ในรูปแบบการเข้ารหัสที่แข็งแกร่ง (อัปเดตเป็นความก้าวหน้าทางเทคโนโลยีการถอดรหัส)


1

ฉันไม่มีประสบการณ์เกี่ยวกับเรื่องนี้ แต่ดูเหมือนว่าคุณจะสามารถยืนยันในอันดับที่ 1 ซึ่งเป็นส่วนหนึ่งของความขยันเนื่องจากคุณเองในการตรวจสอบผลลัพธ์ของพวกเขา แต่ฉันไม่เห็นวิธีที่คุณสามารถยืนยันใน # 2 ได้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.