เราจะกำหนด 'การวิจัยที่ทำซ้ำได้' อย่างไร

ตอนนี้มีคำถามสองสามข้อที่เกิดขึ้นและฉันสงสัยเกี่ยวกับบางสิ่งบางอย่าง ฟิลด์ทั้งหมดย้ายไปที่ "ความสามารถในการทำซ้ำ" โดยมุ่งเน้นไปที่ความพร้อมใช้งานของข้อมูลดั้งเดิมและรหัสที่เป็นปัญหาหรือไม่

ฉันได้รับการสอนอยู่เสมอว่าแกนของความสามารถในการทำซ้ำนั้นไม่จำเป็นอย่างที่ฉันเคยพูดถึงความสามารถในการคลิกเรียกใช้และรับผลลัพธ์เดียวกัน วิธีการดาต้าและรหัสดูเหมือนว่าจะถือว่าข้อมูลนั้นถูกต้อง - ซึ่งไม่มีข้อบกพร่องในการรวบรวมข้อมูลเอง (มักเป็นเท็จในกรณีของการฉ้อโกงทางวิทยาศาสตร์) นอกจากนี้ยังมุ่งเน้นไปที่กลุ่มตัวอย่างเดียวของประชากรเป้าหมายแทนที่จะเป็นความสามารถในการจำลองแบบของการค้นหาตัวอย่างอิสระหลายรายการ

เหตุใดจึงมีความสำคัญต่อความสามารถในการวิเคราะห์อีกครั้งแทนที่จะทำซ้ำการศึกษาจากพื้นดินขึ้นมา?

บทความที่กล่าวถึงในความคิดเห็นด้านล่างที่มีอยู่ที่นี่

"การทำซ้ำการวิจัย" เป็นการวิเคราะห์ที่ทำซ้ำได้

การทำซ้ำการวิจัยเป็นคำที่ใช้ในโดเมนการวิจัยบางอย่างเพื่ออ้างถึงเฉพาะในการดำเนินการวิเคราะห์เช่นนั้น

• รหัสแปลงข้อมูลดิบและเมตาดาต้าเป็นข้อมูลที่ประมวลผล
• รหัสจะทำการวิเคราะห์ข้อมูลและ
• รหัสรวมการวิเคราะห์ลงในรายงาน

เมื่อแบ่งปันข้อมูลและรหัสดังกล่าวสิ่งนี้จะช่วยให้นักวิจัยคนอื่น ๆ สามารถ:

• ทำการวิเคราะห์ที่ไม่ได้รายงานโดยนักวิจัยดั้งเดิม
• ตรวจสอบความถูกต้องของการวิเคราะห์ที่ดำเนินการโดยนักวิจัยดั้งเดิม

การใช้งานนี้สามารถเห็นได้ในการอภิปรายของเทคโนโลยีเช่นSweave เช่น Friedrich Leisch เขียนในบริบทของ Sweave ว่า "รายงานสามารถปรับปรุงได้โดยอัตโนมัติหากข้อมูลหรือการวิเคราะห์เปลี่ยนแปลงซึ่งช่วยให้สามารถทำการวิจัยซ้ำได้อย่างแท้จริง" นอกจากนี้ยังสามารถเห็นได้ในมุมมองงาน CRAN เกี่ยวกับการวิจัยแบบทำซ้ำซึ่งระบุว่า "เป้าหมายของการวิจัยที่ทำซ้ำคือการผูกคำแนะนำเฉพาะในการวิเคราะห์ข้อมูลและข้อมูลการทดลองเพื่อให้ทุนการศึกษาสามารถสร้างใหม่เข้าใจและตรวจสอบได้ดีขึ้น"

การใช้งานที่กว้างขึ้นของคำว่า "การทำซ้ำ"

การทำซ้ำเป็นเป้าหมายพื้นฐานของวิทยาศาสตร์ มันไม่ใช่เรื่องใหม่ รายงานการวิจัยรวมถึงวิธีการและส่วนผลลัพธ์ที่ควรสรุปว่าข้อมูลนั้นถูกสร้างขึ้นประมวลผลและวิเคราะห์อย่างไร กฎทั่วไปคือรายละเอียดที่ให้ไว้ควรเพียงพอที่จะทำให้นักวิจัยที่มีความสามารถเหมาะสมที่จะนำข้อมูลที่ได้รับมาและทำซ้ำการศึกษา

ความสามารถในการทำซ้ำนั้นสัมพันธ์กับแนวคิดเรื่องความสามารถในการทำซ้ำและการวางนัยทั่วไป

ดังนั้นคำว่า "การวิจัยที่ทำซ้ำได้" ซึ่งนำมาใช้กับเทคโนโลยีอย่าง Sweave จึงเป็นชื่อเรียกที่ไม่ถูกต้องเนื่องจากมันบ่งบอกถึงความเกี่ยวข้องที่กว้างกว่าที่มันครอบคลุม นอกจากนี้เมื่อนำเสนอเทคโนโลยีอย่าง Sweave ให้กับนักวิจัยที่ไม่ได้ใช้เทคโนโลยีดังกล่าวนักวิจัยดังกล่าวมักจะประหลาดใจเมื่อฉันเรียกกระบวนการนี้ว่า "การวิจัยที่ทำซ้ำได้"

คำที่ดีกว่า "การวิจัยที่ทำซ้ำได้"

ระบุว่า "การวิจัยที่ทำซ้ำได้" ตามที่ใช้ในบริบทที่คล้ายกับ Sweave เฉพาะที่เกี่ยวข้องกับแง่มุมหนึ่งของการวิจัยที่ทำซ้ำได้อาจใช้คำอื่นแทน ทางเลือกที่เป็นไปได้ ได้แก่ :

• การวิเคราะห์แบบทำซ้ำ:
  • John D Cook ใช้คำนี้แล้ว
  • Jennifer Blackford ใช้คำว่า "การวิเคราะห์ที่เชื่อถือได้และทำซ้ำได้"
• การวิเคราะห์ข้อมูลที่ทำซ้ำได้
  • Christophe Pouzatใช้คำนี้
• การวิเคราะห์ทางสถิติที่ทำซ้ำได้
  • เว็บไซต์ Biostats ที่ Vanderbiltใช้คำว่า "การวิเคราะห์เชิงสถิติและกิจกรรมการรายงานที่ทำซ้ำได้"
• การรายงานที่ทำซ้ำได้

เงื่อนไขทั้งหมดข้างต้นเป็นภาพสะท้อนที่แม่นยำยิ่งขึ้นของการวิเคราะห์ที่คล้ายกับ Sweave การทำซ้ำการวิเคราะห์สั้นและหวาน การเพิ่ม "ข้อมูล" หรือ "เชิงสถิติ" จะช่วยอธิบายสิ่งต่าง ๆ ให้ชัดเจนยิ่งขึ้น แต่ยังทำให้คำนั้นยาวขึ้นและแคบลง นอกจากนี้ "สถิติ" มีความหมายแคบและกว้างและแน่นอนในความหมายแคบการประมวลผลข้อมูลส่วนใหญ่ไม่ได้เป็นสถิติ ดังนั้นกว้างโดยนัยคำว่า "การวิเคราะห์การทำซ้ำ" มีข้อดีของมัน

มันไม่เพียงเกี่ยวกับการทำซ้ำ

ปัญหาเพิ่มเติมอื่น ๆ ที่มีคำว่า "การวิจัยที่ทำซ้ำได้" คือเป้าหมายของเทคโนโลยีที่คล้าย Sweave ไม่ได้เป็นเพียงแค่ "การทำซ้ำ" มีจุดมุ่งหมายที่สัมพันธ์กันหลายประการ:

• การทำสำเนาได้
  • การวิเคราะห์สามารถเรียกใช้ซ้ำได้อย่างง่ายดายเพื่อแปลงข้อมูลดิบเป็นรายงานขั้นสุดท้ายด้วยผลลัพธ์เดียวกันหรือไม่
• ความถูกต้อง
  • การวิเคราะห์ข้อมูลสอดคล้องกับความตั้งใจของผู้วิจัยหรือไม่?
  • ความตั้งใจของผู้วิจัยถูกต้องหรือไม่?
• ความใจกว้าง
  • ความโปร่งใสความรับผิดชอบ
    • คนอื่นสามารถตรวจสอบและตรวจสอบความถูกต้องของการวิเคราะห์ได้หรือไม่?
  • ความสามารถในการปรับขยายได้, การปรับเปลี่ยนได้
    • ผู้อื่นสามารถแก้ไขขยายนำมาใช้ใหม่และบดข้อมูลวิเคราะห์หรือทั้งสองอย่างเพื่อสร้างงานวิจัยใหม่ได้หรือไม่

มีข้อโต้แย้งว่าการวิเคราะห์ที่ทำซ้ำได้ควรส่งเสริมการวิเคราะห์ที่ถูกต้องเนื่องจากมีการบันทึกเป็นลายลักษณ์อักษรของการวิเคราะห์ที่สามารถตรวจสอบได้ นอกจากนี้หากมีการแชร์ข้อมูลและรหัสมันจะสร้างความรับผิดชอบซึ่งกระตุ้นให้นักวิจัยตรวจสอบการวิเคราะห์ของพวกเขาและทำให้นักวิจัยคนอื่น ๆ สามารถบันทึกการแก้ไขได้

การวิเคราะห์แบบจำลองยังสอดคล้องกับแนวคิดเกี่ยวกับการวิจัยแบบเปิด แน่นอนนักวิจัยสามารถใช้เทคโนโลยีเหมือน Sweave เพื่อตัวเอง หลักการวิจัยแบบเปิดสนับสนุนการแบ่งปันข้อมูลและรหัสการวิเคราะห์เพื่อให้สามารถนำมาใช้ซ้ำและตรวจสอบได้มากขึ้น

นี่ไม่ใช่บทวิจารณ์การใช้คำว่า "ทำซ้ำได้" ค่อนข้างเป็นเพียงการเน้นว่าการใช้เทคโนโลยีเหมือน Sweave นั้นเป็นสิ่งจำเป็น แต่ไม่เพียงพอที่จะบรรลุเป้าหมายการวิจัยทางวิทยาศาสตร์

การเข้าถึงข้อมูลและรหัสสำหรับการวิเคราะห์ในรูปแบบที่ง่ายต่อการดำเนินการคือไซน์ใฐานะที่ไม่ใช่การวิจัยที่ทำซ้ำได้ เมื่อคุณตรวจสอบแล้วว่าการวิเคราะห์นั้นใช้งานได้คุณสามารถแทนที่รหัส / ข้อมูลของคุณเองซึ่งคุณสงสัยว่าเป็นของผู้เขียนต้นฉบับ ฉันจะบอกว่าส่วนใหญ่ของเอกสารที่มีสถิติที่ฉันอ่านมีอย่างน้อยส่วนหนึ่งของวิธีการที่เหลือคลุมเครือ ความพยายามของฉันในการทำซ้ำการวิเคราะห์เหล่านี้มักจะไม่ประสบความสำเร็จ (และใช้เวลานาน) แต่ก็ยากมากที่จะบอกว่านี่เป็นเพราะการฉ้อโกง, ข้อผิดพลาดของมนุษย์หรือ (มีโอกาสมากขึ้น) ในการแก้ไข ดังนั้นการมี data + code สำหรับกระดาษจึงไม่รับประกันว่าข้อสรุปของมันจะเป็นจริง แต่มันทำให้ง่ายต่อการวิจารณ์หรือขยายออกไป

นอกจากนี้ "การวิจัยที่ทำซ้ำได้" เรื่องของการศึกษาระดับปริญญา ดังนั้นขบวนการวิจัยที่ทำซ้ำได้จึงถูกมองว่าเป็นการส่งเสริมการวิจัยที่ "ทำซ้ำได้มากกว่า" มากกว่าบรรทัดฐานแทนที่จะเรียกร้องให้งานวิจัยมีเกณฑ์ขั้นต่ำ ฉันเดาว่า "การปล่อยข้อมูลและรหัส" อยู่ในสมัยแล้วเพราะเป็นขั้นตอนที่ค่อนข้างง่ายและไม่เป็นอันตราย

ความสามารถในการเรียกใช้ทุกอย่างใหม่เป็นจุดเริ่มต้นสำหรับการวิจัยที่ทำซ้ำได้ อนุญาตให้แสดงว่าคุณใช้ขั้นตอนเดียวกันจริง ๆ หลังจากนั้น - และหลังจากนั้นเท่านั้น - คุณสามารถติดตามการวิจัยของเพื่อนของคุณ กล่าวอีกนัยหนึ่งการทำซ้ำที่เข้มงวดไม่ควรถูกมองว่าเป็นช่วงเวลาที่การวิจัยก้าวไปข้างหน้า แต่ในฐานะที่เป็นสถานที่สำคัญฉันทามติซึ่งเป็นสิ่งที่ผู้คนเห็นด้วย นี่ไม่ใช่พื้นฐานของการก้าวต่อไปใช่หรือไม่?

นอกจากนี้จากการอภิปรายของDonoho (อ่านหัวข้อที่ 2 "เรื่องอื้อฉาว") จุดประสงค์ของการวิจัยที่ทำซ้ำก็คือการทดสอบความทนทานของรหัสที่กำหนด ก่อนอื่นด้วยการเล่นกับโค้ดทำการปรับเปลี่ยน sligth ที่ไม่ได้ทำในกระดาษ (เพราะเราไม่ต้องการเอกสารที่มีตัวเลข 30 ร่าง ... ) ฉันคิดว่าแนวคิดของการวิจัยที่ทำซ้ำได้ในครอกประกอบด้วยแนวคิดของการมีจุดสังเกตที่แข็งแกร่ง มันเกือบจะมีความคิดที่จะไปต่อ