อะไรคือความแตกต่างระหว่าง "การทดสอบสมมติฐานทางสถิติที่ไม่มีสมมติฐาน" และแบบทดสอบอื่น ๆ

หัวข้อร้อนแรงล่าสุดของการอภิปรายเกี่ยวข้องกับวารสารห้ามการใช้ "ขั้นตอนการทดสอบทางสถิติสมมติฐานว่าง (NHSTPs)" จากบทความที่ส่งไปยังวารสาร ฉันเห็นคำนี้ที่นักเขียนบางคนใช้ แต่ฉันไม่เข้าใจว่าพวกเขากำลังพยายามสร้างความแตกต่างอะไร NHSTP นั้นแตกต่างจาก "การทดสอบสมมติฐาน" หรือ "การทดสอบนัยสำคัญ" หรือไม่?

พื้นหลัง: บรรณาธิการในคำถามนี้เป็นหนึ่งจากจิตวิทยาพื้นฐานและประยุกต์ใช้สังคมวารสารที่มีปัจจัย 2015 ผลกระทบของ 1.168 กล่าวคือไม่อ้างอิงสูง

Re: คำถาม OPคืออะไร NHSTP แตกต่างจาก "การทดสอบสมมติฐาน" หรือ "การทดสอบนัยสำคัญ" หรือไม่? คำสั่งบรรณาธิการที่เกี่ยวข้องคือ

1) "...the null hypothesis significance testing procedure (NHSTP)  is invalid..." [Sic, with alpha = 0.05]
2) "...authors will have to remove all vestiges of the NHSTP (p-values, t-values, F-values, statements about ‘‘significant’’ differences or lack thereof, and so on)."
3) "...confidence intervals [Sic, 95%] also are banned from BASP."
4) "...Bayesian procedures are neither required nor banned from BASP." [Sic, depends on which ones, they are either banned or not.]
5) "Are any inferential statistical procedures required?...No..."

แรงจูงใจที่เสนอสำหรับสิ่งนี้อยู่ในส่วน "...$p<.05$บาร์ง่ายเกินไปที่จะผ่านและบางครั้งก็เป็นข้อแก้ตัวสำหรับการวิจัยที่มีคุณภาพต่ำ เราหวังและคาดหวังว่าการห้าม NHSTP จะมีผลในการเพิ่มคุณภาพของต้นฉบับที่ส่งมาโดยการปลดปล่อยผู้เขียนจากโครงสร้างที่สมบูรณ์ของการคิด NHSTP ดังนั้นจึงเป็นการขจัดอุปสรรคสำคัญต่อการคิดสร้างสรรค์ "

คำตอบสำหรับ OP: ผู้แก้ไขเหล่านี้อาจอ้างว่าการทดสอบความสำคัญมักจะเป็นการทดสอบสมมติฐานที่ไม่เหมาะสม ตัวอย่างเช่นพวกเขากล่าวว่า "... ข้อเสนอแบบเบย์ที่อย่างน้อยก็ค่อนข้างหลีกเลี่ยงข้อสันนิษฐานของ Laplacian [Sic ฉันรู้ว่าไม่มีอะไรมาก่อน ] ... ตัวเลขอยู่ที่นั่นจริงๆ ... "สิ่งนี้เกี่ยวข้องกับการโต้แย้งของฟิชเชอร์เมื่อเทียบกับเนย์แมนและเพียร์สันตามที่กล่าวข้างต้นโดย @Livid และบรรณาธิการจะเข้าข้างฟิชเชอร์

การอภิปราย:ฉันเชื่อมั่นในความถ่อมใจทางสติปัญญาในฐานะพื้นฐานและหลักการทางวิทยาศาสตร์ที่ขาดไม่ได้ หากฉันในฐานะนักวิจัยไม่ได้รับอนุญาตให้ดำเนินการจากสมมติฐานเริ่มต้นที่ไม่ใช้สมมติฐานที่ไม่เชื่อทฤษฎีก่อนหน้านี้ทั้งหมดฉันจะสูญเสียความสามารถทั้งหมดของฉันในการตรวจสอบข้อมูลด้วยความคิดสร้างสรรค์และเปิดใจ หลักฐานที่ว่าการประมวลผลเชิงตัวเลขทั้งหมดจะต้องเป็นความจริงที่สมบูรณ์คือการแสดงออกของความชัดเจนที่เป็นประเสริฐ ความจริงเพียงอย่างเดียวคือข้อมูลและฉันก็จะถอดความกล่องถ่อมตนโดยระบุว่าแบบจำลองทั้งหมดเป็นเท็จโดยเฉพาะอย่างยิ่งและแน่นอนที่สุดผู้ที่เข้าใจว่าความจริงใด ๆ ที่เกิดขึ้นจากสิ่งใดก็ตามที่ไม่ได้เป็นตัวข้อมูลเอง นั่นไม่ได้หมายความว่าฉันต้องเลือกระหว่างฟิชเชอร์และเนย์แมน / เพียร์สัน แต่ฉันเชื่อมั่นว่าไม่ได้ใช้หลักฐานเพียงอย่างเดียว แต่ควรตรวจสอบสิ่งต่าง ๆ อย่างละเอียดถี่ถ้วนจนกว่าสมมติฐานของฉันจะได้รับการสนับสนุนและ / หรือถูกปฏิเสธ มีเพียงความมั่นคงในตนเองเท่านั้นที่สามารถใช้เป็นเกณฑ์เนื่องจากไม่มีการวิเคราะห์ใดที่สามารถเปิดเผยความจริงที่สมบูรณ์ได้

วิธีการทำสิ่งต่าง ๆ ไม่ใช่สำหรับทุกคน หลายคนชอบวางแผนการทดสอบในการออกแบบการทดลองที่ควบคุมอย่างเข้มงวดซึ่งฉันเรียกว่า 'จากบนลงล่าง' อย่างไรก็ตามการทดลองที่ควบคุมนั้นไม่มีประสิทธิภาพสำหรับการขุดข้อมูลการจดจำรูปแบบและการสร้างสมมติฐาน พวกมันมีประโยชน์สำหรับการทดสอบคำถามที่แคบและนั่นก็คือเมื่อมีข้อโต้แย้งเกี่ยวกับ NHSTP เกิดขึ้นได้ หากไม่มีหลักฐานสนับสนุนเช่นโครงสร้างทั้งหมดของความมั่นคงในตนเองที่ต้องพึ่งพาการทดสอบใด ๆ ก็เปิดให้มีการวิจารณ์ สิ่งนี้อาจถูกพิจารณาว่าเป็น Bonferroni ในทางกลับกัน; ถ้าการทดสอบหลายครั้งนำไปสู่วงดนตรีที่สอดคล้องกันอย่างหลีกเลี่ยงไม่ได้โอกาสของวงดนตรีที่เกิดขึ้นโดยบังเอิญเพียงอย่างเดียวจะลดลง ในการวางแผนการทดลองทางจิตวิทยาเรื่องไร้สาระเกี่ยวกับการไม่ใช้$p<0.05$ เกิดจากยังไม่ได้ทดสอบผลกระทบทั้งหมดของผลการทดสอบใด ๆ โดยเฉพาะและหากไม่สามารถทนต่อข้อผิดพลาดประเภทที่ 1 ได้ $0.05$ เพราะการออกแบบการทดลองนั้นเข้มงวด จำกัด และแคบมากจากนั้นใช้ $0.001$. อย่างไรก็ตามการห้ามวิธีการทางสถิติโดยเฉพาะเพราะมันถูกใช้อย่างไร้เหตุผลและงานที่ไร้เหตุผลผ่านการรวบรวมเมื่อตรวจสอบเพียงหมายความว่าบรรณาธิการไม่ได้ระบุงานที่มีคุณภาพต่ำก่อนที่จะเห็นด้วยที่จะตรวจสอบและไม่เข้าหาผู้ตรวจสอบที่มีคุณสมบัติ แน่นอนว่าเราไม่สามารถสร้างความเชื่อมั่นที่สมเหตุสมผลได้จากหลักฐานชิ้นเดียว ค่อนข้างกลุ่มของหลักฐานสถานการณ์นำไปสู่ความเชื่อมั่นที่สมเหตุสมผล การกำจัดหลักฐานทั้งหมวดเพราะเป็นสถานการณ์จะไม่ปรับปรุงเนื้อหาของวารสาร