การทดสอบอย่างมีนัยสำคัญทำให้รู้สึกถึงการเปรียบเทียบกลุ่มแบบสุ่มที่พื้นฐานหรือไม่

เอกสาร Randomized Controll Trial (RCT) จำนวนมากรายงานการทดสอบที่สำคัญเกี่ยวกับพารามิเตอร์พื้นฐานหลังจาก / ก่อนการสุ่มเพื่อแสดงให้เห็นว่ากลุ่มนั้นคล้ายกันจริง ๆ นี่มักเป็นส่วนหนึ่งของตาราง "คุณสมบัติพื้นฐาน" อย่างไรก็ตามการทดสอบนัยสำคัญวัดความน่าจะเป็นที่จะได้รับความแตกต่างที่สังเกต (หรือมากกว่า) โดยบังเอิญใช่ไหม และถ้าการทดสอบนั้นสำคัญเราก็สรุปได้ว่ามีความแตกต่างที่แท้จริงเพราะความแตกต่างแบบสุ่มของขอบเขตนั้นจะไม่น่าเป็นไปได้ การทดสอบอย่างมีนัยสำคัญทำให้เกิดความรู้สึกหลังจากสุ่มเมื่อเรารู้ว่าความแตกต่างใด ๆต้องเกิดจากโอกาสหรือไม่?

การทดสอบสมมติฐานจะเป็นแบบไร้สาระ แต่การทดสอบที่สำคัญอาจมีประโยชน์

การทดสอบสมมติฐานจะเป็นการทดสอบสมมติฐานว่างที่ทราบแล้วว่าเป็นจริงเนื่องจากคำถามของคุณชัดเจน มันโง่ที่จะใช้การทดสอบทางสถิติกับสมมติฐานใด ๆ ที่มีค่าความจริงที่รู้จักกันแล้วผ่านข้อมูลที่เชื่อถือได้

การทดสอบอย่างมีนัยสำคัญให้ค่า P ที่เป็นไปได้อีกครั้งตามที่คุณพูดแล้วระบุความน่าจะเป็นในการรับข้อมูลว่ามากหรือมากไปกว่านี้เมื่อได้รับสมมติฐานว่าง อย่างไรก็ตามสำหรับฉันแล้วฉันคิดว่าค่า P สามารถตีความได้ในลักษณะที่เท่ากับคำตอบของคำถาม "ฉันอาจคาดหวังว่าจะเห็นความแตกต่างของค่าพื้นฐานที่มีขนาดใหญ่ที่สุดในเวลานี้หรือใหญ่กว่านี้" คำตอบอาจมีประโยชน์แม้ว่าจะไม่ชัดเจนสำหรับวัตถุประสงค์อะไร