การทดสอบมีสองแบบทั่วไป คนแรกตามสมมติฐานของการสุ่มตัวอย่างจากประชากรมักเรียกว่า "แบบจำลองประชากร"
ตัวอย่างเช่นสำหรับการทดสอบสองตัวอย่างที่เป็นอิสระเราจะสมมติว่าทั้งสองกลุ่มที่เราต้องการเปรียบเทียบนั้นเป็นกลุ่มตัวอย่างแบบสุ่มจากประชากรที่เกี่ยวข้อง สมมติว่าการแจกแจงคะแนนภายในสองกลุ่มนั้นกระจายอยู่ตามปกติในประชากรเราสามารถวิเคราะห์การกระจายตัวตัวอย่างของสถิติทดสอบได้ (เช่นสำหรับสถิติ t) แนวคิดคือถ้าเราต้องทำซ้ำขั้นตอนนี้ (สุ่มวาดสองตัวอย่างจากประชากรที่เกี่ยวข้อง) จำนวนอนันต์ครั้ง (แน่นอนเราไม่ทำอย่างนั้นจริง) เราจะได้การแจกแจงการสุ่มตัวอย่างสำหรับสถิติการทดสอบ
รูปแบบทางเลือกสำหรับการทดสอบคือ "รูปแบบการสุ่ม" ที่นี่เราไม่ต้องสนใจที่จะสุ่มตัวอย่างแบบสุ่ม แต่เราได้การกระจายแบบสุ่มผ่านการเรียงสับเปลี่ยนของตัวอย่างของเรา
ตัวอย่างเช่นสำหรับการทดสอบ t คุณมีสองตัวอย่างของคุณ (ไม่จำเป็นต้องได้รับจากการสุ่มตัวอย่าง) ทีนี้ถ้าหากไม่มีความแตกต่างระหว่างสองกลุ่มนี้จริง ๆ แล้วว่าบุคคลใดบุคคลหนึ่ง "เป็น" จริง ๆ ของกลุ่ม 1 หรือกลุ่ม 2 โดยพลการ ดังนั้นสิ่งที่เราสามารถทำได้คือการอนุญาตการมอบหมายกลุ่มซ้ำแล้วซ้ำอีกทุกครั้งที่สังเกตว่าความแตกต่างระหว่างสองกลุ่มนั้นอยู่ห่างกันเท่าใด ด้วยวิธีนี้เราได้รับการกระจายตัวตัวอย่างแบบประจักษ์ จากนั้นเราสามารถเปรียบเทียบว่าทั้งสองวิธีนั้นแตกต่างกันมากแค่ไหนในตัวอย่างดั้งเดิม (ก่อนที่เราจะเริ่มการสับเปลี่ยนสมาชิกภาพกลุ่ม) และหากความแตกต่างนั้นคือ "สุดขีด" (เช่นตกอยู่ในหางของการกระจายตัวอย่างที่ได้จากประจักษ์) การเป็นสมาชิกของกลุ่มนั้นไม่ได้มีจุดมุ่งหมายและแน่นอนว่ามีความแตกต่างระหว่างทั้งสองกลุ่ม
ในหลาย ๆ สถานการณ์ทั้งสองวิธีนำไปสู่ข้อสรุปเดียวกัน ในทางใดทางหนึ่งตามแบบจำลองประชากรสามารถมองได้ว่าเป็นการประมาณค่ากับการทดสอบแบบสุ่ม ที่น่าสนใจฟิชเชอร์เป็นผู้เสนอแบบจำลองการสุ่มและแนะนำว่าควรเป็นพื้นฐานสำหรับการอนุมานของเรา (เนื่องจากตัวอย่างส่วนใหญ่ไม่ได้รับจากการสุ่มตัวอย่าง)
บทความที่ดีที่อธิบายความแตกต่างระหว่างสองแนวทางคือ:
Ernst, MD (2004) วิธีการเรียงสับเปลี่ยน: พื้นฐานสำหรับการอนุมานที่แน่นอน วิทยาศาสตร์ทางสถิติ 19 (4), 676-685 (ลิงค์)
บทความอื่นที่ให้บทสรุปที่ดีและแนะนำว่าวิธีการสุ่มควรเป็นพื้นฐานสำหรับการอนุมานของเรา:
Ludbrook, J. , & Dudley, H. (1998) ทำไมการทดสอบการเปลี่ยนรูปจึงเหนือกว่าการทดสอบ t และ F ในการวิจัยทางการแพทย์ อเมริกันสถิติ 52 (2), 127-132 (ลิงค์)
แก้ไข: ฉันควรเพิ่มว่าเป็นเรื่องธรรมดาที่จะคำนวณสถิติการทดสอบเดียวกันเมื่อใช้วิธีการสุ่มตัวอย่างเช่นเดียวกับแบบจำลองประชากร ยกตัวอย่างเช่นสำหรับการทดสอบความแตกต่างของค่าเฉลี่ยระหว่างสองกลุ่มเราจะคำนวณค่าสถิติ t- ตามปกติสำหรับการเรียงสับเปลี่ยนที่เป็นไปได้ทั้งหมดของการเป็นสมาชิกของกลุ่ม สถิติสำหรับสมาชิกกลุ่มดั้งเดิมอยู่ภายใต้การแจกจ่ายนั้น