การสุ่มในตัวอย่างที่ไม่ใช่แบบสุ่มยังคงสามารถแสดงผลได้ไม่ได้อธิบายอย่างสมเหตุสมผลโดยการเปลี่ยนแปลงแบบสุ่ม
ตัวอย่างเช่นสมมติว่าเรามีประชากรที่มีกลุ่มย่อยที่ไม่รู้จักสองกลุ่ม (ที่มีลักษณะแตกต่างกันเล็กน้อย *) ที่มีขนาดเท่ากันโดยประมาณ แต่ตัวอย่างของคุณไม่ใช่แบบสุ่มให้แบ่ง 80/20 ลองจินตนาการถึง 2 กลุ่มการรักษาที่มีขนาดเท่ากัน การสุ่มตัวอย่าง (อย่างน้อยมีขนาดตัวอย่างที่เหมาะสม) มีแนวโน้มที่จะให้ใกล้เคียงกับที่แบ่ง 80/20 ในแต่ละกลุ่มเพื่อให้ผลการรักษาที่เกิดจากการรักษามากกว่าการจัดสรรที่ไม่เท่ากันของกลุ่มที่แตกต่างกันในการรักษา
* นำไปสู่ค่าพื้นฐานที่ต่างกันพูด
ปัญหาเกิดขึ้นเมื่อคุณต้องการขยายการอนุมานไปยังประชากรเป้าหมายบางกลุ่มนอกเหนือจากที่กลุ่มตัวอย่างของคุณเป็นตัวแทนของ (ตัวเลือกตัวเอง); สิ่งนี้ต้องการสมมติฐาน / ข้อโต้แย้งที่คุณอาจไม่มีหลักฐาน (เช่นสมมติว่าความแตกต่างของการรักษาจะสอดคล้องกันสำหรับชุดย่อยทั้งหมดของประชากร)
สำหรับสถานการณ์ที่คล้ายกันให้ลองจินตนาการถึงการทดสอบยาความดันโลหิตสูงเฉพาะกับผู้ชายเปรียบเทียบกับการรักษามาตรฐานและยาหลอก สมมติว่าผู้ชายได้รับการสุ่มอย่างเหมาะสมในกลุ่มการรักษา ผลการรักษาจะเป็นจริงในแง่ที่ว่ามันจะอธิบายถึงผลกระทบในผู้ชาย ความยากลำบากจะมาถึงเมื่อพยายามที่จะขยายการอนุมานว่าผู้หญิง
ดังนั้นหากพวกเขาดำเนินการอย่างเหมาะสมและสุ่มตัวอย่างนอกเหนือจากการสรรหาบุคลากรผลกระทบที่สำคัญที่สังเกตได้จะเป็นสิ่งที่ดูเหมือน แต่จะนำไปใช้กับสิ่งที่คุณสุ่มตัวอย่างจริงไม่จำเป็นต้องเป็นเป้าหมายที่คุณต้องการ - ข้ามช่องว่างระหว่างสอง ต้องมีการถกเถียงอย่างระมัดระวัง อาร์กิวเมนต์ดังกล่าวมักจะขาด
เมื่อฉันเป็นนักเรียนเป็นเรื่องปกติมากสำหรับการทดลองทางจิตวิทยาที่จะดำเนินการกับนักเรียนจิตวิทยาที่คาดว่าจะเป็นอาสาสมัครสำหรับการทดลองดังกล่าวเป็นเวลาจำนวนชั่วโมง (นี่อาจเป็นกรณี แต่ฉันไม่ได้ติดต่อกับนักจิตวิทยาเป็นประจำ ใครเป็นผู้ทำการทดลองอีกต่อไป) ด้วยการสุ่มเพื่อการรักษาข้อสรุปอาจถูกต้อง (ขึ้นอยู่กับสิ่งที่ทำ) แต่จะนำไปใช้กับประชากรในท้องถิ่นของนักศึกษาระดับปริญญาตรีจิตวิทยาที่เลือกด้วยตนเอง (โดยที่พวกเขามักจะเลือกการทดลองที่จะลงทะเบียน) ตัวอย่างแบบสุ่มของประชากรที่กว้างขึ้น