การสุ่มตัวอย่างแบบไม่สุ่ม


10

ฉันประหลาดใจเล็กน้อยที่เห็นโฆษณาทางจิตวิทยาสำหรับการมีส่วนร่วมในการศึกษาทดลอง แน่นอนคนที่ตอบสนองต่อโฆษณาเหล่านี้จะไม่สุ่มตัวอย่างแบบสุ่มและดังนั้นจึงเป็นประชากรที่เลือกด้วยตนเอง

เนื่องจากเป็นที่รู้จักกันว่าการสุ่มเลือกแก้ปัญหาการเลือกตนเองฉันสงสัยว่าการสุ่มตัวอย่างของกลุ่มตัวอย่างที่ไม่สุ่มเปลี่ยนอะไรจริงหรือไม่

คุณคิดอย่างไร ? และเราควรทำอะไรจากการทดลองทางจิตวิทยาทั้งหมดเหล่านี้จากตัวอย่างที่เลือกมาอย่างหนัก


คำตอบ:


10

การสุ่มในตัวอย่างที่ไม่ใช่แบบสุ่มยังคงสามารถแสดงผลได้ไม่ได้อธิบายอย่างสมเหตุสมผลโดยการเปลี่ยนแปลงแบบสุ่ม

ตัวอย่างเช่นสมมติว่าเรามีประชากรที่มีกลุ่มย่อยที่ไม่รู้จักสองกลุ่ม (ที่มีลักษณะแตกต่างกันเล็กน้อย *) ที่มีขนาดเท่ากันโดยประมาณ แต่ตัวอย่างของคุณไม่ใช่แบบสุ่มให้แบ่ง 80/20 ลองจินตนาการถึง 2 กลุ่มการรักษาที่มีขนาดเท่ากัน การสุ่มตัวอย่าง (อย่างน้อยมีขนาดตัวอย่างที่เหมาะสม) มีแนวโน้มที่จะให้ใกล้เคียงกับที่แบ่ง 80/20 ในแต่ละกลุ่มเพื่อให้ผลการรักษาที่เกิดจากการรักษามากกว่าการจัดสรรที่ไม่เท่ากันของกลุ่มที่แตกต่างกันในการรักษา

* นำไปสู่ค่าพื้นฐานที่ต่างกันพูด

ปัญหาเกิดขึ้นเมื่อคุณต้องการขยายการอนุมานไปยังประชากรเป้าหมายบางกลุ่มนอกเหนือจากที่กลุ่มตัวอย่างของคุณเป็นตัวแทนของ (ตัวเลือกตัวเอง); สิ่งนี้ต้องการสมมติฐาน / ข้อโต้แย้งที่คุณอาจไม่มีหลักฐาน (เช่นสมมติว่าความแตกต่างของการรักษาจะสอดคล้องกันสำหรับชุดย่อยทั้งหมดของประชากร)

สำหรับสถานการณ์ที่คล้ายกันให้ลองจินตนาการถึงการทดสอบยาความดันโลหิตสูงเฉพาะกับผู้ชายเปรียบเทียบกับการรักษามาตรฐานและยาหลอก สมมติว่าผู้ชายได้รับการสุ่มอย่างเหมาะสมในกลุ่มการรักษา ผลการรักษาจะเป็นจริงในแง่ที่ว่ามันจะอธิบายถึงผลกระทบในผู้ชาย ความยากลำบากจะมาถึงเมื่อพยายามที่จะขยายการอนุมานว่าผู้หญิง

ดังนั้นหากพวกเขาดำเนินการอย่างเหมาะสมและสุ่มตัวอย่างนอกเหนือจากการสรรหาบุคลากรผลกระทบที่สำคัญที่สังเกตได้จะเป็นสิ่งที่ดูเหมือน แต่จะนำไปใช้กับสิ่งที่คุณสุ่มตัวอย่างจริงไม่จำเป็นต้องเป็นเป้าหมายที่คุณต้องการ - ข้ามช่องว่างระหว่างสอง ต้องมีการถกเถียงอย่างระมัดระวัง อาร์กิวเมนต์ดังกล่าวมักจะขาด

เมื่อฉันเป็นนักเรียนเป็นเรื่องปกติมากสำหรับการทดลองทางจิตวิทยาที่จะดำเนินการกับนักเรียนจิตวิทยาที่คาดว่าจะเป็นอาสาสมัครสำหรับการทดลองดังกล่าวเป็นเวลาจำนวนชั่วโมง (นี่อาจเป็นกรณี แต่ฉันไม่ได้ติดต่อกับนักจิตวิทยาเป็นประจำ ใครเป็นผู้ทำการทดลองอีกต่อไป) ด้วยการสุ่มเพื่อการรักษาข้อสรุปอาจถูกต้อง (ขึ้นอยู่กับสิ่งที่ทำ) แต่จะนำไปใช้กับประชากรในท้องถิ่นของนักศึกษาระดับปริญญาตรีจิตวิทยาที่เลือกด้วยตนเอง (โดยที่พวกเขามักจะเลือกการทดลองที่จะลงทะเบียน) ตัวอย่างแบบสุ่มของประชากรที่กว้างขึ้น


การสรรหานักศึกษาปริญญาตรีที่ยากจนยังคงเป็นแนวทางปฏิบัติ ที่คาดว่านักเรียนจิตที่จะเข้าร่วมในการศึกษาดังกล่าวเป็นการละเมิดความสมบูรณ์ของการวิจัย IMO
StasK

@StasK: ทำไมล่ะ ฉันเคยพบว่าพวกเขาค่อนข้างน่าสนใจและฉันคิดว่าการมีส่วนร่วมในนั้นจะให้มุมมองที่เป็นประโยชน์กับนักเรียนด้านจิตวิทยา
Scortchi - Reinstate Monica

1
ใช่รูปแบบ "intro psych pool" ยังมีชีวิตอยู่และดี @StasK เพื่อลดการบีบบังคับให้น้อยลงนักเรียนจะถูกขอให้เข้าร่วมการทดลองเพียงไม่กี่ครั้งและพวกเขาสามารถเลือกได้ ฉันคิดว่าเรายังมีวิธีที่ให้นักเรียนเลือกที่จะไม่ใช้ทุกสิ่ง
Matt Krause

2
ทุกวันนี้ผู้คนต่างก็คลั่งไคล้กับ Mechanical Turk ของ Amazon การสำรวจผู้บริโภคของ Google และสิ่งอื่น ๆ ตามหลักวิชาเหล่านี้ให้คุณเข้าถึงกลุ่มสาระการเรียนรู้อื่น ๆ แต่ก็มีปัญหามากมายเช่นกัน ("เงื่อนไข" มีความหลากหลายมากขึ้นหัวเรื่องอาจมีแรงจูงใจน้อยลงและคุณไม่มีทางรู้ว่าพวกเขาเป็นใคร ... ) Undergrads อยู่ตรงนั้นมีแรงบันดาลใจในการทำแบบทดสอบและมักจะเต็มใจทำงานในราคาถูก
Matt Krause

@MattKrause: ในวันของฉันคุณจะถูกจับฉลากเพื่อซื้อไวน์สักขวด - ไม่เคยมีปัญหาการขาดแคลนอาสาสมัคร
Scortchi - Reinstate Monica

6

เนื่องจากเป็นที่รู้จักกันว่าการสุ่มเลือกแก้ปัญหาการเลือกตนเองฉันสงสัยว่าการสุ่มตัวอย่างของกลุ่มตัวอย่างที่ไม่สุ่มเปลี่ยนอะไรจริงหรือไม่

ในระยะสั้นไม่มี คิดแบบนี้: คุณมีโกศที่มีลูกบอลสีดำ 100 ลูกและลูกบอลสีขาว 100 ลูก คุณลองลูกบอลสีดำ 90 ลูกและลูกบอลสีขาว 10 ลูก การสุ่มตัวอย่างแบบสุ่มจาก subsample นี้จะไม่ช่วยให้คุณสามารถอนุมานที่เป็นกลางเกี่ยวกับโกศตัวเอง

และเราควรทำอะไรจากการทดลองทางจิตวิทยาทั้งหมดเหล่านี้จากตัวอย่างที่เลือกมาอย่างหนัก

ผู้คนยอมรับว่าการสุ่มตัวอย่างที่ไม่ใช่แบบสุ่มเป็นปัญหา แต่ปัญหาก็เป็นคำถามของ "ทฤษฎี" ของกลไกที่คุณสนใจถ้าสมมติฐานของคุณเกี่ยวข้องกับกลไกที่โดยทั่วไปแล้วควรจะเหมือนกันสำหรับมนุษย์ทุกคน น้ำ) ดังนั้นการเลือกแบบไม่สุ่มนั้นไม่สำคัญมากนัก น่าเสียดายที่นั่นไม่ใช่สิ่งที่เราสนใจ


นักจิตวิทยาถามคำถามเช่น "ถ้าฉันพยายามทำลายลูกบอลด้วยการขว้างมันไปที่ผนังเทียบกับการวางมันลงบนโต๊ะแล้วกระแทกมันด้วยค้อน พวกเขาไม่ได้พยายามอนุมานจำนวนลูกบอลของแต่ละสีพวกเขากำลังพยายามอนุมานในโหมดการแตกที่เกี่ยวข้องกับการสุ่มไปยังโหมดนั้น
StasK

ไม่จำเป็นต้อง Stas ในบางกรณี (ตัวอย่างเช่นผล Stroop) จุดมุ่งหมายคือการพูดคุยกับกลไกความรู้ความเข้าใจที่มีอยู่ในมนุษย์ทุกคน แม้ว่าเราจะเปรียบเทียบการรักษาการสุ่มตัวอย่างภายในตัวอย่างจะไม่อนุญาตให้มีการอนุมานที่เป็นกลางกับประชากร (ซึ่งเป็นสิ่งที่เราสนใจ)
abaumann

1

มีเทคนิคที่ออกแบบมาเพื่อจัดการกับปัญหาที่คุณพูดถึงซึ่งเรียกว่า Bootstrapping Bootstrapping เป็นวิธีการที่คุณสร้างตัวอย่างสังเคราะห์ใหม่โดยการดึงจากกลุ่มตัวอย่างจริงของคุณพร้อมการเปลี่ยน จากนั้นคุณทำสถิติในแต่ละกลุ่มตัวอย่างสังเคราะห์เหล่านั้นและเปรียบเทียบสถิติระหว่างชุด

นี่เป็นข้อได้เปรียบที่แข็งแกร่งของการอนุญาตให้คุณใช้เครื่องมือเพิ่มเติมมากมายในสถิติของคุณเพราะตัวอย่างสังเคราะห์เหล่านี้มาจากการกระจายที่รู้จัก จากนั้นคุณสามารถกำหนดว่าตัวประมาณของคุณดีแค่ไหนในการจัดการกรณีสังเคราะห์เหล่านี้ หากคุณพบว่าตัวประมาณค่าสำหรับตัวอย่างสังเคราะห์ทั้งหมดของคุณมาบรรจบกันอย่างดีในผลลัพธ์เดียวกันสมมติฐานของการบูตสแตรปทำให้คุณสามารถอนุมานได้ว่าตัวประมาณของคุณเมื่อนำไปใช้กับตัวอย่างเต็มรูปแบบให้การประมาณที่ดีสำหรับประชากรที่ไม่รู้จัก หากในอีกทางหนึ่งคุณพบว่าตัวประมาณของคุณให้ผลลัพธ์ที่แตกต่างกันมากจากชุดตัวอย่างสังเคราะห์ไปยังชุดตัวอย่างสังเคราะห์คุณควรอนุมานว่าตัวประมาณของคุณเมื่อนำไปใช้กับตัวอย่างเต็มอาจไม่ให้การประมาณที่ดีมากสำหรับประชากรที่ไม่รู้จัก

วิธีการบูตสแตรปนี้สามารถใช้เพื่อตรวจสอบว่าการสุ่มตัวอย่างของตัวอย่างที่ไม่ใช่แบบสุ่มของคุณนั้นเพียงพอหรือไม่ แน่นอนว่ามันไม่สามารถพิสูจน์ได้ แต่มันถูกใช้เป็นเครื่องมือในการเพิ่มความน่าเชื่อถือโดยการตรวจสอบสมมติฐานอีกครั้งว่าการสุ่มตัวอย่างแบบสุ่มของคุณนั้นสุ่มเพียงพอ


2
Bootstrapping ถือว่าตัวอย่างของคุณคล้ายกับประชากรมาก การบู๊ตไร้ประโยชน์หากตัวอย่างของคุณไม่ได้เป็นตัวแทนของประชากร ดังนั้นฉันไม่แน่ใจว่า bootstrapping สามารถแก้ไขปัญหาตัวอย่างที่ไม่สุ่มได้อย่างไร
Hotaka
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.