ทำไมเอฟเฟกต์แบบสุ่มหดกลับเป็น 0

10

มีเหตุผลที่เข้าใจง่ายหรือไม่ที่เอฟเฟกต์แบบสุ่มจะหดตัวลงไปสู่ค่าที่คาดไว้ในโมเดลเชิงเส้นผสมทั่วไป

mixed-model random-effects-model

คุณช่วยอธิบายบริบทเพิ่มเติมสำหรับคำถามนี้ได้ไหม

— มาโคร

ค่าที่คาดการณ์จากรูปแบบสุ่มผลกระทบมีประมาณหดตัว ; จะมี skrinkage เล็กน้อยเมื่อหน่วยสถิติแตกต่างกันหรือเมื่อการวัดมีความแม่นยำหรือมีตัวอย่างจำนวนมาก นี่คือสิ่งที่คุณเป็นหลังจากหรือคุณหมายถึงการหดตัวต่อค่าคาดหวังจริง ๆ ?

— chl

3

ฉันขอแนะนำบทความเก่าโดย Bradley Efron และ Carl Morris, Stein Paradox in Statistics (1977) ( PDFออนไลน์อยู่ที่นี่ ) ไม่แน่ใจว่ามันใช้งานง่าย แต่เป็นการนำเสนอที่อ่อนโยน (พร้อมตัวอย่างจริง) ในแนวคิดของการหดตัว

— Andy W

4

โดยทั่วไปการพูด "สุ่มเอฟเฟ็กต์" ส่วนใหญ่เกิดขึ้นในสถานการณ์ที่มี "เอฟเฟกต์ถาวร" หรือส่วนอื่น ๆ ของโมเดล โมเดลผสมเชิงเส้นทั่วไปมีลักษณะดังนี้:

Y_{ผม} = x_{ผม}^{T} β + Z_{ผม}^{T} ยู + ε_{ผม}

$y_i=x_i^T\beta+z_i^Tu+\epsilon_i$

โดยที่คือ "เอฟเฟกต์คงที่" และคือ "เอฟเฟกต์แบบสุ่ม" เห็นได้ชัดว่าแตกต่างเท่านั้นที่สามารถอยู่ในระดับความคิดหรือวิธีการประมาณค่าของและβสำหรับถ้าฉันกำหนด "ผลคงที่" ใหม่และแล้วฉันมีการถดถอยเชิงเส้นปกติ: $\beta$ $u$ $u$ $\beta$ $\tilde{x}_i=(x_i^T,z_i^T)^T$ $\tilde{\beta}=(\beta^T,u^T)^T$

Y_{ผม} = {\tilde{x}}_{ผม}^{T} \tilde{β} + ε_{ผม}

$y_i=\tilde{x}_i^T\tilde{\beta}+\epsilon_i$

นี่เป็นปัญหาจริงที่เกิดขึ้นจริงเมื่อพูดถึงโมเดลผสมที่เหมาะสมเมื่อเป้าหมายเชิงแนวคิดพื้นฐานไม่ชัดเจน ผมคิดว่ามีความจริงที่ว่าผลสุ่มจะหดตัวไปยังศูนย์และว่าผลกระทบคงที่ไม่ได้ให้ความช่วยเหลือบางอย่างที่นี่ ซึ่งหมายความว่าเราจะมีแนวโน้มที่จะชอบรูปแบบที่มีเพียงรวม (เช่น ) เมื่อประมาณการของมีความแม่นยำต่ำในการกำหนด OLS และมีแนวโน้มที่จะชอบ OLS เต็มสูตรเมื่อประมาณการที่มีความแม่นยำสูง $u$ $\beta$ $\beta$ $u=0$ $u$ $u$

— probabilityislogic
แหล่งที่มา

2

คำถามของคุณไม่ตอบเองใช่ไหม หากคาดว่าค่านั้นเป็นเทคนิคที่ทำให้ค่าใกล้เคียงกับที่จะดีที่สุด

คำตอบง่ายๆมาจากกฎของคนจำนวนมาก สมมติว่าวิชาเป็นเอฟเฟกต์แบบสุ่มของคุณ หากคุณใช้วิชา A ถึง D ในการทดลอง 200 ครั้งและหัวเรื่อง E ในการทดลอง 20 ครั้งคุณคิดว่าประสิทธิภาพของค่าเฉลี่ยที่วัดได้ของอาสาสมัครเป็นอย่างไร กฎหมายของคนจำนวนมากจะทำนายว่าประสิทธิภาพของวิชา E นั้นมีแนวโน้มที่จะเบี่ยงเบนโดยจำนวนที่มากกว่าจาก mu ใด ๆ มากกว่า A ถึง D มันอาจจะใช่หรือไม่ใช่และวิชาใดก็ตามที่สามารถเบี่ยงเบนได้ เหตุผลในการลดขนาดของ E ของตัวแบบที่มีต่อ A ของ D ถึง D มากกว่าวิธีอื่น ๆ ดังนั้นเอฟเฟกต์แบบสุ่มที่มีขนาดใหญ่กว่าและมีขนาดเล็กกว่าของเอ็นมีแนวโน้มที่จะหดตัวมากที่สุด

จากคำอธิบายนี้ก็เป็นสาเหตุที่ทำให้เอฟเฟกต์คงที่ไม่หด เป็นเพราะพวกเขากำลังแก้ไขมีเพียงหนึ่งในรูปแบบ คุณไม่มีการอ้างอิงเพื่อย่อขนาด คุณสามารถใช้ความชัน 0 เป็นข้อมูลอ้างอิง แต่นั่นไม่ใช่เอฟเฟกต์แบบสุ่ม พวกมันไปถึงค่าประมาณโดยรวมเช่น mu ผลกระทบถาวรที่คุณมีจากแบบจำลองของคุณคือค่าประมาณ

— จอห์น
แหล่งที่มา

1

ฉันคิดว่ามันอาจจะเป็นประโยชน์กับสัญชาตญาณของคุณจะคิดว่ารูปแบบผสมเป็นแบบลำดับชั้นหรือหลาย อย่างน้อยสำหรับฉันแล้วมันสมเหตุสมผลมากขึ้นเมื่อฉันคิดถึงการทำรังและรูปแบบการทำงานภายในและข้ามหมวดหมู่ในลักษณะลำดับชั้น

แก้ไข: มาโครฉันทิ้งส่วนนี้ไว้เล็กน้อยเพราะมันช่วยให้ฉันดูได้ง่ายขึ้น แต่ฉันไม่แน่ใจว่ามันถูกต้อง แต่หากต้องการขยายในทิศทางที่ไม่ถูกต้องอาจเป็น ...

ฉันมองว่ามันเป็นค่าเฉลี่ยคงที่ในแต่ละหมวดหมู่และเอฟเฟกต์แบบสุ่มที่แยกความแตกต่างระหว่างหมวดหมู่ ในบางแง่มุมเอฟเฟกต์แบบสุ่มคือ "กลุ่ม" ซึ่งมีลักษณะบางอย่างและกลุ่มที่ใหญ่และกะทัดรัดกว่าจะมีอิทธิพลมากกว่าค่าเฉลี่ยในระดับที่สูงขึ้น

ด้วย OLS ที่ทำข้อต่อ (ในเฟสฉันเชื่อว่า) "กลุ่ม" เอฟเฟกต์แบบสุ่มที่มีขนาดใหญ่ขึ้นและกระชับมากขึ้นจะดึงแรงเข้าหาตัวเองอย่างแน่นหนาในขณะที่ "กลุ่ม" ขนาดเล็กหรือกระจายแบบกระจาย หรืออาจจะเริ่มพอดีกับ "กลุ่ม" ขนาดใหญ่และกะทัดรัดมากขึ้นเนื่องจากค่าเฉลี่ยระดับสูงกว่าเริ่มต้น

ขออภัยฉันไม่สามารถชัดเจนและอาจผิด มันสมเหตุสมผลสำหรับฉันอย่างสังหรณ์ใจ แต่ในขณะที่ฉันพยายามจะเขียนฉันไม่แน่ใจว่ามันเป็นแบบบนลงล่างหรือล่างขึ้นบนหรือสิ่งอื่น มันเป็นเรื่องของ "กลุ่ม" ระดับล่างที่ดึงเข้าหาตัวเองอย่างแน่นหนายิ่งขึ้นหรือมีอิทธิพลมากกว่าค่าเฉลี่ยระดับสูงกว่า - และ "จบลง" ใกล้กับค่าเฉลี่ยระดับสูงกว่าหรือไม่?

ไม่ว่าในกรณีใดฉันรู้สึกว่ามันอธิบายได้ว่าทำไมตัวแปรสุ่มที่มีขนาดเล็กและกระจายมากขึ้นจะถูกดึงเข้าหาค่าเฉลี่ยมากกว่าหมวดหมู่ที่มีขนาดใหญ่และกะทัดรัดกว่า

— เวย์น
แหล่งที่มา

สวัสดีเวย์นคุณสามารถขยายขอบเขตสิ่งนี้เพื่ออธิบายว่าแนวคิดการหดตัว (อาจจะง่ายขึ้น) เป็นแนวคิดโดยการคิดแบบนี้เป็นแบบลำดับชั้นได้อย่างไร

— มาโคร

@Macro: โอเคฉันลองดู ไม่แน่ใจว่ามันจะทำให้คำตอบดีขึ้นหรือแย่ลง

— Wayne