ตระกูล GLM แสดงถึงการกระจายตัวของตัวแปรตอบสนองหรือส่วนที่เหลือ?

ฉันได้คุยกับสมาชิกแล็บหลายคนเกี่ยวกับอันนี้และเราได้ไปหลายแหล่ง แต่ก็ยังไม่มีคำตอบ:

เมื่อเราบอกว่า GLM มีตระกูลปัวซองเรากำลังพูดถึงการกระจายตัวของเศษซากหรือตัวแปรการตอบสนองหรือไม่?

จุดของการต่อสู้

อ่านหนังสือนี้บทความมันกล่าวว่าสมมติฐานของ GLM ที่มีความเป็นอิสระทางสถิติของการสังเกตเปคที่ถูกต้องของการเชื่อมโยงและความแปรปรวนของฟังก์ชั่น (ซึ่งทำให้ฉันคิดเกี่ยวกับสิ่งตกค้างที่ไม่ตัวแปรตอบสนอง) ขนาดที่ถูกต้องของการวัดตัวแปรการตอบสนอง และขาดอิทธิพลเกินควรจากจุดเดียว
คำถามนี้มีสองคำตอบโดยมีสองคะแนนแต่ละข้อที่ปรากฏครั้งแรกพูดถึงเศษซากและคำตอบที่สองเกี่ยวกับตัวแปรการตอบสนองคืออะไร?
ในบล็อกนี้เมื่อพูดถึงสมมติฐานพวกเขาระบุว่า " การกระจายตัวของสารตกค้างอาจเป็นอย่างอื่นเช่นทวินาม "
ในตอนต้นของบทนี้พวกเขากล่าวว่าโครงสร้างของข้อผิดพลาดจะต้องเป็นปัวซอง แต่ส่วนที่เหลือจะมีค่าบวกและลบแน่นอนว่าปัวซองจะเป็นอย่างไร
คำถามนี้ซึ่งมักถูกอ้างถึงในคำถามเช่นคำถามนี้เพื่อให้ซ้ำกันไม่มีคำตอบที่ยอมรับได้
คำถามนี้คำตอบพูดคุยเกี่ยวกับการตอบสนองและไม่เหลือ
ในรายละเอียดหลักสูตรนี้จากมหาวิทยาลัยเพนซิลวาเนียพวกเขาพูดคุยเกี่ยวกับตัวแปรตอบสนองในสมมติฐานไม่ใช่ส่วนที่เหลือ

generalized-linear-model residuals assumptions

คำตอบ:

ครอบครัวอาร์กิวเมนต์สำหรับรุ่น GLM กำหนดครอบครัวกระจายสำหรับเงื่อนไขการกระจายของการตอบสนองซึ่งไม่ใช่ของเหลือ (ยกเว้นสำหรับกึ่ง -models)

ดูวิธีนี้: สำหรับการถดถอยเชิงเส้นปกติเราสามารถเขียนแบบจำลองเป็น ซึ่งหมายความว่าการตอบสนองมีการแจกแจงแบบปกติ (ที่มีความแปรปรวนคงที่) แต่ความคาดหวังที่แตกต่างกันสำหรับแต่ละฉันดังนั้นการแจกแจงแบบมีเงื่อนไขของการตอบสนองจึงเป็นการแจกแจงแบบปกติ (แต่จะแตกต่างกันสำหรับแต่ละตัว ) วิธีการเขียนแบบนี้ก็คือ ที่แต่ละคือการกระจาย2)

Y_{i} \sim Normal (β_{0} + x_{i}^{T} β, σ^{2}) .

$Y_i \sim \text{Normal}(\beta_0+x_i^T\beta, \sigma^2).$

Y_{i}

$Y_i$

i

$i$

i

$i$

Y_{i} = β_{0} + x_{i}^{T} β + ϵ_{i}

$Y_i = \beta_0+x_i^T\beta + \epsilon_i$

ϵ_{i}

$\epsilon_i$

Normal (0, σ^{2})

$\text{Normal}(0, \sigma^2)$

ดังนั้นสำหรับตระกูลการแจกแจงแบบปกติคำอธิบายทั้งคู่จึงถูกต้อง (เมื่อตีความอย่างถูกต้อง) นี่เป็นเพราะสำหรับโมเดลเชิงเส้นปกติเรามีการแยกอย่างชัดเจนในรูปแบบของส่วนที่เป็นระบบ ( ) และส่วนรบกวน ( ) ซึ่งถูกเพิ่มเข้ามาอย่างง่ายๆ แต่สำหรับฟังก์ชั่นครอบครัวอื่น ๆ การแยกนี้เป็นไปไม่ได้ ! ไม่มีคำจำกัดความที่ชัดเจนว่าสิ่งที่เหลือหมายถึงอะไร (และด้วยเหตุผลนั้นจึงมีคำจำกัดความที่แตกต่างกันหลายอย่างของ "ที่เหลือ") $\beta_0+x_i^T\beta$ $\epsilon_i$

ดังนั้นสำหรับตระกูลอื่น ๆ ทั้งหมดเราใช้คำจำกัดความในรูปแบบของสมการที่แสดงครั้งแรกข้างต้น นั่นคือการกระจายการตอบสนองตามเงื่อนไข ดังนั้นไม่มีเศษเหลือ (สิ่งที่กำหนด) ในการถดถอยปัวซองไม่มีการกระจายปัวซอง

— kjetil b halvorsen
แหล่งที่มา

นอกเหนือจากคำตอบที่ยอดเยี่ยมของ Kjetil ฉันต้องการเพิ่มตัวอย่างเฉพาะบางอย่างเพื่อช่วยอธิบายความหมายของการแจกแจงแบบมีเงื่อนไขซึ่งอาจเป็นแนวคิดที่เข้าใจยาก

สมมติว่าคุณสุ่มตัวอย่างปลา 100 ตัวจากทะเลสาบและคุณสนใจที่จะดูว่าอายุของปลามีผลต่อตัวแปรผลลัพธ์อย่างไรบ้าง:

น้ำหนักปลา (น้ำหนัก);
ไม่ว่าปลาจะยาวกว่า 30 ซม.
จำนวนเกล็ดปลา

ตัวแปรผลลัพธ์แรกนั้นต่อเนื่องที่สองคือไบนารี (0 = ปลาไม่เกิน 30 ซม. 1 = ปลายาวกว่า 30 ซม.) และที่สามคือตัวแปรนับ

การถดถอยเชิงเส้นอย่างง่าย

อายุมีผลต่อน้ำหนักอย่างไร คุณจะกำหนดรูปแบบการถดถอยเชิงเส้นอย่างง่ายของแบบฟอร์ม:

Weight = β_{0} + β_{1} * Age + ϵ

$\text{Weight} = \beta_0+\beta_1*\text{Age} + \epsilon$

ที่ 's เป็นอิสระกันกระจายตามการแจกแจงแบบปกติที่มีค่าเฉลี่ย 0 และส่วนเบี่ยงเบนมาตรฐาน\ในแบบจำลองนี้ค่าเฉลี่ยของตัวแปรน้ำหนักสำหรับปลาทั้งหมดในทะเลสาบที่มีอายุเท่ากันนั้นถือว่าแตกต่างกันตามอายุ หมายถึงเงื่อนไขเป็นตัวแทนจาก{} มันถูกเรียกว่าเงื่อนไขเพราะมันเป็นน้ำหนักเฉลี่ยสำหรับทุกปลาในทะเลสาบกับอายุเดียวกัน (น้ำหนักเฉลี่ยที่ไม่มีเงื่อนไขจะเป็นน้ำหนักเฉลี่ยของปลาทุกตัวในทะเลสาบโดยไม่คำนึงถึงอายุ) $\epsilon$ $\sigma$ $\beta_0 + \beta_1*\text{Age}$

การถดถอยโลจิสติกไบนารีแบบง่าย

อายุมีผลต่อหรือไม่ว่าปลามีความยาวมากกว่า 30 ซม. คุณกำลังจะกำหนดรูปแบบการถดถอยแบบไบนารีโลจิสติกอย่างง่ายของแบบฟอร์ม:

l o g (\frac{p}{1 - p}) = β_{0} + β_{1} * Age

$log(\frac{p}{1-p}) = \beta_0+\beta_1*\text{Age}$

โดยที่หมายถึงความน่าจะเป็นแบบมีเงื่อนไขว่าปลาในยุคที่กำหนดนั้นมีความยาวมากกว่า 30 ซม. ในโมเดลนี้ความหมายตามเงื่อนไขของตัวแปร "หรือไม่ว่าปลาจะยาวกว่า 30 ซม." ซึ่งสอดคล้องกับปลาทุกตัวในทะเลสาบที่มีอายุเท่ากันนั้นจะถือว่าแปรผันเป็นเส้นตรงตามอายุหลังจากได้รับอาหารเข้าสู่การเปลี่ยนแปลงโลจิท logit-เปลี่ยนหมายถึงเงื่อนไขเป็นตัวแทนจาก{} แบบจำลองนี้ใช้งานได้เพราะเราสันนิษฐานว่าการแจกแจงค่าของตัวแปร "ไม่ว่าปลานั้นจะมีความยาวมากกว่า 30 ซม." สำหรับอายุที่กำหนดหรือไม่นั้นคือการแจกแจงเบอร์นูลลี โปรดจำไว้ว่าสำหรับการแจกแจงนี้ความแปรปรวนเป็นฟังก์ชันของค่าเฉลี่ยดังนั้นหากเราสามารถประเมินค่าเฉลี่ยได้เราก็สามารถประเมินความแปรปรวนได้ $p$ $\beta_0 + \beta_1*\text{Age}$ $p$ และความแปรปรวนเป็น .) ดูเพิ่มเติมhttps://www.theanalysisfactor.com/link-functions-and-errors-in-logistic-regression/ $p*(1-p)$

การถดถอยปัวซองแบบง่าย

อายุมีผลต่อจำนวนเกล็ดปลาอย่างไร คุณกำลังจะกำหนดรูปแบบการถดถอยแบบปัวซองอย่างง่ายของแบบฟอร์ม:

l o g (μ) = β_{0} + β_{1} * Age

$log(\mu) = \beta_0+\beta_1*\text{Age}$

โดยที่หมายถึงค่าเฉลี่ยตามเงื่อนไขของตัวแปรผลลัพธ์ "จำนวนเกล็ดปลา" สำหรับปลาอายุที่กำหนด (นั่นคือจำนวนเกล็ดปลาที่คาดไว้สำหรับปลาทุกตัวในทะเลสาบในช่วงอายุที่กำหนด) ในโมเดลนี้ค่าเฉลี่ยตามเงื่อนไขของตัวแปรผลลัพธ์จะถือว่าแปรผันเป็นเส้นตรงตามอายุหลังจากป้อนเข้าสู่การแปลงบันทึก เข้าสู่ระบบเปลี่ยนหมายถึงเงื่อนไขเป็นตัวแทนจาก{} แบบจำลองนี้ใช้งานได้เพราะเราสันนิษฐานว่าการกระจายของค่าตัวแปร "จำนวนเกล็ดปลา" สำหรับปลาทั้งหมดในทะเลสาบที่มีอายุเท่ากันนั้นคือการแจกแจงปัวซอง จำได้ว่าสำหรับการแจกแจงนี้ค่าเฉลี่ยและความแปรปรวนเท่ากันดังนั้นมันก็เพียงพอที่จะทำแบบจำลองค่าเฉลี่ยของมัน $\mu$ $\beta_0+\beta_1*\text{Age}$

เพื่อสรุปผลการกระจายเงื่อนไขหมายถึงการกระจายของค่าผลสำหรับค่าเฉพาะของตัวแปรทำนาย (s) รวมอยู่ในรูปแบบ แบบจำลองการถดถอยแต่ละประเภทที่แสดงไว้ด้านบนกำหนดสมมติฐานการกระจายบางอย่างเกี่ยวกับการแจกแจงแบบมีเงื่อนไขของตัวแปรผลลัพธ์ที่กำหนดอายุ จากสมมติฐานการกระจายเหล่านี้แบบจำลองดำเนินการเพื่อกำหนดว่า (1) ค่าเฉลี่ยของการแจกแจงแบบมีเงื่อนไขแตกต่างกันอย่างไรเมื่อฟังก์ชันของอายุ (การถดถอยเชิงเส้นอย่างง่าย), (2) ค่าเฉลี่ย logit-transformed ของการแจกแจงแบบมีเงื่อนไข อายุ (การถดถอยโลจิสติกแบบไบนารีอย่างง่าย) หรือ (3) ค่าเฉลี่ยการแปลงล็อกของการแจกแจงแบบมีเงื่อนไขจะแตกต่างกันไปตามหน้าที่ของอายุ

สำหรับแต่ละประเภทของรูปแบบหนึ่งสามารถกำหนดสารตกค้างที่สอดคล้องกันเพื่อวัตถุประสงค์ในการตรวจสอบรูปแบบ โดยเฉพาะอย่างยิ่งเพียร์สันและส่วนเบี่ยงเบนสามารถกำหนดสำหรับโมเดลการถดถอยโลจิสติกและปัวซอง

— Isabella Ghement
แหล่งที่มา

คำตอบที่ยอดเยี่ยม ขอบคุณทั้งคู่ ฉันไม่เคยรู้เลยว่าส่วนที่เหลือ "ที่เกิดขึ้นจริง" นั้นไม่เคยมีความชัดเจนในกรอบการทำงานทั่วไปของ GLM เหมือนกับที่อยู่ในกรณีการแจกแจงแบบปกติ

— mlofton

@mlofton: ขอบคุณสำหรับคำพูดของคุณ คำถามที่ยอดเยี่ยมเชิญคำตอบที่ยอดเยี่ยม เราทุกคนได้รับประโยชน์จากการแลกเปลี่ยนความรู้นี้

— Isabella Ghement

ฉันใช้ GLM มานาน (หนึ่งหรือสองปีเหมือนเมื่อ 10 ปีก่อน) และนั่นเป็นความสับสนของฉันเสมอ แต่ฉันไม่เคยรู้ว่าเป็นความสับสนของฉันจนกว่าจะมีการถามอย่างชัดเจนและอธิบายอย่างชัดเจน ดังนั้นบางครั้งความสับสนหมายถึงไม่สามารถถามคำถามที่ถูกต้องได้ ขอบคุณอีกครั้ง.

— mlofton

คุณพูดถูก! ความสับสนเป็นส่วนหนึ่งของการเรียนรู้ - เมื่อเราต้องดิ้นรนกับบางสิ่งบางอย่างในขณะนี้เราต้องทำความเข้าใจให้ดีขึ้นเมื่อเราพบคำอธิบายที่ชัดเจน

— Isabella Ghement

ความสุขของฉันและขอขอบคุณสำหรับคำตอบที่ยอดเยี่ยมของคุณ @IsabellaGhement

— Patrick