การตีความตัวแปรแฝงของตัวแบบเชิงเส้นทั่วไป (GLM)

เวอร์ชั่นสั้น:

เรารู้ว่าการถดถอยโลจิสติกและการถดถอยแบบ probit สามารถตีความได้ว่าเกี่ยวข้องกับตัวแปรแฝงอย่างต่อเนื่องที่ได้รับการแยกตามเกณฑ์คงที่บางส่วนก่อนที่จะสังเกต การตีความตัวแปรแฝงที่คล้ายกันมีให้สำหรับการพูดการถดถอยของปัวซองหรือไม่ วิธีการเกี่ยวกับการถดถอยแบบทวินาม (เช่น logit หรือ probit) เมื่อมีผลลัพธ์ที่ไม่ต่อเนื่องกันมากกว่าสองรายการ ในระดับทั่วไปส่วนใหญ่มีวิธีการตีความ GLM ใด ๆ ในแง่ของตัวแปรแฝงหรือไม่?

รุ่นยาว:

วิธีมาตรฐานในการสร้างแรงจูงใจให้กับโมเดล probit สำหรับผลลัพธ์ไบนารี (เช่นจาก Wikipedia ) มีดังต่อไปนี้ เรามีไม่มีใครสังเกต / แฝงผลตัวแปรที่มีการกระจายตามปกติเงื่อนไขในการทำนายXตัวแปรแฝงนี้อยู่ภายใต้กระบวนการ thresholding เพื่อให้ผลที่ไม่ต่อเนื่องเราจริงสังเกตคือถ้า ,ถ้า<\ สิ่งนี้นำไปสู่ความน่าจะเป็นของให้เพื่อให้อยู่ในรูปแบบของ CDF ปกติพร้อมค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานฟังก์ชันของ thresholdและความชันของการถดถอยของบน $Y$ $X$ $u=1$ $Y \ge \gamma$ $u=0$ $Y < \gamma$ $u=1$ $X$ $\gamma$ $Y$ $X$ ตามลำดับ ดังนั้นรูปแบบ probit เป็นแรงบันดาลใจเป็นวิธีการประเมินความลาดชันจากการถดถอยนี้แฝงของบนX $Y$ $X$

นี่คือตัวอย่างในพล็อตด้านล่างจาก Thissen & ออร์แลนโด (2001) ผู้เขียนเหล่านี้กำลังพูดถึงเทคนิคโมเดล ogive ปกติจากทฤษฎีการตอบสนองของรายการซึ่งดูเหมือนว่า probit regression สำหรับจุดประสงค์ของเรา (โปรดทราบว่าผู้เขียนเหล่านี้ใช้แทนและความน่าจะเป็นเขียนด้วยแทน ) $\theta$ $X$ $T$ $P$

เราสามารถตีความถดถอยโลจิสติในสวยมากตรงทางเดียวกัน ความแตกต่างเพียงอย่างเดียวคือตอนนี้ไม่มีใครสังเกตอย่างต่อเนื่องดังนี้โลจิสติกกระจายไม่กระจายปกติให้Xการโต้แย้งเชิงเหตุผลว่าทำไมถึงตามการกระจายโลจิสติกมากกว่าการแจกแจงแบบปกติค่อนข้างชัดเจนน้อยลง ... แต่เนื่องจากผลลัพธ์ของเส้นโค้งลอจิสติกที่ดูคล้ายกับ CDF ปกติสำหรับการใช้งานจริง (หลังจาก rescaling) มันจะชนะ ' มีแนวโน้มที่จะมีความสำคัญในทางปฏิบัติซึ่งเป็นรูปแบบที่คุณใช้ ประเด็นก็คือทั้งสองรุ่นมีการตีความตัวแปรที่ซ่อนเร้นตรงไปตรงมา $Y$ $X$ $Y$

ฉันต้องการทราบว่าเราสามารถใช้การตีความตัวแปรแฝงที่คล้ายกัน (หรือนรกที่ไม่เหมือนใคร) ที่คล้ายกันกับ GLM อื่น ๆ - หรือแม้แต่กับGLM ใด ๆ

แม้แต่การขยายโมเดลด้านบนเพื่ออธิบายผลลัพธ์ของ Binomial ด้วย (เช่นไม่ใช่ผลลัพธ์ของ Bernoulli) ก็ไม่ชัดเจนสำหรับฉัน สันนิษฐานได้ว่าเราสามารถทำได้โดยการจินตนาการว่าแทนที่จะมีขีด จำกัดเพียงครั้งเดียวเรามีหลายขีด จำกัด แต่เราจะต้องกำหนดข้อ จำกัด บางประการเกี่ยวกับเกณฑ์เช่นเดียวกับที่เว้นระยะเท่ากัน ฉันค่อนข้างแน่ใจว่าสิ่งนี้สามารถใช้งานได้แม้ว่าฉันจะไม่ได้ทำรายละเอียด $n>1$ $\gamma$

การย้ายไปที่กรณีของการถดถอยของปัวซองดูเหมือนชัดเจนน้อยลงสำหรับฉัน ฉันไม่แน่ใจว่าแนวคิดของเกณฑ์จะเป็นวิธีที่ดีที่สุดในการคิดแบบจำลองในกรณีนี้หรือไม่ ฉันยังไม่แน่ใจด้วยว่าการกระจายแบบไหนที่เราสามารถนึกถึงผลลัพธ์ที่แฝงอยู่ว่ามี

ทางออกที่ต้องการมากที่สุดสำหรับวิธีนี้จะเป็นวิธีทั่วไปในการตีความGLM ใด ๆในแง่ของตัวแปรแฝงที่มีการแจกแจงหรืออื่น ๆ - แม้ว่าโซลูชันทั่วไปนี้จะตีความการตีความตัวแปรแฝงที่แตกต่างกว่าปกติสำหรับ logit / probit regression แน่นอนว่ามันจะเย็นกว่านี้หากวิธีการทั่วไปเห็นด้วยกับการตีความปกติของ logit / probit แต่ยังขยายไปถึง GLM อื่นตามธรรมชาติ

แต่ถึงแม้ว่าการตีความตัวแปรแฝงดังกล่าวจะไม่สามารถใช้ได้ในกรณีทั่วไปของ GLM ฉันก็อยากจะได้ยินเกี่ยวกับการตีความตัวแปรแฝงของกรณีพิเศษเช่นกรณี Binomial และ Poisson ที่ฉันกล่าวถึงข้างต้น

อ้างอิง

Thissen, D. & Orlando, M. (2001) ทฤษฎีการตอบกลับข้อสอบสำหรับรายการที่ทำคะแนนในสองหมวดหมู่ ใน D. Thissen & Wainer, H. (Eds.), การให้คะแนนการทดสอบ (หน้า 73-140) Mahwah, นิวเจอร์ซีย์: Lawrence Erlbaum Associates, Inc.

แก้ไข 2016-09-23

มีความหมายเล็กน้อยที่ GLM ใด ๆ เป็นแบบจำลองตัวแปรแฝงซึ่งก็คือเราสามารถดูพารามิเตอร์ของการแจกแจงผลลัพธ์ที่ประเมินว่าเป็น "ตัวแปรแฝง" ได้เสมอนั่นคือเราไม่ได้สังเกตโดยตรง ตัวอย่างเช่นพารามิเตอร์ rate ของปัวซองเราแค่อนุมานจากข้อมูล ฉันคิดว่านี่เป็นการตีความที่น่ารำคาญและไม่ใช่สิ่งที่ฉันกำลังมองหาเพราะจากการตีความนี้โมเดลเชิงเส้นใด ๆ (และแน่นอนว่าแบบจำลองอื่น ๆ อีกมากมาย!) คือ "แบบจำลองตัวแปรแฝง" ตัวอย่างเช่นในการถดถอยปกติเราประมาณ "แฝง"ของปกติที่ได้รับ $\mu$ $Y$ $X$ . ดังนั้นนี่น่าจะทำให้การสร้างแบบจำลองตัวแปรแฝงด้วยการประมาณพารามิเตอร์เพียงอย่างเดียว สิ่งที่ฉันกำลังมองหาในกรณีการถดถอยของปัวซองจะมีลักษณะเป็นแบบจำลองทางทฤษฎีมากขึ้นว่าทำไมผลลัพธ์ที่สังเกตควรมีการแจกแจงปัวซองในตอนแรกเนื่องจากมีสมมติฐานบางอย่าง (ที่คุณต้องกรอก)! การกระจายตัวของแฝง , กระบวนการคัดเลือกหากมีอย่างใดอย่างหนึ่ง, แล้ว (อาจจะเป็นรูปทรงเหรอ?) เราควรจะสามารถตีความค่าสัมประสิทธิ์ GLM โดยประมาณในแง่ของพารามิเตอร์ของการแจกแจง / กระบวนการแฝงเหล่านี้คล้ายกับวิธีที่เราทำได้ ตีความค่าสัมประสิทธิ์การถดถอยจาก probit ในแง่ของการเปลี่ยนแปลงค่าเฉลี่ยในตัวแปรแฝงปกติและ / หรือการเปลี่ยนแปลงในเกณฑ์\ $Y$ $\gamma$

— Jake Westfall
แหล่งที่มา

เราสามารถเรียบเรียงคำถามของคุณใหม่อีกครั้งว่า "สำหรับตระกูล GLM ใดที่ตัวทำนายเชิงเส้นตรงกับพารามิเตอร์ตำแหน่งสำหรับการแจกแจงแบบต่อเนื่องและรูปแบบการเลือก?" สำหรับ Probit และ Logistic regression ตัวทำนายผลเชิงเส้นคือ Gaussian และพารามิเตอร์ตำแหน่งการแจกแจงแบบโลจิสติกตามลำดับ รูปแบบการเลือกคือการกำหนดค่าใหม่ที่ 0. (FWIW ฉันไม่คิดว่าจะมีคนอื่นอีกมากมาย - และที่จริงแล้ว Probit / Logistic เป็นตระกูลเดียวกัน แต่มีฟังก์ชั่นลิงค์ที่แตกต่างกัน ... )

— Andrew M

@AndrewM ฉันคิดว่าการใช้ถ้อยคำใหม่อาจทำงานได้ดีกับ GLMs ด้วยผลลัพธ์ที่ไม่ต่อเนื่อง แต่ฉันลังเลที่จะลดคำถามทั้งหมดลงไปเพราะฉันไม่สามารถเห็นได้ว่ารูปแบบการเลือกตำแหน่ง + นั้นสามารถทำงานกับ GLM ได้อย่างไรด้วยผลลัพธ์อย่างต่อเนื่อง ดังนั้นการเรียบเรียงใหม่นั้นดูเหมือนว่าจะเป็นการขัดขวางคำตอบสำหรับ GLM เหล่านั้น

— Jake Westfall

โมเดลคลาสแฝงอยู่ในหมวดหมู่ของโมเดลผสม จำกัด วิธีหนึ่งที่ตรงไปตรงมาในการคิดเกี่ยวกับพวกเขาคือพวกเขาได้รับการดูแลรูปแบบการเรียนรู้ซึ่งในส่วนท้ายสุดของพาร์ติชันความหลากหลายต่างกันในส่วนที่เหลือจากแบบจำลองเป็นกลุ่ม ตรรกะและการแบ่งพาร์ติชันที่คล้ายกันสามารถนำไปใช้กับความต่างกันของสิ่งมีชีวิตที่หลงเหลืออยู่ในแบบจำลองต่างๆรวมถึง GLM แน่นอนว่าวิธีการแบ่งพาร์ติชันนี้อาจเป็นทางเลือกที่ไม่น่าสนใจและอาจเป็นวิธีแก้ปัญหาแบบ kluge แต่สามารถใช้งานได้

— Mike Hunter

ถ้า glm ทำให้การแจกแจงไม่สามารถเราเลือกการกระจายแฝงจำนวนมากซึ่ง ?

f (y_{i} | η_{i})

$f(y_i|\eta_i)$

g (θ_{i} | η_{i})

$g(\theta_i|\eta_i)$

f (y_{i} | η_{i}) = \int f (y_{i} | η_{i}, θ_{i}) g (θ_{i} | η_{i}) d θ_{i}

$f(y_i|\eta_i) = \int f(y_i|\eta_i, \theta_i) g(\theta_i|\eta_i) d\theta_i$

— Andrew M

Probit ที่สั่งซื้ออาจมีการตีความที่คล้ายกัน ดูกระดาษของ Becker & Kennedy ใน ET

— Dimitriy V. Masterov

สำหรับโมเดลที่มีผลลัพธ์ที่แยกกันมากกว่าหนึ่งรายการมีโมเดล logit หลายเวอร์ชัน (เช่น logit แบบมีเงื่อนไข, login หลายแบบ, logit แบบผสม, logit ที่ซ้อนกัน, ... ) ดูหนังสือของ Kenneth Train ในเรื่อง: http://eml.berkeley.edu/books/choice2.html

ยกตัวอย่างเช่นใน logit เงื่อนไขผลที่เป็นรถที่ได้รับการแต่งตั้งโดยบุคคลและอาจจะมีการพูดรถให้เลือกและรถมีแอตทริบิวต์ที่กำหนดโดยx_jจากนั้นสมมติว่าบุคคลที่ได้รับยูทิลิตี้จากการเลือก carโดยที่นั้นเป็นประเภทที่มีการกระจายสูงสุด จากนั้นความน่าจะเป็นที่เลือกรถยนต์ถูกกำหนดโดย $y$ $J$ $j$ $x_j$ $i$ $u_{ij} = x_j \beta + \varepsilon_{ij}$ $j$ $\varepsilon_{ij}$ $j$

Pr (y = j) = \frac{\exp (x_{j} β)}{\sum_{k = 1}^{J} \exp (x_{k} β)}

$\Pr(y=j) = \frac{\exp(x_j \beta)}{\sum_{k=1}^J \exp (x_k \beta)}$

ในโมเดลนี้สร้างการจัดอันดับทางเลือก เรากำลังค้นหาพารามิเตอร์เพื่อให้การจัดอันดับนี้สอดคล้องกับตัวเลือกที่สังเกตได้ที่เราเห็นคนทำ เช่นถ้ารถยนต์ที่มีราคาแพงกว่ามีส่วนแบ่งการตลาดต่ำกว่าทุกเท่าดังนั้นค่าสัมประสิทธิ์ราคาจะต้องติดลบ $u_{ij}$ $\beta$

นักเศรษฐศาสตร์ตีความเป็น "อรรถประโยชน์" แฝงของการเลือกแต่ละตัว ในเศรษฐศาสตร์จุลภาคมีร่างกายมากของการทำงานในทฤษฎียูทิลิตี้: ดูเช่นhttps://en.wikipedia.org/wiki/Utility $u$

โปรดทราบว่าไม่มีพารามิเตอร์ "threshold" ที่นี่: แทนเมื่อยูทิลิตี้หนึ่งมีค่ามากกว่าที่ยิ่งใหญ่ที่สุดก่อนหน้านี้ผู้บริโภคจะเปลี่ยนเป็นการเลือกทางเลือกนั้น

ดังนั้นจึงไม่สามารถดักจับใน : ถ้ามีนี่จะเพิ่มขนาดยูทิลิตี้ของตัวเลือกที่มีทั้งหมดออกจากการจัดอันดับที่เก็บรักษาไว้และตัวเลือกที่ไม่เปลี่ยนแปลง $x_j \beta$

— Superpronker
แหล่งที่มา