การอนุมานในตัวแบบเชิงเส้นที่มีความต่างกันแบบเชิงเงื่อนไข

สมมติว่าฉันสังเกตเวกเตอร์ตัวแปรอิสระ $\vec{x}$ และ $\vec{z}$ และตัวแปรตาม $y$ . ฉันต้องการให้พอดีกับรูปแบบของแบบฟอร์ม:

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$ ที่ไหน

g

$g$ เป็นฟังก์ชันที่มีค่าเป็นบวกสองเท่า

σ

$\sigma$ เป็นพารามิเตอร์การปรับขนาดที่ไม่รู้จักและ

ϵ

$\epsilon$ เป็นหน่วยสุ่มแปรปรวนแบบเกาส์ค่าศูนย์ค่าเฉลี่ย (สันนิษฐานว่าเป็นอิสระจาก

\vec{x}

$\vec{x}$ และ

\vec{z}

$\vec{z}$ ) นี่คือการตั้งค่าการทดสอบของ heteroskedasticity ของ Koenker (อย่างน้อยก็เท่าที่ฉันเข้าใจ)

ฉันมี $n$ จากการสังเกตของ $\vec{x}, \vec{z}$ และ $y$ และฉันต้องการประเมิน $\vec{\beta_1}$ และ $\vec{\beta_2}$ . ฉันมีปัญหาเล็กน้อยแม้ว่า:

ฉันไม่แน่ใจว่าจะทำให้เกิดปัญหาการประมาณค่าเป็นสี่เหลี่ยมจัตุรัสน้อยที่สุดได้อย่างไร (ฉันถือว่ามีกลอุบายที่รู้จักกันดี) การเดาครั้งแรกของฉันน่าจะเป็นเช่นนั้น $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$ แต่ฉันไม่แน่ใจว่าจะแก้ปัญหาแบบตัวเลขได้อย่างไร (อาจเป็นวิธี quasi-Newton ซ้ำ ๆ )
สมมติว่าฉันสามารถก่อให้เกิดปัญหาอย่างมีสติและค้นหาการประมาณการบางอย่าง $\hat{\beta}_1, \hat{\beta}_2$ ผมอยากจะรู้ว่าการกระจายของประมาณการเพื่อให้เช่นฉันสามารถดำเนินการทดสอบสมมติฐาน ฉันจะโอเคกับการทดสอบเวกเตอร์สัมประสิทธิ์สองตัวแยกกัน แต่อยากจะทดสอบบ้างเช่น $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ สำหรับที่ได้รับ $\vec{w_1}, \vec{w_2}, c$ .

— shabbychef
แหล่งที่มา

คำถามที่ดี. คุณมีความคิดในสิ่งที่

g

$g$ ดูเหมือนกับ ? มันราบรื่นหรือไม่ มันกระโดดได้ไหม แทนที่จะลองสี่เหลี่ยมอย่างน้อยที่สุดคุณก็มีโอกาสสูงสุด (คุณรู้ไหมว่าบทความนี้ projecteuclid.org/ …?)

— robin girard

@robin girard: MLE เป็นความคิดที่ดีสำหรับคำถามที่ 1 ฉันสงสัยว่าสำหรับข้อผิดพลาดแบบเกาส์ MLE จะให้ค่าประมาณเท่ากันกับการลดขนาดเฉพาะกิจของฉัน ส่วน

g

$g$ ดังที่ฉันได้กล่าวไว้เราสามารถสันนิษฐานได้ว่ามันมีคุณค่าในเชิงบวกและสามารถเปลี่ยนแปลงได้สองเท่า เราอาจสันนิษฐานได้ว่ามันเป็นแบบนูนและบางทีเราสามารถสันนิษฐานได้ว่าเป็นการวิเคราะห์

— shabbychef

ในบริบททั่วไปที่กว้างขึ้นอีกเล็กน้อยด้วย $Y$ $n$ - มิติเวกเตอร์ของ $y$ -observations (การตอบสนองหรือตัวแปรตาม) $X$ $n \times p$ เมทริกซ์ของ $x$ -observations (covariates หรือตัวแปรตาม) และ $\theta = (\beta_1, \beta_2, \sigma)$ พารามิเตอร์เช่นนั้น $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$ ดังนั้นเครื่องหมายลบน่าจะเป็น

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$ ในคำถามของ OP

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$ เส้นทแยงมุมด้วย

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ ดังนั้นปัจจัยจะกลายเป็น

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ และผลลบจะกลายเป็นความน่าจะเป็น

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$ มีหลายวิธีในการลดฟังก์ชั่นนี้ให้น้อยที่สุด (สมมติว่าพารามิเตอร์ทั้งสามเป็นอิสระจากการเปลี่ยนแปลง)

คุณสามารถลองลดฟังก์ชั่นให้น้อยที่สุดด้วยอัลกอริธึมการปรับให้เหมาะสมแบบมาตรฐานเพื่อระลึกถึงข้อ จำกัด ที่ $\sigma > 0$ .
คุณสามารถคำนวณโปรไฟล์ลบด้วยบันทึกความน่าจะเป็นของ $(\beta_1, \beta_2)$ โดยย่อให้เล็กสุด $\sigma$ สำหรับการแก้ไข $(\beta_1, \beta_2)$ จากนั้นเสียบฟังก์ชั่นผลลัพธ์ลงในอัลกอริธึมการปรับให้เหมาะสมแบบไม่มีเงื่อนไข จำกัด
คุณสามารถสลับระหว่างการปรับให้เหมาะสมกับพารามิเตอร์ทั้งสามแยกกัน เพิ่มประสิทธิภาพมากกว่า $\sigma$ สามารถทำการวิเคราะห์เพิ่มประสิทธิภาพมากกว่า $\beta_1$ เป็นปัญหาการถดถอยกำลังสองน้อยที่สุดและเพิ่มประสิทธิภาพมากกว่า $\beta_2$ เทียบเท่ากับการวางตัวแบบแกมม่าเชิงเส้นแบบทั่วไปด้วย $g^2$ ลิงค์ผกผัน

ข้อเสนอแนะสุดท้ายดึงดูดให้ฉันเพราะมันสร้างโซลูชั่นที่ฉันรู้ดีอยู่แล้ว นอกจากนี้การทำซ้ำครั้งแรกเป็นสิ่งที่ฉันจะพิจารณาทำ นั่นคืออันดับแรกให้คำนวณการประมาณเริ่มต้นของ $\beta_1$ โดยกำลังสองน้อยที่สุดธรรมดาโดยไม่สนใจความต่างศักย์แบบเฮเทอโรเคซิเดทิตี้แล้วใส่แกมม่า glm เข้ากับส่วนที่เหลือกำลังสองเพื่อให้ได้ค่าประมาณเบื้องต้นของ $\beta_2$ $-$ เพียงเพื่อตรวจสอบว่าแบบจำลองที่ซับซ้อนกว่านั้นคุ้มค่า การทำซ้ำการรวม heteroskedasticity เข้ากับวิธีการแก้ปัญหากำลังสองน้อยที่สุดเนื่องจากน้ำหนักอาจปรับปรุงตามการประมาณการ

เกี่ยวกับส่วนที่สองของคำถามฉันอาจพิจารณาการคำนวณช่วงความเชื่อมั่นสำหรับการรวมเชิงเส้น $w_1^T\beta_1 + w_2^T\beta_2$ ไม่ว่าโดยใช้ asymptotics MLE มาตรฐาน (การตรวจสอบด้วยแบบจำลองที่ asymptotics ทำงาน) หรือ bootstrapping

แก้ไข:โดยasymptotics MLE มาตรฐานฉันหมายถึงการใช้การประมาณปกติหลายตัวแปรในการแจกแจงของ MLE ด้วยเมทริกซ์ความแปรปรวนร่วมของเมทริกซ์ข้อมูลฟิชเชอร์ผกผัน ข้อมูลชาวประมงโดยนิยามเมทริกซ์ความแปรปรวนร่วมของการไล่ระดับของ $l$ . มันขึ้นอยู่กับพารามิเตอร์ทั่วไป หากคุณสามารถหานิพจน์การวิเคราะห์สำหรับปริมาณนี้คุณสามารถลองเสียบใน MLE ในอีกทางหนึ่งคุณสามารถประเมินข้อมูลฟิชเชอร์โดยข้อมูลฟิชเชอร์ที่สังเกตได้ซึ่งก็คือ Hessian of $l$ ใน MLE พารามิเตอร์ที่คุณสนใจคือการรวมกันเชิงเส้นของพารามิเตอร์ในทั้งสอง $\beta$ -vectors เพราะฉะนั้นจากใกล้เคียงกับหลายตัวแปรปกติของ MLE คุณสามารถหาประมาณปกติของการกระจายตัวประมาณตามที่อธิบายไว้ที่นี่ สิ่งนี้ทำให้คุณมีข้อผิดพลาดมาตรฐานโดยประมาณและคุณสามารถคำนวณช่วงความมั่นใจได้ มันอธิบายไว้อย่างดีในหนังสือสถิติ (คณิตศาสตร์) หลายเล่ม แต่งานนำเสนอที่เข้าถึงได้อย่างสมเหตุสมผลที่ฉันสามารถแนะนำได้คือIn All Likelihoodโดย Yudi Pawitan ยังไงก็ตามมาอย่างเป็นทางการของทฤษฎีที่มีความซับซ้อนอย่างเป็นธรรมและพึ่งพาจำนวนของเงื่อนไขระเบียบและมันเพียง แต่ช่วยให้ถูกต้องasymptoticการกระจาย ดังนั้นหากมีข้อสงสัยฉันจะทำการจำลองด้วยโมเดลใหม่เสมอเพื่อตรวจสอบว่าฉันสามารถไว้วางใจผลลัพธ์สำหรับพารามิเตอร์จริงและขนาดตัวอย่างได้หรือไม่ การบูตสแตรปแบบง่าย ๆ ที่ไม่ใช่พารามิเตอร์ $(y_i,x_i,z_i)$ จากชุดข้อมูลที่สังเกตพร้อมการเปลี่ยนอาจเป็นทางเลือกที่มีประโยชน์หากขั้นตอนการติดตั้งใช้เวลาไม่นานเกินไป

— NRH
แหล่งที่มา

สิ่งที่เป็นมาตรฐาน asymptotics MLE?

— shabbychef

@ shabbychef มันสาย ฉันให้คำอธิบายโดยละเอียดมากกว่านี้ โปรดทราบว่าสำหรับการทำงานของ asymptotics ในทางทฤษฎีตามที่อธิบายไว้แบบจำลองจะต้องถูกต้องและตัวประมาณต้องเป็น MLE ผลลัพธ์ทั่วไปมากขึ้นสามารถรับได้ในกรอบของฟังก์ชันการประมาณทั่วไปและการประมาณสมการดูตัวอย่างหนังสือQuasi-likelihood และ ...โดย Heyde

— NRH