การอนุมานในตัวแบบเชิงเส้นที่มีความต่างกันแบบเชิงเงื่อนไข


9

สมมติว่าฉันสังเกตเวกเตอร์ตัวแปรอิสระ x และ z และตัวแปรตาม y. ฉันต้องการให้พอดีกับรูปแบบของแบบฟอร์ม:

y=xβ1+σg(zβ2)ϵ,
ที่ไหน g เป็นฟังก์ชันที่มีค่าเป็นบวกสองเท่า σ เป็นพารามิเตอร์การปรับขนาดที่ไม่รู้จักและ ϵ เป็นหน่วยสุ่มแปรปรวนแบบเกาส์ค่าศูนย์ค่าเฉลี่ย (สันนิษฐานว่าเป็นอิสระจาก x และ z) นี่คือการตั้งค่าการทดสอบของ heteroskedasticity ของ Koenker (อย่างน้อยก็เท่าที่ฉันเข้าใจ)

ฉันมี n จากการสังเกตของ x,z และ yและฉันต้องการประเมิน β1 และ β2. ฉันมีปัญหาเล็กน้อยแม้ว่า:

  1. ฉันไม่แน่ใจว่าจะทำให้เกิดปัญหาการประมาณค่าเป็นสี่เหลี่ยมจัตุรัสน้อยที่สุดได้อย่างไร (ฉันถือว่ามีกลอุบายที่รู้จักกันดี) การเดาครั้งแรกของฉันน่าจะเป็นเช่นนั้น
    minβ1,β2(i=1n(yixiβ1)2g(ziβ2)2)(i=1n1g(ziβ2)2)1,
    แต่ฉันไม่แน่ใจว่าจะแก้ปัญหาแบบตัวเลขได้อย่างไร (อาจเป็นวิธี quasi-Newton ซ้ำ ๆ )
  2. สมมติว่าฉันสามารถก่อให้เกิดปัญหาอย่างมีสติและค้นหาการประมาณการบางอย่าง β^1,β^2ผมอยากจะรู้ว่าการกระจายของประมาณการเพื่อให้เช่นฉันสามารถดำเนินการทดสอบสมมติฐาน ฉันจะโอเคกับการทดสอบเวกเตอร์สัมประสิทธิ์สองตัวแยกกัน แต่อยากจะทดสอบบ้างเช่น H0:w1β1+w2β2c สำหรับที่ได้รับ w1,w2,c.

คำถามที่ดี. คุณมีความคิดในสิ่งที่gดูเหมือนกับ ? มันราบรื่นหรือไม่ มันกระโดดได้ไหม แทนที่จะลองสี่เหลี่ยมอย่างน้อยที่สุดคุณก็มีโอกาสสูงสุด (คุณรู้ไหมว่าบทความนี้ projecteuclid.org/ …?)
robin girard

@robin girard: MLE เป็นความคิดที่ดีสำหรับคำถามที่ 1 ฉันสงสัยว่าสำหรับข้อผิดพลาดแบบเกาส์ MLE จะให้ค่าประมาณเท่ากันกับการลดขนาดเฉพาะกิจของฉัน ส่วนgดังที่ฉันได้กล่าวไว้เราสามารถสันนิษฐานได้ว่ามันมีคุณค่าในเชิงบวกและสามารถเปลี่ยนแปลงได้สองเท่า เราอาจสันนิษฐานได้ว่ามันเป็นแบบนูนและบางทีเราสามารถสันนิษฐานได้ว่าเป็นการวิเคราะห์
shabbychef

คำตอบ:


5

ในบริบททั่วไปที่กว้างขึ้นอีกเล็กน้อยด้วย Y n- มิติเวกเตอร์ของ y-observations (การตอบสนองหรือตัวแปรตาม) X n×p เมทริกซ์ของ x-observations (covariates หรือตัวแปรตาม) และ θ=(β1,β2,σ) พารามิเตอร์เช่นนั้น YN(Xβ1,Σ(β2,σ)) ดังนั้นเครื่องหมายลบน่าจะเป็น

l(β1,β2,σ)=12(YXβ1)TΣ(β2,σ)1(YXβ1)+12log|Σ(β2,σ)|
ในคำถามของ OP Σ(β2,σ) เส้นทแยงมุมด้วย
Σ(β2,σ)ii=σ2g(ziTβ2)2
ดังนั้นปัจจัยจะกลายเป็น σ2ni=1ng(ziTβ2)2 และผลลบจะกลายเป็นความน่าจะเป็น
12σ2i=1n(yixiTβ1)2g(ziTβ2)2+nlogσ+i=1nlogg(ziTβ2)
มีหลายวิธีในการลดฟังก์ชั่นนี้ให้น้อยที่สุด (สมมติว่าพารามิเตอร์ทั้งสามเป็นอิสระจากการเปลี่ยนแปลง)
  • คุณสามารถลองลดฟังก์ชั่นให้น้อยที่สุดด้วยอัลกอริธึมการปรับให้เหมาะสมแบบมาตรฐานเพื่อระลึกถึงข้อ จำกัด ที่ σ>0.
  • คุณสามารถคำนวณโปรไฟล์ลบด้วยบันทึกความน่าจะเป็นของ (β1,β2) โดยย่อให้เล็กสุด σ สำหรับการแก้ไข (β1,β2)จากนั้นเสียบฟังก์ชั่นผลลัพธ์ลงในอัลกอริธึมการปรับให้เหมาะสมแบบไม่มีเงื่อนไข จำกัด
  • คุณสามารถสลับระหว่างการปรับให้เหมาะสมกับพารามิเตอร์ทั้งสามแยกกัน เพิ่มประสิทธิภาพมากกว่าσ สามารถทำการวิเคราะห์เพิ่มประสิทธิภาพมากกว่า β1 เป็นปัญหาการถดถอยกำลังสองน้อยที่สุดและเพิ่มประสิทธิภาพมากกว่า β2 เทียบเท่ากับการวางตัวแบบแกมม่าเชิงเส้นแบบทั่วไปด้วย g2 ลิงค์ผกผัน

ข้อเสนอแนะสุดท้ายดึงดูดให้ฉันเพราะมันสร้างโซลูชั่นที่ฉันรู้ดีอยู่แล้ว นอกจากนี้การทำซ้ำครั้งแรกเป็นสิ่งที่ฉันจะพิจารณาทำ นั่นคืออันดับแรกให้คำนวณการประมาณเริ่มต้นของβ1 โดยกำลังสองน้อยที่สุดธรรมดาโดยไม่สนใจความต่างศักย์แบบเฮเทอโรเคซิเดทิตี้แล้วใส่แกมม่า glm เข้ากับส่วนที่เหลือกำลังสองเพื่อให้ได้ค่าประมาณเบื้องต้นของ β2 เพียงเพื่อตรวจสอบว่าแบบจำลองที่ซับซ้อนกว่านั้นคุ้มค่า การทำซ้ำการรวม heteroskedasticity เข้ากับวิธีการแก้ปัญหากำลังสองน้อยที่สุดเนื่องจากน้ำหนักอาจปรับปรุงตามการประมาณการ

เกี่ยวกับส่วนที่สองของคำถามฉันอาจพิจารณาการคำนวณช่วงความเชื่อมั่นสำหรับการรวมเชิงเส้น w1Tβ1+w2Tβ2 ไม่ว่าโดยใช้ asymptotics MLE มาตรฐาน (การตรวจสอบด้วยแบบจำลองที่ asymptotics ทำงาน) หรือ bootstrapping

แก้ไข:โดยasymptotics MLE มาตรฐานฉันหมายถึงการใช้การประมาณปกติหลายตัวแปรในการแจกแจงของ MLE ด้วยเมทริกซ์ความแปรปรวนร่วมของเมทริกซ์ข้อมูลฟิชเชอร์ผกผัน ข้อมูลชาวประมงโดยนิยามเมทริกซ์ความแปรปรวนร่วมของการไล่ระดับของl. มันขึ้นอยู่กับพารามิเตอร์ทั่วไป หากคุณสามารถหานิพจน์การวิเคราะห์สำหรับปริมาณนี้คุณสามารถลองเสียบใน MLE ในอีกทางหนึ่งคุณสามารถประเมินข้อมูลฟิชเชอร์โดยข้อมูลฟิชเชอร์ที่สังเกตได้ซึ่งก็คือ Hessian oflใน MLE พารามิเตอร์ที่คุณสนใจคือการรวมกันเชิงเส้นของพารามิเตอร์ในทั้งสองβ-vectors เพราะฉะนั้นจากใกล้เคียงกับหลายตัวแปรปกติของ MLE คุณสามารถหาประมาณปกติของการกระจายตัวประมาณตามที่อธิบายไว้ที่นี่ สิ่งนี้ทำให้คุณมีข้อผิดพลาดมาตรฐานโดยประมาณและคุณสามารถคำนวณช่วงความมั่นใจได้ มันอธิบายไว้อย่างดีในหนังสือสถิติ (คณิตศาสตร์) หลายเล่ม แต่งานนำเสนอที่เข้าถึงได้อย่างสมเหตุสมผลที่ฉันสามารถแนะนำได้คือIn All Likelihoodโดย Yudi Pawitan ยังไงก็ตามมาอย่างเป็นทางการของทฤษฎีที่มีความซับซ้อนอย่างเป็นธรรมและพึ่งพาจำนวนของเงื่อนไขระเบียบและมันเพียง แต่ช่วยให้ถูกต้องasymptoticการกระจาย ดังนั้นหากมีข้อสงสัยฉันจะทำการจำลองด้วยโมเดลใหม่เสมอเพื่อตรวจสอบว่าฉันสามารถไว้วางใจผลลัพธ์สำหรับพารามิเตอร์จริงและขนาดตัวอย่างได้หรือไม่ การบูตสแตรปแบบง่าย ๆ ที่ไม่ใช่พารามิเตอร์(yi,xi,zi) จากชุดข้อมูลที่สังเกตพร้อมการเปลี่ยนอาจเป็นทางเลือกที่มีประโยชน์หากขั้นตอนการติดตั้งใช้เวลาไม่นานเกินไป


สิ่งที่เป็นมาตรฐาน asymptotics MLE?
shabbychef

@ shabbychef มันสาย ฉันให้คำอธิบายโดยละเอียดมากกว่านี้ โปรดทราบว่าสำหรับการทำงานของ asymptotics ในทางทฤษฎีตามที่อธิบายไว้แบบจำลองจะต้องถูกต้องและตัวประมาณต้องเป็น MLE ผลลัพธ์ทั่วไปมากขึ้นสามารถรับได้ในกรอบของฟังก์ชันการประมาณทั่วไปและการประมาณสมการดูตัวอย่างหนังสือQuasi-likelihood และ ...โดย Heyde
NRH
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.