การเลือกรูปแบบที่มีการถดถอยโลจิสติก Firth

ในชุดข้อมูลขนาดเล็ก ( ) ที่ฉันทำงานกับหลายตัวแปรให้ฉันที่สมบูรณ์แบบการทำนาย / แยก ฉันจึงใช้การถดถอยโลจิสติก Firthเพื่อจัดการกับปัญหา $n\sim100$

หากฉันเลือกแบบจำลองที่ดีที่สุดโดยAICหรือBICฉันควรรวมคำว่าโทษ Firth ไว้ในความน่าจะเป็นเมื่อคำนวณเกณฑ์ข้อมูลเหล่านี้หรือไม่

— StasK
แหล่งที่มา

คุณจะอธิบายไหมว่าทำไมมันถึงหลีกเลี่ยงไม่ได้เนื่องจากการเลือกตัวแปรไม่ช่วยปัญหา "ตัวแปรมากเกินไปขนาดของกลุ่มตัวอย่างน้อยเกินไป"?

— Frank Harrell

นั่นเป็นสิ่งที่เลวร้ายที่สุดเท่าที่จะทำได้

— Frank Harrell

คุณคิดว่าจะจัดการกับปัญหาการอนุมานแบบเบย์หรือไม่? การถดถอยโลจิสติกของเฟิร์สเทียบเท่ากับ MAP ที่มี jeffreys มาก่อน คุณสามารถใช้การประมาณเลซอย่างเต็มที่เพื่อประเมินความเป็นไปได้ที่จะเกิดขึ้น - ซึ่งเป็นเหมือน BIC ที่ปรับแล้ว (คล้ายกับ AICc)

— ความน่าจะเป็นทาง

@user เนื่องจากตัวแปรดังกล่าวมักจะคาดการณ์เพียงไม่กี่กรณีเท่านั้นและนั่นไม่สามารถพิสูจน์ได้: ความน่าจะเป็นที่แท้จริงสำหรับเซลล์นั้นอาจจะใกล้เคียงกับ 90% ที่บอกว่า แต่มีเพียงสองกรณีเท่านั้นคุณจะได้รับสองครั้ง 81% ของเวลา .

— StasK

ลิงก์เพื่อดาวน์โหลดเอกสาร K&K (1996) ที่พบใน Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos Papadopoulos

หากคุณต้องการปรับการใช้ BIC: คุณสามารถแทนที่โอกาสสูงสุดด้วยการประมาณ posteriori (MAP) สูงสุดและเกณฑ์ 'ประเภท BIC' ที่เป็นผลลัพธ์จะยังคงใช้ได้แบบ asymptotically (ในขีด จำกัด เท่ากับขนาดตัวอย่าง ) ตามที่ได้รับการกล่าวถึงจาก @probabilityislogic การถดถอยโลจิสติกของ Firth นั้นเทียบเท่ากับการใช้เจฟฟรีย์มาก่อน (ดังนั้นสิ่งที่คุณได้จากการถดถอยคือ MAP) $n \to \infty$

BIC เป็นเกณฑ์แบบหลอก - เบย์ซึ่งได้มา (โดยประมาณ) โดยใช้การขยายอนุกรมเทย์เลอร์ของความเป็นไปได้เล็กน้อยที่รอบสูงสุดโอกาสประมาณการtheta} ดังนั้นมันจึงไม่สนใจสิ่งที่เกิดขึ้นก่อนหน้านี้ แต่ผลกระทบของสิ่งหลังจะหายไปเมื่อข้อมูลมุ่งไปที่ความเป็นไปได้

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

ในฐานะที่เป็นคำพูดด้านการถดถอยของเฟิร์ ธ มันยังลบอคติในลำดับแรกในตระกูลเลขชี้กำลัง

— lbelzile
แหล่งที่มา