การซ่อนโมเดลการถดถอยจากศาสตราจารย์ (Regression Battleship) [ปิด]

ฉันกำลังทำการบ้านที่อาจารย์ของฉันต้องการให้เราสร้างแบบจำลองการถดถอยที่แท้จริงจำลองตัวอย่างข้อมูลและเขาจะพยายามหารูปแบบการถดถอยที่แท้จริงของเราโดยใช้เทคนิคบางอย่างที่เราเรียนรู้ในชั้นเรียน เราก็ต้องทำเช่นเดียวกันกับชุดข้อมูลที่เขามอบให้เรา

เขาบอกว่าเขาสามารถสร้างแบบจำลองที่แม่นยำสำหรับความพยายามในอดีตทั้งหมดเพื่อพยายามหลอกล่อเขา มีนักเรียนบางคนที่สร้างแบบจำลองบ้า ๆ บอ ๆ แต่เขาก็สามารถสร้างแบบจำลองที่เรียบง่ายขึ้นซึ่งก็เพียงพอแล้ว

ฉันจะพัฒนารูปแบบที่ยุ่งยากให้เขาค้นหาได้อย่างไร ฉันไม่ต้องการที่จะถูกสุด ๆ ด้วยการทำ 4 เทอมกำลังสองการสังเกต 3 ครั้งและความแปรปรวนอันมหาศาล? ฉันจะสร้างชุดข้อมูลที่ไม่มีอันตรายซึ่งดูเหมือนว่าจะมีโมเดลเล็ก ๆ น้อย ๆ อยู่ข้างใต้ได้อย่างไร

เขามีกฎ 3 ข้อที่ต้องปฏิบัติตาม:

1. ชุดข้อมูลของคุณต้องมีตัวแปร "Y" หนึ่งตัวและตัวแปร 20 "X" ที่ระบุว่าเป็น "Y", "X1", ... , "X20"

2. ตัวแปรตอบกลับของคุณต้องมาจากตัวแบบการถดถอยเชิงเส้นที่ตรงตาม: ที่และ21$Y$
   ϵ ฉัน ∼ N ( 0 , σ 2 ) p ≤

   $$Y_i^\prime = \beta_0 + \beta_1 X_{i1}^\prime + \ldots + \beta_{p-1}X_{i,p-1}^\prime + \epsilon_i$$ $\epsilon_i \sim N(0,\sigma^2)$$p \leq 21$

3. Variable ทั้งหมดที่ใช้สร้างมีอยู่ในชุดข้อมูลของคุณ$X$$Y$

ควรสังเกตว่าตัวแปร X ทั้งหมดไม่จำเป็นต้องอยู่ในแบบจำลองที่แท้จริงของคุณ

ฉันกำลังคิดที่จะใช้บางอย่างเช่นแบบจำลองปัจจัย 3 มิติของ Fama-Frenchและให้เขาเริ่มต้นด้วยข้อมูลสต็อค (SPX และ AAPL) และต้องเปลี่ยนตัวแปรเหล่านั้นให้เป็นผลตอบแทนที่ผสมกันอย่างต่อเนื่องเพื่อทำให้สับสนมากขึ้นอีกเล็กน้อย แต่นั่นทำให้ฉันมีค่าที่ขาดหายไปในการสังเกตครั้งแรกและเป็นอนุกรมเวลา (ซึ่งเรายังไม่ได้พูดคุยกันในชั้นเรียน)

ไม่แน่ใจว่านี่เป็นสถานที่ที่เหมาะสมหรือไม่ในการโพสต์สิ่งนี้ ฉันรู้สึกว่ามันสามารถสร้างการสนทนาที่ดี

แก้ไข:ฉันยังไม่ได้ขอรุ่นที่สร้างไว้ล่วงหน้าโดยเฉพาะ ฉันอยากรู้มากขึ้นเกี่ยวกับหัวข้อ / เครื่องมือในสถิติที่จะช่วยให้ใครบางคนไปเกี่ยวกับเรื่องนี้

เพียงแค่ทำให้เกิดข้อผิดพลาดที่มีขนาดใหญ่กว่าส่วนที่อธิบาย ยกตัวอย่างเช่น: ที่X ฉันJ = บาป( ฉัน+ J ) , ฉัน= 1..1000และσ = 1000000 แน่นอนคุณต้องจำสิ่งที่เป็นเชื้อสายของคุณเพื่อให้คุณสามารถพิสูจน์ให้อาจารย์ของคุณว่าคุณถูกและเขาผิด$y_i=X_{i1}+\epsilon_i$$X_{ij}=\sin(i+j)$$i=1..1000$$\sigma=1000000$

โชคดีที่ได้ระบุเฟสด้วยอัตราส่วนสัญญาณรบกวน / สัญญาณนี้

หากเป้าหมายของเขาคือการกู้คืนกระบวนการสร้างข้อมูลที่แท้จริงที่สร้าง หลอกศาสตราจารย์ของคุณนั้นเป็นเรื่องเล็กน้อย เพื่อเป็นตัวอย่างให้พิจารณาการรบกวนϵ i ∼ N ( 0 , 1 )และสมการโครงสร้างต่อไปนี้:$Y$$\epsilon_i\sim N(0,1)$

หมายเหตุ DGP ที่แท้จริงของซึ่งรวมถึงเพียงX 1 , นิด ๆ ตามเงื่อนไข 2 เงื่อนไขที่ 3 เป็นที่พอใจนอกจากนี้ตั้งแต่X 1เป็นตัวแปรเพียงเพื่อสร้างYและคุณจะให้X 1และX 2$Y$$X_1$$X_1$$Y$$X_1$$X_2$

ยังไม่มีวิธีที่อาจารย์ของคุณสามารถบอกได้ว่าเขาควรรวมเฉพาะเท่านั้นX 2หรือX 1และX 2เพื่อกู้คืน DGP ที่แท้จริงของY (ถ้าคุณจบลงด้วยการใช้ตัวอย่างนี้ให้เปลี่ยนจำนวนตัวแปร) เป็นไปได้มากที่เขาจะให้คำตอบสำหรับการถดถอยกับตัวแปรทั้งหมดเนื่องจากพวกมันจะปรากฏเป็นตัวทำนายที่สำคัญ คุณสามารถขยายตัวแปรนี้ได้ถึง 20 ตัวแปรหากคุณต้องการคุณอาจต้องการตรวจสอบคำตอบนี้ที่นี่และเครื่องที่ผิดธรรมดาของ Simpsonที่นี่$X_1$$X_2$$X_1$$X_2$ $Y$

$E[Y|X_1]$$E[Y|X_2]$$E[Y|X_1, X_2]$ $E[Y|X_1]$$Y$$Y$ ฯลฯ คุณสามารถโต้กลับได้ว่าไม่ใช่สิ่งที่เขาพูดเนื่องจากเขากล่าวว่า:

ตัวแปร Y ต้องมาจากตัวแบบการถดถอยเชิงเส้นที่สอดคล้องกับ (... ) ตัวแปรที่ใช้ในการสร้าง Y (... ) แบบจำลองที่แท้จริงของคุณ(... )

และคุณอาจจุดประกายการสนทนาที่ดีในชั้นเรียนเกี่ยวกับความเป็นเหตุเป็นผลDGP ที่แท้จริงหมายถึงอะไร

ใช้ตัวแปรที่มีความหลากหลายทางชีวภาพและความสัมพันธ์แบบเฮเทอโรเซซิตีเช่นรายได้กับอายุ: ทำวิศวกรรมฟีเจอร์ที่เจ็บปวดที่ให้ปัญหาการปรับสเกล: ให้ NA สำหรับโรยด้วยความเบาบาง เส้นตรงทำให้ความท้าทายมากขึ้น แต่อาจทำให้เจ็บปวดได้ นอกจากนี้ผู้ผิดจะเพิ่มปัญหาให้เขาล่วงหน้า

$X_5X_8X_{12}X_{13}$

เลือกโมเดลเชิงเส้นใดก็ได้ ให้ชุดข้อมูลแก่เขาซึ่งตัวอย่างส่วนใหญ่อยู่รอบ ๆ x = 0 ให้ตัวอย่างแก่เขาประมาณ x = 1,000,000

สิ่งที่ดีที่นี่ที่ตัวอย่างรอบ ๆ x = 1,000,000 ไม่ใช่ค่าผิดปกติ มันถูกสร้างขึ้นจากแหล่งเดียวกัน อย่างไรก็ตามเนื่องจากเครื่องชั่งแตกต่างกันมากข้อผิดพลาดประมาณ 1M จะไม่สอดคล้องกับข้อผิดพลาดประมาณ 0

เรามีชุดข้อมูลของตัวอย่าง n ใกล้ x = 0 เราจะเลือก 2 คะแนนในค่า "ไกลพอ" เราคิดว่าจุดสองจุดนี้มีข้อผิดพลาดบางอย่าง

ค่า "ไกลพอ" เป็นค่าที่ข้อผิดพลาดในการประมาณค่าไม่ผ่านโดยตรงในสองจุดนี้มีขนาดใหญ่กว่าข้อผิดพลาดของชุดข้อมูลที่เหลือ

ดังนั้นการถดถอยเชิงเส้นจะเลือกค่าสัมประสิทธิ์ที่จะผ่านจุดสองจุดนี้และจะพลาดชุดข้อมูลที่เหลือและแตกต่างจากตัวแบบที่ขีดเส้นใต้

ดูตัวอย่างต่อไปนี้ {{1, 782}, {2, 3099}, {3, 110}, {4, 1266}, {5, 1381}, {1000000, 1002169}, {1000001, 999688}}

นี่คือในรูปแบบชุด WolfarmAlpha ในแต่ละคู่รายการแรกคือ x และรายการที่สองถูกสร้างใน Excel โดยใช้สูตร = A2 + NORMINV (RAND (), 0,2000)

$\beta_0=1, \beta_1=1$

$y= 178433. x - 426805$$y=x$